Eval4Sim: An Evaluation Framework for Persona Simulation

في الزوايا الهادئة لأبحاث الذكاء الاصطناعي، يعلم العلماء الحواسيب كيف تتظاهر بأنها بشر. يفعلون ذلك من خلال إعطاء نماذج اللغات الكبيرة، وهي المحركات القوية التي تقف وراء روبوتات الدردشة الحديثة، مجموعة محددة من التعليمات حول هويتهم المفترضة. هذه التعليمات، المعروفة باسم "الشخصيات" (personas)، قد تقول إن النموذج هو معلم متقاعد يحب البستنة، أو مراهق مهووس بألعاب الفيديو. والهدف هو إنشاء شخصية رقمية تتحدث وتتصرف مثل إنسان حقيقي يمتلك تلك الخلفية المحددة. هذا ليس لمجرد التسلية؛ إذ يستخدم الباحثون هذه المحادثات المحاكية لدراسة السلوك البشري، واختبار النظريات الاجتماعية، وبناء تجارب مستخدم أفضل. ولكن يبقى سؤال جوهري: عندما يتظاهر الكمبيوتر بأنه شخص، هل يكون مقنعاً حقاً؟ هل يبدو كإنسان حقيقي يتحدث، أم يبدو كآلة تحاول جاهدة اتباع نص مكتوب؟

لسنوات، كانت الطريقة القياسية لتقييم هؤلاء الممثلين الرقميين هي جعل كمبيوتر آخر يمنحهم درجات. هذه الطريقة، التي غالباً ما تسمى باستخدام "الذكاء الاصطعي كحكم"، كانت تقارن المحادثة المحاكية بمثال مثالي أو ببساطة تسأل الحكم عما إذا كان النص يبدو جيداً. ومع ذلك، غالباً ما أنتج هذا النهج درجات غامضة لا تخبر الباحثين الكثير عن السلوك الفعلي. كان الأمر يشبه تقييم مسرحية بناءً على رقم واحد دون مشاهدة الأداء. المشكلة كانت أن هؤلاء الحكام الآليين غالباً ما يفتقدون الطرق الدقيقة والفوضوية وغير المتسقة التي يتحدث بها البشر الحقيقيون فعلياً. لم يكن بإمكانهم بسهولة التمييز بين شخصية معيبة بشكل طبيعي وأخرى مكسورة.

ولحل هذه المشكلة، طور فريق من الباحثين من جامعة شيفيلد وجامعة آ كورونيا في إسبانيا طريقة جديدة لقياس هذه المحاكاة، أطلقوا عليها اسم "Eval4Sim". فبدلاً من مطالبة الكمبيوتر بإعطاء درجة واحدة، قاموا ببناء إطار عمل يقارن المحادثات التي يولدها الكمبيوتر مباشرة بمجموعة كبيرة من المحادثات البشرية الحقيقية. لقد عاملوا الدردشات البشرية الحقيقية باعتبارها "المعيار الذهبي"، أي الخط المرجعي لكيفية تحدث الناس عندما يمتلكون شخصيات محددة. ثم مرر الباحثون عمليات المحاكاة الخاصة بهم عبر ثلاثة اختبارات متميزة لمعرفة مدى مطابقتها للواقع.

اختبر الاختبار الأول "الالتزام" (adherence)، والذي يسأل ما إذا كانت شخصية الشخص ظاهرة بالفعل في المحادثة. إذا قرأت دردشة لشخص يدعي أنه مدرب كلاب، فهل يمكنك معرفة أنه مدرب كلاب بمجرد قراءة ما قاله؟ استخدم الباحثون نظاماً لمعرفة ما إذا كان بإمكان الكمبيوتر تحديد الشخصية التي تنتمي إليها المحادثة بشكل صحيح. ووجدوا أن بعض عمليات المحاكاة كانت واضحة للغاية، حيث تذكر الشخصيات سماتها بشكل فج، بينما كانت أخرى غامضة جداً، وتخفي شخصياتها تماماً. وكانت أفضل عمليات المحاكة هي تلك التي تظهر شخصيتها بشكل طبيعي، دون الصراخ بها أو إخفائها بالكامل.

نظر الاختبار الثاني في "الاتساق" (consistency)، أو ما إذا كان الشخص يظل الشخص نفسه طوال المحادثة. للبشر الحقيقيين أسلوب تميز خاص في الكلام، وهو أسلوب يجعلهم معروفين حتى لو كانوا يتحدثون عن أشياء مختلفة. تحقق الباحثون مما إذا كانت الشخصيات المحاكية تحافظ على هذا الأسلوب الفريد أم أنها تنحرف وتبدو كأشخاص مختلفين في أوقات مختلفة. واكتشفوا مفارقة مفاجئة: بعض النماذج الحاسوبية الأكثر تقدماً كانت متسقة في أسلوبها لدرجة أنها بدت غير طبيعية، مثل روبوت يكرر نمطاً، بدلاً من كونها بشراً يمتلك صوتاً مستقراً ولكن مرناً.

قاس الاختبار الثالث "الطبيعية" (naturalness)، وهي تدفق المحادثة نفسها. الحوار البشري الحقيقي له إيقاع؛ فالناس يأخذون أدوارهم، ويقاطعون، ويستجيبون بطرق تبدو عضوية. حلل الباحثون ما إذا كانت المحادثات المحاكية تتحرك بسلاسة من جملة إلى أخرى أو ما إذا كانت تبدو جامدة وروبوتية. ووجدوا أن العديد من عمليات المحاكاة، حتى تلك التي كانت متسقة جداً، فشلت في التقاط هذا التدفق الطبيعي. لقد كانوا مركزين جداً على أن يكونوا دقيقين أو متسقين لدرجة أنهم فقدوا الجودة العفوية، وغير المنظمة أحياناً، للتفاعل البشري الحقيقي.

عندما جمع الباحثون هذه الاختبارات الثلاثة، وجدوا أنه لا يوجد نموذج حاسوبي واحد مثالي في كل شيء. كان أفضل أداء عام هو نموذج ضخم يسمى "Qwen3 30B"، والذي نجح في موازنة الصفات الثلاث بشكل أفضل من غيره، رغم أنه لا يزال يقصر عن الوصول لمستوى الإنسان الحقيقي. كانت هناك نماذج أخرى ممتازة في شيء واحد لكنها سيئة في شيء آخر؛ فبعضها كان متسقاً جداً لكنه بدا غير طبيعي، بينما كان بعضها الآخر يتدفق جيداً لكنه ينسى شخصيته. كما أظهرت الدراسة أن الطرق القديمة لإنشاء هذه المحاكاة، والتي استخدمت مولداً وناقداً لتصفية المخرجات، كان أداؤها أسوأ من مجرد ترك النماذج اللغوية الكبيرة الحديثة تولد المحادثات مباشرة.

كان الاكتشاف الأهم هو أن تحسين جزء واحد من المحاكاة غالباً ما يجعل جزءاً آخر أسوأ. فإذا تم جعل النموذج أكثر اتساقاً، فغالباً ما يصبح أقل طبيعية. وإذا تم جعله أكثر طبيعية، فإنه أحياناً ينسى شخصيته. يشير هذا إلى أن إنشاء إنسان رقمي واقعي حقاً لا يتعلق فقط بجعل الكمبيوتر أكثر ذكاءً أو أكبر حجماً، بل يتطلب إيجاد توازن دقيق بين الوفاء للشخصية، والبقاء متسقاً، والظهور كشخص حقيقي. لقد أتاح الباحثون أدواتهم للجمهور حتى يتمكن الآخرون من استخدام هذا الإطار نفسه لاختبار النماذج الجديدة، مما يضمن أن مستقبل المحادثة الرقمية لن يُقاس بمدى جودة اتباع الآلة للقواعد، بل بمدى قربها من الواقع المعقد وغير الكامل للحياة البشرية.