PICon: A Multi-Turn Interrogation Framework for Evaluating Persona Agent Consistency

1. بيان المشكلة

تُستخدم وكلاء الشخصيات (Persona Agents) القائمة على النماذج اللغوية الكبيرة (LLMs) بشكل متزايد كبدائل قابلة للتوسع للمشاركين البشريين في مجالات مثل التدريب الطبي، والعلوم الاجتماعية، وتصميم المنتجات. ومع ذلك، لا توجد طريقة منهجية للتحقق مما إذا كان هؤلاء الوكلاء يحافظون على الاتساق (الخلو من التناقضات وعدم الدقة في الحقائق) طوال التفاعلات الطويلة.

تعاني طرق التقييم الحالية من قصورين رئيسيين:

1. الافتقار إلى الربط المنطقي: تعتمد الأعمال السابقة على أسئلة مستقلة أو استمرارية موضوعية، مما يفشل في اختبار قدرة الوكيل عبر أسئلة متابعة مترابطة منطقياً والتي تكشف عن التناقضات الكامنة.
2. نطاق غير مكتمل: تركز التقييمات الحالية بشكل حصري تقريباً على الاتساق الداخلي (التناقض الذاتي) وتتجاهل الاتساق الخارجي (المواءمة مع الحقائق الواقعية) واتساق إعادة الاختبار (الاستقرار عند طرح نفس السؤال بشكل متكرر).

2. المنهجية: إطار عمل PICON

يقترح المؤلفون إطار عمل PICON (إطار استجواب الشخصية لتقييم الاتساق)، وهو إطار عمل متعدد الوكلاء، يعمل كصندوق أسود، ومستوحى من منهجيات الاستجواب المستخدمة للكشف عن الهويات المفبركة. يعمل الإطار عبر مرحلتين: الاستجواب والتقييم.

أ. المكونات الأساسية

يتم إدارة الإطار بواسطة ثلاثة وكلاء متميزين:

1. المستجوب (Questioner): يولد أسئلة متابعة مترابطة منطقياً بناءً على الإجابات السابقة.
2. مستخرج الكيانات والادعاءات (Entity & Claim Extractor): يحدد الكيانات القابلة للتحقق (مثل المنظمات، المواقع) ويولد ادعاءات واقعية من استجابات الوكيل.
3. المقيم (Evaluator): يقيم سجل التفاعل بالكامل مقابل ثلاثة أبعاد للاتساق.

ب. مرحلة الاستجواب

تتكون العملية من ثلاث مراحل:

1. التعرف (Get-to-Know): يطرح النظام أسئلة ديموغرافية محددة مسبقاً (مستمدة من مسح القيم العالمي) لإنشاء ملف تعريف أساسي (العمر، المهنة، العائلة، إلخ).
2. الاستجواب الرئيسي (Main Interrogation):
   • يقوم المستجوب بتوليد أسئلة متابعة تشتق منطقياً من الإجابات السابقة، مما يضيق مساحة التزييف (على سبيل المثال، السؤال عن رموز دورات تدريبية محددة بعد أن ذكر أستاذ جامعي جامعة معينة).
   • يقوم مستخرج الكيانات والادعاءات بتحديد الكيانات والادعاءات.
   • يقوم المستجوب بإجراء بحث عبر الويب في الوقت الفعلي لاسترجاع الأدلة لهذه الادعاءات وطرح أسئلة تأكيد على وكيل الشخصية.
3. إعادة الاختبار (Retest): يُعاد طرح الأسئلة الديموغرافية الأولية من مرحلة "التعرف" لقياس الاستقرار.

ج. مرحلة التقييم

يحسب المقيم ثلاثة درجات كمية:

1. الاتساق الداخلي (IC): يقيس مدى الخلو من التناقض الذاتي. وهو المتوسط التوافقي لكل من:
   • التعاون (Cooperativeness): نسبة الدورات التي تحتوي على ردود جوهرية (مع معاقبة التهرب).
   • معدل عدم التناقض (Non-contradiction Rate): نسبة الاستجابات التي لا تتناقض مع التصريحات السابقة.
2. الاتساق الخارجي (EC): يقيس المواءمة مع الحقائق الواقعية. وهو المتوسط التوافقي لكل من:
   • التغطية (Coverage): وتيرة توليد حقائق ملموسة وقابلة للتحقق.
   • معدل عدم التفنيد (Non-refutation Rate): وتيرة الادعاءات التي لا تتعارض مع أدلة البحث عبر الويب.
3. اتساق إعادة الاختبار (RC): يقيس استقرار الاستجابات عند طرح نفس الأسئلة الديموغرافية مرة أخرى بعد حوار طويل.

3. المساهمات الرئيسية

1. إطار عمل مبتكر: يعد PICON أول إطار عمل يعمل على تحويل مبادئ الاستجواب (التسلسل المنطقي، التحقق الخارجي من الحقائق، والتكرار) إلى خط إنتاج تقييم آلي متعدد الخطوات يغطي الأبعاد الثلاثة للاتساق.
2. القياس المرجعي المنهجي: أجرى المؤلفون أول مقارنة واسعة النطاق لـ 7 مجموعات متنوعة من وكلاء الشخصيات (بما في ذلك Character.ai، وOpenCharacter، وConsistent LLM، وغيرها) مقابل خط أساس مكون من 63 مشاركاً بشرياً حقيقياً.
3. تحديد أنماط الفشل: تكشف الدراسة أنه لا يوجد وكيل شخصية حالي يتفوق في جميع الأبعاد الثلاثة في آن واحد، مما يحدد أنماط فشل محددة مثل "الاستجابات التهربية" (انخفاض التعاون) و"عدم الاستقرار السياقي" (انخفاض اتساق إعادة الاختبار).

4. النتائج التجريبية

قيمت الدراسة 70 حالة شخصية (10 لكل مجموعة) و63 بشرياً.

• الأداء العام: لم تحقق أي مجموعة من وكلاء الشخصيات "منطقة اتساق" (درجة إجمالية) أكبر من الخط المرجعي البشري. حتى الأنظمة التي تم الإبلاغ سابقاً عن اتساقها العالي فشلت في مضاهاة الأداء البشري.
• الاتساق الداخلي (IC):
  • غالباً ما تغفل التقييمات السابقة التناقضات التي تظهر فقط عبر عدة جولات (تناقضات متعددة الخطوات).
  • أظهرت بعض الوكلاء (مثل OpenCharacter وConsistent LLM) معدلات عالية من عدم التناقض ولكنها سجلت تعاوناً منخفضاً للغاية (رفضوا الإجابة أو قدموا ردوداً غير ذات صلة)، مما أدى إلى درجات IC إجمالية منخفضة.
• الاتساق الخارجي (EC):
  • سجل معظم الوكلاء درجات منخفضة بسبب انخفاض التغطية (تجنب الحقائق المحددة والقابلة للتحقق).
  • حقق Character.ai أعلى EC من خلال توليد العديد من الادعاءات الواقعية، رغم أنه سجل معدل عدم تفنيد أقل مقارنة بالبشر.
• اتساق إعادة الاختبار (RC):
  • كان هذا البعد هو الأكثر تحدياً للعديد من الوكلاء. حتى مع وجود السياق السابق، أظهر وكلاء مثل Character.ai وConsistent LLM تحولات حادة في البيانات الديموغرافية الأساسية (مثل تغيير سنوات الميلاد من 1999 إلى 1944) عند إعادة طرح الأسئلة.
  • أكد تحليل الجلسات البينية أن عدم الاستقرار هذا متأصل في الوكلاء، وليس مجرد نتيجة لتراكم السياق.

5. الأهمية والآثار المترتبة

• موثوقية المحاكاة: تشير النتائج إلى أن وكلاء الشخصيات الحاليين لا يمكنهم بعد أن يكونوا بدلاء موثوقين للمشاركين البشريين في الدراسات العلمية الصارمة، حيث يفشلون في الحفاظ على هوية متماسكة تحت استجواب مستمر ومنظم.
• تحول منهجي: تجادل الورقة بأن فحوصات الاتساق "الثنائية" غير كافية. يتطلب الحفاظ القوي على الشخصية تقييم قدرة الوكيل على التعامل مع السلاسل المنطقية، والتحقق الخارجي، والاستقرار الزمني.
• التطوير المستقبلي: يوفر الإطار مقياساً ملموساً للمطورين لتحسين وكلاء الشخصية، مؤكداً أن الضبط الدقيق وحده لا يضمن الاتساق؛ حيث أظهر التكييف أثناء الاستدلال (التلقين/RAG) نتائج أفضل، ولكن لا تزال هناك فجوات كبيرة.

يوفر المؤلفون الكود المصدري وعرضاً توضيحياً تفاعلياً لتسهيل المزيد من الأبحاث حول موثوقية وكيل الشخصية.