ملخص تقني: OmniToM

بيان المشكلة

تعتمد المعايير المرجعية الحالية لتقييم نظرية العقل (Theory of Mind - ToM) في النماذج اللغوية الكبيرة (LLMs) بشكل أساسي على الإجابة على الأسئلة عند نقطة النهاية (Endpoint QA). في هذا النموذج، يُقدم للنموذج سرد قصصي ويتم تقييمه فقط بناءً على ما إذا كان قد أنتج الإجابة النهائية الصحيحة لاستعلام استدلال اجتماعي (مثل: "أين سيبحث بوب؟"). يرى المؤلفون أن هذا النهج يحجب العملية المعرفية الكامنة: فقد يجيب النموذج بشكل صحيح عن طريق استغلال استراتيجيات الاختصار أو السمات الموجودة في المعيار المرجعي دون أن يقوم فعلياً ببناء تمثيلات الحالة الذهنية متعددة الفاعلين الضرورية.

على وجه التحديد، تفشل طريقة "الإجابة عند نقطة النهاية" في الكشف عما إذا كان النموذج قادراً على تتبع:

• ما يعتبره كل فاعل حقيقياً مقابل ما هو واقعي موضوعياً.
• كيفية توزيع المعلومات (من لديه إمكانية الوصول إلى ماذا).
• الطبيعة التكرارية للمعتقدات (مثلاً: "بوب يعتقد أن أليس تعتقد...").
• التمييز بين التصريحات الصريحة والاستنتاجات الضمنية.

وبناءً على ذلك، لا يمكن للمعايير المرجعية الحالية تشخيص سبب فشل النموذج—سواء كان ذلك بسبب إغفال فاعل ذي صلة، أو تحديث معتقد بشكل خاطئ، أو تحديد وصول المعلومات بشكل غير صحيح، أو تصنيف مصدر الحالة الذهنية بشكل خاطئ.

المنهجية

صياغة معيار OmniToM

يعالج OmniToM هذه الفجوة من خلال نقل التقييم من الإجابات النهائية إلى نمذجة بنية المعتقد الصريحة. يعمل المعيار المرجعي على تشغيل الاستدلال بنظرية العقل كعملية مكونة من مرحلتين:

1. المرحلة الأولى: استخراج المعتقدات (Belief Extraction)

   • المهمة: بالنظر إلى قصة $S$، يجب على النموذج استخراج مجموعة مهيكلة من القضايا الاعتقادية $B$.
   • الهيكل: كل قضية هي عبارة عن صف (tuple) يتكون من $(a_i, b_i, o_i)$، حيث $a_i$ هو الفاعل (أو "العالم" للحقائق السردية)، و $b_i$ هو محتوى المعتقد الأدنى، و $o_i$ هو الترتيب التكراري ($0$للحقائق العالمية،$1$للمعتقدات من الدرجة الأولى،$2+$ للمعتقدات من درجات أعلى).
   • الهدف: استعادة المجموعة الكاملة من معتقدات الفاعلين ذات الصلة بالديناميكيات الاجتماعية للقصة، بما في ذلك الحقائق العالمية، والمعتقدات من الدرجة الأولى حول العالم، والمعتقدات من الدرجات العليا حول الحالات الذهنية للفاعلين الآخرين.

2. المرحلة الثانية: تصنيف المعتقدات (Belief Labeling)

   • المهمة: بالنظر إلى القضايا المستخرجة، يقوم النموذج بتعيين تسمية من مخطط سباعي الأبعاد لكل منها.
   • المخطط: يستند إلى ATOMS (القدرات في فضاء نظرية العقل)، حيث يفكك المخطط كل قضية إلى:
     • الترتيب (Order): العمق التكراري ($0$–$3$).
     • حالة الحقيقة (Truth Status): التوافق مع الواقع السردي (صحيح، خطأ، غير معروف).
     • الوصول إلى المعرفة (Knowledge Access): توزيع المعلومات (خاص، مشترك، عام).
     • التمثيل (Representation): صريح مقابل ضمني (مذكور مقابل مستنتج).
     • نوع المحتوى (Content Type): الموضوع (الموقع، المعرفة، الرغبة، العاطفة، إلخ).
     • المصدر الذهني (Mental Source): طريقة الاكتساب (سرد، إدراك، ذاكرة، شهادة، استنتاج، خيال).
     • السياق (Context): ظروف التأطير (خداعي، زمني، افتراضي، محايد).

بناء المعيار المرجعي

• مصدر البيانات: مشتق من ToMBench، مع الاحتفاظ بـ 895 قصة من سبع فئات عالية الكثافة (مثل: مهمة الاعتقاد الخاطئ، التعرف على الخطأ الاجتماعي "Faux-pas"، مهمة التلميح).
• خط معالجة البيانات (Annotation Pipeline): نظراً للتكلفة العالية للترميز اليدوي لـ 22,343 قضية اعتقادية، استخدم المؤلفون خط معالجة مدعوم بنماذج لغوية كبيرة ومعاير بشرياً.
  • تم ترميز مجموعة فرعية للمعايرة (21 قصة) يدوياً من قبل خبراء في المجال.
  • الحكم الدلالي (Semantic Judge): تم اختيار GPT-5 كحكم دلالي لتقييم المرحلة الأولى بناءً على توافقه العالي (72.03%) مع قرارات التوافق الدلالي البشرية.
  • نموذج الترميز (Annotation Model): تم اختيار Claude-Sonso-4.5 كنموذج ترميز أساسي بعد تحقيقه لأقوى أداء معايرة (72.88% لـ F1 في المرحلة الأولى، و93.62% لدقة المرحلة الثانية).
• النطاق: يحتوي المعيار النهائي على 895 قصة و22,343 قضية اعتقادية مصنفة، بإجمالي 156,401 تسمية للمخطط.

بروتوكول التقييم

• المرحلة الأولى (الاستخراج): تُقاس عبر درجة F1 باستخدام مقياس توافق دلالي (MatchCount) بدلاً من المطابقة النصية الصارمة، وذلك لمراعاة إعادة الصياغة والمعتقدات المركبة.
• المرحلة الثانية (التصنيف): تُقاس عبر دقة المطابقة التامة لتسميات المخطط سباعية الأبعاد.
• النماذج المرجعية (Baselines): تم التقييم عبر نماذج متنوعة مفتوحة ومغلقة المصدر (مثل: Llama-3.3، Mistral-Large، GPT-5، Gemini-2.5 Flash) في ظروف "الصفر محاولة" (zero-shot) باستخدام مطالبات TELeR المستوى 3.

النتائج الرئيسية

يكشف التقييم عن عنق زجاجة ثابت في تتبع المعلومات الخاصة بكل فاعل عبر جميع النماذج:

1. أداء الاستخراج (المرحلة 1):

   • حقق أفضل نموذج أداءً درجة F1 كلي (macro F1) بلغت 57.69%.
   • ينخفض الأداء بشكل كبير عند الانتقال من الدرجة 0 (الحقائق العالمية) إلى الدرجة 1 والدرجة 2+ (معتقدات الفاعلين). تعاني النماذج في ربط حقائق القصة بمنظورات فاعلين محددين.

2. أداء التصنيف (المرحلة 2):

   • وصلت دقة التصنيف الإجمالية إلى 85.95%.
   • ومع ذلك، فإن الأخطاء ليست موحدة؛ حيث وُجدت أدنى مستويات الدقة في الوصول إلى المعرفة (56.13%–74.59%) والتمثيل (54.33%–87.58%).
   • تعتبر المعتقدات من الدرجة 1 هي الأصعب في التصنيف الصحيح (دقة إجمالية 71.2%)، خاصة فيما يتعلق بمن يملك إمكانية الوصول إلى المعلومات وما إذا كان المعتقد صريحاً أم مستنتجاً.

3. تحديد عنق الزجاجة:

   • نمط الفشل الأساسي ليس نقصاً في الفهم اللغوي العام، بل هو الفشل في تتبع شروط المعلومات: تحديد أي الحقائق يعرفها كل فاعل، وكيف تم اكتساب تلك المعرفة (إدراك مقابل استنتاج)، وكيف تتطور بمرور الوقت.
   • غالباً ما تفشل النماذج في التمييز بين ما هو حقيقي في العالم وما يعتقده الفاعل على أنه حقيقي، خاصة عندما يكون هذا المعتقد قديماً أو خاطئاً.

الأهمية والادعاءات

يزعم البحث أن OmniToM يوفر تحولاً ضرورياً من التقييم القائم على النتيجة إلى التقييم القائم على العملية لنظرية العقل في النماذج اللغوية الكبيرة.

• القدرة التشخيصية: من خلال جعل تمثيلات الحالة الذهنية قابلة للفحص، يسمح OmniToM للباحثين بتحديد نقاط فشل الاستدلال بدقة (مثلاً: "فشل النموذج في تحديث المعتقد لأنه أخطأ في تحديد الوصول إلى المعلومات") بدلاً من مجرد ملاحظة إجابة خاطئة.
• كشف القيود: يكشف المعيار المرجعي عن قيد قد تخفيه طريقة "الإجابة عند نقطة النهاية": إن الاستدلال القوي بنظرية العقل يتطلب تتبع شروط المعلومات التي تولد الحالات الذهنية، وهي قدرة تعاني منها النماذج اللغوية الكبيرة الحالية.
• النطاق: يضع المؤلفون إطاراً متواضعاً لـ OmniToM كأداة تقييم للسيناريوهات النصية المحكومة. ويصرحون بوضوح بأن المعيار لا يضمن الذكاء الاجتماعي في العالم الحقيقي، أو الموثوقية في التعامل مع الآخرين، أو السلامة في البيئات عالية المخاطر (مثل المجالات السريرية أو القانونية).
• العمل المستقبلي: يقترح المؤلفون اتجاهات مستقبلية تشمل التوسع في السرديات الأكثر ثراءً، ومجموعات استخراج أكبر مدققة بشرياً، والتعامل مع تداخل المعتقدات (nesting) لما بعد الدرجة 3، مع الإقرار بالقيود الحالية في الاستدلال متعدد الوسائط وتتبع المسارات طويلة الأمد.

باختصار، يوضح OmniToM أنه بينما تستطيع النماذج اللغوية الكبيرة غالباً استعادة الحقائق السردية، إلا أنها تفتقر حالياً إلى الآلية القوية لتحويل تلك الحقائق إلى تمثيلات دقيقة للحالة الذهنية، مرتبطة بفاعلين محددين ومتطورة زمنياً.