ملخص تقني: التغلب على التعقيد متعدد الخطوات في استدلال نظرية العقل متعدد الوسائط

1. بيان المشكلة

نظرية العقل (Theory-of-Mind - ToM) هي القدرة المعرفية على استنتاج الحالات الذهنية (المعتقدات، الرغبات، النوايا) من خلال الإشارات الملحوظة. وبينما تُعد هذه القدرة أساسية للإدراك الاجتماعي البشري، فإن نظرية العقل الحسابية في البيئات متعددة الوسائط تواجه تحديات كبيرة في التوسع. تندرج النهج الحالية عمومًا تحت فئتين: (1) سير عمل التخطيط المهيكل مع أولويات (priors) خاصة بنظرية العقل، و(2) دمج هذه الأولويات في النماذج اللغوية (LMs) عبر تدريب متخصص.

تحدد الورقة حاجزين أساسيين يمنعان هذه الأساليب من التوسع بفعالية في مهام نظرية العقل المعقدة ومتعددة الوسائط:

1. حدود الاستدلال: تفشل أساليب التوسع أثناء الاستدلال (مثل سلسلة الأفك - Chain-of-Thought، أو الأنظمة الشبيهة بـ o1) والضبط الدقيق القياسي في الحفاظ على الدقة مع زيادة عدد خطوات التخطيط. تُظهر النماذج الأصغر (مثل 8B، 70B بارامتر) تدهورًا سريعًا في الدقة في السيناريوهات متعددة الخطوات، بينما تحافظ النماذج الضخمة فقط (مثل 405B) على الأداء.
2. الاعتماد على المعرفة بالعالم: يتطلب استدلال نظرية العقل متعدد الوسائط دمج معرفة اجتماعية ومعرفية واسعة بالعالم. تفتقر النماذج اللغوية الأصغر إلى قدرة التدريب المسبق لترميز واستخدام هذه المعرفة المتنوعة بفعالية، مما يؤدي إلى ضعف التعميم في السيناريوهات غير المرئية.

تعاني الأساليب الحالية من صعوبة في الموازنة بين الحاجة إلى الاستدلال المهيكل (للتعامل مع التعقيد متعدد الخطوات) والحاجة إلى معرفة هائلة بالعالم (لتأسيس الاستدلالات)، مما يؤدي غالبًا إلى مقايضة حيث يؤدي زيادة حجم النموذج إلى تحسين المعرفة ولكنه يفشل في حل تعقيد الاستدلال دون تعديلات محددة ومكلفة.

2. المنهجية

يقترح المؤلفون مخطط نظرية عقل بايزي قابل للتوسع (Scalable Bayesian ToM Planner) يعالج هذه القيود من خلال نهج تآزري يجمع بين التخطيط العكسي البايزي (BIP) وآلية التحكم من الضعيف إلى القوي (Weak-to-Strong Control).

2.1. إطار التخطيط العكسي البايزي (BIP)

محرك الاستدلال الأساسي يعتمد على BIP، الذي يفكك مهمة نظرية العقل المعقدة إلى تحديثات بايزية نمطية وخطوية. يتم نمذجة سلوك الوكيل كعملية قرار ماركوف لاتخاذ القرار غير الكامل الملاحظ (POMDP). يستنتج النظام الاحتمال البعدي للهدف ($g$) والمعتقد ($b_t$) بالنظر إلى الحالات الملحوظة ($s_{1:t}$) والأفعال ($a_{1:t-1}$):

$$P(g, b_t | s_{1:t}, a_{1:t-1}) \propto \prod_{\tau=1}^{t} \pi(a_\tau | g, b_\tau) P(b_\tau | b_{\tau-1}, s_\tau) P(b_0)P(g)$$

هنا، تمثل $\pi(a_\tau | g, b_\tau)$ السياسة (احتمالية الفعل بناءً على الهدف والمعتقد). يقوم الإطار بتكرار تحسين الفرضيات من خلال مقارنة إجمالي احتمالات السجل (log-likelihoods) لأزواج الهدف والمعتقد المختلفة.

2.2. آلية التحكم من الضعيف إلى القوي

للتغلب على الاعتماد على النماذج الضخمة لتقدير الاحتمالية وصعوبة الضبط الدقيق لها مباشرة، قدم المؤلفون استراتيجية التحكم من الضعيف إلى القوي:

1. المكون الضعيف (المتحكم المتخصص): نموذج لغوي أصغر (على سبيل المثال 8B أو 4B بارامتر) تم تدريبه لاحقًا خصيصًا لمهام نظرية العقل. يتضمن هذا التدريب:
   • الضبط التعليمي (Instruction Tuning): صقل سياسة $\pi_{E0}$ لتعظيم احتمالية الأفعال الملحوظة في سيناريوهات محددة.
   • تحسين التفضيل (Preference Optimization): مواءمة النموذج للتمييز بين الأفعال الفعالة (الموجزة والناجحة) وغير الفعالة (الطويلة والفاشلة) باستخدام خسارة تحسين التفضيل المباشر (DPO) المعدلة.
2. المكون القوي (نموذج السياسة الموسع): نموذج لغوي ضخم (يصل إلى 405B بارامتر) يعمل كنموذج السياسة الأساسي أثناء الاستدلال. يمتلك معرفة واسعة بالعالم ولكنه يفتقر إلى أولويات سلوك نظرية العقل المحددة.
3. التوجيه أثناء الاستدلال: بدلاً من الضبط الدقيق للنموذج الكبير، يستخدم النظام النموذج الصغير المدرب لاحقًا لتوجيه مخرجات النموذج الكبير. يتم تعديل توزيع السياسة للنموذج الكبير ($\bar{\pi}$) من خلال نسبة سياسة النموذج الصغير المدرب لاحقًا ($\pi_E$) إلى سياسة نموذج صغير بدائي ($\pi_N$):

$$\bar{\pi}(a_t | s_t, g, \hat{b}_t) = \frac{1}{\bar{Z}} \pi_L(a_t | s_t, g, \hat{b}_t) \frac{\pi_E(a_t | s_t, g, \hat{b}_t)}{\pi_N(a_t | s_t, g, \hat{b}_t)}$$

تعمل هذه الآلية بفعالية على إعادة توجيه "لوجيت" (logits) النموذج الكبير نحو سلوكيات نظرية العقل دون الحاجة إلى تدريب لاحق مباشر ومكلف للنموذج الكبير.

2.3. الأساس النظري

النهج مستند إلى النظرية 1 (Theorem 1)، التي تفترض أن تعديل المخرجات $\Delta s$ المستمد من الفرق بين النموذج الصغير المدرب لاحقًا والنموذج الصغير البدائي يقترب من التدرج السالب المقياس لخسارة الإنتروبيا المتقاطعة للنموذج الكبير. وبناءً على ذلك، فإن توزيع مخرجات النموذج الكبير يقترب من توزيع النموذج الكبير المضبوط مباشرة، مع كون تباعد KL محدودًا بمعدل التعلم وهيسيان (Hessian) دالة الخسارة.

3. المساهمات الرئيسية

• مخطط بايزي قابل للتوسع: إطار عمل مبتكر يفكك تعقيد نظرية العقل متعدد الخطوات إلى تحديثات بايزية قابلة للمعالجة، متجنبًا حدود الاستدلال التي تعيق عمليات التوسع القياسية.
• التحكم من الضعيف إلى القوي: طريقة لنقل سلوكيات الاستدلال الخاصة بنظرية العقل من النماذج اللغوية الصغيرة المدربة لاحقًا إلى النماذج اللغوية الكبيرة (من 7B إلى 405B) أثناء الاستدلال. يسمح هذا للنماذج الكبيرة بالاستفادة من معرفتها الواسعة بالعالم مع الالتزام باتساق بايزي.
• التبرير النظري: إثبات رسمي (النظرية 1) يوضح أن آلية التحكم من الضعيف إلى القوي تقترب من سلوك النموذج الكبير المضبط مباشرة مع خطأ محدود.
• التحقق التجريبي: تجارب مكثفة تظهر أن هذا النهج يحقق أداءً رائدًا (SOTA) في اختبارات نظرية العقل متعددة الوسائط، بما في ذلك السيناريوهات غير المرثية.

4. النتائج التجريبية

تم تقييم الطريقة على معيار MMToM-QA (محاكي VirtualHome) وتم توسيعها لتشمل خمس بيئات موضوعية غير مرئية (حكايات أندرسن الخيالية، مصر القديمة، الفضاء الخارجي، الغرب الأمريكي، القلاع في العصور الوسطى).

• تحسين الدقة: حققت الط المقترحة دقة بلغت 81.3% في مهام نظرية العقل متعددة الوسائط، مما يمثل تحسنًا بنسبة 4.6% عن أفضل الخطوط المرجعية الحالية (مثل BIPALM مع GPT-J-6B أو Llama2-7B).
• فوائد التوسع:
  • المكون القوي: أدى زيادة حجم النموذج اللغوي الكبير من 70B إلى 405B بارامتر إلى تحسينات مستمرة في فهم نظرية العقل، خاصة في مهام استنتاج الأهداف التي تتطلب استدلالًا ديناميكيًا.
  • المكون الضعيف: حافظ تقليص حجم المتحكم من 8B إلى 4B بارامتر (في كل من العرض والعمق) على أداء مستقر (78.0%–79.15%)، مما يثبت أن النماذج الأصغر يمكنها توجيه النماذج الأكبر بفعالية.
• التعميم: أظهرت الطريقة قدرة قوية على الانتقال إلى السيناريوهات غير المرئية، متفوقة على نماذج Zero-shot والنماذج المضبوطة مباشرة في بيئات متنوعة.
• دراسات الاستئصال (Ablation Studies):
  • إضافة "اللوجيت" البدائية لنموذج صغير إلى نموذج كبير كانت دون المستوى الأمثل، مما أكد ضرورة التحكم المهيكل "من الضعيف إلى القوي".
  • كان الضبط الدقيق المباشر للنماذج الكبيرة (70B) أقل استقرارًا وفعالية من آلية التحكم المقترحة، ويرجع ذلك على الأرجًا إلى الحساسية تجاه المعلمات الفائقة (hyperparameters).
  • عزز التدريب اللاحق الأداء بشكل كبير لكل من استنتاج المعتقد (معرفة العالم) واستنتاج الهدف (الاستدلال الديناميكي).

5. الأهمية والادعاءات

تدعي الورقة أنها تضع معيارًا جديدًا لنمذجة الحالات الذهنية البشرية في البيئات المعقدة والديناميكية. وتكمن أهميتها في:

• التغلب على حدود التوسع: تثبت أن الحفاظ على الدقة في استدلال نظرية العقل متعدد الخطوات يتطلب كلاً من الأطر المهيكلة (BIP) والنماذج ذات قدرات التعميم الواسعة (النماذج اللغوية الكبيرة)، وليس مجرد الاعتماد على الضبط الدقيق أو التوسع أثناء الاستدلال.
• الكفاءة: من خلال تجنب التدريب اللاحق المباشر للنماذج الضخمة (مثل 405B)، تقلل الطريقة من التكاليف الحسابية مع تحقيق أداء متفوق. إنها تستغل "أفضل ما في العالمين": معرفة العالم للنماذج الكبيرة والأولويات السلوكية المتخصصة للنماذج الصغيرة المدربة بكفاءة.
• التعميم: أثبت النهج فعاليته في السيناريوهات غير المرئية، مما يشير إلى أن سلوكيات نظرية العقل المتعلمة قوية وقابلة للنقل عبر سياقات ثقافية وبيئية مختلفة.

يؤكد المؤلفون أن طريقتهم لا تكتفي بمجرد تحسين الخطوط المرجعية الحالية، بل تعالج بشكل جوهري "قوة الجذب" لتعقيد التخطيط متعدد الخطوات الذي يعيق طرق نظرية العقل الحسابية الحالية.