💻 computer science

Unveiling the Cognitive Compass: Theory-of-Mind-Guided Multimodal Emotion Reasoning

تقدم هذه الورقة HitEmotion، وهو معيار قائم على نظرية العقل وإطار عمل مقابل يجمع بين سلاسل الاستدلال الموجهة بنظرية العقل وتعلم تعزيز تحسين سياسة نظرية العقل (TMPO) لتعزيز قدرات الفهم والاستدلال العاطفي العميق للنماذج اللغوية الكبيرة متعددة الوسائط بشكل كبير.

المؤلفون الأصليون: Meng Luo, Bobo Li, Shanqing Xu, Shize Zhang, Qiuchan Chen, Menglu Han, Wenhao Chen, Yanxiang Huang, Hao Fei, Mong-Li Lee, Wynne Hsu

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Meng Luo, Bobo Li, Shanqing Xu, Shize Zhang, Qiuchan Chen, Menglu Han, Wenhao Chen, Yanxiang Huang, Hao Fei, Mong-Li Lee, Wynne Hsu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيف يفهم المشاعر الإنسانية. حالياً، معظم الروبوتات تشبه أمين مكتبة ممتاز: يمكنها مسح كتاب بسرعة، وإيجاد كلمة "حزين"، وإخبارك: "هذه الصفحة حزينة". لكنها لا تفهم حقاً لماذا الشخصية حزينة، أو فيما تفكر، أو ما إذا كانت تتظاهر بالحزن لخداع شخص ما. إنها ترى السطح، لكنها تفتقد القصة الكامنة وراءه.

هذه الورقة البحثية، بعنوان "كشف البوصلة المعرفية" (Unveiling the Cognitive Compass)، تجادل بأنه لكي نجعل الروبوتات ذكية عاطفياً حقاً، نحتاج إلى تعليمها نظرية العقل (Theory of Mind - ToM).

إليك شرح مبسط لما قام به المؤلفون، باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: الروبوت "أعمى عاطفياً"

في الوقت الحالي، حتى نماذج الذكاء الاصطفي الأكثر ذكاءً تشبه السياح الذين يملكون خريطة ولكن يفتقرون إلى البوصلة. يمكنهم الإشارة إلى معلم ما (مثلاً: "ذلك الشخص يبكي")، لكنهم يضيعون عندما يُسألون: "لماذا يبكي؟ هل يبكي لأنه حزين، أم لأنه قطع بصلة للتو؟ وهل الشخص الذي بجانبه سعيد بذلك؟"

وجد المؤلفون أن الذكاء الاصطناعي الحالي غالباً ما يختلق قصصاً (هلوسات) أو يقدم إجابات سطحية لأنه لم يتم تدريبه على محاكاة ما يفكر فيه الآخرون.

2. الحل: "البوصلة المعرفية" (HitEmotion)

لإصلاح ذلك، بنى الفريق ساحة اختبار جديدة تسمى HitEmotion. فكر في هذا كأنه لعبة فيديو بثلاثة مستويات من الصعوبة مصممة لاختبار مدى عمق "الدماغ العاطفي" للروبوت:

المستوى 1: العين (الإدراك): هل يستطيع الروبوت رؤية عبوس ويقول "حزين"؟ (سهل. مثل كاميرا المراقبة.)
المستوى 2: السياق (الفهم): هل يستطيع الروبوت رؤية عبوس وإدراك أن: "أوه، هذا الشخص عابس لأن صديقه ألقى للتو نكتة سيئة، لكنه في الحقيقة يضحك من الداخل"؟ (متوسط. يتطلب قراءة الموقف.)
المستوى 3: العقل (الاستنتاج): هل يستطيع الروبوت استنتاج أن: "هذا الشخص يتظاهر بالغضب لإخافة متنمر، لكنه في الحقيقة مرعوب"؟ (صعب. يتطلب فهم الأفكار الخفية، والأكاذيب، والألعاب الاجتماعية المعقدة.)

النتيجة: عندما اختبروا أفضل نماذج الذكاء الاصطناعي على هذه "اللعبة"، فشلت معظمها عند المستوى الثالث. لقد كانوا بارعين في رصد العبوس، لكنهم كانوا سيئين جداً في فهم القصة الكامنة وراءه.

3. طريقة التدريب: "البروفة الذهنية" (TMPO)

بمجرد اكتشاف المشكلة، لم يكتفِ المؤلفون بإعطاء الروبوتات المزيد من البيانات؛ بل غيروا طريقة تفكير الروبوتات. لقد قدموا طريقة تسمى TMPO.

تخيل أنك تعلم طفلاً لعب الشطرنج.

الطريقة القديمة: تعرض عليه اللوحة فقط وتقول له: "قم بحركة". هو سيقوم بالتخمين.
الطريقة الجديدة (TMPO): تجبره على القول بصوت عالٍ: "أنا أفكر في أن خصمي يريد حصار ملكي، لذا سأحرك بيدقي هنا لأعترض طريقه".

جعل المؤلفون الذكاء الاصطناعي يفعل الشيء نفسه. لقد أجبروا الذكاء الاصطناعي على كتابة مونولوجه الداخلي (عملية التفكير الخاصة به) قبل إعطاء الإجابة.

علموه تتبع الحالات الذهنية: "ماذا يعتقد الشخص (أ)؟ وما هي نية الشخص (ب)؟"
استخدموا نظام مكافأة خاص (مثل نقاط ألعاب الفيديو) يمنح النقاط ليس فقط للإجابة الصحيحة، بل لامتلاك قصة منطقية ومتسقة في المنتصف.

4. النتيجة: من "باحث عن الحقائق" إلى "متعاطف"

بعد هذا التدريب، لم يصبح الذكاء الاصطناعي أفضل في التخمين فحسب، بل أصبح أكثر دقة وتماسكاً.

قبل التدريب: قد يقول الذكاء الاصطناعي: "الشخص غاضب"، لأنه يصرخ.
بعد التدريب (مع TMPO): يقول الذكاء الاصطناعي: "الشخص يصرخ، لكن لغة جسده مسترخية، وهو يبتسم لصديقه. لذلك، من المرجح أنه في حالة مرح، وليس غضب".

بدأ النموذج المدرب (TMPO) يتفوق حتى على النماذج المغلقة والأكثر تكلفة (مثل النسخ الأحدث من GPT أو Gemini) في المهام الأكثر صعوبة. لقد أثبت أنه إذا علمت الروبوت محاكاة الأفكار البشرية بدلاً من مجرد حفظ الحقائق العاطفية، فإنه يصبح أكثر ذكاءً بكثير.

الصورة الكبيرة

هذه الورقة البحثية هي خارطة طريق لبناء ذكاء اصطناعي متعاطف حقاً.

المعيار (HitEmotion) هو المسطرة التي نستخدمها لقياس ما إذا كان الروبوت "يتظاهر" بالفهم أم أنه "يفهم" بالفعل.
الطريقة (TMPO) هي دليل التدريب الذي يعلم الروبوت كيف يضع نفسه مكان الآخرين.

باختصار: لقد بنى المؤلفون صالة ألعاب رياضية لعقل الذكاء الاصطناعي، حيث يتعلم الجري والقفز والتفكير مثل البشر، بدلاً من الوقوف ساكناً وتسميع التعريف القاموسي لـ "السعادة".

إليك ملخص تقني مفصل لورقة البحث بعنوان: "كشف البوصلة الإدراكية: الاستدلال العاطفي متعدد الوسائط الموجه بنظرية العقل".

1. بيان المشكلة

على الرغم من التقدم السريع في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs)، إلا أن قدرتها على الفهم العاطفي العميق لا تزال محدودة. تعتمد النماذج الحالية غالبًا على مطابقة الأنماط السطحية بدلاً من المحاكاة الإدراكية الحقيقية.

الفجوة: تركز المعايير الحالية بشكل أساسي على التعرف على العواطف (تحديد "ماهية" العاطفة الموجودة) لكنها تفشل في تقييم الطبيعة الديناميكية للعواطف والاعتماد على السياق وعلاقتها بالحالات الذهنية الأخرى (المعتقدات، النوايا، الرغبات).
القصور: تفتقر نماذج التقييم الحالية إلى إطار إدراكي موحد ("بوصلة إدراكية") لتشخيص أين و لماذا تفشل النماذج. فهي غالبًا ما تنتج "هلوسات عاطفية" أو سلاسل استدلال غير أمينة تبدو متماسكة ولكنها تفتقر إلى الأساس المنطقي في إسناد الحالة الذهنية.
القضية الجوهرية: تعاني النماذج اللغوية الكبيرة متعددة الوسائط من ضعف في نظرية العقل (ToM) — وهي القدرة الإدراكية على إسناد الحالات الذهنية إلى الذات والآخرين. بدون نمذجة صريحة لنظرية العقل، لا تستطيع النماذج الاستدلال حول سبب وجود العاطفة، أو كيفية تطورها، أو كيفية تفسيرها من قبل الآخرين.

2. المنهجية

يقترح المؤلفون نهجًا ذا شقين: معيار هرمي للتشخيص وإطار تدريب مبتكر للتحسين.

أ. معيار HitEmotion

معيار هرمي مصمم لتشخيص نقاط انكسار القدرة عبر مستويات متزايدة من العمق الإدراكي، مستندًا إلى علم النفس التنموي ونظرية العقل. يقوم بتنظيم 24 مهمة من 22 مجموعة بيانات متنوعة (تشمل الفيديو، الصور، الصوت، والنص) في ثلاثة مستويات:

المستوى 1: إدراك وتعرف العواطف (EPR): يركز على ربط المدخلات متعددة الوسائط بالحالات العاطفية الصريحة (مثل اكتشاف تعبيرات الوجه، وقطبية المشاعر).
المستوى 2: فهم وتحليل العواطف (EUA): يتطلب الوعي بالسياق والاستدلال العلاقاتي (مثل اكتشاف تقنيات الإقناع، فهم الفكاهة، وتحليل النوايا).
المستوى 3: إدراك واستدلال العواطف (ECR): أعلى المستويات الإدراكية، ويتطلب الإسناد السببي، والاستدلال من الدرجة الثانية، والديناميكيات الزمنية (مثل اكتشاف السخرية، استخراج سبب العاطفة، وتحليل تقلب المشاعر).

ب. تحسين التفضيل القائم على نظرية العقل (TMPO)

إطار عمل مبتكر لتعزيز استدلال النماذج اللقية من خلال عملية تدريب مكونة من مرحلتين:

المرحلة 1: الضبط الدقيق الخاضع للإشراف المتوافق مع نظرية العقل (SFT):
- يتم تدريب النموذج على توليد سلاسل استدلال مهيكلة باستخدام مطالبات بأسلوب نظرية العقل.
- توجه هذه المطالبات النموذج عبر خطوات إدراكية محددة: المحاكاة الإدراكية $\leftarrow$ التعاطف المعرفي $\leftarrow$ تبني المنظور $\leftarrow$ الاستنتاج.
- يتم هيكلة المخرجات باستخدام وسوم <thought> للاستدلال ووسوم <answer> للتنبؤ النهائي، مما يجبر النموذج على الفصل بين التداول والاستنتاج.
المرحلة 2: تحسين التفضيل القائم على نظرية العقل (GRPO):
- يستخدم تحسين سياسة المكافأة الجماعية (GRPO) لصقل استدلال النموذج.
- بدلاً من مجرد التحسين من أجل الإجابة النهائية، تستخدم الطريقة الحالات الذهنية الوسيطة كإشراف على مستوى العملية.
- دالة المكافأة ( $R$ ): دالة مكافأة مركبة تقيم أربعة أبعاد:
  - $R_{structure}$ : تفرض التنسيق الصحيح للاستدلال.
  - $R_{content}$ : تضمن الصحة الواقعية للإجابة النهائية.
  - $R_{process}$ : تشجع على استخدام المصطلحات الخاصة بنظرية العقل (مثل "الاعتقاد"، "النية").
  - $R_{consistency}$ : تعاقب التناقضات المنطقية والهلوسات باستخدام حكم يعتمد على نموذج لغوي كبير.

3. المساهمات الرئيسية

معيار HitEmotion: أول معيار هرمي يقيم النماذج اللغوية الكبيرة متعددة الوسائط بشكل منهجي عبر ثلاثة مستويات إدراكية للذكاء العاطفي، متجاوزًا مجرد التصنيف البسيط إلى الاستدلال المعقد. ويشمل 20,114 حالة عبر 24 مهمة.
إطار عمل TMPO: نموذج تدريب جديد ينقل النماذج من "الاستدلال الناشئ العام" إلى "المهارات المكتسبة في مجال محدد" عن طريق استخدام الحالات الذهنية الوسيطة كمكافآت في التعلم المعزز.
سلسلة الاستدلال الموجهة بنظرية العقل: استراتيجية صياغة مطالبات تهيكل الاستدلال صراحةً حول إسناد الحالة الذهنية، مما يحسن أداء النموذج بشكل كبير حتى بدون ضبط دقيق.
التقييم الشامل: تجارب واسعة النط Fair demonstrate أن النماذج الرائدة الحالية (بما في ذلك GPT-4o و Gemini-2.5-Pro) تعاني من عجز كبير في مهام المستوى 3، وهو ما يعالجه TMPO بفعالية.

4. النتائج التجريبية

تم تقييم 17 نموذجًا (13 نموذجًا مفتوح المصدر، و4 نماذج مغلقة المصدر) باستخدام معيار HitEmotion.

قصور النماذج المرجعية: حتى النماذج رفيعة المستوى تعاني في المهام عالية المستوى. في المستوى 3 (الإدراك والاستدلال)، لم تحقق أي مهمة متوسط درجة أعلى من 60 لمعظم النماذج. ينخفض الأداء بشكل حاد مع زيادة العمق الإدراكي.
تأثير مطالبات نظرية العقل: تطبيق المطالبات بأسلوب نظرية العقل كاستراتيجية "صفرية التدريب" (zero-shot) عزز الأداء بشكل كبير للنماذج القادرة (على سبيل المثال، تحسن Gemini-2.5-Pro بنسبة ~5-10% في المهام المعقدة)، مما يثبت أن نظرية العقل تعمل كدعامة استدلال فعالة.
أداء TMPO:
- حقق النموذج المحسن بواسطة TMPO (المبني على Qwen2.5-Omni-7B) نتائج رائدة، متفوقًا على النماذج المملوكة الرائدة في 16 من أصل 24 مهمة.
- أظهر أكبر مكاسب في مهام المستوى 3، مما قلص الفجوة مع النماذج الأكبر وأظهر اتساقًا منطقيًا وأمانة فائقتين في سلاسل الاستدلال الخاصة به.
- أكدت دراسات الاستئصال (Ablation studies) أن جميع المكونات الأربعة لدالة المكافأة (الهيكل، المحتوى، العملية، الاتساق) ضرورية للأداء الأمثل.

5. الأهمية

تحول في النموذج الإرشادي: ينقل هذا العمل المجال من معاملة العاطفة كمسألة تصنيف ثابتة إلى رؤيتها كعملية محاكاة ذهنية ديناميكية.
أداة تشخيصية: يوفر HitEmotion "بوصلة إدراكية" للباحثين لتحديد مكان انهيار الذكاء العاطفي للنموذج بدقة (على سبيل المثال، الفشل في الاستدلال من الدرجة الثانية مقابل الإدراك الأساسي).
الكفاءة: يثبت TMPO أن نموذجًا صغيرًا نسبيًا بـ 7 مليارات معلمة، عندما يتم تدريبه باستخدام التعلم المعزز المدرك إدراكيًا، يمكنه التفوق على نماذج مملوكة أكبر بكثير في الاستدلال العاطفي المعقد، مما يوفر مسارًا فعالًا من حيث التكلفة نحو الذكاء الاصطناعي المتعاطف.
مستقبل الذكاء الاصطناعي: يضع هذا البحث الأساس لتطوير أنظمة ذكاء اصطناعي ليست فقط "واعية عاطفيًا"، بل متعاطفة حقًا، وقادرة على فهم التفاعل المعقد بين العقل والسياق والعاطفة.

الموارد: البيانات والكود متاحان للجمهور على https://HitEmotion.github.io/.