Emotion is Not Just a Label: Latent Emotional Factors in LLM Processing

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "العاطفة ليست مجرد تسمية: العوامل العاطفية الكامنة في معالجة النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

تتعامل الأبحاث الحالية حول النماذج اللغوية الكبيرة (LLMs) إلى حد كبير مع العاطفة كـ هدف تنبؤ صريح (مثل تحليل المشاعر أو تصنيف العواطف) بدلاً من كونها عاملاً كامناً يؤثر على كيفية معالجة النماذج للمعلومات.

• الفجوة: بينما تُنشر النماذج اللغوية الكبيرة للتعامل مع نصوص ذات نبرات عاطفية متفاوتة، فإن قدراتها على الاستنتاج في المهام الواقعية غير العاطفية (مثل الفهم القرائي) نادراً ما تُقيّم في سياق كيفية تغيير النبرة العاطفية للمعالجة الداخلية.
• الفرضية: تعمل النبرة العاطفية في السياق بشكل منهجي على تغيير هندسة الانتباه (Attention Geometry) الداخلية للنموذج (كيفية تخصيص النموذج للتركيز عبر الرموز/Tokens)، مما يؤثر بدوره على الأداء في مهام الإجابة على الأسئلة (QA) المحايدة.
• التحدي: البيانات الموجودة إما اصطناعية، أو غير متوازنة عاطفياً (تميل نحو الحياد أو السعادة)، أو تفتقر إلى العمق السردي المطلوب للاستنتاج المعقد، مما يجعل من الصعب عزل تأثير العاطفة عن تحيز أخذ العينات.

2. المنهجية

تستخدم الورقة نهجاً ثلاثي الأبعاد: التحليل الآلي، إنشاء مجموعة البيانات، وإطار التدريب.

أ. التحليل الآلي: هندسة الانتباه

يحلل المؤلفون كيف تغير النبرة العاطفية الحالة الداخلية لنماذج "ترانسفورمر" (Transformer) من خلال تعريف مجموعة من ميزات هندسة الانتباه (الجدول 2 في الورقة). تقيس هذه المقاييس كيفية توزيع كتلة الانتباه:

• البنية المكانية: مسافة مركز الكتلة (CMD)، المحلية (Locality)، وكتلة الذيل (لقياس الاعتماد على السياق بعيد المدى).
• حدة التوزيع: إنتروبيا المفتاح (Key Entropy)، إنتروبيا الصف، هامش الـ Top-1، ومعامل جيني (لقياس التركيز مقابل الانتشار في الانتباه).
• ديناميكيات العمق: الاستمرارية (Persistence) والانحناء (Curvature) (لقياس استقرار وتقلب الانتباه عبر الطبقات).
• تنوع الرؤوس المتعددة: التداخل والتشابه بين رؤوس الانتباه.

النتائج: تثبت الدراسة أن هندسة الانتباه هي مؤشر قوي لدقة الإجابة على الأسئلة (AUC ~0.75). علاوة على ذلك، تثير العواطف المختلفة بصمات هندسية متميزة:

• العواطف عالية الاستثارة (الإثارة، الغضب) تؤدي إلى انتباه استكشافي منتشر مع انتشار مكاني أوسع وإنتروبيا أعلى.
• العواطف منخفضة الاستثارة/السلبية (الحزن، الاشمئزاز) تؤدي إلى انتباه تقاربي شديد التركيز مع إنتروبيا أقل.
• التهكم (Sarcasm) يظهر نمطاً فريداً من الوصول المكاني الواسع مع تركيز حاد على رموز (tokens) معزولة.

ب. إنشاء مجموعة البيانات: AURA-QA

لدراسة هذه التأثيرات تحت ظروف محكومة، قدم المؤلفون مجموعة بيانات AURA-QA (الاستيعاب القرائي المتسق عاطفياً).

• المصدر: نصوص من تأليف بشر من مشروع "غوتنبرغ" (Project Gutenberg) (تم ترشيحها لتكون سردية وغير شعرية).
• البناء:
  1. التقسيم: يتم تجميع الجمل في مقاطع متتالية (3 جمل أو أكثر، 40-150 كلمة) حيث يتنبأ مصنف يعتمد على "ترانسفورمر" بالعاطفة السائدة بثقة عالية.
  2. التحقق: تقوم ثلاثة نماذج لغوية كبيرة مختلفة (LLaMA 3.3, Gemma 3, Qwen 3) بالتحقق من العاطفة السائدة؛ ويقوم مُدونون بشريون بالتحقق من أزواج الأسئلة والأجوبة.
  3. توليد الأسئلة: يتم توليد الأسئلة عند مستويات تصنيف بلوم (Bloom's Taxonomy) الثانية (الفهم) والثالثة (التطبيق) لضمان الحاجة إلى الاستنتاج دون أن يكون ذاتياً بحتاً.
• الإحصائيات: تحتوي مجموعة البيانات على 14,400 زوج من الأسئلة والأجوبة موزعة بالتساوي عبر 9 فئات عاطفية (الغضب، الاشمئزاز، الإثارة، الخوف، السعادة، الحياد، الحزن، التهكم، المفاجأة)، مما يضمن تمثيلاً متوازناً.

ج. إطار التدريب: التنظيم العاطفي

يقترح المؤلفون طريقة تدريب لفصل التمثيل العاطفي عن الاستنتاج الدلالي.

• بناء الفضاء الكامن للعاطفة: يتم اشتقاق فضاء عاطفي كامن عبر تحليل القيمة المفردة المركزي (SVD) على تنشيطات مستوى الجملة من مجموعة بيانات متوازية اصطناعية (جمل محايدة أعيدت كتابتها بمشاعر مختلفة).
• خسارة التنظيم (Regularization Loss): يتم تدريب وحدة (LoRA) بهدف مزدوج:
  1. خسارة التقاطع المتشعب القياسية (Cross-Entropy Loss - $L_{CE}$) للأسئلة والأجوبة.
  2. خسارة التنظيم العاطفي ($L_{pair}$): تعمل هذه الخسارة على متمم (complement) الفضاء الفرعي العاطفي. وهي تجبر التمثيلات لنفس السياق بنبرات عاطفية مختلفة على البقاء قريبة في الفضاء الفرعي غير العاطفي.
  • $L_{pair} = \alpha L_{rel} + \beta L_{cos}$
  • $L_{rel}$: ينظم الاختلافات النسبية في L2 (ثبات المقياس).
  • $L_{cos}$: ينظم الاختلافات الزاوية (المحاذاة الاتجاهية).
• الهدف: هو تقييد "الانجراف التمثيلي المشروط بالعاطفة"، لضمان أن التفاصيل العاطفية لا تفسد المعالجة الدلالية المطلوبة للاستنتاج الواقعي.

3. النتائج الرئيسية

التفاوت في الأداء

• الأساس (Baseline): تظهر النماذج اللغوية الكبيرة القياسية تفاوتاً كبيراً في الأداء بناءً على العاطفة في AURA-QA. على سبيل المثال، النص المحايد يحقق دقة ~48%، بينما الغضب يحقق ~31% (فجوة تقارب 17%).
• الارتباط: ترتبط ميزات الانتباه مثل "التركيز من" (Focus-From) (الانتباه المنبعث من مساحات الإجابة) ومقاييس الإنتروبيا بقوة مع الدقة.

تأثير التنظيم العاطفي

أُجريت التجارب على ثلاثة نماذج (LLaMA-3.1-8B, Ministral, Olmov2) عبر مجموعات بيانات متعددة (Natural Questions, TweetQA, FriendsQA, AURA-QA).

• المكاسب داخل النطاق وخارجه:
  • التدريب على Natural Questions (المحايدة) مع التنظيم العاطفي حسن الأداء على المجموعات الاختبارية العاطفية بمتوسط 3.03%.
  • أظهر التدريب على TweetQA/FriendsQA (وهي عاطفية بالفعل) أن تعزيز تعدد العواطف وحده قدم فائدة ضئيلة. ومع ذلك، فإن إضافة التنظيم العاطفي حسنت باستمرار الأداء داخل النطاق وخارجه (متوسط مكاسب قدره 0.9% و 2.9% على التوالي).
• المتانة: حسن إطار التنظيم الفهم القرائي في السياقات المتغيرة عاطفياً دون إضعاف الأداء في مجموعات البيانات المحايدة عاطفياً.
• نتائج محددة:
  • بالنسبة لـ LLaMA، كان التنظيم هو المحرك الرئيسي للمكاسب خارج النطاق.
  • بالنسبة لـ Ministral، وفر تعزيز تعدد العواطف أكبر المكاسب، مع إضافة التنظيم لتحسين إضافي.
  • نجح النهج في تخفيف "الانجراف" حيث تتسبب النبرة العاطفية في جعل النموذج يسيء تفسير المحتوى الواقعي.

4. المساهمات الرئيسية

1. إعادة صياغة العاطفة: نقل منظور العاطفة من هدف للتصنيف إلى عامل كامن يغير هيكلياً انتباه النماذج اللغوية الكبيرة واستنتاجها.
2. مجموعة بيانات AURA-QA: تقدم أول مجموعة بيانات للأسئلة والأجوبة من تأليف بشر ومتوازنة عاطفياً، مما يعالج مشكلة الانحياز والطبيعة الاصطناعية للموارد السابقة.
3. تحليل هندسة الانتباه: توفر إطاراً كمياً يربط ميزات انتباه محددة (المحلية، الإنتروبيا، CMD) بكل من النبرة العاطفية ودقة الإجابة على الأسئلة.
4. التنظيم العاطفي: تقترح هدف تدريب مبتكر يستخدم فضاءً كامناً عاطفياً متعلمًا لتقييد الانجراف التمثيلي، مما يحسن المتانة عبر تحولات التوزيع.

5. الأهمية

هذا العمل مهم لأنه يثبت أن النبرة العاطفية ليست مجرد ميزة سطحية بل هي متغير أساسي يعيد تشكيل الهندسة الداخلية للنماذج اللغوية الكبيرة.

• الأثر العملي: في تطبيقات التوليد المعزز بالاسترجاع (RAG) والتطبيقات الواقعية، حيث تعالج النماذج نصوصاً متنوعة ومشحونة عاطفياً، يؤدي تجاهل هذه التأثيرات إلى استنتاج دون المستوى الأمثل. يوفر التنظيم المقترح طريقة قابلة للتوسع لتحسين متانة النموذج دون الحاجة إلى إعادة تدريب هائلة.
• الرؤية النظرية: يكشف العمل أن العواطف عالية الاستثارة ومنخفضة الاستثارة تحفز استراتيجيات انتباه متميزة (منتشرة مقابل مركزة)، مما يشير إلى أن الاستنتاج "المحايد" هو في الواقع وضع انتباه محدد ومقيد يمكن تعطيله بواسطة النبرة الوجدانية.
• الاتجاه المستقبلي: تفتح الورقة مساراً جديداً لتدريب النماذج "المدركة عاطفياً"، بالانتقال من مجرد تعليم النماذج اكتشاف العاطفة إلى تعليمها معالجة المعلومات باستمرار بغض النظر عن الإطار العاطفي.