ملخص تقني: CAREBench

بيان المشكلة

يعد فهم العواطف قدرة بالغة الأهمية للنماذج اللغوية الكبيرة (LLMs) في مجال الحوسبة الوجدانية والتفاعل بين الإنسان والذكاء الاصطناائي. ومع ذلك، تعتمد نماذج التقييم الحالية بشكل أساسي على التنبؤ بملصقات العواطف المنفصلة، وهو ما يفشل في التقاط العمليات المعرفية الكامنة وراء توليد العواطف. وبينما اتجهت الأعمال الحديثة نحو نظرية التقييم (Appraisal Theory) لتأصيل فهم العواطف، تعاني مجموعات البيانات القائمة على التقييم من ثلاثة عيوب رئيسية:

1. الافتقار إلى الاستدلال: فهي تعامل درجات أبعاد التقييم كتمثيل وحيد للتقييم المعرفي، متجاهلة العملية الاستنتاجية عبر الحالات الذهنية (المعتقدات، الرغبات) التي تسبق هذه الدرجات.
2. نمذجة عاطفية تبسيطية: فهي تعتمد على ملصقات عاطفية مفردة، مما يفشل في التقاط الطبيعة المختلطة والمتزامنة للتجارب العاطفية في العالم الحقيقي.
3. تحيز المنظور: توفر معظم مجموعات البيانات تعليقات توضيحية من منظور الشخص الثالث فقط، مما يجعل من الصعب تحليل كيفية تأثير اختلافات المنظور بين الخبير (المجرب) والمراقب على الأحكام.

وبناءً على ذلك، يظل من غير الواضح ما إذا كانت النماذج تفهم حقًا الحالات الذهنية للخبير أم أنها تتعلم مجرد خرائط سطحية من المواقف إلى الدرجات.

المنهجية

مجموعة بيانات CAREBench

قدم المؤلفون CAREBench، وهي معيار مصمم لتقييم استدلال التقييم المعرفي في فهم العواطف. تستند مجموعة البيانات إلى نظرية التقييم وتم إنشاؤها من خلال عملية جمع بيانات مكونة من مرحلتين تشمل 1,000 سرد عاطفي من العالم الحقيقي:

• المرحلة 1 (من منظور الشخص الأول): استرجع المشاركون أحداثًا ذات أهمية عاطفية. وباستخدام إطار عمل "السرد المصغر" (micro-narratives) بمساعدة نموذج لغوي كبير، قدموا استدلالًا مفتوحًا لخمسة أبعاد تقييم أساسية (الأهمية، اليقين، التوافق، السيطرة، المسؤولية)، وتصنيفات هرمية لـ 22 بعدًا فرعيًا، وملصقات عاطفية متعددة (الشدة والملصقات).
• المرحلة 2 (من منظور الشخص الثالث): قرأ مدونون مستقلون السرديات وأجروا نفس مهمة التعليق التوضيحي ثلاثية الطبقات دون الوصول إلى استجابات الشخص الأول.

الميزات الرئيسية:

• سلسلة الاستدلال: تؤسس مجموعة البيانات سلسلة كاملة $s \to r \to a \to e$: الموقف ($s$) $\to$ الاستدلال ($r$) $\to$ درجات التقييم ($a$) $\to$ العاطفة ($e$).
• المنظور المزدوج: توجد تعليقات توضيحية لكل من الشخص الأول (الخبير) وعدة مراقبين من منظور الشخص الثالث.
• الملصقات المتعددة والشدة: يتم وسم العواطف بدرجات شدة وملصقات متعددة متزامنة.
• بيانات الذاتية: تم جمع البيانات الديموغرافية للمدونين وسمات الشخصية الخمس الكبرى لتحليل التباين الذاتي.

إطار التقييم

اقترح المؤلفون إطار تقييم على مستوى العملية يغطي سلسلة الاستدلال الكاملة، متجاوزًا التنبؤ بخطوة واحدة. تم تقييم ستة نماذج لغوية كبيرة (GPT-5.2، Claude-Sonnet-4.6، Llama 3.1، Qwen 3.5، PsyLLM، و EmoLLaMa) عبر أربعة أسئلة بحثية (RQs):

1. RQ1 (أداء السلسلة): مدى جودة أداء النماذج لكل خطوة ($s \to r$، $s \to a$، $s \to e$).
2. RQ2 (فائدة الاستدلال): هل يؤدي حقن استدلال التقييم ($r$) أو درجات التقييم ($a$) إلى تحسين التنبؤ اللاحق؟
3. RQ3 (الحساسية): هل النماذج حساسة لتدخلات التقييم المهيكلة (مثل استبدال استدلال الشخص الأول باستدلال الشخص الثالث)؟
4. RQ4 (الذاتية): هل يمكن للنماذج التقاط التباين التوزيعي في أحكام التقييم البشرية؟

تضمنت المقاييس BLEU/ROUGE للاستدلال، وRMSE للدرجات/الشدة، وF1 scores للملصقات، ومسافة Wasserstein/ارتباط Spearman لنمذجة الذاتية.

النتائج الرئيسية

1. التفاوت في الأداء عبر السلسلة

• العمليات اللاحقة مقابل العمليات السابقة: تتفوق النماذج القوية (مثل Claude و GPT) على المراقبين البشريين من منظور الشخص الثالث في درجات التقييم وتحديد ملصقات العواطف السلبية. ومع ذلك، فإنها تقصر باستمرار في توليد استدلال التقييم وتحديد العواطف الإيجابية.
• فجوة العواطف الإيجابية: تظهر النماذج عدم توازن كبير بين الدقة والاستدعاء للعواطف الإيجابية، مما يؤدي إلى درجات F1 أقل بكثير مقارً**بالبشر.
• الانفصال: أظهرت النماذج المتخصصة في المجال (PsyLLM، EmoLLaMa) مزايا في مهام محددة سابقة في السلسلة (مثل مقاييس استدلال التقييم) ولكن لم تترجم هذه المكاسب إلى اختيار ملصقات العواطف اللاحقة، مما يشير إلى أن الأداء القوي في الخطوات اللاحقة لا يعني بالضرورة صحة الاستدلال الوسيط للتقييم.

2. دور الاستدلال

• الاستدلال البشري: أدى حقن نص استدلال التقييم من منظور الشخص الأول بشكل كبير إلى تحسين التنبؤ بالتقييم والتعرف على العواطف (خاصة الاستدعاء) عبر النماذج.
• استدلال النموذج: عندما قامت النماذج بتوليد استدلالها الخاص ($\hat{r}$) لحقنه مرة أخرى في المطالبة (prompt)، غالبًا ما تدهور الأداء. كشف التحليل النوعي أن النماذج تميل إلى استخدام لغة عاطفية مبالغ فيها في استدلالها الذاتي، مما يؤدي إلى إدخال ضجيج ينتقل إلى الأخطاء اللاحقة.

3. الحساسية تجاه التدخلات

• أظهرت النماções درجات متفاوتة من الحساسية تجاه تدخلات التقييم المهيكلة. أظهرت النماذج القوية (Claude، GPT، Qwen) ارتباطات إيجابية متوسطة إلى قوية بين التغييرات المستحثة بالتدخل في الاستدلال والتغييرات في التقييمات/العواطف المتوقعة، بما يتماشى مع نظرية التقييم.
• ومع ذلك، أظهرت بعض النماذج ذات الأداء الجيد في الخطوات اللاحقة (مثل Llama، PsyLLM) حساسية اتجاهية ضعيفة، مما يشير إلى أنها قد تعتمد على الأنماط الترابطية بدلاً من الاستدلال التقييمي الحقيقي.

4. نمذجة الذاتية

• بينما ساعد حقن استدلال التقييم الأساسي النماذج على تقريب التوزيعات التقييمية البشرية، فإن النماذج الحالية لم تستوعب الآليات اللازمة لالتقاط الاختلاف بين المراقبين بشكل مستقل.
• فشلت النماذج في إعادة إنتاج التباين في الأحكام البشرية، مما يشير إلى أنها لا تستطيع بعد نمذجة التباين التوزيعي المتأصل في فهم العواطف البشرية.

الأهمية والادعاءات

يزعم البحث أن CAREBench يوفر أساسًا لـ تقييم أكثر دقة تشخيصيًا للقدرات المعرفية الوجدانية للنماذج اللغوية الكبيرة. تكمن الأهمية الرئيسية في اكتشاف أن مقاييس التنبؤ بالعواطف اللاحقة قد تبالغ في تقدير الفهم العاطفي الحقيقي. من خلال تقييم سلسلة الاستدلال الكاملة، يكشف المؤلفون عن فجوات القدرة — وتحديدًا في توليد الاستدلال والتعرف على العواطف الإيجابية — والتي تغفلها نماذج التقييم ذات الخطوة الواحدة.

يشير العمل إلى أن النماذج اللغية الكبيرة الحالية لم تكتسب بعد القدرات المعرفية المطلوبة للتمييز العاطفي الدقيق، خاصة تلك التي تتضمن عزواً سببياً معقداً (السيطرة، المسؤولية) والحالات العاطفية الإيجابية. يكشف هذا الإطار عن النقاط العمياء للاعتماد فقط على دقة المخرجات، ويقدم أساسًا منهجيًا لتطوير نماذج وجدانية أكثر قابلية للتفسير معرفيًا.

القيود

يشير المؤلفون إلى عدة قيود:

• النطاق الثقافي: تقتصر البيانات على المشاركين المتحدثين بالإنجليزية في الولايات المتحدة والمملكة المتحدة، مما قد يحد من القدرة على التعميم في ثقافات أخرى.
• عدم توازن السرد: أدت عملية الاختيار الذاتي للأحداث إلى ميل نحو العواطف السلبية.
• تكلفة التدوين: تحد من مجموعة الشخص الثالث (500 سردًا) دقة التقديرات التوزيعية للتباين الذاتي.
• المساعدة من النماذج اللغوية الكبيرة: إن استخدام النماذج اللغية الكبيرة للمساعدة في صياغة السرد، رغم تخفيف أثره بالمراجعة، ينطوي على خطر إدراج تفاصيل دخيلة.