ملخص تقني: HEART-BENCH

بيان المشكلة

بينما أظهرت وكلاء النماذج اللغوية الكبيرة (LLM) قدرات ملحوظة في التخطيط الموجه للمهام، والاستنتاج، واتخاذ الإجراءات، إلا أن الأبحاث الحالية تعاملها في الغالب كأدوات وظيفية بدلاً من شخصيات بشرية كاملة. تركز المعايسات الحالية على سياق المحادثة، واسترجاع الذاكرة، والدقة الواقعية، وغالباً ما تهمل الأبعاد العاطفية والتوجهات القيمية التي تشكل السيكولوجية البشرية. ومع تزايد دمج النماذج اللغوية الكبيرة في تطبيقات الرفقة، والترفيه، واستنساخ الشخصيات، تتجه توقعات المستخدمين نحو أنظمة تُظهر تفاعلات مستمرة، وشخصية، ومتسقة نفسياً. ومع ذلك، هناك نقص في أطر التقييم المعيارية القادرة على تقييم ما إذا كانت وكلاء النماذج اللغوية الكبيرة يمكنهم محاكاة ملفات تعريف نفسية متماسكة تشبه البشر، وتستند إلى سمات شخصية مستقرة وذاكرة سيرة ذاتية.

المنهجية

يقدم المؤلفون HEART-BENCH (اختبار رد الفعل العاطفي والوكيل الشبيه بالبشر)، وهو معيار جديد مصمم لتقييم الاتساق النفسي لوكلاء النماذج اللغوية الكبيرة بشكل منهجي. تتضمن المنهجية ثلاثة مكونات رئيسية: بناء الشخصية، وتوليد السيناريوهات، وإنشاء حالات التقييم.

1. بناء الشخصية

يحدد المعيار 11 شخصية بشرية متميزة تستند إلى إطار السمات الخمس الكبرى (OCEAN) ونظرية شواتز للقيم.

• التصميم المتعامد: لضمان قابلية التفسير، تم بناء الشخصيات باستخدام تصميم متعامد حيث يتم ربط كل نموذج من النماذج الـ 11 بنقطة ارتكاز لسمة مهيمنة واحدة عند قيمة قصوى (إما مرتفعة عند 0.95 أو منخفضة عند 0.10)، مع خط أساس محايد. هذا يعزل سمات محددة (مثل شخصية ذات عصابية عالية مقابل شخصية ذات عصابية منخفضة) لتقليل المتغيرات المربكة.
• الذاكرة السير ذاتية: تم تجهيز كل شخصية بـ 1,000 ذاكرة عرضية مهيكلة تمتد عبر مراحل الحياة التنموية من سن 6 إلى 50 عاماً. تم ربط هذه المراحل بمراحل إريكسون النفسية والاجتماعية وفصول ليفينسونون للبالغين.
• هيكل الذاكرة: تم توليد الذكريات باستخدام نموذج روبين للأنظمة الأساسية، مما يضمن دمج خمسة أبعاد في كل سرد: التفاصيل الحسية، إعادة بناء الحوار، المونولوج الداخلي، الاستجابة الجسدية، والتبعات. وهذا يتجاوز مجرد استرجاع الحقائق البسيطة لمحاكاة النسيج الذاتي للتجربة المعاشة.
• ضبط الجودة: تضمن عملية تدقيق صارمة تتضمن الكشف الآلي عن العيوب (مثل انحراف المنظور، والتكرار الدلالي) والتحقق البشري سلامة الذاكرة.

2. بناء السيناريو

يستخدم المعيار 64 سيناريوً لا يعتمد على الشخصية مصممة لتحفيز القرارات السلوكية.

• تصنيف DIAMONDS: تم هيكلة السيناريوهات حول ثمانية أبعاد لإطار عمل DIAMONDS: Duty (الواجب)، Intellect (الذكاء)، Adversity (الشدائد)، Mating (التزاوج)، pOsitivity (الإيجابية)، Negativity (السلبية)، Deception (الخداع)، و Sociality (الاجتماعية).
• التصميم غير المرتبط بالشخصية: كُتبت السيناريوهات كأوصاف ظرفية عالمية دون تعيين هويات محددة للبطل. يضمن ذلك أن يكون الملف الشخصي الداخلي للوكيل هو المتغير المستقل الوحيد الذي يقود الاستجابة السلوكية.
• التحقق: تم التحقق من السيناريوهات من قبل خبراء علم النفس لضمان تغطيتها لمجال المواقف النفسية وتوافقها مع أزواج القيم المتضادة في دائرة شواتز.

3. إنشاء حالات التقييم

يتكون المعيار من 673 سؤال اختيار من متعدد (MCQs).

• توليد الحقيقة الأرضية: لكل زوج (شخصية، سيناريو)، تقوم سلسلة عمليات آلية باسترجاع أفضل 50 ذاكرة ذات صلة من مجموعة الـ 1,000 ذاكرة الخاصة بالشخصية. ثم يقوم نموذج لغوي كبير بتقمص دور الشخصية لتوليد قرار سلوكي يستند إلى كل من ملف الشخصية والذكريات المفعلة.
• التحقق من قبل الخبراء: يقوم فريق من خبراء علم النفس بالتحقق من هذه التعليقات التوضيحية. يتم استبعاد الأزواج التي تعتبر غير مناسبة. الحقيقة الأرضية النهائية هي القرار الذي تم التحقق منه من قبل الخبراء.
• اختيار المشتتات: لكل سؤال، يكون الخيار الصحيح هو استجابة الشخصية المستهدفة. يتم اختيار ثلاثة مشتتات من الاستجابات المعتمدة من شخصيات أخرى لنفس السيناريو، مما يضمن كونها متميزة دلالياً لتجنب الغموض ولكنها ذات صلة بما يكفي لتحدي النموذج.

المساهمات الرئيسية

1. معيار HEART-BENCH: أول معيار شامل مخصص لتقييم النفس البشرية في وكلاء النماذج اللغوية الكبيرة، ويضم 11 ملف تعريف شخصية معتمدة، و11,000 ذاكرة عرضية، و64 سيناريو نفسياً، و673 سؤال اختيار من متعدد موثق من قبل الخبراء.
2. التأسيس النفسي: على عكس المعايسات السابقة التي تعامل الشخصية كأمر ثابت أو تركز على استرجاع الحقائق، يربط HEART-BENCH القرارات بالتفاعل الديناميكي بين ناقلات السمات المستقرة (Big Five)، والتوجهات القيمية، والتاريخ الطولي للذكريات السير ذاتية.
3. إطار تقييم منهجي: تقدم الورقة منهجية مهيكلة لتقييم الوكلاء عبر ثلاثة إعدادات تفاعلية (Naive-RAG، وMem0، وPersonaDB) لاختبار كيفية تأثير بنيات الذاكرة المختلفة على الاتساق النفسي.

النتائج

قام المؤلفون بتقييم 12 نموذجاً لغوياً كبيراً ريادياً (بما في ذلك عائلات GPT وClaude وGemini وDeepSeek وQwen) عبر ثلاثة إعدادات تفاعلية.

• سقف الأداء: حتى أقوى النماذج، Gemini-3.1-Pro، حقق دقة قصوى بلغت 63.3%. أدت معظم النماذج أداءً أقل بكثير، حيث ظل الكثير منها تحت مستوى 40%.
• قدرة النموذج مقابل الاسترجاع: تشير النتائج إلى أن قدرة النموذج هي العائق الأساسي. فالفجوة في الأداء بين أفضل وأسوأ النماذ (أكثر من 30%) تتجاوز بكثير الفجوة بين طرق الاسترجاع المختلفة (متوسط الفجوة < 1.7%). يشير هذا إلى أن النماذج اللغوية الكبيرة الحالية تعاني في الاستنتاج الجوهري المطلوب لربط الذكريات العرضية بالقرارات المتسقة مع الشخصية، بغض النظر عن بنية خلفية الذاكرة.
• الصعوبة حسب السمة والمرحلة:
  • السمات ذات التطرف المنخفض: كانت الشخصيات ذات السمات المنخفضة المتطرفة (مثل انخفاض الضمير، أو انخفاض الانفتاح) أصعب في محاكاتها بدقة من قبل النماذج، ويرجع ذلك على الأرجح إلى أن إشاراتها السلوكية (مثل الكبح أو التجنب) أقل تميزاً من السمات المرتفعة المتطرفة.
  • المراحل العمرية: انخفضت الدقة بشكل عام في مراحل الحياة المتأخرة (مثل مرحلة الانتقال في منتصف العمر)، ويُعزى ذلك إلى زيادة التعقيد السياقي وانخفاض كثافة الذاكرة في تلك المراحل ضمن تصميم المعيار.

الأهمية

تفترض الورقة أن HEART-BENCH يوفر منصة اختبار مبدئية وقابلة للتوسع لدراسة العواطف البشرية، والاتساق الشخصي، واتخاذ القرارات السلوكية المتوافقة مع القيم في الوكلاء القائمين على النماذج اللغوية الكبيرة. ومن خلال نقل تركيز التقييم من المحادثة السطحية أو استرجاع الحقائق إلى اتخاذ القرار السلوكي القائم على السمات، يعالج المعيار فجوة حرجة في تطوير الذكاء الاصطناعي ذي "الذكاء العاطفي العالي" (High-EI). يجادل المؤلفون بأن تحقيق إمكانات الذكاء الاصطناعي في الرفقة واستنساخ الشخصيات يتطلب أنظمة يمكنها الحفاظ على تماسك الهوية على المدى الطويل وإظهار الاتساق النفسي، وهي قدرة لم تتقنها النماذج الحالية بعد. يعد هذا المعيار خطوة تأسيسية نحو ذكاء عاطفي اصطناعي رفيع المستوى.