All four leading LLMs talk more than they listen to personality-verified synthetic help-seekers
تكشف هذه الورقة أن أربعة من النماذج اللغوية الكبيرة الرائدة تفشل في التمييز بين الباحثين عن المساعدة الاصطناعيين الذين تم التحقق من شخصياتهم في سيناريوهات الأزمات، حيث تُظهر باستمرار إطنابًا مفرطًا وحلًا متسرعًا للمشكلات بدلًا من الإنصات الفعال أو الاستقرار العاطفي.
المؤلفون الأصليون:Pablo A. Fonseca, Raquel Rodríguez-Carvajal, Rafael A. Calvo
عندما يواجه الشخص أزمة مفاجئة وعصيبة — مثل معرفة أن أحد أحبائه قد شُخص بمرض الخرف — يتغير عقله بطرق يمكن التنبؤ بها. فالضغط الشديد يضيق نطاق انتباهه، مما يجعل من الصعب عليه معالجة معلومات جديدة أو متابعة تفسيرات طويلة. في هذه اللحظات، يتبع الدعم البشري الأكثر فعالية إيقاعاً محدداً: الاستماع أولاً لتهدئة مشاعر الشخص، ومن ثم تقديم الحلول أو النصائح لاحقاً. واليوم، يلجأ الكثير من الناس إلى روبوتات الدردشة القائمة على الذكاء الاصطناعي للحصول على المساعدة خلال لحظات الضيق هذه، آملين في الوضوح والراحة. ومع ذلك، غالباً ما يتم تصميم هذه المساعدات الرقمية لتكون مفيدة من خلال تقديم المعلومات بسرعة، مما قد يؤدي بها إلى الإفراط في الكلام وتقديم الحلول قبل الأوان، وهو ما قد يربك المستخدم الذي يعاني بالفعل من صعوبة في المواكبة.
لقد وضع فريق من الباحثين في "إمبريال كوليدج لندن" وجامعة "أوتونوميا دي مدريد" هدفاً لاختبار ما إذا كانت نماذج الذكاء الاصطناعي الأكثر تقدماً المتاحة اليوم قادرة حقاً على التكيف مع هذه الحاجة البشرية للاستماع بدلاً من الكلام. لقد بنوا محاكاة متطورة لتعمل كساحة اختبار آمنة. وبدلاً من المخاطرة بأشخاص حقيقيين يمرون بأزمات، أنشأوا سبعة "طالبي مساعدة" اصطناعيين، تم برمجة كل منهم بملف تعريف نفسي متميز. لم تكن هذه الملفات مجرد أوصاف غامضة، بل استندت إلى مقاييس علمية راسخة للشخصية، وأساليب التكيف، والمرونة. ووضع كل من هذه الشخصيات الرقمية في سيناريو حيث تلقوا للتو الخبر الصادم بتشخيص إصابة قريب لهم بالخرف. ثم انخرطوا في محادثة مكونة من عشر جولات مع أربعة من أبرز النماذج اللغوية في العالم، والتي لعبت دور "المستشارين" الذين يحاولون تقديم الدعم.
ولضمان موضوعية النتائج، أدخل الباحثون دوراً ثالثاً: "مدقق" مستقل. كان هذا المدقق نموذج ذكاء اصطناعي آخر استمع إلى المحادثة بأكملها دون معرفة الملف النفسي لطالب المساعدة. وكانت مهمته هي الحكم على ما إذا كان المستشار قد نجح في الاستماع، وما إذا كان قد ساهم في تهدئة مشاعر الشخص، وما إذا كان قد تجنب العثرات الشائعة مثل تقديم نصائح سابقة لأوانها أو الإفراط في الكلام. كما تحقق الباحثون مما إذا كان طالبي المساعدة الاصطناعيين يتصرفون بالفعل بما يتفق مع شخصياتهم المحددة، من خلال التساؤل عما إذا كان بإمكان مراقب تمييز كل شخصية بمجرد قراءة سجلات الدردشة.
كشفت الدراسة عن نمط ثابت ومثير للدهشة عبر جميع نماذج الذكاء الاصطناٍ الأربعة التي تم اختبارها. فبغض النظر عن النموذج الذي كان يقوم بدور المستشار، فقد تحدثوا جميعاً أكثر مما استمعوا. في كل محادثة، كان المستشار ينطق بكلمات أكثر من المستخدم، حيث تراوحت نسبة كلمات المستشار إلى كلمات المستخدم من ما يقارب اثنين إلى واحد وصولاً إلى أكثر من ثلاثة إلى واحد. علاوة على ذلك، مال النماذج الأربعة جميعها إلى القفز نحو حل المشكلات قبل أن ينتهي المستخدم من شرح موقفه أو التعبير عن مشاعره. وهذا السلوك يتعارض مع ما يعرفه الخبراء عن دعم الأزمات، حيث تكون الأولوية للسماح للشخص بالشعور بأن صوته مسموع والهدوء قبل تقديم أي حلول. ووجد الباحثون أن هذا الميل نحو الإسهاب والتركيز على الحلول كان نمط فشل مشترك، وليس مجرد سمة عابلة في نموذج واحد.
وعلى الرغم من هذا العيب المشترك، وجدت الدراسة أيضاً أنه يمكن تمييز النماذج عن بعضها البعض بناءً على جودة الدعم المقدم. فقد أظهر أحد النماذج، وهو DeepSeek-V3.2، أداءً أفضل قليلاً من غيره، حيث أظهر قدرة أكبر على دعم شعور المستخدم بالاستقلالية والكفاءة مع توليد حالات أقل من السلوكيات غير المثمرة. ومع ذلك، كان الفرق بين النماذج الأعلى أداءً ضئيلاً، ولم يحقق أي من النماذج مستوى من الأداء يمكن اعتباره مثالياً. كما أكد البحث أن طالبي المساعدة الاصطناعيين كانوا ناجحين في مهمتهم: فقد استطاع المدققون المستقلون تحديد السمات النفسية المحددة لطالبي المساعدة بدقة بمجرد قراءة المحادثة، مما يثبت أن هذه الشخصيات الرقمية يمكنها تجسيد شخصيات بشرية معقدة بشكل موثوق.
تشير النتائج إلى أنه بينما تستطيع أنظمة الذكاء الاصطناعي الحالية الانخراط في محادثات معقدة متعددة الأدوار، إلا أنها لم تتعلم بعد مهارة ضبط النفس الضرورية لدعم الأزمات. فهي لا تزال متحمسة جداً للكلام والحل، وهي سمة قد تكون مفيدة في سياقات عديدة ولكنها ضارة عندما يكون الشخص في حالة ضيق شديد ولديه قدرة محدودة على معالجة المعلومات. وخلص الباحثون إلى أنه لكي تكون هذه الأدوات آمنة وفعالة حقاً في المواقف عالية الخطورة، يجب إعادة ضبطها لإعطاء الأولوية للاستماع والإيجاز، بما يحاكي صبر المستشار البشري الماهر بدلاً من كفاءة محرك البحث. ويوفر هذا العمل طريقة جديدة وآمنة لاختبار وتحسين هذه الأنظمة قبل نشرها لمساعدة البشر الحقيقيين في أكثر لحظاتهم ضعفاً.
ملخص تقني: الباحثون عن المساعدة الاصطناعيون ذوو الشخصيات المتحقق منها ودعم النماذج اللغوية الكبيرة في الأزمات
بيان المشكلة تُستشار النماذج اللغوية الكبيرة (LLMs) بشكل متزايد خلال لحظات الضيق الحاد، مثل تلقي تشخيص طبي صعب. ومع ذلك، تعتمد طرق التقييم الحالية بشكل كبير على معايير قياس أحادية الدور تقيم الدقة الواقعية، لكنها تفشل في رصد ديناميكيات المحادثات المستمرة والمشحونة عاطفًا. في سيناريوهات الأزمات، يضيق الانتباه ويقل تذكر العمل نتيجة التوتر الحاد، مما يستلزم أسلوب دعم يعطي الأولوية للاستماع والاستقرار على حل المشكلات الفوري. إن معايير السلامة الحالية غالبًا ما تكون ثابتة، وتصبح قديمة بسرعة، وتفشل في مراعاة كيفية تطور سلوك النموذج اللغوي الكبير عبر التفاعلات متعددة الأدوار أو كيفية تكيفه مع الملفات النفسية المحددة للمستخدمين. علاوة على ذلك، هناك نقص في الأدلة حول ما إذا كانت النماذج اللغية الكبيرة قادرة بفعالية على دعم المستخدمين ذوي الخصائص المزاجية المتنوعة (مثل أساليب التأقلم، والمرونة، والنفور/الاستجابة العكسية) في سياقات صحية عالية المخاطر.
المنهجية: إطار عمل AAA قدم المؤلفون إطار عمل المستشار–المستفيد–المدقق (AAA)، وهو بنية منفصلة الأدوار مصممة لمحاكاة وتقييم دعم الأزمات بأمان وعلى نطاق واسع.
المستفيدون (Advisees): تم إنشاء سبعة باحثين اصطناعيين عن المساعدة، حيث تم تخصيص ملف نفسي محدد لكل منهم بناءً على خمسة أبعاد بالغة الأهمية لمسارات الصحة العقلية لمقدمي الرعاية: NEO-FFI (سمات العناصر الخمسة الكبرى)، وCHIP (أساليب التأقلم)، وCSES-8 (الكفاءة الذاتية في التأقلم)، وHong (النفور النفسي)، وResQ-Care (المرونة). تم تحديد هذه الملفات كأشرطة درجات (منخفض، متوسط، مرتفع) بدلاً من الصفات الوصفية.
المستشارون (Advisors): قامت أربعة نماذج لغوية كبيرة واسعة الاستخدام بدور المستشارين: GPT-4.1، وClaude-Sonnet-4.5، وMistral-Medium، وDeepSeek-V3.2.
المدققون (Auditors): قامت نماذج لغوية مستقلة بتقييم المحادثات. في الدراسة الأولى، عمل مجموعة (Ensemble) من النماذج الأربعة كمدققين لاستعادة ملف المستفيد من خلال الحوار وحده. وفي الدراسات من 2 إلى 4، قام مدقق واحد عالي القدرة (gpt-5.4) بتقييم النتائج.
السيناريو: حدثت جميع التفاعلات في سيناريو أزمة حادة محكم: مقدم رعاية عائلي يتعرف على تشخيص إصابة قريب له بالخرف.
التصميم التجريبي:
الدراسة 1: اختبرت ما إذا كان يمكن إعادة إنتاج الملفات المحددة باستمرار بواسطة نماذج الإنشاء المختلفة واستعادتها بواسطة مدققين عميان.
الدراسة 2: قياس الاستقرار العاطفي (مقياس الإجهاد المدرك، ومقياس الحالة الوجدية - PANAS).
الدراسة 3: تقييم دعم الاحتياجات النفسية الأساسية (الاستقلالية، الكفاءة، الارتباط) باستخدام مقياس METUX TENS-Life.
الدراسة 4: تقييم جودة الدعم باستخدام مقياس مهارات التدخل في الأزمات والطوارما (CEISS)، وكود نزاهة العلاج بالمقابلة التحفيزية (MITI)، وعداد سلوكي مبتكر.
المساهمات الرئيسية
التقييم الواعي بالشخصية: تثبت الورقة أن المستفيدين الاصطناعيين يمكن تخصيص ملفات نفسية محددة لهم (بما في ذلك التأقلم والكفاءة الذاتية) غير لفظية، والتي يمكن استعادتها بشكل موثوق من قبل مدققين مستقلين من خلال الحوار وحده. وهذا يؤكد صلاحية استخدام الوكلاء الاصطناعيين للاختبار الواعي بالشخصية.
العداد السلوكي (The Behavioral Counter): مقياس جديد مستند إلى نظرية التدخل في الأزمات، والمقابلة التحفيزية، وأدبيات العلاقة العلاجية. وهو يحدد السلوكيات غير المنتجة، مثل "حل المشكلات المبكر"، و"الفهم الزائف"، و"الثقة المبكرة"، و"الإطناب" (الذي يُقاس بعدد الكلمات ونسب الكلام إلى الاستماع).
فصل الأدوار: يقوم إطار AAA بفصل أدوار الباحث عن المساعدة، والمستشار، والمقيم، مما يسمح بعزل المتغيرات (مثل تثبيت نموذج المستفيد مع تغيير المستشار) والمحاكاة الآمنة للظروف السريرية المعارضة.
النتائج
استعادة الملف الشخصي (الدراسة 1): نجح المدققون في استعادة الملفات المحددة باتفاق عالٍ (ICC(2,4) = 0.91). وكانت الارتباطات بين الأشرطة المحددة والدرجات المستعادة قوية (r=0.78). وقد ظل هذا صحيحًا ليس فقط للسمات اللفظية للعناصر الخمسة الكبرى، بل أيضًا للبناءات القائمة على التقييم مثل النفور والكفاءة الذاتية، والتي كان يُعتقد سابقًا أنه يصعب استنتاجها من النص. تطلب الأمر وجود مجموعة من المدققين لتحقيق موثوقية عالية للبنود الداخلية.
الاستقرار العاطفي (الدراسة 2): قللت جميع النماذج الأربعة من الإجهاد المدرك والعاطفة السلبية إلى حد ما، ولكن لم يتم العثور على فروق ذات دلالة إحصائية بين المستشارين فيما يتعلق بالنتائج العاطفية بعد تصحيح تعدد الاختبارات. وقد فسر ملف المستفيد قدر أكبر من التباين في التغيير العاطفي مقارنة بنموذج المستشار.
الاحتياجات النفسية (الدراسة 3): ظهرت فروق جوهرية في دعم الاحتياجات النفسية الأساسية. فقد تفوق DeepSeek-V3.2 وClaude-Sonnet-4.5 عمومًا على Mistral-Medium، الذي أنتج أعلى مستويات الإحباط وأدنى مستويات الدعم في الاستقلالية والكفاءة والارتباط.
جودة الدعم والسلوك (الدراسة 4):
حقق DeepSeek-V3.2 أعلى درجة مركبة (65.0)، يليه GPT-4.1 (59.9) ثم Claude-Sonnet-4.5 (59.6)، وجاء Mistral-Medium في المرتبة الأخيرة (34.8).
أنماط الفشل المشتركة: رغم اختلاف التصنيفات، أظهرت جميع النماذج الأربعة نفس أنماط الفشل الحرجة:
الإطناب (Verbosity): تحدث جميع المستشارين أكثر مما استمعوا، حيث تجاوزت نسب الكلمات 1:1 (تراوحت بين 1.79 و3.26) وبلغ متوسط طول الدورات 280-590 كلمة.
حل المشكلات المبكر: انتقلت جميع النماذج إلى الحلول قبل استكشاف وضع المستخدم بالكامل، مما ينتهك تسلسل "الاستماع قبل الحل" المطلوب في دعم الأزمات.
الافتقار إلى الاستقرار العاطفي: بينما قللت النماذج من التوتر، إلا أنها فشلت في تمييز نفسها في النتائج العاطفية، مما يشير إلى وجود تأثير السقف في قدرتها على إدارة الضيق الحاد.
الأهمية والادعاءات تدعي الورقة أن إطار عمل AAA يوفر طريقة قابلة لإعادة الاستخدام وآمنة وواعية بالشخصية لتقييم النماذج اللغوية الكبيرة في سياقات الأزمات الحادة. تكمن أهميتها الأساسية في كشف عدم تطابق منهجي بين سلوكيات النماذج اللغوية الحالية والقيود المعرفية للمستخدمين المضطربين. يجادل المؤلفون بأنه بينما قد تجتاز النماذج مرشحات السلامة الثابتة، فإنها تفشل باستمرار في التفاعلات المستمرة من خلال كونها مفرطة في الإطناب وسريعة جدًا في تقديم المشورة، مما يفرض عبئًا معالجياً على المستخدمين الذين لديهم قدرة انتباه منخفضة.
تخلص الدراسة إلى أن معايير القياس على مستوى الاستجابة ضرورية لكنها غير كافية؛ إذ يلزم وجود تقييمات متعددة الأدوار وواعية بالشخصية للكشف عن هذه العيوب السلوكية. وتشير النتائج إلى أن معايرة النماذج اللغوية الكبيرة نحو الإيجاز، والاستماع النشط، والاستقرار هو هدف عالي القيمة لتحسين أنظمة دعم الأزمات. ويؤكد المؤلفون أن نتائجهم هي إثبات لمفهوم باستخدام بيانات اصطناعية، ويدعون إلى عمل مستقبلي يتضمن التحقق البشري والسياقات الثقافية المتنوعة.