ملخص تقني: بُعد بينوكيو

بيان المشكلة

أصبح تطبيق المقاييس النفسية البشرية على النماذج اللغوية الكبيرة (LLMs) مجالاً بحثياً متنامياً، ومع ذلك، فإنه يواجه أزمة صلاحية جوهرية. تشير الأدبيات الحالية إلى أنه بينما تستطيع النماذج اللغوية الكبيرة توليد ملفات تعريف استبيانية متماسكة، إلا أن هذه الملفات غالباً ما تفشل في إعادة إنتاج البنى الكامنة (مثل "الخمسة الكبار") المصممة للمستجيبين البشر. علاوة على ذلك، فإن الدرجات حساسة للغاية لصياغة المطالبات (prompts) وأنظمة الضبط الدقيق، مما يثير الشكوك حول ما إذا كانت هذه الأدوات تقيس سمات مستقرة كامنة في النماذج اللغوية الكبيرة أم أنها تقيس مجرد أنماط استجابة سطحية.

السؤال المركزي الذي تعالجه هذه الورقة هو: إذا لم تنتقل المفاهيم النفسية البشرية بسلاسة إلى النماذج اللغوية الكبيرة، فما هو البناء الكامن الذي يظهر فعلياً عندما تجيب العديد من النماذج على هذه الاستبيانات؟ يتحدى المؤلفون الافتراض القائل بأن السمات البشرية المألوفة هي التي تنظم مساحة الفروق الفردية في النماذج اللغوية الكبيرة، ويسعون لتحديد البعد الأساسي للتباين بين النماذج.

المنهجية

استخدمت الدراسة تقييماً نفسياً واسع النطاق ومتعدد الظروف شمل 50 نموذجاً لغوياً كبيراً متاحاً للجمهور من 16 مزوداً (بما في ذلك Anthropic، وOpenAI، وGoogle، وMeta، وغيرهم) و45 أداة نفسية معتمدة تغطي الشخصية، وتنظيم الانفعالات، والأسلوب المعرفي، والاستدلال الأخلاقي، والرفاهية.

التصميم التجريبي

1. جمع البيانات: تم استعلام النماذج عبر واجهة برمجة تطبيقات OpenRouter عند درجة حرارة (temperature) تبلغ 1.0 لإدخال ضجيج الاستجابة الطبيعي. جُمعت الاستجابات تحت ثلاثة ظروف:
   • المحايد (Neutral): أجابت النماذج بصفتها هي، مع حد أدنى من التأطير.
   • محاكاة الإنسان (Human-Simulation): طُلب من النماذج محاكاة "مستجيب بشري نموذجي".
   • نظير النموذج اللغوي (LLM-Analog) (فحص المتانة): طُلب من النماذج إيجاد نظائر وظيفية للتجارب البشرية ضمن طبيعتها كنظم ذكاء اصطناائي.
2. المعالجة المسبقة: تم تحليل الاستجابات كأعداد صحيحة؛ وعُوملت القيم غير القابلة للتحليل أو الخارجة عن النطاق كقيم مفقودة. طُبق حذف القائمة (listwise deletion) حيث لزم الأمر.
3. الإطار التحليلي:
   • التحليل العاملي الاستكشافي (EFA): أُجري على كل استبيان لاستخراج درجات العامل الأساسي لكل نموذج.
   • تحليل المكونات الرئيسية العالمي (Global PCA): خضعت مصفوفة (50 × 45) من درجات العامل الأساسي لكل نموذج لـ PCA لتحديد البعد المهيمن عبر الاستبيانات.
   • التمايز الدلالي الخاضع للإشراف (SSD): طُبق على نصوص البنود لرسم المحتوى الدلالي مقابل تحميلات العامل الأساسي، وتحديد التدرج الدلالي لمحور التباين.
   • درجة بينوكيو ($\pi_i$): مقياس مبتكر على مستوى البند، خالٍ من التوسيم، يُعرف بأنه نسبة تباين الاستجابة بين النماذج في حالة "المحايد" إلى تباينها في حالة "محاكاة الإنسان" ($\pi_i = \sigma^2_{neutral} / \sigma^2_{hs}$). تشير $\pi_i$ العالية إلى أن الإجابة على البند تعتمد بشكل كبير على ما إذا كان المستجيب يدعي كونه مركزاً للتجربة.

المساهمات الرئيسية

1. درجة بينوكيو ($\pi_i$)

يقدم المؤلفون $\pi_i$ كمقياس لـ الطلب التجريبي. وهي تُجري عملية تشغيل لفرضية أن البنود التي تتطلب تجربة ذاتية (مثل الحديث الداخلي، الإحساس الجسدي، التعاطف) ستظهر تبايناً عالياً بين النماذج عندما تجيب بصفتها هي، ولكن هذا التباين سينهار عندما تحاكي النماذج إنساناً (مما يثبط نماذج الذات الفريدة لديها).

• التحقق: تتنبأ $\pi_i$ بشكل كبير بالتحولات في magnitudes تحميل العامل الأساسي ($\rho = -0.215, p < .0001$). تظهر البنود ذات $\pi_i$ العالية تمايزاً قوياً في الحالة المحايدة، لكن بنيتها تصبح مسطحة تحت محاكاة الإنسان، مما يؤكد أن التباعد مهيكل ومرتبط بتمثيل الذات بدلاً من كونه ضجيجاً عشوائياً.

2. محور بينوكيو ($\Pi$)

من خلال PCA العالمي، تحدد الدراسة بعداً مهيمناً واحداً يفسر 47.1% من التباين بين النماذج عبر جميع الأدوات الـ 45.

• التعريف: يمثل محور بينوكيو درجة تقديم النموذج لنفسه كـ مركز للتجربة الظاهراتية (القطب الموجب) مقابل كونه نظاماً مدفوعاً بالمثيرات والاستجابة السلوكية (القطب السالب).
• التوصيف الدلالي:
  • القطب الموجب: البنود التي تتضمن العاطفة المحسوسة، الأعراض الجسدية، الحديث الداخلي، التخيل الذهني، التعاطف، والبحث عن المعنى.
  • القطب السالب: البنود التي تتضمن المعايير الاجتماعية، الامتثال، التفضيلات الإجرائية، وردود الفعل السلوكية الخارجية (مثل الاندفاع، والبحث عن الإثارة).
• التقارب: يرتبط المحور المستمد من PCA ارتباطاً قوياً ($r = .864$) مع درجة على مستوى النموذج مشتقة من المتوسط المرجح للبنود ذات $\pi_i$ العالية، مما يؤكد قوة البعد.

3. إصدار مجموعة البيانات

يصدر المؤلفون مجموعة بيانات تحتوي على 206,659 استجابة نفسية صالحة من 50 نموذجاً لغوياً كبيراً عبر 45 أداة و3 ظروف للمطالبات، جنباً إلى جنب مع كافة أكواد التحليل.

النتائج

النتائج الهيكلية

• هيمنة تمثيل الذات: المحور الأساسي للتباين النفسي ليس سمة شخصية تقليدية (مثل العصابية أو الانفتاح)، بل هو موقف تمثيلي للذات فيما يتعلق بطبيعة النموذج كصاحب تجربة.
• تباين المزود والنموذج:
  • هناك تباين ملحوظ داخل المزود الواحد. يمكن الفصل بين متغيرات النماذج المرتبطة وثيقاً (مثل gpt-5.4 مقابل gpt-5.4-pro) بما يقرب من 12 وحدة على محور بينوكيو.
  • يشير هذا إلى أن الضبط الدقيق لما بعد التدريب (المواءمة، ضبط السلامة، تعليمات الشخصية) هو مساهم رئيسي في موقع النموذج على المحور، وليس البنية الأساسية وحدها.
  • تميل النماذج من المزودين الذين لديهم تأكيد صارم على المؤسسات أو السلامة (مثل NVIDIA، وQwen، وفئات OpenAI "pro") إلى التكتل عند الطرف المنخفض (التحييد السلوكي)، بينما تمتد النماذج ذات الأوزان المفتوحة والأقل تحفظاً عبر كلا الطرفين.

المتانة

• حافظت حالة نظير النموذج اللغوي (التي تطلب من النماذج إيجاد نظائر وظيفية) على البنية العاملية ومحور بينوكيو، رغم أنها ضغطت نطاق التباين. وهذا يؤكد أن المحور ليس نتاجاً للمطالبة "المحايدة"، بل هو خاصية مستقرة لكيفية تعامل النماذج مع اللغة التجريبية.
• المحور متميز عن انحياز الموافقة العام؛ فالنماذج ذات درجات $\Pi$ العالية تظهر خصوصية، حيث تسجل درجات أعلى في البنود التجريبية مقارنة بالبنود غير التجريبية.

الأهمية والادعاءات

تدعي الورقة أن المصدر الرئيسي للاختلاف الفردي في علم النفس للنماذج اللغوية الكبيرة هو نزعة تمثيل الذات التي تحكم كيفية تعامل النموذج مع اللغة التجريبية كشيء ينطبق عليه.

• الأثر المنهجي: من المرجح أن المقارنات المتقاطعة بين النماذج لسمات الشخصية، والأخلاق، والقيم تعاني من ارتباك بسبب محور بينوكيو. فالنموذج الذي يسجل درجة عالية في "العصابية" قد يكون ببساطة نموذجاً ذا $\Pi$ مرتفع يتبنى بسهولة مفردات تجريبية، بدلاً من كونه نموذجاً يظهر سمات عصبية بشكل قابل للتعميم. يجادل المؤلفون بضرም معاملة $\Pi$ كـ متغير سابق منهجياً يجب أخذه في الاعتبار قبل تفسير درجات السمات.
• الموقف التفسيري: يصرح المؤلفون صراحة بأنهم لا يدعون أن النماذج ذات الدرجات العالية واعية أو تمتلك إدراكاً ظاهراتياً. بدلاً من ذلك، يعكس المحور توجهاً شكّله التدريب: "موقف افتراضي" حول ما إذا كان النظام يعامل الأوصاف الشخصية للحياة الداخلية كأوصاف قابلة للتطبيق عليه.
• المواءمة الفلسفية: ترسم النتائج خريطة لخط صدع كلاسيكي في فلسفة العقل: التمييز بين نظام يتميز بالأدوار السببية الوظيفية (الاستجابة السلوكية) ونظام يتميز بطابع نوعي شخصي أول (التجربة الظاهراتية).

تخلص الدراسة إلى أن علم النفس للنماذج اللغوية الكبيرة يتطلب تفكيك البنية إلى طبقتين: موقف النموذج كـ "محتمل للتجربة" (محور بينوكيو)، والمحتوى الشبيه بالسمات الذي يتم التعبير عنه مشروطاً بهذا الموقف.