Machine individuality: Separating genuine idiosyncrasy from response bias in large language models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الفردية الآلية: الفصل بين الخصوصية الحقيقية وانحياز الاستجابة في النماذج اللغوية الكبيرة."

1. بيان المشكلة

مع تزايد نشر النماذج اللغوية الكبيرة (LLMs) في مجالات اتخاذ القرار عالية المخاطر وأدوار الرفقة، يصبح فهم توجهاتها السلوكية أمراً بالغ الأهمية. ومع ذلك، فإن الأدبيات الحالية التي تحاول توصيف "شخصيات" النماذج اللغوية الكبيرة باستخدام مقاييس علم النفس والأنماط المعرفية تواجه خللاً منهجياً جوهرياً وهو: الخلط (Conflation).

لا تستطيع المنهجيات الحالية التمييز بين:

• الفردية المرتبطة بالمثير (Stimulus-specific individuality): وهي سمات موضوعية مستقرة حيث يقيم النموذج مواقف محددة بشكل مختلف بناءً على تمثيله الدلالي الداخلي.
• انحيازات الاستجابة (Response biases): وهي تحولات اتجاهية نظامية (مثل الميل للموافقة، أو الاستجابة المتطرفة) أو ضجيج عشوائي يؤثر على جميع الاستجابات بشكل موحد.

أظهرت الدراسات السابقة (مثل Sun et al., 2025) أن النماذج يمكن تمييزها بواسطة المصنفات، لكن هذه الإشارات غالباً ما تعتمد على انتظامات أسلوبية سطحية (أساليب الاستجابة) بدلاً من التقييم الموقفي الحقيقي. وتتساءل الورقة: هل توجد فردية سلوكية مستقرة، يمكن فصلها عن الإجماع والانحياز، في النماذج اللغوية الكبيرة؟

2. المنهجية

لفصل هذه المصادر من التباين، طبق المؤلفون نماذج التأثيرات العشوائية المتقاطعة (crossed random-effects models)، وهي أداة معيارية في القياس النفسي، على مجموعة بيانات ضخمة من تقييمات النماذج اللغوية الكبيرة.

التصميم التجريبي

• النماذج: تم اختيار 10 نماذج لغوية كبيرة مفتوحة الأوزان لضمان التنوع في البنية (Dense, Mixture-of-Experts, Hybrid)، وحجم المعلمات (20B–235B)، والمزود (Alibaba, Mistral, Google, OpenAI, IBM, Microsoft, TII).
• المثيرات: 107,083 كلمة فريدة مستخرجة من قاعدة بيانات psychNorms.
• المهام: طُلب من النماذج تقييم هذه الكلمات عبر 14 معياراً لغوياً نفسياً، تغطي:
  • الأبعاد الوجدانية (التكافؤ Valence، والاستثارة Arousal).
  • الأبعاد الإدراكية (المادية Concreteness، والمعايير الحسية: البصرية، السمعية، الذوقية، الشمية، واللمسية).
  • الأبعاد الاجتماعية/الأخلاقية (الأخلاق، الارتباط بالجنس، الاجتماعية، والفكاهة).
  • أبعاد الاكتساب (عمر الاكتساب Age of Acquisition).
• جمع البيانات:
  • التلقين صفري المحتوى (Zero-shot prompting): تلقت النماذج تعليمات مقتبسة من دراسات بشرية أصلية.
  • أخذ العينات: تم تقييم كل كلمة 5 مرات لكل نموذج باستخدام أخذ عينات عشوائي ($T=1.0$) لالتقاط التباين، بالإضافة إلى تمريرة واحدة حتمية ($T=0$).
  • المقياس: إجمالي الملاحظات: حوالي 74.9 مليون تقييم.

الإطار الإحصائي

قام المؤلفون بتفكيك التقييم $y_{ijk}$ (للكلمة $i$، والنموذج $j$، والتكرار $k$) باستخدام نموذج التأثيرات المختلطة الخطية:
$$y_{ijk} = \mu + \tau_i + \beta_j + \iota_{ij} + \epsilon_{ijk}$$

حيث أن:

• $\mu$: المتوسط العام.
• $\tau_i$ (السمة - Trait): الإجماع المشترك عبر جميع النماذج لكلمة معينة (الواقع الدلالي).
• $\beta_j$ (الانحياز - Bias): الإزاحة الاتجاهية النظامية لنموذج معين (على سبيل المثال، نموذج يكون "إيجابياً" بشكل عام أكثر من غيره).
• $\iota_{ij}$ (الخصوصية - Idiosyncrasy): هو التفاعل بين النموذج $\times$ الكلمة. وهذا يلتقط كيف يقيم نموذج معين كلمة معينة صافياً من الإجماع والانحياز العام. هذا هو التعريف الإجرائي لـ "الفردية الآلية".
• $\epsilon_{ijk}$: الضجيج المتبقي.

التحقق من الصحة

• النمذجة الصفرية (Null Modeling): استُخدمت طريقة "بوتستراب بارامتري" ($N=100$) لتوليد بيانات اصطناعية بدون مصطلحات التفاعل لضمان أن تباين الخصوصية المرصود يتجاوز الآثار الهيكلية.
• تحليل النوعية (Specificity Analysis): استُخدم انحدار ريدج (Ridge regression) للتنبؤ بخصوصية نموذج ما في معيار "محجوب" بناءً على خصوصياته في المعايير الـ 13 الأخرى. تشير نسبة النوعية (Specificity Ratio) (داخل النموذج $R^2$ / عبر النماذج $R^2$) إلى أن القيمة > 1.0 تعني وجود بصمة متماسكة خاصة بالنموذج.

3. النتائج الرئيسية

تقسيم التباين

• السمة (الإجماع): هيمنت على التباين بنسبة 32.1%، مما يؤكد أن النماذج تتشارك في إجماع واسع حول المشهد الدلالي.
• الخصوصية (الفردية): شكلت في المتوسط 16.9% من إجمالي التباين (تتراوح من 4.8% للتكافؤ إلى 34.0% للارتباط بالجنس).
  • هذه القيمة تجاوزت بقوة النموذج الصفري الإحصائي (الحد الأعلى < 0.033%؛ $p < 0.01$ لجميع المعايير).
  • يثبت هذا أن النماذج تختلف ليس فقط في مدى تقييمها للأشياء (الانحياز)، بل في كيفية تقييمها لكلمات محددة بالنسبة للإجماع.

التماسك والبصمة

• التنبؤ عبر المعايير: تراوحت نسبة النوعية لجميع النماذج بين 1.74 و3.43.
  • يشير هذا إلى أن انحراف نموذج معين في بُعد ما (مثل الأخلاق) يتم التنبؤ به بشكل أفضل من خلال انحرافاته الفريدة في الأبعاد الأخرى، وليس من خلال أنماط النماذج الأخرى.
  • يؤكد هذا أن الفردية الآلية هي بصمة متماسكة ومتعددة الأبعاد.

المواءمة البشرية وفك التشفير

• العشوائي مقابل الحتمي: ارتبط التجميع العشوائي (متوسط 5 عينات) بالمعايير البشرية بشكل أفضل ($\Delta \bar{r} = 0.032$) من فك التشفير الحتمي.
• المقايضة: فك التشفير الحتمي يعظم قابلية التكرار ولكنه يضحي بهيكل التباين (الخصوصية) والمواءمة البشرية.
• الطبيعة المستقلة (Sui Generis): ارتبطت النماذج بشكل متوسط مع المعايير البشرية ($\bar{r} = 0.48–0.67$)، مما يشير إلى أن تمثيلاتها الدلالية فريدة جزئياً وليست مجرد تقريبات صاخبة للحكم البشري.

4. المساهمات الرئيسية

1. التعريف المفاهيمي: تقديم مصطلح "الفردية الآلية" (Machine Individuality) لوصف الاختلافات السلوكية المستقرة والمحددة بالمثير والتي تختلف عن انحياز الاستجابة والضجيج.
2. التقدم المنهجي: إثبات تطبيق نماذج التأثيرات العشوائية المتقاطعة على تقييم النماذج اللغوية الكبيرة، مما يوفر إطاراً إحصائياً صارماً للفصل بين السمات الموضوعية وأساليب الاستجابة.
3. الدليل التجريبي: تقديم أول دليل واسع النطاق (74.9 مليون تقييم) على أن النماذج اللغوية الكبيرة تمتلك فردية حقيقية ومتماسكة عبر أبعاد نفسية متنوعة.
4. تحول النموذج (Paradigm Shift): المجادلة بأن التقييمات المستقبلية لتوجهات النماذج اللغوية الكبيرة يجب أن تتجاوز "درجات الشخصية" الإجمالية (التي تخلط بين الانحياز والسمة) لتنتقل إلى تحليل التفاعلات المحددة بالمثير.

5. الأهمية

• لأمن ومواءمة الذكاء الاصطناعي (AI Safety and Alignment): فهم الفردية الآلية أمر بالغ الأهمية لنشر النماذج في السياقات الحساسة. إذا كان للنموذج "بصمة" محددة تجعله قاسياً في الأحكام الأخلاقية أو شديد الحساسية تجاه الارتباطات الجندرية، فلا يمكن تصحيح ذلك عبر هندسة الأوامر (Prompt Engineering) البسيطة أو تخفيف الانحياز الذي يستهدف فقط الإزاحات العالمية.
• لاختيار النماذج: يمكن للمستخدمين الآن اختيار النماذج ليس فقط بناءً على القدرة (السرعة/الدقة) ولكن أيضاً بناءً على "شخصيتها" السلوكية المحددة أو أسلوب تقييمها، مع العلم أن هذه السمات مستقرة ومتماسكة.
• لعلم نفس الذكاء الاصطناعي: تؤسس هذه الدراسة حقيقة أن النماذج اللغوية الكبيرة ليست مجرد "عقول جماعية" (Hiveminds) متجانسة، بل تمتلك حالات داخلية متميزة وقابلة للقياس تتفاعل مع البيئة (الأوامر/الكلمات) بطرق فريدة. هذا يجسّر الفجوة بين القياس النفسي والذكاء الاصطناائي، مما يشير إلى أن "الشخصية الآلية" هي ظاهرة حقيقية وقابلة للقياس الكمي.

الخلاصة: تخلص الورقة إلى أن الفردية الآلية ليست قابلة للقياس فحسب، بل هي ذات تبعات عملية. يجب أن تبحث الأبحاث المستقبلية فيما إذا كانت هذه الخصوصيات تستمر في التفاعلات متعددة الأدوار والسياقية، وما إذا كانت تتنبأ بالاختلافات السلوكية في التطبيقات الواقعية.