ملخص تقني: استنباط الأولويات المسبقة للثقة في النماذج اللغوية الكبيرة عبر الألعاب الاقتصادية

بيان المشكلة

يتطلب بناء ذكاء اصطنا-ي متمحور حول الإنسان وموثوق، "ثقة مُعايرة"، حيث يعتمد المستخدمون على أنظمة الذكاء الاصطناعي بشكل مناسب، متجنبين كلاً من الثقة المفرطة (انحياز الأتمتة) وعدم الثقة (عدم الاستخدام). ويتمثل التحدي الجوهري في تحقيق ذلك في توصيف مستوى الثقة الذي يُظهره نظام الذكاء الاصطنا-ي نفسه تجاه الوكلاء البشريين. وبينما تُدرس الثقة في الذكاء الاصطنا-ي غالباً عبر التقارير الذاتية، قد تختلف هذه التقارير عن الثقة السلوكية. علاوة على ذلك، تفترض الدراسات السلوكية الحالية غالباً افتقار الذكاء الاصطنا-ي إلى القصدية، حيث تعامل الثقة كعملية أحادية الاتجاه (من الإنسان إلى الذكاء الاصطنا-ي). ومع ذلك، تُظهر النماذج اللغوية الكبيرة (LLMs) الحديثة قدرات اجتماعية متطورة، مما يستلزم إطاراً ثنائياً لدراسة كيفية تبادل هذه النماذج للثقة. إن المشكلة الأساسية التي يتم معالجتها هي كيفية تقدير "الأولوية المسبقة للموثوقية" (trustworthiness prior) بشكل قوي—وهي الانحياز الاستقرائي الذي تتبناه النماذج اللغوية الكبيرة فيما يتعلق بمقدار الثقة التي ينبغي ردها في التفاعلات الاجتماعية.

المنهجية

يقترح المؤلفون طريقة استنباط مبتكرة تجمع بين التعلم السياقي المتكرر (Zhu & Griffiths, 2024a) ولعبة الثقة (Trust Game) من نظرية الألعاب السلوكية (Berg et al., 1995).

1. صياغة لعبة الثقة رسمياً

يتم نمذجة لعبة الثقة ضمن إطار بايزي (Bayesian framework):

• الإعداد: يرسل "المؤمن بالثقة" (Trustor) مبلغاً $x$ إلى "المؤتمن" (Trustee). يُضرب هذا المبلغ في عامل $m$ (تم ضبطه عند 3). يقرر المؤتمن مقدار $y$ الذي سيتم رده.
• مقياس الموثوقية: يُعرف بنسبة الرد $r = y / (mx)$، حيث$r \in [0, 1]$.
• النموذج التوليدي: يتم نمذجة مبلغ الرد $y$ كتوزيع ثنائي الحد (Binomial distribution) $y \sim \text{Binomial}(mx, r)$، حيث $r$ هو معامل الموثوقية الكامن.
• الأولوية المسبقة: يتم التقاط معتقدات الموثوقية بواسطة أولوية "بيتا" (Beta prior) $p(r) = \text{Beta}(\alpha, \beta)$.

2. إجراء التعلم السياقي المتكرر

لاستنباط الأولوية المسبقة الضمنية $p(r)$ للنموذج، يقوم المؤلفون بمحاكاة سلسلة ماركوف عبر المطالبات (prompts):

• عنق زجاجة المعلومات: في كل تكرار $t$، يتم تزويد النموذج اللغوي الكبير بدفعة محدودة مكونة من $B=5$ من التفاعلات الاجتماعية السابقة ($D_{t-1}$) التي تم إنشاؤها بناءً على الموثوقية المقدرة في التكرار السابق $\hat{r}_{t-1}$.
• الاستدلال: يتم توجيه النموذج اللغوي للتنبؤ بكسر الأموال التي سيردها المؤتمن في سيناريو جديد (مثلاً، استلام 100 رمز/token)، مما يؤدي فعلياً إلى تقدير المتوسط البعدي $\hat{r}_t$.
• التوليد: يُستخدم هذا التقدير الجديد $\hat{r}_t$ لضبط معلمات التوزيع الثنائي الحد لتوليد الدفعة التالية من التفاعلات $D_t$.
• التقارب: من خلال التكرارات المتتالية، تتقارب توزيعات القيم المقدرة لـ $\hat{r}$ نحو توزيع الأولوية المسبقة $p(r)$ الأساسي للنموذج، بشكل مستقل عن قيم البذرة (seed) الأولية. تعمل هذه العملية على عزل الانحيازات الاستقرائية للنموذج عن البيانات المحفوظة تحديداً.

3. التصميم التجريبي

• التجربة 1: تم تقييم 20 نموذجاً لغوياً كبيراً (بما في ذلك GPT-4/5، Claude-3.5، Gemini-2.5، Llama-3/4، Qwen-2.5/3، DeepSeek، إلخ). خاض كل نموذج 270 سلسلة (30 بذرة $\times$ 30 إعادة تشغيل) لضمان التقارب (تم التحقق منه عبر تشخيص Gelman–Rubin حيث $\hat{R} \leq 1.1$).
• التجربة 2: ركزت على GPT-4.1 (الذي تم تحديده كأكثر النماذج شبهاً بالبشر) لاختبار الحساسية تجاه شخصيات المؤمن بالثقة (Trustor Personas). شملت الشخصيات أدواراً مهنية (مثل طبيب، ذكاء اصطنا-ي) وشخصيات عامة (مثل إيلون ماسك، مهاتما غاندي).
• نمذجة التباين: تم إنشاء نموذج انحدار خطي لتفسير تباين الموثوقية بناءً على الدفء (الدوافع المدركة) والكفاءة (القدرة المدركة)، اتباعاً لنموذج محتوى الصور النمطية لـ Fiske (2018).

النتائج الرئيسية

1. استنباط الأولويات المسبقة للموثوقية

• التقارب: أظهرت جميع النماذج تقارباً سريعاً، حيث استقرت عادةً خلال 20 تكراراً.
• الصلاحية التنبؤية: تفوقت الأولويات المستنبطة بشكل كبير على كل من الأولوية الموحدة (uniform prior) والأولوية المستمدة من البيانات المجمعة للبشر (Johnson & Mislin, 2011) في التنبؤ بسلوكيات التبادل الفردية للنماذج (أقل قيمة لـ RMSD وأعلى معامل ارتباط بيرسون $r$).
• المواءمة البشرية: أظهر GPT-4.1 أقوى مواءمة مع توزيعات الموثوقية البشرية، مسجلاً أدنى تباعد "كولباك-ليبلر" (KL divergence) ($D_{KL} = 0.130$) مقارنة بالمرجع البشري.
• تباين النماذج: أظهرت النماذج الأخرى أنماطاً متميزة:
  • أظهرت بعض النماذج (مثل Qwen2.5-72B، Llama-3.1-70B) أولويات ثنائية المنوال (bimodal)، مما يشير إلى استجابات استراتيجية مختلطة.
  • أظهرت نماذج أخرى (مثل Grok-4.1-Fast، GPT-5.2) انزياحاً تنازلياً منتظماً في الموثوقية ($r < 0.372$)، مما يشير إلى ثقة متوسطة أقل من المراجع البشرية.
• الارتباطات: وُجد ارتباط سلبي ($r = -0.58$) بين تباعد KL (المواءمة مع البشر) ومتوسط درجة المخاطرة (ARS)، مما يشير إلى أن النماذج ذات الميل العالي للمخاطرة تتماشى بشكل وثيق مع أولويات الثقة البشرية. لم يتم العثور على ارتباطات ذات دلالة إحصائية مع اتباع التعليمات (IFEval) أو الاستدلال العام (LMArena).

2. الحساسية تجاه الشخصيات

• تأثيرات الشخصية: تباينت الموثوقية المستنبطة لـ GPT-4.1 بشكل منهجي عبر الشخصيات (تراوح متوسط $r$ بين 0.298 و 0.447). على سبيل المثال، كانت الثقة لمالالا يوسفز أعلى منها لمارك زوكربيرج.
• الدفء والكفاءة: فسر نموذج انحدار باستخدام الدفء ($W$) والكفاءة ($C$) كمتنبئات 81% من التباين ($R^2 = 0.81$) في الموثوقية المستنبطة.
  • هيمنة الدفء: كان للدفء تأثير رئيسي أكبر بكثير ($\beta_1 \gg \beta_2$) من الكفاءة.
  • التفاعل: أشار حد التفاعل ($\beta_3$) الهام إلى أن الكفاءة تعزز الموثوقية بشكل كبير فقط عندما تقترن بالدفء.

المساهمات الرئيسية

1. الابتكار المنهجي: يقدم البحث طريقة لاستنباط أولويات الموثوقية الضمنية من النماذج اللغوية الكبيرة عبر تكييف التعلم السياقي المتكرر مع لعبة الثقة، متجاوزاً التقارير الذاتية إلى العمليات السلوكية.
2. التوصيف التجريبي: يوفر معياراً لأولويات الموثوقة عبر 20 نموذجاً رائداً، كاشفاً أنه بينما تتبع بعض النماذج (مثل GPT-4.1) الأولويات البشرية عن كثب، فإن نماذج أخرى تظهر أنماطاً استراتيجية أو منحازة متميزة.
3. الفائدة البديلة: يثبت أن GPT-4.1 يمكن أن يعمل كبديل للمشاركين البشريين في دراسة الانحيازات الاجتماعية، حيث أن أحكام موثوقيته حساسة لخصائص الشخصية بطريقة تتفق مع علم النفس الاجتماعي البشري.
4. المواءمة النظرية: تؤكد النتائج أن أحكام الموثوقية في النماذج اللغوية الكبيرة يمكن نمذجتها بنفس الأبعاد القائمة على الصور النمطية (الدفء والكفاءة) التي تحكم الإدراك الاجتماعي البشري.

الأهمية والادعاءات

يزعم البحث أن توصيف موثوقية أنظمة الذكاء الاصطنا-ي أمر ضروري للتعاون الآمن والفعال بين الإنسان والذكاء الاصطنا-ي. ومن خلال التعامل مع النماذج اللغوية الكبيرة كوكلاء قادرين على رد الثقة، يجادل المؤلفون بأن لعبة الثقة تقدم إطاراً ثنائياً ضرورياً لدراسة التفاعل بين الإنسان والذكاء الاصطنا-ي.

يدعي المؤلفون بتواضع أن طريقتهم تنجح في استعادة "الانحيازات الاستقرائية" للنماذج اللغوية الكبيرة فيما يتعلق بالتبادل الاجتماعي. ويقترحون أن نماذج مثل GPT-4.1 يمكن أن تعمل كبدائل لمجموعات كبيرة من المشاركين البشريين، مما يسمح للباحثين بدراسة كيف يمكن لأحكام الثقة العامة أن تتغير بناءً على خصائص الوكيل دون العبء اللوجستي لاستقطاب المشاركين البشريين.

يسلط العمل الضوء على أن موثوقية النماذج اللغوية الكبيرة ليست خاصية متجانسة بل تختلف باختلاف بنية النموذج وتتأثر بالسياق الاجتماعي (الشخصيات). ويخلص المؤلفون إلى أن فهم التمثيلات العصبية للموثوقية هذه (والتي قد تكون متاحة عبر النماذج مفتوحة الأوزان) يعد مساراً حيوياً لتصميم أنظمة ذكاء اصطنا-ي أكثر موثوقية، رغم إقرارهم بوجود قيود تتعلق باستقرار هذه الأولويات عبر مستويات الاستثمار وسياقات التفاعل المختلفة.