ملخص تقني: هل تتمتع الوكلاء المعتمدون على النماذج اللغوية الكبيرة (LLM) باتساق سلوكي؟

بيان المشكلة

أدى التقدم السريع في النماذج اللغوية الكبيرة (LLMs) إلى تحفيز "أطروحة الاستبدال": وهي الفرضية القائلة بأن الوكلاء الاصطناعيين يمكن أن يعملوا كبدائل صالحة للمشاركين البشريين الحقيقيين في البحوث الاجتماعية والسلوكية. وبينما أظهرت الأعمال السابقة أن النماذج اللغوية الكبيرة يمكنها توليد استجابات استقصائية تتماشى مع الخصائص الديموغرافية أو الآراء الإجمالية للبشر، إلا أن هناك سؤالاً أكثر جوهرية لا يزال دون معالة: هل يحافظ الوكلاء المعتمدون على النماذج اللغية الكبيرة على اتساق سلوكي تجريبي عبر الإعدادات التجريبية المختلفة؟ وتحديداً، إذا تم تعيين ملف تعريف كامن لوكيل ما (مثل تفضيلات وسمات شخصية محددة)، فهل يعكس سلوكه الحواري في التفاعلات متعددة الوكلاء ذلك الملف بأمانة وفقاً للنماذج السلوكية البشرية الراسخة؟ تجادل هذه الورقة بأن المحاذاة السطحية غير كافية؛ إذ يجب أن تظهر الوكلاء "اتساقاً سلوكياً" — أي القدرة على الحفاظ على الاتساق المدفوع بالسمات عبر الديناميكيات الاجتماعية المعقدة متعددة الأدوار — ليكونوا بدائل قابلة للاستخدام.

المنهجية

يقترح المؤلفون إطار عمل تجريبي مبتكر مصمم لفحص الاتساق السلوكي للوكلاء المعتمدين على النماذج اللغوية الكبيرة من خلال اختبار حالاتهم الداخلية مقابل تفاعلاتهم الخارجية. يتكون إطار العمل من خمس مراحل متتالية:

1. اختيار الموضوع: يتم اختيار تسعة مواضيع، مصنفة حسب مستويات الجدلية ($C \in \{1, 2, 3\}$)، تتراوح من المنخفضة (مثل "كوكا كولا مقابل بيبسي") إلى العالية (مثل "الهجرة").
2. بناء الوكيل: يتم إنشاء وكلاء بملفات تعريف ديموغرافية محكومة (العمر، الجنس، الموقع، التعليم، والبيئة الحضرية) وتعليمات انحياز صريحة ($B \in \{1, 2, 3\}$) فيما يتعلق بالموضوع.
3. استخراج الحالة الكامنة: قبل التفاعل، يتم استخلاص التفضيل ($P$) والانفتاح ($O$) لكل وكيل.
   • $P$: درجة (1-5) تشير إلى الموافقة على عبارة موضوع ما.
   • $O$: درجة (1-9) مشتقة من أسئلة (نعم/لا) تتعلق بالتقبل للأفكار الجديدة والتأثير الاجتماعي (بناءً على سمة "الانفتاح" من عناصر الشخصية الخمسة الكبرى).
4. تزاوج الوكلاء: يتم تزاوج الوكلاء ميكانيكياً لتشكيل جميع مجموعات التوليفات الممكنة من $(P, O, B)$، مما يضمن تنوع التفاعلات (على سبيل المثال، التفضيلات المتوافقة مقابل المتباعدة، ومستويات الانفتاح المتفاوتة).
5. المحادثة والتقييم: تشارك الأزواج في حوارات متعددة الأدوار. ويقوم نموذج لغوي (بصفته حكماً) بتسجيل درجة الاتفاق ($A$) في كل دور على مقياس من 1 إلى 5.

تختبر الدراسة سلوك الوكيل مقابل ست فرضيات سلوكية بشرية محددة مستمدة من أدبيات علم النفس الاجتماعي. تتنبأ هذه الفرضيات بكيفية تأثير متغيرات مثل فجوات التفضيل، تعليمات الانحياز، المشاعر المشتركة، وجدلية الموضوع، والانفتاح على نتائج الاتفاق. ويميز إطار العمل بين الاختبارات "السطحية" (الاتجاهات الإجمالية) والاختبارات "المعمقة" (الاتساق التفصيلي المشروط).

المساهمات الرئيسية

• إطار عمل للاتساق: تقدم الورقة طريقة منهجية لتقييم الوكلاء المعتمدين على النماذج اللغوية الكبيرة ليس فقط على محاذاة الاستجابة الثابتة، بل على الاتساق السلوكي الديناميكي عبر الحالات الداخلية والسياقات الخارجية المتغيرة.
• دليل تجريبي على عدم الاتساق: تقدم الدراسة دليلاً قوياً على أن النماذج اللغوية الكبيرة الحالية تفشل في الحفاظ على الاتساق السلوكي عند تعرضها لاختبارات متعددة المتغيرات ومعقدة، حتى عندما تجتاز الفحوصات الإجمالية البسيطة.
• أنماط الفشل المنهجي: يحدد المؤلفون أنماطاً محددة للفشل، مثل عدم القدرة على الحفاظ على الخلاف رغم وجود تفضيلات متضاربة، وعدم الاتساق في ترجمة المشاعر المشتركة إلى اتفاق.

النتائج التجريبية

اختبرت الدراسة نماذج من عائلات Qwen3 وLlama3 وGemma3 عبر أحجام بارامترات مختلفة (من 0.6B إلى 32B). وتكشف النتائج عن نمط ثابت: الاختبارات السطحية تنجح، لكن الاختبارات المعمقة تفشل.

1. فجوة التفضيل تقلل الاتفاق (نجاح): على المستوى الإجمالي، أظهرت الأزواج ذات التفضيلات المتوافقة ($gap=0$) اتفاقاً أعلى من تلك ذات التفضيلات المتباعدة، وهو ما يتوافق مع النماذج السلوكية البشرية.
2. عدم تماثل تعليمات الانحياز (فشل): بينما نجحت تعليمات الانحياز في تعزيز الاتفاق بين الوكلاء المتوافقين، إلا أنها فشلت في تعزيز الاختلاف بين الوكلاء ذوي فجوات التفضيل القصوى. فبدلاً من الاستقطاب، غالباً ما تتقارب الوكلاء المنحازة، مما يكشف عن عدم تماثل في كيفية تأثير الانحياز على السلوك.
3. مشاعر مشتركة، وجهات متباينة (فشل): تتنبأ النماذج البشرية بأن المشاعر السلبية المشتركة (على سبيل المثال، كلا الوكيل يكرهان الموضوع بشدة) يجب أن تؤدي إلى مستويات اتفاق مماثلة للمشاعر الإيجابية المشتركة. أظهرت النتائج انحيازاً اتجاهياً: فالوكلاء ذوو التفضيلات الإيجابية المشتركة اتفقوا بشكل أكبر بكثير من ذوي التفضيلات السلبية المشتركة، حتى عندما كانت فجوات التفضيل متطابقة.
4. الجدلية عند التفضيل المشترك (فشل): عندما يتشارك الوكلاء نفس التفضيلات، لا ينبغي أن تؤثر جدلية الموضوع على مستويات الاتفاق. ومع ذلك، تباينت درجات الاتفاق بشكل كبير بناءً على جدلية الموضوع، مما يشير إلى أن الحالات الداخلية للوكلاء لا تظل مستقرة عبر سياقات المواضيع المختلفة.
5. الانفتاح يزيد الاتفاق (نجاح): على المستوى الإجمالي، ارتبط الانفتاح المشترك الأعلى بزيادة الاتفاق، وهو ما يطابق التوقعات السلوكية البشرية.
6. الانفتاح المنخفض وفجوة التفضيل الكبيرة (فشل): تم انتهاك الفرضية القائلة بأن الوكلاء "العنيدين" (ذوي الانفتاح المنخفض) الذين لديهم آراء متضاربة يجب أن ينتجوا أدنى مستويات الاتفاق. في كثير من الحالات، أنتجت أزواج الانفتاح المنخفض مع فجوات التفضيل الكبيرة اتفاقاً أعلى مما هو متوقع، وفشلت في إظهار الاستعصاء المتوقع.

لوحظت حالات الفشل هذه عبر عائلات النماذج وأحجامها، مما يشير إلى أن عدم الاتساق السلوكي هو خاصية عامة في بنيات النماذج اللغوية الكبيرة الحالية وليس مجرد نتاج لنموذج أو حجم معين.

الأهمية والادعاءات

تخلص الورقة إلى أنه بينما يمكن للوكلاء المعتمدين على النماذج اللغوية الكبيرة محاكاة الاستجابات البشرية بنجاح في الإعدادات المعزولة والثابتة (مثل الاستطلاعات)، فإنهم يفشلون في الحفاظ على الاتساق المدفوع بالسمات في التفاعلات الديناميكية متعددة الوكلاء. وبالتالي، فإن "أطروحة الاستبدال" محدودة للغاية: قد يحاكي الوكلاء مظهر السلوك الاجتماعي البشري في الإجمال، لكنهم يفتقرون إلى الاتساق التجريبي الأساسي المطلوب لإعادة إنتاج النماذج السلوكية البشرية بأمانة في السيناريوهات المعقدة.

يدعي المؤلفون أنه كلما أصبحت النماذج السلوكية أكثر تعقيداً أو دقة، زاد فشل النماذج اللغوية الكبيرة في محاكاة السلوك البشري. ويمثل هذا فجوة حرجة في قدرتها على العمل كبدائل للمشاركين الحقيقيين في بحوث الخاضعين للتجارب البشرية، لا سيما للدراسات التي تعتمد على استقرار السمات الشخصية وديناميكيات الخلاف الاجتماعي. لا تقترح الورقة تطبيقات جديدة أو حلولاً معمارية مستقبلية، بل تعمل كتقييم تحذيري للحالة الراهنة للوكلاء الاصطناعيين.