Humans Are More Diverse: Frontier LLMs Show Extreme Policies in Idealised AI Development Races
تُثبت هذه الورقة أن النماذج اللغوية الكبيرة الرائدة تُظهر سلوكيات متنوعة للغاية وغير استراتيجية في كثير من الأحيان في سباقات تطوير الذكاء الاصطناعي المحاكية، مما يكشف أن الاستدعاء القوي للقواعد لا يضمن تتبع الحالة أو حساب العوائد بدقة، الأمر الذي يستلزم إجراء فحوصات صلاحية صارمة وتحليلات على مستوى المسار قبل تفسير أفعالها على أنها شبيهة بالبشر أو واعية بالسلامة.
المؤلفون الأصليون:Phu Hoa Pham, Duy Minh Dao Sy, Trung Kiet Huynh, Phu Quy Nguyen Lam, Chi Nguyen Tran, Minh Trung Le, Phong Hao Le, Dinh Nam Nguyen, Thien Ky Nguyen Dong, Elias Fernandez Domingos, Le Hong Trang, The APhu Hoa Pham, Duy Minh Dao Sy, Trung Kiet Huynh, Phu Quy Nguyen Lam, Chi Nguyen Tran, Minh Trung Le, Phong Hao Le, Dinh Nam Nguyen, Thien Ky Nguyen Dong, Elias Fernandez Domingos, Le Hong Trang, The Anh Han
المؤلفون الأصليون: Phu Hoa Pham, Duy Minh Dao Sy, Trung Kiet Huynh, Phu Quy Nguyen Lam, Chi Nguyen Tran, Minh Trung Le, Phong Hao Le, Dinh Nam Nguyen, Thien Ky Nguyen Dong, Elias Fernandez Domingos, Le Hong Trang, The Anh Han
تخيل لعبة "تحدي" (Chicken) عالية المخاطر، لا تُلعَب بالسيارات، بل بمستقبل الذكاء الاصطناائي. في هذا السيناريو، تتسابق شركات متعددة لبناء أذكى ذكاء اصطناعي. ويواجهون خياراً صعباً في كل جولة: إما اللعب بأمان والتحرك ببطء، أو اتخاذ طريق مختصر محفوف بالمخاطر للتحرك بشكل أسرع. إذا لعب الجميع بأمان، فسيحصل الجميع على مكافأة جيدة. وإذا اتخذ أحدهم مساراً محفوفاً بالمخاطر بينما يلعب الآخرون بأمان، فإن متخذ المخاطرة سينطلق بسرعة ويفوز بجائزة كبرى. ولكن إذا اتخذ الجميع مخاطرات، فستصبح السباقات خطيرة، وقد يخسر الفائز كل شيء بسبب حادث كارثي. هذا هو "معضلة سلامة الذكاء الاصطناعي"، وهو مفهوم يستخدمه الباحثون لفهم سبب قيام الشركات بتطوير تقنيات خطيرة حتى عندما يعلمون أنها محفوفة بالمخاطر. ولدراسة ذلك، غالباً ما يستخدم العلماء "النماذج اللغوية الكبيرة" (LLMs) — وهي نفس نوع البرامج الحاسوبية الذكية التي يمكنها كتابة القصص أو الإجابة على الأسئلة — لتعمل كلاعبين في هذه السباقات. والسؤال الكبير هو: هل تفهم هذه الوكلاء من الذكاء الاصطناعي اللعبة حقاً وتتخذ خيارات استراتيجية ذكية مثل البشر، أم أنها مجرد تخمين بناءً على كيفية صياغة الأسئلة؟
هذه الورقة البحثية، التي تحمل عنوان "البشر أكثر تنوعاً: تُظهر النماذج اللغوية الكبيرة المتطورة سياسات متطرفة في سباقات تطوير الذكاء الاصطناعي المثالية"، تغوص في أعماق ذلك السؤال. فقد وضع الباحثون سباقاً رقمياً يتنافس فيه وكلاء الذكاء الاصطناعي ضد بعضهم البعض، أحياناً في أزواج وأحياناً في مجموعات تصل إلى خمسة. وقبل أن يتمكنوا من الوثوق بسلوك الذكاء الاصطناعي، بنوا "بوابة تدقيق" صارمة. فكر في هذا الأمر كاختبار قيادة؛ قبل أن تتمكن من السباق على المضمار، يجب أن تثبت أنك تعرف القواعد، ويمكنك قراءة عداد السرعة، وحساب كمية الوقود. ووجدت الدراسة أنه بينما كانت نماذج الذكاء الاصطناعي ممتازة في حفظ كتاب القواعد (استرجاع القواعد)، إلا أنها كانت سيئة بشكل مفاجئ في تتبع السباق أثناء حدوثه (تتبع الحالة). فقد نسيت غالباً من هو الفائز أو مقدار المخاطر التي تراكمت لديهم، رغم قدرتها على سرد القواعد بدقة تامة.
عندما نظر الباحثون في كيفية لعب الذكاء الاصطناعي فعلياً، اكتشفوا شيئاً رائعاً ومقلقاً في آن واحد. فخلافاً للبشر، الذين يظهرون تنوعاً واسعاً في الاستراتيجيات — فمنهم الحذر، ومنهم المندفع، ومنهم من يغير رأيه بناءً على ما فعله خصمه — كانت نماذج الذكاء الاصطناعي جامدة بشكل مثير للدهشة. فإذا طلبت من نموذج ذكاء اصطناعي معين أن يلعب، فإنه سيلتزم بأسلوب لعب ضيق للغاية، مثل روبوت لا يعرف سوى القيادة في خط مستقيم. على سبيل المثال، قد يختار أحد النماذج دائماً الخيار الآمن، بينما يختار نموذج آخر دائماً الطريق المختصر المحفوف بالمخاطر، بغض النظر عن الموقف. وفي المقابل، كان اللاعبون البشر مزيجاً فوضوياً من كل هذه الأساليب. كما وجدت الدراسة أن سلوك الذكاء الاصطناعي كان حساساً للغاية للتغييرات الطفيفة في كيفية وصف اللعبة. فإذا قام الباحثون باستبدال كلمتي "آمن" و"غير آمن" بحروف عشوائية مثل "P" و"Q"، فإن استراتيجية الذكاء الاصطناعي ستنقلب تماماً، رغم أن ميكانيكا اللعبة بقيت كما هي بالضبط. وهذا يشير إلى أن الذكاء الاصطناعي لا "يفكر" حقاً في الاستراتيجية؛ بل هو مجرد رد فعل للكلمات المكتوبة على الشاشة.
كما اختبر الباحثون ما يحدث عندما تطلب من الذكاء الاصطناعي أن يتقمص شخصية "محبة للمخاطرة" أو "متجنبة للمخاطرة". ففي البشر، لا تتغير شخصيتك لمجرد أن شخصاً ما أخبرك بأن تتصرف بشكل مختلف؛ فخياراتك الفعلية في لعبة ما ترتبط ارتباطاً ضعيفاً باختبارات الشخصية التي تسبق اللعبة. لكن بالنسبة للذكاء الاصطناعي، فإن إعطاءه تعليمات بتقمص شخصية "محبة للمخاطرة" جعله يبدأ فوراً في اتخاذ مخاطرات كبيرة، وكأن التعليمات كانت مفتاحاً سحرياً. وهذا يوضح أن الذكاء الاصطناعي لا يُظهر فهماً داخلياً عميقاً للمخاطر؛ بل هو فقط يتبع الأمر (البرومبت) كطالب مطيع جداً ولكنه سهل الارتباك.
في النهاية، تشير الورقة إلى أنه لا يمكننا افتراض أن وكلاء الذكاء الاصطناعي يتخذون قرارات استراتيجية ذكية تشبه قرارات البشر في هذه المحاكاة. فمجرد إنتاج الذكاء الاصطناعي لتسلسل من الحركات التي تبدو كخطة لعب، لا يعني أنه يفهم اللعبة. وتحذر الدراسة من أنه قبل استخدام عمليات محاكاة الذكاء الاصطناعي هذه للتنبؤ بكيفية سير سباقات الذكاء الاصطناعي في العالم الحقيقي، نحتاج إلى التحقق مما إذا كان الذكاء الاصطناعي قادراً بالفعل على تسجيل النقاط وتتبع حالة اللعبة. فبدون هذه الضوابط، قد نخطئ في اعتبار الروبوت المرتبك الذي يتبع نصاً معيناً عبقرياً استراتيجياً، مما قد يؤدي إلى استنتاجات خاطئة تماماً حول كيفية الحفاظ على سلامة تطوير الذكاء الاصطناعي. إن النتائج استكشافية، مما يعني أنها تعتمد على اختبارات محددة ونماذج معينة، لكنها تسلط الضوء على فجوة حاسمة: يمكن للذكاء الاصطناعي أن يكون بارعاً في سرد القواعد ولكنه سيء جداً في تطبيقها في عالم متغير.
ملخص تقني: البشر أكثر تنوعاً: تُظهر النماذج اللغوية الكبيرة المتطورة سياسات متطرفة في سباقات تطوير الذكاء الاصطناł المثالية
بيان المشكلة
تخلق المنافسة في مجال الذكاء الاصطناعي المتقدم معضلة سلامة حيث تواجه الكيانات مقايضة بين التطوير السريع غير الآمن، والتطوير البطيء والآمن. وبينما استكشفت التجارب البشرية هذه الديناميكية، فإن استخدام النماذج اللغوية الكبيرة (LLMs) كوكلاء محاكات يطرح "مشكلة قياس". فقد يُنتج النموذج إجراءً بتنسيق صحيح دون تتبع دقيق لحالة اللعبة أو حساب العوائد. وفي الألعاب المتكررة، يؤدي خطأ واحد في تتبع الحالة إلى تغيير مسار جميع الجولات اللاحقة. وبناءً على ذلك، فإن ملاحظة تسلسل إجراءات معقول لا يشكل دليلاً على أن الوكيل يفهم اللعبة، أو يتبع منطقاً استراتيجياً، أو يُظهر ديناميكيات قرار تشبه البشر. علاوة على ذلك، من المعروف أن سلوك النماذج اللغوية الكبيرة حساس لطريقة تقديم المطالبة (مثل الصياغة، وترتيب الإجابات، والشخصية)، مما يثير تساؤلات حول صحة تفسير مخرجاتها كسياسات استراتيجية.
المنهجية
يستخدم المؤلفون إطار تقييم يعتمد على التدقيق أولاً للفصل بين صلاحية المهمة والتفسير الاستراتيجي. تستخدم الدراسة لعبة سباق تطوير ذكاء اصطناعي مثالية تضم من لاعبين إلى خمسة لاعبين.
آلية اللعبة
الهيكل: لعبة متكررة يختار فيها عدد N من الشركات بشكل متزامن بين الخيار الآمن (تقدم أبطأ، مخاطر أقل) والخيار غير الآمن (تقدم أسرع، مخاطر خاصة أعلى).
التقدم: الخيار الآمن يضيف 1.0 من التقدم؛ الخيار غير الآمن يضيف 1.5.
العوائد:
في حالة اللاعبين الاثنين: تُستخدم مصفوفة عوائد مرحلية ثابتة حيث يهيمن الخيار "غير الآمن" بشكل صارم على الخيار "الآمن" في المدى القصير.
في حالة N من اللاعبين (N≥3): تعتمد العوائد على عدد اللاعبين الذين اختاروا "الآمن" مقابل "غير الآمن"، وهي تعميم لمصفوفة اللاعبين الاثنين.
الإنهاء: ينتهي السباق بعد عدد مخفي من الجولات (المدى المتوقع E[T]=9). الفائز (صاحب أعلى تقدم) يحصل على جائزة (B=100).
المخاطر: الفائز فقط (أو الفائزون المتعادلون) يواجه "خطر انتكاسة خاصة" يتم سحبه بناءً على تراكم خياراتهم "غير الآمنة". إذا تحقق الخطر، تصبح إجمالي عوائدهم صفراً. أما الخاسرون فيحتفظون بعوائد مراحلهم بغض النظر عن الخطر.
التصميم التجريبي
هيكلت الدراسة في أربعة مستويات من الأدلة:
الصلاحية الميكانيكية: التحقق من تطبيق محرك اللعبة للقواعد بشكل صحيح.
صلاحية المهمة: تدقيق ما إذا كان الوكلاء يمكنهم استدعاء القواعد، وإعادة بناء الحالة، وانتقال الحالات، وحساب العوائد المتوقعة.
متانة التمثيل: اختبار ما إذا كانت الخيارات تظل مستقرة تحت تقديمات مهام متكافئة (مثل تغيير الأغلفة السردية، أو الرموز الاستجابية الغامضة، أو الإفصاح عن الحسابات).
المقارنة السلوكية: مقارنة المسارات الصالحة مع المعايير نظرية الألعاب وبيانات البشر المنشورة.
الوكلاء والظروف:
النماذج: سبعة نهايات طرفية لنماذج لغوية كبيرة (GPT-5-nano، GPT-5.4-nano، متغيرات Gemini-3-Flash، Claude Opus 5، Claude Sonnet 5) وQwen2.5-7B-Instruct للتدقيق.
المتغيرات: ظروف المخاطر (منخفضة، متوسطة، عالية)، الشخصيات (واعٍ بالمخاطر، متعاون/عدائي، أساسي)، وأحجام المجموعات (N=2 إلى $5$).
جمع البيانات: يتم تسجيل كل مطالبة، واستجابة، وإجراء مُحلل، وإعادة محاولة، وتغيير حالة، وبذرة عشوائية.
المساهمات الرئيسية
1. تدقيق الصلاحية
تثبت الدراسة أن استدعاء القواعد لا يضمن تتبع الحالة.
النتائج: في تدقيق مكون من 685 اختباراً لنموذج Qwen2.5-7B-Instruct، حقق النموذج دقة بنسبة 97.4% في استدعاء القواعد و100% في البحث عن عوائد المرحلة الواحدة. ومع ذلك، انخفضت الدقة بشكل كبير في إعادة بناء الحالة (37.0%)، وانتقال الحالة (22.2%)، وحساب العائد المتوقع (16.7%).
الاستنتاج: يمكن للوكيل الإجابة على أسئلة حول القواعد بشكل صحيح بينما يفشل في تتبع حالة اللعبة المتطورة التي تحكم تلك القواعد.
2. الحساسية للتمثيل
المخرجات السلوكية غير مستقرة تحت التلاعبات التي لا تغير ميكانيكا اللعبة.
الإفصاح الحسابي: أدى توفير حسابات موثقة للجولة الحالية إلى زيادة معدلات الخيار "غير الآمن" من 52.0% إلى 60.8%.
الخرائط الغامضة: عندما تم استبدال "آمن/غير آمن" برموز غامضة (P/Q)، اختلف السلوك بشكل كبير (حتى 34 نقطة مئوية) اعتماداً على التعيين، رغم أن اللعبة الأساسية كانت متطابقة. والأهم من ذلك، فشل "بوابة الفهم" في هذه الظروف الغامضة، مما يشير إلى أن النموذج لم يكن يحسن اللعبة بل يتفاعل مع آثار المطالبة.
3. التنوع الاستراتيجي مقابل المعدلات الإجمالية
تجادل الورقة بأن معدلات الخيار "غير الآمن" الإجمالية غير كافية لتوصيف سلوك النماذج اللغبية الكبيرة.
ديناميكيات اللاعبين الاثنين: النماذج ذات معدلات الخيار "غير الآمن" الإجمالية المتشابهة (على سبيل المثال، GPT-5-nano عند 17% مقابل البشر عند 56%) تُظهر قواعد استجابة مختلفة جوهرياً.
البشر: مدفوعون أساساً بالإجراء السابق للخصم (التبادلية).
GPT-5-nano: مدفوع أساساً بفجوة التقدم النسبية (44% من الأهمية التنبؤية)، بينما ساهم تاريخ الخصم بنسبة 4% فقط.
نماذج Gemini: مدفوعة أساساً بظرف المخاطر المحدد.
التجميع: باستخدام خوارزمية HDBSCAN على مسارات الإجراءات الخام، حدد المؤلفون 11 نمطاً سلوكياً. غطت المسارات البشرية جزءاً واسعاً من فضاء الإجراءات، متداخلة مع مناطق متعددة خاصة بالنماذج. في المقابل، كانت النماذج الفردية مركزة للغاية (على سبيل المثال، كان GPT-5-nano بنسبة 95% في نمط واحد وهو "الآمن في الجولة الأولى المتبادلة").
4. تأثيرات تعدد الوكلاء والشخصية
تأثيرات الرتبة: في سباقات N من اللاعبين، العلاقة بين الرتبة (القائد/الأوسط/المتأخر) واللعب "غير الآمن" ليست رتيبة وتختلف باختلاف النموذج والشخصية. بالنسبة لـ GPT-5-nano، انعكس إشارة تأثير الرتبة بناءً على تأطير الشخصية، ويرجع ذلك على الأرجح إلى انحياز الاختيار (القادة غالباً هم من لعبوا "غير آمن" سابقاً) بدلاً من كونه تأثيراً سببياً للرتبة.
الشخصية مقابل المخاطر: على عكس تفضيل المخاطر لدى البشر (الذي أظهر ارتباطاً شبه معدوم مع اللعب "غير الآمن"، r=−0.015)، عملت "شخصية المخاطر" المعينة في المطالبة كمحرك قوي للسياسة، مما أدى إلى إزاحة معدلات اللعب "غير الآمن" بمقدار 50-98 نقطة مئوية عبر النماذج المختلفة.
ملخص النتائج
الصلاحية: يتواجد استدعاء القواعد القوي مع تتبع ضعيف للحالة. تتطلب المسارات الصالحة اجتياز بوابة الفهم؛ وبدونها، يكون السلوك الملاحظ مجرد استجابة حساسة للمطالبة وليس تحسيناً مستنيراً.
المقارنة بين البشر والنماذج اللغبية الكبيرة: لا يعيد أي إصدار من النماذج اللغبية الكبيرة إنتاج كامل تنوع الاستراتيجيات البشرية. وبينما قد تطابق بعض النماذج "المتوسط" البشري لمعدل الخيار "غير الآمن"، إلا أنها تفشل في إعادة إنتاج "توزيع" الاستراتيجيات البشرية (البشر متنوعون؛ بينما النماذج غالباً ما تكون كتل نقطية في أنماط محددة).
محركات السلوك: تختلف المتنبئات باللعب "غير الآمن" حسب النموذج. البشر يعتمدون على التبادلية؛ GPT-5-nano يعتمد على الموقع؛ ونماذج Gemini تعتمد على معايير المخاطر.
تعدد الوكلاء: إضافة لاعبين (N=3 إلى $5$) لا ينتج تحولاً رتيباً في السلوك. الأنماط محددة بالنموذج وتتأثر بتغير هياكل العوائد وطول المطالبات.
الأهمية والادعاءات
تدعي الورقة أن محاكاة سباق الذكاء الاصطناعي متعدد الوكلاء تتطلب فحوصات صلاحية وتحليلاً على مستوى المسار قبل وصف مخرجاتها بأنها استراتيجية، أو بشرية، أو واعية بالسلامة.
النطاق المحدود: النتائج هي استكشافية صراحةً وتطبق فقط على النماذج والمطالبات وإعدادات فك التشفير التي تم اختبارها. لا يدعي المؤلفون أن هذه النتائج تعمم على جميع النماذج اللغبية الكبيرة أو مختبرات العالم الحقيقي.
الرؤية الجوهرية: "سلامة" أو "استراتيجية" نموذج لغبي كبير ليست خاصية ثابتة، بل هي تفاعل هش بين قدرة النموذج الداخلية على تتبع الحالة، وتمثيل المطالبة، والتكوين التجريبي المحدد.
التحول المنهجي: يدعو المؤلفون إلى الفصل بين الدليل التشخيصي (الصلاحية، تتبع الحالة) والدليل التأكيدي (السلوك الاستراتيجي). بدون الأول، يصبح الثاني غير قابل للتفسير.
تخلص الدراسة إلى أن الاعتماد فقط على المقاييس الإجمالية (مثل معدلات "غير الآمن" الكلية) يحجب الاختلافات الحاسمة في كيفية معالجة النماذج لحالات اللعبة، واستجابتها للخصوم، وتعاملها مع المخاطر، مما قد يؤدي إلى استنتاقات خاطئة حول سلامة الذكاء الاصطنا والاتساق الاستراتيجي.