OptimismBench: Forecasting Bias and the Alignment Effect in Language Model Judgment
تقدم الورقة البحثية OptimismBench، وهو إطار عمل مبتكر يستخدم أزواج النجاح/الفشل المعكوسة للكشف عن الانحياز الاتجاهي المنهجي في النماذج اللغوية الكبيرة، كاشفةً أن معظم النماذج تظهر "ميلًا نحو التفاؤل" مدفوعًا بمرحلة ضبط التوافق ما بعد التدريب بدلاً من بنية النموذج أو اللغة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسأل مجموعة من أصدقائك الأذكياء والمثقفين لتخمين نتيجة رمي عملة معدنية، أو نجاح شركة ناشئة، أو ما إذا كانت ستمطر غداً. تسألهم: "ما هي احتمالات أن يسير هذا الأمر بشكل جيد؟" ثم، وبشكل منفصل، "ما هي احتمالات أن يسير هذا الأمر بشكل سيء؟". في عالم مثالي، إذا قال لك صديقك إن هناك فرصة بنسبة 70% للنجاح، فيجب أن يقول أيضاً إن هناك فرصة بنسبة 30% للفشل. يجب أن يجمع هذان الرقمان 100% تماماً. هذا هو المنطق الأساسي للاحتمالات: إذا كان لديك فطيرة كاملة، فإن القطعة التي تأكلها والقطعة التي تتركها خلفك يجب أن تساوي الفطيرة بأكملها.
ومع ذلك، فإن البشر سيئون في هذا الأمر بشكل مشهور. لدينا "خلل معرفي" يُسمى "انحياز التفاؤل"، حيث نميل إلى الاعتقاد بأن الأشياء الجيدة أكثر عرضة للحدوث لنا مما هي عليه في الواقع، وأن الأشياء السيئة أقل عرضة للحدوث. ولدينا أيضاً "نظرية التوقعات"، التي تشير إلى أننا نشعر بألم الخسارة بحدة أكبر بكثير من متعة الربح، مما يجعلنا نزن المخاطر والمكافآت بشكل غير متكافئ. لفترة طويلة، تساءل العلماء: هل تصيب هذه العيقات البشرية ذكاءنا الاصطناعي أيضاً؟ إذا طلبنا من نموذج لغوي التنبؤ بالمستقبل، فهل لديه نسخته الخاصة من "الأمل في الأفضل" التي تشوه حساباته؟ هذا الأمر مهم لأننا بدأنا في استخدام نماذج الذكاء الاصطناعي هذه لمساعدتنا في اتخاذ قرارات كبيرة، من الاستثمار في الأموال إلى تخطيط العلاجات الطبية. فإذا كان الذكاء الاصطناعي منحازاً سراً نحو التفاؤل، فقد يؤدي ذلك إلى دفعنا لاتخاذ مخاطر خطيرة لم نكن نقصد اتخاذها.
هذا هو بالضبط ما يبحث فيه بحث OptimismBench. لقد بنى الباحثون ساحة اختبار خاصة لمعرفة ما إذا كانت النماذج اللغوية الكبيرة (LLMs) تمتلك "ميلاً" منهجياً في أحكامها الاحتمالية. لم يكتفوا بسؤال النماذج للتخمين فحسب؛ بل استخدموا حيلة ذكية تسمى "الأزواج المعكوسة". فلكل سيناريو، طرحوا على النموذج سؤالين: "ما هي فرصة النجاح؟" و"ما هي فرصة الفشل؟". إذا كان النموذج منطقياً تماماً، فيجب أن يجمع هذان الجوابان دائماً 100%. ولكن إذا كان النموذج منحازاً، فلن تجمع الأرقام 100%.
كانت النتائج واضحة بشكل مدهش. من بين 16 نموذجاً مختلفاً تم اختبارها من 8 شركات كبرى، كانت 14 منها متفائلة باستمرار. لقد بالغت في تقدير فرصة النجاح وقللت من تقدير فرصة الفشل. كان الأمر أشبه بسؤال مجموعة من الأصدقاء لتخمين حالة الطقس، بينما أصر الجميع تقريباً على أنه سيكون مشمساً، حتى والغيوم تتجمع في السماء. النماذج الوحيدة التي كانت "متشائمة" (تعتقد أن الأشياء السيئة أكثر احتمالاً مما ينبغي) جاءت من شركة واحدة محددة، وهي Anthropic، وفقط في نماذجها الأكبر والأكثر تطوراً. ومن المثير للاهتمام أن نماذجها الأصغر والأخف كانت متفائلة، تماماً مثل الجميع.
كما بحثت الدراسة في سبب حدوث ذلك. ووجدوا أن الانحياز ليس مجرد خلل عشوائي أو نتيجة لارتباك النموذج؛ بل هو سمة عميقة متأصلة في كيفية تدريب هذه النماذج. فعندما قارن الباحثون النسخ "الخام" لهذه النماذج (قبل ضبطها لتكون مساعدين مفيدين) مع نسخ "الدردشة" الخاصة بها، رأوا أن عملية التدريب نفسها غيرت اتجاه الانحياز. فبالنسبة لبعض عائلات النماذج، جعلها التدريب أكثر تفاؤلاً؛ وبالنسبة لأخرى، جعلها أكثر تشاؤماً. وهذا يشير إلى أن "شخصية" انحياز الذكاء الاصطناعي يتم تحديدها من خلال الوصفة المحددة المستخدمة لتعليمه كيفية التحدث مع البشر.
كما تحقق الباحثون مما إذا كان هذا الانحياز مجرد خدعة في طريقة طرح السؤال أو ما إذا كان يمكن إصلاحه ببساطة عبر قول: "مهلاً، لا تكن متفائلاً جداً!" للذكاء الاصطناعي! جربوا تغيير إعدادات درجة الحرارة (temperature)، وطرح الأسئلة من وجهات نظر مختلفة (مثل "أنت" مقابل "صديقك")، وحتى إضافة ملصق تحذيري لتعليمات الذكاء الاصطناعي. لم تنجح أي من هذه الإصلاحات السطحية، مما أثبت أن الانحياز ظل عنيداً، وهو ما يثبت أنه جزء أساسي من المنطق الداخلي للنموذج، وليس مجرد ارتباك لحظي.
ولعل النتيجة الأكثر إثارة للدهشة هي أن النموذج كان أهم بكثير من اللغة. اختبر الباحثون هذه النماذج بـ 10 لغات مختلفة، ووجدوا أن الفرق في الانحياز بين نموذجين مختلفين كان أكبر بنحو 5 مرات من الفرق في الانحياز عندما يتحدث نفس النموذج لغات مختلفة. بعبارة أخرى، سواء كان الذكاء الاصطناعي متفائلاً أم متشائماً يعتمد على أي ذكاء اصطناعي تستخدمه، وليس على ما إذا كان يتحدث الإنجليزية أو الصينية أو الإسبانية.
باختصار، يكشف البحث أن أدوات الذكاء الاصطناعي لدينا ليست حواسيب محايدة. فهي تحمل "انحيازاً اتجاهياً" خفياً يمكن أن يميل بإدراكنا للمخاطر والمكافآت. وبينما تميل معظم النماذج نحو رؤية مشرقة ومتفائلة للمستقبل، فإن هذا ليس قاعدة عالمية؛ بل يعتمد بشدة على من بنى النموذج وكيف قام بتدريبه. ويحذر المؤلفون من أنه إذا استخدمنا هذه النماذج لمساعدتنا في اتخاذ القرارات، فنحن بحاجة إلى إدراك أن "مشاعرها الحدسية" قد تكون منحازة بشكل منهجي، ولا يمكننا افتراض أنها ترى العالم بوضوح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.