Failing to Falsify: Evaluating and Mitigating Confirmation Bias in Language Models
تُثبت هذه الورقة أن النماذج اللغوية الكبيرة تُظهر انحيازاً تأكيدياً أثناء مهام اكتشاف القواعد، مما يؤدي إلى عدم كفاءة في اختبار الفرضيات، ولكنها تُظهر أن هذا القصور يمكن التخفيف من حدته بفعالية من خلال التلقين المستهدف والتقطير السلوكي، مما يؤدي بدوره إلى تحسين أداء الاستدلال لديها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحثية بعنوان "الفشل في التفنيد: تقييم وتخفيف انحياز التأكيد في النماذج اللغوية" باستخدام لغة بسيطة وتشبيهات إبداعية.
الفكرة الكبرى: مشكلة "رجل الـ نعم" (التابع المطيع)
تخيل أنك محقق تحاول حل لغز ما، ولديك حدس حول هوية الجاني.
- المحقق الذكي يسأل نفسه: "إذا كنتُ على حق، فما هي الأدلة التي قد تثبت أنني مخطئ؟" إنه يحاول كسر نظريته الخاصة ليرى مدى صمودها.
- المحقق المنحاز (الذي يعاني من انحياز التأكيد) يطرح فقط الأسئلة التي تجعله يبدو على حق. إنه يتجاهل الأدلة التي قد تثبت خطأه، ويستمر في التساؤل: "هل تتناسب هذه الدليل مع نظريتي؟" بدلاً من "هل هذا الدليل يدمر نظريتي؟".
هذه الورقة البحثية تسأل: هل تعمل نماذج الذكاء الاصطناعي اللغوية (LLMs) مثل ذلك المحقق المنحاز؟
الإجابة هي نعم. فعندما تحاول هذه النماذج اكتشاف قاعدة خفية، فإنها تميل لأن تكون "رجال نعم" (تؤيد كل ما تراه). فهي تستمر في اختبار الأفكار التي تدعم تخمينها الحالي، بدلاً من محاولة تفنيدها. وهذا يجعلها أبطأ وأقل دقة في حل المشكلات.
التجربة: "لعبة تخمين الأرقام"
لاختبار ذلك، قام الباحثون بتطوير لعبة نفسية كلاسيكية تسمى مهمة "واسون 2-4-6".
الإعداد:
- يُعرض على الذكاء الاصطناعي ثلاثة أرقام، مثل
[2, 4, 6]. - يُقال للذكاء الاصطناعي: "هذه الأرقام تتبع قاعدة سرية".
- مهمة الذكاء الاصطناعي هي تخمين القاعدة.
- يمكن للذكاء الاصطناعي اقتراح مجموعات جديدة من الأرقام (مثل
[8, 10, 12]) ويقوم الكمبيوتر بالرد بـ "نعم" (إذا كانت تناسب القاعدة) أو "لا" (إذا كانت لا تناسبها).
الفخ:
قد تكون القاعدة الخفية بسيطة، مثل "أرقام متزايدة". لكن الذكاء الاصطناعي قد يخمن أنها "أرقام زوجية فقط".
- الذكاء الاصطناعي المنحاز: يختبر
[2, 4, 6](نعم)، ثم[8, 10, 12](نعم)، ثم[20, 22, 24](نعم). يستمر في الحصول على "نعم" ويشعر بالثقة. لكنه لا يحاول أبداً اختبار مجموعة مثل[1, 2, 3](وهي أرقام متزايدة ولكنها ليست زوجية) ليرى ما إذا كانت نظرية "الأرقام الزوجية" خاطئة. - الذكاء الاصطناعي الذكي: يختبر
[1, 2, 3]. يقول الكمبيوتر "نعم". هنا يدرك الذكاء الاصطناٍ: "أوه! الأمر ليس مجرد أرقام زوجية؛ بل هي مجرد أرقام متزايدة!" لقد وجد الحقيقة عن طريق محاولة كسر نظريته الخاصة.
النتيجة:
اختبر الباحثون 11 نموذجاً مختلفاً من الذكاء الاصطناي. ووجدوا أن معظمها كان سيئاً جداً في هذا الاختبار. فقد استمرت في اختبار "الأرقام الزوجية" مراراً وتكراراً، وعلقوا في حلقة مفرغة لتأكيد تخميناتها الخاطئة. لم يحلوا اللغز إلا في حوالي 42% من الحالات فقط.
الحل: تعليم الذكاء الاصطناعي "التفكير في الأضداد"
بما أن البشر أيضاً يقعون في هذا الانحياز، فقد طور علماء النفس حِيلاً لمساعدتنا على التفكير بشكل أفضل. حاول الباحثون تطبيق هاتين الحيلتين على الذكاء الاصطناٍ:
- التفكير في الأضداد: يُطلب من الذكاء الاصطناعي: "انظر إلى تخمينك الأخير. الآن، اصنع عمداً اختباراً يكون عكس ما تعتقده".
- تشبيه: إذا كنت تعتقد أن "كل الطيور تطير"، فلا تختبر عصفوراً. اختبر بطريقاً. إذا طار البطريق، فنظريتك خاطئة. إذا لم يطر، فقد تعلمت شيئاً جديداً.
- الهدف المزدوج: يُطلب من الذكاء الاصطناعي تخمين قاعدتين في آن واحد: قاعدة "النعم" (DAX) وقاعدة "لا" (MED).
- تشبيه: بدلاً من البحث فقط عن المفتاح الذي يفتح الباب، ابحث أيضاً عن المفتاح الذي يقفل الباب. هذا يجبرك على النظر إلى جانبي العملة.
النتيجة:
عندما أعطى الباحثون هذه التعليمات (الأوامر البرمجية) للذكاء الاصطناعي، أصبح أكثر ذكاءً.
- بدأ في اختبار الأفكار "المضادة".
- قفز معدل نجاحه من 42% إلى 56%.
- حل الألغاز بشكل أسرع.
"الجرعة السحرية": التقطير (Distillation)
كان هناك عقبة. فقد أصبح الذكاء الاصطناعي أكثر ذكاءً فقط عندما كان الباحثون يذكرونه بالتفكير في الأضداد في كل مرة. وإذا سُحبت منه التعليمات، يعود الذكاء الاصطناعي ليكون "رجل نعم" (تابعاً مطيعاً).
أراد الباحثون أن يستوعب الذكاء الاصطناعي هذه المهارة داخلياً، بحيث يصبح ذكياً حتى بدون التذكير. لذا استخدموا تقنية تسمى "تقطير المعرفة" (Knowledge Distillation).
- التشبيه: تخيل طباخاً ماهراً (الذكاء الاصطناعي "المعلم") يعرف كيف يطبخ بإتقان لأنه يتبع كتاب وصفات صارم (أمر "التفكير في الأضداد"). قام الباحثون بتسجيل كل حركة يقوم بها هذا الطباخ الماهر. ثم قاموا بتغذية تلك التسجيلات لطباخ مبتدئ (الذكاء الاصطناعي "الطالب") وتدريبه على تقليد حركات المعلم بدقة.
- النتيجة: تعلم الطباخ المبتدئ العادة المتمثلة في التحقق من الأضداد. وحتى بدون كتاب الوصفات، بدأ الطباخ المبتدئ يطبخ بشكل أفضل.
- الميزة الإضافية: لم تكن هذه المهارة الجديدة مقتصرة على ألعاب الأرقام فقط. فعندما اختبر الباحثون هذه النماذج المدربة على لعبة مختلفة تماماً (اختبار "بليكت" - Blicket Test، والذي يتضمن معرفة أي مكعبات ألعاب تشغل آلة ما)، كانت النماذج لا تزال أفضل في حلها! لقد تعلموا طريقة تفكير عامة، وليس مجرد خدعة محددة للأرقام.
لماذا هذا مهم؟
تظهر هذه الورقة أن الذكاء الاصطناعي ليس مجرد "ذكي" أو "غبي"؛ بل لديه عيوب بشرية. تماماً مثل البشر، يمكن للذكاء الاصطناعي أن يصبح كسولاً ويبحث فقط عن الأدلة التي تجعله يشعر بأنه على حق.
لكن الخبر السار هو أننا نستطيع إصلاح ذلك. فمن خلال تعليم الذكي الاصطناعي تحدي أفكاره الخاصة (التفنيد) وتدريبه على الاحتفاظ بهذه العادة، يمكننا جعله أفضل في العلوم والمنطق والاكتشاف. نحن في الواقع نعلمه كيف يكون محققاً أفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.