Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs
تقدم هذه الورقة تحليلاً ميكانيكياً على مستوى الدوائر يكشف أن الثقة اللفظية المتضخمة في النماذج اللغوية الكبيرة مدفوعة بمجموعة مدمجة من كتل الـ MLP ورؤوس الانتباه في الطبقات المتوسطة إلى المتأخرة، والتي يمكن تحديدها سببياً واستهدافها لإعادة المعايرة أثناء الاستدلال لتحسين المعايرة بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً جداً ومطلعاً. تسأله سؤالاً، فيعطيك إجابة. لكن هناك مشكلة: أحياناً يكون الروبوت مخطئاً تماماً، ومع ذلك يتحدث بيقين مطلق يجعلك تصدقه. الأمر يشبه طالباً يخمن أن "باريس" هي عاصمة أستراليا، لكنه يرفع يده ويقول: "أنا متأكد بنسبة 99%!"
هذه الورقة البحثية تدور حول اكتشاف لماذا يكون هذا الروبوت واثقاً من نفسه وهو مخطئ، وإيجاد "الأسلاك" المحددة داخل دماغه التي تسبب هذا السلوك، ثم قطع أو إعادة توصيل تلك الأسلاك لجعله أكثر صدقاً.
إليك تفصيل اكتشافهم، باستخدام تشبيهات بسيطة:
1. المشكلة: "الكاذب الواثق"
نماذج اللغات الكبيرة (LLMs) بارعة في التحدث، لكنها غالباً ما تعاني من الثقة المفرطة المنطوقة. فعندما ترتكب خطأً، لا تقول: "لست متأكداً"، بل تولد درجة ثقة عالية (مثل "أنا متأكد بنسبة 95%") حتى وهي مخطئة. وهذا أمر خطير لأنه يخدع البشر ويدفعهم لتصديق معلومات مغلوطة.
2. العمل الاستقصائي: البحث عن "مفتاح الثقة"
لم يكتف الباحثون بالنظر إلى إجابة الروبوت النهائية؛ بل نظروا داخل "دماغه" (كوده الداخلي) أثناء تفكيره.
- الإعداد: طرحوا على الروبوت سؤالاً. وإذا أخطأ الروبوت، قاموا بإنشاء نسخة "مزيفة" من المحادثة حيث استبدلوا الإجابة الخاطئة بالجواب الصحيح سراً، مع الإبقاء على كل شيء آخر كما هو.
- الدليل: لاحظوا أنه عندما كانت الإجابة صحيحة، ينخفض "مقياس الثقة" الداخلي للروبوت. وعندما كانت الإجابة خاطئة، يظل المقياس مرتفعاً.
- المقياس: ابتكروا أداة تسمى TSLD (فرق اللوجيت لمجموعة الهدف). فكر في هذا كـ ميزان حرارة يقيس مدى "سخونة" شعور الروبوت بالثقة العالية مقابل الثقة المنخفضة. ومن خلال مراقبة ميزان الحرارة هذا، استطاعوا رؤية من أين يأتي هذا "الحرارة" داخل الآلة.
3. الاكتشاف: "دائرة الثقة المفرطة"
باستخدام تقنية تسمى التفسير الآلي (وهي تشبه تفكيك ساعة لمعرفة أي ترس يحرك العقارب)، وجدوا أن ثقة الروبوت المفرطة ليست عشوائية، بل تأتي من مجموعة محددة وصغيرة من الأجزاء في دماغه.
- الموقع: تقع هذه الأجزاء في الطبقات الوسطى والمتأخرة من النموذج. تخيل دماغ الروبوت كخط تجميع في مصنع؛ العمال في البداية يجمعون الحقائق، لكن "كتّاب الثقة" هم المدراء في نهاية الخط الذين يختمون التقرير النهائي.
- الجناة: وجدوا فريقاً مدمجاً من حوالي 10 "عمال" محددين (مكونات عصبية).
- بعضهم عبارة عن كتل MLP (فكر في هذه كـ كاتبي المذكرات في المصنع الذين يصيغون بيان الثقة النهائي).
- بعضهم عبارة عن رؤوس الانتباه - Attention Heads (فكر في هذه كـ المدراء الذين يقررون أي مذكرة سيتم إرسالها).
- المفاجأة: فريق "كتّاب الثقة المفرطة" هذا هو نفسه سواء كان الروبوت يجيب على أسئلة حول التاريخ، أو العلوم، أو الثقافة الشعبية. إنه عادة متأصلة، وليس خطأً خاصاً بموضوع معين. الروبوت لديه "إعداد افتراضي" يقول: "اكتب درجة ثقة عالية"، بغض النظر عما إذا كانت الحقائق جيدة أم لا.
4. الحل: إعادة توصيل الدماغ
بمجرد تحديد الأسلاك المحددة التي تسبب المشكلة، حاولوا إصلاحها في الوقت الفعلي (أثناء تفكير الروبوت). جربوا طريقتين:
- الإلغاء المتوسط - Mean Ablation (زر "كتم الصوت"): قاموا ببساطة بإسكات هؤلاء "كتّاب الثقة" واستبدلوا مخرجاتهم بإشارة محايدة ومتوسطة.
- النتيجة: أصبح الروبوت أكثر صدقاً بكثير. توقف عن الصراخ "أنا متأكد!" عندما كان يخمن.
- توجيه التنشيط - Activation Steering (مفتاح "التحكم في السطوع"): بدلاً من إسكات الكتّاب، قاموا بتوجيه مخرجاتهم بلطف في الاتجاه المعاكس للثقة المفرطة.
- النتيجة: كانت هذه الطريقة أفضل. فقد سمحت لهم بضبط مستوى الثقة صعوداً وهبوطاً. وعند الضبط المثالي، تطابقت درجات ثقة الروبوت مع دقته الفعلية بشكل شبه مثالي.
تشبيه الصورة الكبيرة
تخيل الروبوت كـ مذيع أخبار.
- الطريقة القدعة: المذيع يقرأ الأخبار. إذا كان غير متأكد من قصة ما، فإنه لا يزال يقول: "خبر عاجل! هذا مؤكد بنسبة 100%!" لأن نصه الداخلي (الدائرة) مبرمج ليبدو موثوقاً.
- حل الورقة البحثية: وجد الباحثون الجزء المحدد في دماغ كاتب السيناريو الذي يضيف عبارة "مؤكد بنسبة 100%". وأدركوا أن كاتب السيناريو هذا يتجاهل الحقائق الفعلية ويحب فقط صوت اليقين.
- الحل: ذهبوا إلى الاستوديو وأخبروا كاتب السيناريو المحدد هذا: "توقف عن إضافة جملة 'مؤكد بنسبة 100%' إلا إذا كان لديك الدليل بالفعل". فجأة، بدأ المذيع يقول: "نحن متأكدون بنسبة 50%"، أو "لا نزال نتحقق"، وهو أمر أكثر فائدة للجمهور.
لماذا هذا مهم؟
هذه خطوة كبيرة للأمام لأن:
- الأمر ليس سحراً: لم يقوموا بالتخمين فحسب؛ بل وجدوا "الأسلاك" المادية التي تسبب الكذبة.
- يمكن إصلاحه: لست بحاجة لإعادة تدريب الروبوت بالكامل من الصفر. تحتاج فقط إلى تعديل أجزاء محددة في اللحظة التي يجيب فيها.
- إنه أكثر أماناً: من خلال جعل الروبوتات تعترف عندما لا تكون متأكدة، يمكننا منعها من قيادتنا بثقة نحو المسار الخاطئ.
باختصار: الروبوتات مبرمجة لتكون مفرطة في الثقة، لكننا وجدنا المفتاح الذي يتحكم في هذه البرمجة، ويمكننا قلبه لجعلها أكثر صدقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.