Closing the Confidence-Faithfulness Gap in Large Language Models
تكشف هذه الورقة أن الثقة المعلنة والدقة الفعلية يتم ترميزهما كإشارات خطية متعامدة في النماذج اللغوية الكبيرة، وهي علاقة تضطرب بفعل عمليات الاستنتاج، وتقترح مسار توجيه تكيفي ثنائي المرحلة لمواءمة مخرجات الثقة مع تقديرات الدقة الداخلية، مما يؤدي إلى تحسين معايرة النموذج بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
المشكلة الكبرى: الخبير المفرط في الثقة
تخيل أن لديك مستشاراً خبيراً، عبقرياً ولكنه مغرور قليلاً. يمكن لهذا المستشار حل أي مشكلة تقريباً بشكل صحيح. ومع ذلك، عندما تسأله: "ما مدى تأكدك من أنك أصبت في هذه الإجابة؟" فإنه دائماً ما يجيب: "أنا متأكد بنسبة 99%!"
الجزء المخيف؟ هو أنه يصيب في 40% من الحالات فقط.
هذا هو حال النماذج اللغوية الكبيرة (LLMs) حالياً. إنها مفرطة في الثقة بشكل منهجي. فهي لا تكتفي بارتكاب الأخطاء فحسب، بل تكذب أيضاً بشأن مدى تأكدها. وهذا أمر خطير؛ فإذا أخبر ذكاء اصطناعي طبيب: "أنا واثق بنسبة 95% أن هذا مرض نادر"، بينما كان مخطئاً في الواقع، فقد تكون العواقب تهدد حياة البشر.
يرى مؤلفو هذه الورقة البحثية أن الذكاء الاصطناائي ليس "جاهلاً" في الحقيقة، فهو يعرف متى يكون مخطئاً. المشكلة تكمن في أنه يفشل في التحدث بصراحة عما يعرفه.
الاكتشاف: "مقبضان" مختلفان داخل الدماغ
لفهم سبب حدوث ذلك، نظر الباحثون داخل "دماغ" الذكاء الاصطناعي (رياضياته الداخلية) باستخدام تقنية تسمى التفسير الآلي (Mechanic Interpretability). تخيل دماغ الذكاء الاصطناعي كغرفة تحكم ضخمة تحتوي على آلاف المقابض والرافعات.
لقد وجدوا مقبضين محددين:
- "مقبض الحقيقة" (الدقة): يتحرك هذا المقبض صعوداً وهبوطاً بناءً على ما إذا كان الذكاء الاصطناعي مصيباً أم مخطئاً. إذا كان يحل مسألة رياضية بشكل صحيح، يرتفع هذا المقبض، وإذا أخطأ، ينخفض. والأمر الجوهي هنا هو أن هذا المقبض يعمل بشكل مثالي؛ فالذكاء الاصطناعي يعرف الإجابة.
- "مقبض الثقة" (الثقة المعلنة): هذا هو المقبض الذي يتحكم فيما يقوله الذكاء الاصطناعي بصوت عالٍ ("أنا متأكد بنسبة 90%!").
النتيجة الصادمة: هذان المقبضان منفصلان تماماً.
تخيل سيارة حيث يظهر عداد السرعة (مقبض الحقيقة) أنك تقود بسرعة 100 ميل في الساعة، لكن الراديو (مقبض الثقة) عالق على "أنا أقود بسرعة 10 أميال فقط". أو الأسوأ من ذلك، أنهما في جانبين متقابلين من لوحة القيادة ولا يتواصلان مع بعضهما البعض على الإطلاق.
وجد الباحثون أن "مقبض الحقيقة" و"مقبض الثقة" يشيران إلى اتجاهين مختلفين تماماً (أي أنهما "متعامدان"). يمتلك الذكاء الاصطناعي البيانات اللازمة ليكون متواضعاً، لكن الجزء من الدماغ المسؤول عن توليد الكلام يتجاهل ببساه هذه البيانات.
تأثير "تلوث التفكير"
حاول الباحثون بعد ذلك جعل الذكاء الاصطناعي يقوم بشيئين في آن واحد: حل المشكلة وَ إخبارك بمدى تأكده.
اكتشفوا شيئاً يسمى "تأثير تلوث التفكير" (Reasoning Contamination Effect).
الأمر يشبه عازف موسيقى يحاول عزف مقطوعة كمان معقدة وفي الوقت نفسه يحاول غناء أغنية؛ فالمجهود المبذول في عزف الكمان يفسد الغناء.
عندما يحاول الذكاء الاصطناعي حل مشكلة صعبة و تقييم ثقته في نفس الوقت، فإن "مقبض الثقة" يتعطل. بدلاً من الاستماع إلى "مقبض الحقيقة"، يبدأ الذكاء الاصطناعي في الاستماع إلى المجهود الذي يبذله.
- يفكر الذكاء الاصطناعي: "واو، هذه المشكلة صعبة جداً بالنسبة لي! أنا أبذل مجهوداً كبيًرا! لا بد أنني ذكي جداً لأبذل كل هذا المجهود!"
- النتيجة: يصبح أكثر ثقة في الأسئلة التي يخطئ فيها فعلياً. كلما كانت المشكلة أصعب، زاد كذبه بشأن ثقته.
الحل: إصلاح "جهاز التحكم عن بعد"
بما أن الذكاء الاصطناعي يمتلك بالفعل "مقبض الحقيقة" الذي يعمل بشكل صحيح، لم يحتج الباحثون إلى إعادة تدريب الذكاء الاصطناعي أو تعليمه رياضيات جديدة، بل احتاجوا فقط إلى إصلاح الاتصال بين المقبض والمتحدث.
قاموا ببناء نظام مرحلتين (Pipeline) (نظام تحكم عن بعد):
المرحلة الأولى: الهمس (قراءة الحقيقة): قبل أن يتحدث الذكاء الاصطناعي، تقوم أداة صغيرة (مسبار خطي - linear probe) بفحص "مقبض الحقيقة" الداخلي لمعرفة مدى احتمالية كون الذكاء الاصطناعي صحيحاً. تقوم الأداة بحساب درجة الثقة المستهدفة.
- مثال: ترى الأداة أن احتمال إصابة الذكاء الاصطناعي بالصواب هو 40% فقط، فتقول: "حسناً، يجب أن تكون الثقة المستهدفة هي 40%".
المرحلة الثانية: الوخز (توجيه المخرجات): يستخدمون تقنية تسمى إضافة التنشيط التبايني (Contrastive Activation Addition - CAA). تخيل هذا كدفعة لطيفة لعقل الذكاء الاصطناعي. إنهم يطبقون دفعة كهربائية صغيرة على "مقبض الثقة" لإجباره على مطابقة "مقبض الحقيقة".
- إذا أراد الذكاء الاصطناعي أن يقول "أنا متأكد بنسبة 95%"، ولكن الأداة تعلم أنه متأكد بنسبة 40% فقط، فإن هذه "الدفعة" ستدفع الذكاء الاصطناعي ليقول "أنا متأكد بنسبة 40%" بدلاً من ذلك.
النتيجة:
باستخدام هذه "الدفعة"، نجحوا في ضبط المعايرة.
- قبل التعديل: كان الذكاء الاصطناعي يقول "أنا متأكد بنسبة 95%" لكنه كان يصيب في 40% من الحالات فقط.
- بعد التعديل: أصبح يقول "أنا متأكد بنسبة 40%" ويصيب في 40% من الحالات.
لقد خفضوا معدل الخطأ بمقدار 4 إلى 7 مرات.
لماذا يهم هذا الأمر؟
هذه الورقة البحثية تغير مجرى النقاش.
- الرؤية القديمة: "نحن بحاجة لتعليم الذكاء الاصطناعي كيف يكون أقل غروراً" (إعادة التدريب، أو تغيير طريقة صياغة الأوامر).
- الرؤية الجديدة: "الذكاء الاصطناعي متواضع بالفعل في داخله؛ نحن فقط بحاجة لمنعه من تجاهل مشاعره الخاصة".
لقد أثبت الباحثون أن "إشارة" الصدق موجودة بالفعل، وهي مختبئة داخل عقل الذكاء الاصطناعي. هم فقط صنعوا أداة لرفع مستوى صوت هذه الإشارة وخفض مستوى صوت الغرور.
باختاً: الذكاء الاصطناعي ليس معطلاً، هو فقط سيء في الاستماع إلى نفسه. وهذه الورقة البحثية منحتَه سماعة طبية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.