Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident, Especially When They are Wrong
تُثبت هذه الورقة أن تقنية "سلسلة الأفكار" (Chain-of-Thought) ترفع بشكل منهجي من مستوى ثقة النماذج اللغوية الكبيرة، لا سيما عندما تكون خاطئة، مما يؤدي إلى تدهور المعايرة ويجعل التقييمات القائمة على الاحتمالات غير موثوقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.
الفكرة الكبرى: "إقناع نفسك بأنك مخطئ"
تخيل أنك تخوض اختباراً من نوع الاختيار من متعدد. لديك طريقتان للإجابة:
- طريقة "فحص الحدس": تقرأ السؤال وتختار الإجابة فوراً.
- طريقة "إظهار خطوات الحل": تكتب شرحاً خطوة بخطوة لسبب اعتقادك بأن هذه الإجابة هي الصحيحة، ثم تختار الإجابة.
تبحث هذه الورقة فيما يحدث لنماذج اللغات الكبيرة (LLM) — وهي نوع من الذكاء الاصطناي يعمل كدردشة ذكية للغاية — عندما تستخدم الطريقة الثانية. أراد الباحثون معرفة: هل يجعل شرح طريقة تفكيرك الذكاء الاصطناعي أكثر ثقة في إجابته؟
التجربة: اختبار لـ 57 موضوعاً
أخضع الباحثون سبعة نماذج مختلفة من الذكاء الاصطناي (بما في ذلك نسخ من Llama و Mistral و GPT) لاختبار ضخم يسمى MMLU. فكر في هذا الاختبار كأنه مكتبة عملاقة تحتوي على أكثر من 15,000 سؤال تغطي 57 موضوعاً مختلفاً، من التاريخ والرياضيات إلى القانون والأحياء.
لقد سألوا نماذج الذكاء الاصطناي نفس الأسئلة مرتين:
- الجولة الأولى: "أعطني حرف الإجابة فقط." (مباشر)
- الجولة الثانية: "فكر خطوة بخطوة، اشرح منطقك، ثم أعطني الحرف." (سلسلة الأفكار - Chain-of-Thought)
النتائج المفاجئة
كانت النتائج تشبه مراقبة طالب واثق بنفسه بشكل مفرط في قصته الخاصة.
1. تأثير "تعزيز الثقة"
عندما طُلب من الذكاء الاصطناي أن "يفكر خطوة بخطوة"، أصبح أكثر ثقة في إجاباته، بغض النظر عما إذا كانت الإجابة صحيحة أم خاطئة.
- التشبيه: تخيل شخصاً يخمن الإجابة على لغز. إذا خمن فقط، فقد يقول: "أعتقد أنها (س)، لكنني لست متأكداً". ولكن إذا قضى خمس دقائق في كتابة قصة طويلة ومفصلة حول سبب كون (س) هي الإجابة، فإنه يبدأ في تصديق قصته الخاصة. سيقول: "أنا متأكد بنسبة 99% أنها (س)!" حتى لو كانت (س) خاطئة في الواقع.
2. مشكلة "الخطأ الصاخب"
هذا هو الجزء المربك: زادت ثقة الذكاء الاصطناي أكثر عندما كان مخطئاً مما كانت عليه عندما كان مصيباً.
- التشبيه: إذا أجاب الذكاء الاصطناي على مسألة رياضية بشكل صحيح، فقد يشعر بثقة 80%. ولكن إذا أخطأ في مسألة رياضية، فإن عملية كتابة شرح طويل يبدو منطقياً تجعله يشعر بثقة 95%. الأمر يشبه محامياً يقدم حجة مقنعة جداً لقضية يعرف أنه سيخسرها؛ فكلما تحدث أكثر، زاد تصديقه لكذبته.
3. انهيار "المعايرة"
في عالم الذكاء الاصطاي، تعني "المعايرة" (Calibration): "عندما تقول إنك متأكد بنسبة 90%، هل أنت مصيب بالفعل في 90% من المرات؟"
وجدت الدراسة أن طلب التفكير (سلسلة الأفكرة) أدى في الواقع إلى كسر المعايرة لدى الذكاء الاصطاي. فقد بدأ في تقديم إجابات عالية الثقة ولكنها غير صحيحة في كثير من الأحيان.
- التشبيه: تخيل خبير أرصاد جوية. بدون خطوة "التفكير"، يقول: "قد تمطر، هناك احتمال 50%". مع خطوة التفكير، يبدأ في قول: "لقد حسبت سرعة الرياح، والرطوبة، وأنماط السحب، لذا أنا متأكد بنسبة 99% أنها ستمطر!". ولكن، لا تمطر السماء. لقد أصبح أكثر تأكداً، ولكنه أصبح أقل دقة.
لماذا يحدث هذا؟
تشير الورقة إلى أن هذا يحدث بسبب كيفية بناء هذه النماذج. فهي "توليدية تلقائية" (Autoregressive)، مما يعني أنها تتنبأ بالكلمة التالية بناءً على الكلمات التي سبقتها.
- حلقة التغذية الراجعة: بمجرد أن يبدأ الذكاء الاصطاي في كتابة خطوات التفكير التي تدعم إجابة معينة، يصبح هذا النص جزءاً من السياق. الأمر يشبه أن يقرأ الذكاء الاصطاي مقالته الخاصة ويقتنع بكتابته. كلما كتب أكثر لدعم إجابة ما، بدا ذلك الخيار أكثر "منطقية" للنموذج، حتى لو كان المنطق معيباً.
- ظاهرة "اشرح لتصدق": تشير الورقة إلى أن البشر يفعلون ذلك أيضاً. عندما نشرح إجابتنا، غالباً ما نشعر بمزيد من الثقة تجاهها. الذكاء الاصطاي يحاكي هذه السمة البشرية، ولكن دون القدرة البشرية على إدراك متى يكون التفسير بلا معنى.
الخلاصة
تخلص الورقة إلى أنه عندما نستخدم الذكاء الاصطاي للإجابة على أسئلة الاختيار من متعدد، يجب أن نكون حذرين جداً بشأن الثقة في "درجة ثقة" الذكاء الاصطاي إذا طُلب منه "التفكير خطوة بخطوة".
- إذا قال الذكاء الاصطاي: "أنا متأكد بنسبة 99%"، وكان قد طُلب منه التفكير أولاً، فقد يكون مخطئاً في الواقع.
- عملية التفكير لم تساعد الذكاء الاصطاي في العث\ على الإجابة الصحيحة فحسب؛ بل ساعدت الذكاء الاصطاي أيضاً في إقناع نفسه بالإجابة الخاطئة بيقين خطير.
باختصار: طلب "إظهار خطوات الحل" من الذكاء الاصطاي يجعله متحدثاً أفضل، لكنه لا يجعله بالضريد أكثر صدقاً أو أكثر دقة في تقدير معرفته. في الواقع، قد يجعله كاذباً أكثر ثقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.