🤖 AI

Confidence Calibration in Large Language Models

تقدم هذه الورقة دراسة مسجلة مسبقاً تُظهر أن النماذج اللغوية الكبيرة تظهر نزعة عامة نحو الإفراط في الثقة، والتي يتم تعديلها من خلال تأثير "السهل-الصعب" حيث يبلغ الإفراط في الثقة ذروته في المهام الصعبة بينما يحدث نقص الثقة في المهام السهلة، مما أدى إلى تطوير معيار LifeEval لتقييم المعايرة عبر مستويات الصعوبة المختلفة.

المؤلفون الأصليون: Noam Michael, Daniel BenShushan, Jacob Bien, Don A. Moore

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Noam Michael, Daniel BenShushan, Jacob Bien, Don A. Moore

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "معايرة الثقة في النماذج اللغوية الكبيرة"، مترجم إلى لغة بسيطة، يومية، وباستخدام تشبيهات إبداعية.

المشكلة الجوهرية: الطالب الواثق بزيادة

تخيل طالباً يؤدي سلسلة من الاختبارات القصيرة. أحياناً يجيب على سؤال بشكل صحيح ويقول: "أنا متأكد بنسبة 100%!" (وهذا جيد). ولكن في كثير من الأحيان، يخطئ في الإجابة ومع ذلك لا يزال يقول: "أنا متأكد بنسبة 100%!" (وهذا سيء).

تبحث هذه الورقة فيما إذا كانت النماذج اللغوية الكبيرة (LLMs) — وهي العقول الكامنة وراء روبوتات الدردشة بالذكاء الاصط artificial Intelligence — تتصرف مثل ذلك الطالب الواثق بزيادة. وجد الباحثون أن النماذج، في المتوسط، تكون واثقة جداً مما تعرفه. فهي تدعي أنها على صواب أكثر مما هي عليه في الواقع. وهذا أمر خطير لأنه إذا وثقت في نموذج "مخطئ بـثقة"، فقد تتخذ قراراً سيئاً.

تحول "السهل-الصعب"

الاكتشاف الأكثر إثارة للاهتمام في الورقة هو ظاهرة تسمى "تأثير السهل-الصعب" (Hard-Easy Effect). فكر في الأمر كأنه أرجوحة لثقة النموذج:

في المهام السهلة: عندما تكون الأسئلة بسيطة (مثل "ما هو 2+2؟")، تكون النماذج في الواقع أقل ثقة مما ينبغي. فهي تجيب بشكل صحيح ولكنها تقول: "أنا متأكدة بنسبة 60% فقط"، رغم أنه كان يجب أن تكون متأكدة بنسبة 100%. إنها تبالغ في التواضع.
في المهام الصعبة: عندما تصبح الأسئلة صعبة للغاية (مثل ألغاز المنطق المعقدة)، تنقلب النماذج للجهة الأخرى. فهي تخطئ في الإجابة، ولكنها تقول: "أنا متأكدة بنسبة 95%!". هذه هي الثقة الزائدة.

تظهر الورقة أنه مع زيادة صعوبة المهام، لا تنخفض ثقة النماذج بما يكفي ليتناسب مع انخفاض دقتها. فهي تستمر في الصراخ: "أنا أعرف هذا!" حتى وهي تعاني.

الاختبار الجديد: "LifeEval"

لدراسة هذا، ابتكر الباحثون اختباراً جديداً يسمى LifeEval.

التشبيه: تخيل أنك تحاول تخمين كم سيعيش شخص ما.

النسخة السهلة: يُقال لك: "هذا الشخص عمره 80 عاماً". فتتوقع أنه سيعيش حتى سن 85. من المرجح جداً أن يعيش 5 سنوات أخرى على الأقل. هنا يشعر النموذج بالثقة.
النسخة الصعبة: يُقال لك: "هذا الشخص عمره 25 عاماً". فتتوقع أنه سيعيش حتى سن 80. ولكن عليك أن تخمن عمره بالضبط ضمن نطاق سنة واحدة فقط. هذا أمر صعب للغاية.

استخدم الباحثون بيانات حكومية حقيقية (جداول الحياة من الضمان الاجتماعي) لمعرفة الاحتمالات الحقيقية لعمر الشخص. ثم طلبوا من الذكاء الاصطناعي تخمين العمر وتحديد مدى ثقته.

النتيجة: تصرف الذكاء الاصطناعي تماماً وفق نمط "السهل-الصعب" الموصوف أعلاه.

عندما كان التخمين سهلاً (التنبؤ بعمر طويل لشخص عمره 80 عاماً)، كان الذكاء الاصطناعي أقل ثقة مما ينبغي.
عندما كان التخمين صعباً (التنبؤ بعمر محدد لشخص عمره 25 عاماً)، كان الذكاء الاصطناعي واثقاً بزيادة.

نماذج "الاستنتاج" مقابل نماذج "الدردشة"

اختبرت الورقة نوعين من نماذج الذكاء الاصطناعي:

نماذج "الدردشة" (Chat Models): وهي النماذج القياسية سريعة الاستجابة.
نماذج "الاستنتاج" (Reasoning Models): وهي نماذج أحدث مصممة لـ "التفكير" خطوة بخطوة قبل الإجابة (مثل طالب يأخذ وقته لحل مسألة رياضية).

النتيجة: كانت نماذج "الاستنتاج" أفضل بكثير في هذا الأمر. فهي لم تكتفِ بالتخمين فحسب؛ بل قامت بالفعل بتعديل مستويات ثقتها بدقة أكبر بناءً على صعوبة المهمة. كانت أقل عرضة للثقة المفرطة بشكل جامح في الأسئلة الصعبة مقارنة بنماذج "الدردشة" القياسية.

لماذا تقرب أرقامهما؟

لاحظ الباحثون شيئاً غريباً حول كيفية إبلاغ النماذج عن مستوى ثقتها.

البشر غالباً ما يقربون نسبة ثقتهم إلى أرقام صحيحة وسهلة مثل "80%" أو "90%".
الذكاء الاصطناعي فعل الشيء نفسه! حيث قامت نماذج "الدردشة" القياسية بتقريب نسبة ثقتها إلى أقرب 5% في كل مرة تقريباً.

يشير هذا إلى أن الذكاء الاصطناعي يحاكي السلوك البشري، بما في ذلك عادتنا البشرية في تجنب الدقة عند التعبير عن عدم اليقين. إنه يشبه طالباً يقول "أنا شبه متأكد" بدلاً من إعطاء رقم محدد، لأن الدقة قد تبدو مخاطرة.

فحص "التلوث" (Contamination)

خشى الباحثون من أن يكون الذكاء الاصطناعي قد حفظ الإجابات الخاصة باختبار "LifeEval" الجديد ببساطة لأن البيانات (جداول الحياة) عامة ومن المرجح أن تكون موجودة في بيانات تدريب الذكاء الاصطناعي.

أجروا اختبار "جهاز كشف الكذب" على إجابات الذكاء الاصطناعي. ووجدوا أن بعض النماذج المتقدمة (مثل DeepSeek-R1 و Gemini 2.5 Pro) بدت وكأنها حفظت البيانات، مما ظهر كـ "دليل قوي" على الغش. ومع ذلك، حتى بعد استبعاد النماذج التي بدا أنها حفظت الإجابات، ظلت مشكلة الثقة الزائدة قائمة. كانت النماذج لا تزال واثقة جداً من نفسها في المهام الصعبة.

الملخص

المشكلة الرئيسية: النماذج الذكية واثقة جداً في إجاباتها بشكل عام، خاصة عندما تكون المهمة صعبة.
النمط: إنها متواضعة جداً في المهام السهلة، ومتغطرسة جداً في المهام الصعبة.
الحل (جزئي): نماذج "الاستنتاج" (التي تفكر قبل التحدث) أفضل في معايرة ثقتها مقارنة بنماذج الدردشة القياسية.
الخلاصة: لا يمكننا الوثوق بالذكاء الاصطناعي بشكل أعمى لمجرد أنه يبدو واثقاً. إذا كانت المهمة صعبة، فقد يكون الذكاء الاصطناعي مخطئاً بـثقة، وعلينا أن نكون حذرين.

ملخص تقني: معايرة الثقة في النماذج اللغوية الكبيرة

بيان المشكلة

إن فائدة النماذج اللغوية الكبيرة (LLMs) كمرشدين ومعلمين ومستشارين تتقوض بشكل أساسي بسبب "الهلوسة" — وهي تقديم معلومات خاطئة بثقة عالية. وبينما سيكون من المثالي أن يقدم النموذج اللغوي الكبير معلومات صادقة فقط، إلا أن عدم اليقين الذي لا يمكن تجنبه والوصول المحدود إلى الحقيقة المطلقة يجعل هذا الهدف غير واقعي. والهدف الأكثر قابلية للتحقيق هو الثقة المعايرة جيداً، حيث يبلغ النموذج اللغوي الكبير بأمانة عن احتمالية صحة إجابته بناءً على قيوده. وبدون هذه المعايرة، لن يتمكن المستخدمون من التمييز بين المخرجات الدقيقة ذات الثقة العالية والمخرات الخاطئة ذات الثقة العالية، مما يخلق مخاطر معرفية جسيمة.

تشير الأدبيات الحالية إلى أن الحكم البشري يعاني من فرط الثقة وتأثير "السهل-الصعب" (فرط الثقة في المهام الصعبة، ونقص الثقة في المهام السهلة). ولا يزال من غير الواضح ما إذا كانت النماذج اللغوية الكبيرة تظهر تحيزات مماثلة، أم أن إشارات الثقة لديها هي مجرد مؤشرات ضوضائية للدقة، كما هو ملاحظ في الشبكات العصبية العميقة. علاوة على ذلك، تعتمد الطرق السابقة لتقييم صعوبة المهام في دراسات المعايرة على التقييم البشري الذاتي، أو استخدام نموذج لغوي كبير كحكم، أو تغيير مقياس السياق، وكلها طرق تسبب انحيازاً أو تفشل في توفير مقياس مستمر للصعوبة.

المنهجية

أجرى المؤلفون دراسة مسجلة مسبقاً لتقييم معايرة الثقة لـ 11 نموذجاً من النماذج اللغوية الكبيرة الشهيرة، سواء كانت مفتوحة المصدر أو مغلقة، عبر خمس مهام استدلالية مختلفة واختبار تم تطويره حديثاً.

النماذج التي تم تقييمها

قارنت الدراسة خمسة نماذج "استدلال" (DeepSeek-R1, Gemini 2.5 Pro, GPT-o3, Claude Sonnet 4, Claude Sonnet 3.7) مقابل ستة نماذج "دردشة" (DeepSeek-V3, Gemini 2.5 Flash, GPT-4o, Claude Haiku 3, Llama 3.1 8B, Llama 3.1 70B).

مجموعات الأسئلة

تم استخدام خمس مجموعات بيانات راسخة لاختبار المعايرة عبر مجالات مختلفة:

BoolQ: أسئلة معلومات عامة بنظام (صح/خطأ).
SciQ: أسئلة علمية بنظام الاختيار من متعدد.
LSAT-AR: استدلال منطقي يتطلب استنتاجاً متعدد الخطوات.
SAT-EN: فهم قرائي يتطلب استنتاجاً نصياً دقيقاً.
HaluEval: مهمة كشف الهلوسة حيث قامت النماذج بتقييم إجابات تم إنشاؤها مسبقاً (نصفها صحيح ونصفها هلوسة).

LifeEval: معيار مرجعي جديد

لعزل تأثير صعوبة المهمة عن المتغيرات الأخرى، طور المؤلفون LifeEval. تطلب هذه المهمة من النماذج التنبؤ بعمر الشخص عند الوفاة بناءً على جنسه والحد الأدنى لسنّه، وتحديد الاحتمالية بأن يكون تقديرهم ضمن نصف قطر محدد (1، 5، 10، أو 20 عاماً) من القيمة الحقيقية.

التحكم في الصعوبة: يتم التحكم في الصعوبة خارجياً عن طريق تغيير نصف القطر والحد الأدنى للسن، مع الحفاظ على طبيعة السؤال ثابتة.
الحقيقة المطلقة: تم حساب الاحتمالات الفعلية باستخدام جداول الحياة الدورية لإدارة الضمان الاجتماعي الأمريكية، مما سمح بمقارنة دقيقة بين الثقة المعلنة والاحتمالية التجريبية.
المقياس: تُعرَّف صعوبة المهمة كـ $1 - \text{الدرجة القصوى القابلة للتحقيق (MAS)}$ ، حيث تمثل MAS السقف النظري للدقة لأي سؤال معطى.

البروتوكول التجريبي

التلقين (Prompting): تم توجيه النماذج لإخراج تنسيق JSON يحتوي على إجابتها ودرجة ثقة عددية (من 0.0 إلى 1.0). تم استخدام تلقين "سلسلة الأفكار" (Chain-of-thought) لمعظم المهام.
التسجيل (Scoring): بالنسبة لأسئلة الاختيار من متعدد، تُعتبر الاستجابة صحيحة إذا تطابق الخيار ذو الاحتمالية الأعلى مع الحقيقة المطلقة.
المقاييس:
- خطأ المعايرة المتوقع (ECE): يقيس عدم التوافق بين الثقة المتوقعة والدقة التجريبية عبر الفئات.
- فرط الثقة: يُحسب كـ $\text{متوسط الثقة} - \text{متوسط الدقة}$ .
- تأثير السهل-الصعب: يُقاس عبر معامل الانحدار بين صعوبة المهمة وفرط الثقة.

النتائج الرئيسية

1. فرط الثقة العام

عبر جميع مجموعات الأسئلة، تظهر النماذج اللغوية الكبيرة، في المتوسط، فرط ثقة. سجلت النماذج متوسط ثقة بنسبة 88% في إجاباتها المفضلة، بينما كانت دقتها الفعلية 79%. تشير هذه الفجوة البالغة 9% إلى ميل منهجي لكونها "متأكدة جداً من صحة إجاباتها".

2. تأثير السهل-الصعب

أكدت الدراسة أن تأثير السهل-الصعب، الموثق جيداً في علم النفس البشري، موجود أيضاً في النماذج اللغوية الكبيرة:

المهام الصعبة: يبلغ فرط الثقة ذروته في المهام الصعبة (مثل LSAT-AR، وHaluEval).
المهام السهلة: تظهر النماذج نقصاً في الثقة بشكل ملحوظ في المهام السهلة (مثل SciQ، وSAT-EN).
نتائج LifeEval: مع زيادة صعوبة المهمة (نصف قطر أصغر)، زاد فرط الثقة. وعلى العكس من ذلك، عندما أصبحت المهام أسهل (نصف قطر أكبر)، أظهرت النماذج نقصاً في الثقة. بالنسبة لأصعب مهام LifeEval (نصف قطر سنة واحدة)، أبلغت النماذج عن ثقة بنسبة 34.2% مقابل احتمالية فعلية قدرها 9.6%. وبالنسبة لأسهل المهام (نصف قطر 20 عاماً)، بلغت ثقتهم 80.5% مقابل 92.0% احتمالية فعلية.

3. نماذج الاستدلال مقابل نماذج الدردشة

الدقة: قدمت نماذج الاستدلال تقديرات ثقة أكثر دقة. فقد تم تقريب 61.1% فقط من درجات الثقة الخاصة بها إلى مضاعفات الـ 5%، مقارنة بـ 91.4% لنماذج الدردشة.
الارتباط: أظهرت نماذج الاستدلال ارتباطاً أقوى (متوسط 0.94) بين الثقة المعلنة والاحتمالية الفعلية مقارنة بنماذج الدردشة (0.48).
المعايرة: بينما كانت نماذج الاستدلال معايرة بشكل أفضل عموماً، إلا أنها لا تزال تعاني من تأثير السهل-الصعب.

4. تحليل التلوث (Contamination Analysis)

كشف تحليل لاحق لـ LifeEval أن بعض النماذج (لاسيما DeepSeek-R1، وGemini 2.5-Pro، وGPT-o3) أظهرت معدلات عالية من "الأدلة القوية" على حفظها لجداول الحياة الخاصة بإدارة الضمان الاجتماعي المستخدمة لتوليد الحقيقة المطلقة. وعند قصر التحليل على الاستجابات التي لا يوجد دليل على حفظها، استمر تأثير السهل-الصعب واتجاهات فرط الثقة، مما يؤكد أن النتائج ليست مجرد نتاج لتسرب البيانات.

المساهمات الرئيسية

دليل تجريبي على تأثير السهل-الصعب في الذكاء الاصطناعي: تقدم الورقة أول توثيق منهجي لتأثير السهل-صعب في ثقة النماذج اللغوية الكبيرة، مما يثبت أن فرط الثقة يزداد مع الصعوبة، بينما يظهر نقص الثقة في المهام السهلة.
معيار LifeEval المرجعي: يوفر تقديم LifeEval إطاراً جديداً لتقييم معايرة النماذج مع مقياس مستمر وخارجي لصعوبة المهمة، متجاوزاً الطرق الذاتية لتقييم الصعوبة السابقة.
التمييز بين أنواع النماذج: تسلط الدراسة الضوء على أن نماذج "الاستدلال" تقدم تقديرات ثقة أكثر دقة ومعايرة من نماذج "الدردشة" القياسية، رغم أن أياً منهما ليس معايراً بشكل مثالي.
تحديد كمية فرط الثقة: تحدد الدراسة فجوة فرط الثقة المتوسطة (9%) وتحدد مهام محددة (الاستدلال المنطقي، كشف الهلوسة) حيث تكافح النماذج لإدراك قابليتها للخطأ.

الأهمية والادعاءات

تدعي الورقة أن وجود تأثير السهل-الصعب في ثقة الذكاء الاصطناعي يحاكي الحكم البشري، مما يشير إلى أن الثقة في النماذج اللغوية الكبيرة قد تكون "إشارة ضوضائية للدقة" مشابهة للإدراك البشري. ولهذا تداعيات حرجة على نشر الأنظمة المستقلة:

الثقة والسلامة: إذا لم يتمكن المستخدمون من الوثوق في أن الثقة المعلنة للنموذج تشير إلى الدقة، فقد يثقون في المخرات الخاطئة أو يشكون في المخرات الدقيقة.
محدودية التعلم المعزز من التغذية الراجعة البشرية (RLHF): يشير المؤلفون إلى أن RLHF قد يزيد من فرط الثقة دون قصد إذا فضل المستخدمون البشريون النماذج التي تعبر عن تأكيد واثق.
المسار المستقبلي: يقترح المؤلفون أن الاستراتيجيات الفعالة في الحد من التحيز البشري — مثل تشجيع التأمل في سبب احتمال كون الإجابة خاطئة — يمكن تكييفها للنماذج اللغوية الكبيرة. ويشير الأداء المتفوق لنماذج الاستدلال إلى أن التلقينات أو نظم التدريب التي تشجع النقد الذاتي والتأمل قد تحسن المعايرة.

تخلص الورقة إلى أنه بينما تتحسن النماذج اللغوية الكبيرة، إلا أن ثقتها لا تزال غير حساسة بما يكفي لصعوبة المهمة، مما يشكل عائقاً أمام العمل المستقل الموثوق. يجب أن يركز البحث المستقبلي على التمييز بين أشكال فرط الثقة (المبالغة في التقدير مقابل المبالغة في الدقة) وتطوير طرق للتخفيف من هذه التحيزات.