💬 NLP

Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen

تُظهر هذه الدراسة أن النماذج اللغوية الكبيرة ذات الأوزان المفتوحة والمضبوطة تعليمياً، والتي تقع في نطاق 3-9 مليارات معلمة، تفشل في اختبارات الصلاحية السيكومترية للثقة اللفظية، حيث تُظهر تأثيرات سقفية مفرطة وافتقاراً للارتباط بين اليقين اللفظي والدقة الفعلية أو احتمالات اللوغاريتم (logprobabilities) على مستوى الرمز (token).

المؤلفون الأصليون: Jon-Paul Cacioli

نُشر 2026-04-27

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jon-Paul Cacioli

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

مشكلة "الطالب الواثق بزيادة": لماذا يكذب عليك ذكاؤك الاصطناعي بشأن مدى تأكده؟

تخيل أنك معلم تصحح لطلاب في فصل دراسي. تطرح عليهم سلسلة من أسئلة المعلومات العامة الصعبة. وبعد كل إجابة، تسألهم: "على مقياس من 1 إلى 100، ما مدى تأكدك من أن إجابتك صحيحة؟"

أنت تتوقع أن يقول بعض الطلاب: "أنا متأكد بنسبة 90%"، بينما يقول آخرون: "أنا متأكد بنسبة 20% فقط، أنا مجرد أخمن". هذا يتيح لك معرفة من يعرف المادة فعلياً ومن يرمي السهام في الظلام فحسب.

هذه الورقة البحثية تتحدث عن مجموعة من "الطلاب" (نماذج الذكاء الاصطناعي الصغيرة) الذين لديهم عادة غريبة جداً: مهما بلغت صعوبة السؤال، فإنهم جميعاً يصرخون: "أنا متأكد بنسبة 100%!"

الاكتشاف الجوهري: "الميزان المكسور"

قام الباحث، جون-بول كاتسيولي، باختبار سبعة نماذج مختلفة من الذكاء الاصطناعي الصغيرة (الطلاب). أراد أن يرى ما إذا كانت "درجات الثقة" الخاصة بهم تعني أي شيء حقاً. في العلم، إذا لم يستطع أداة التمييز بين حالة "ساخنة" وأخرى "باردة"، فإننا نسمي ذلك غير صالح.

كانت النتائج مذهلة:

تأثير السقف (الميزان المكسور): تقريباً كل نموذج اختبره الباحث أعطى درجة ثقة بنسبة 95% أو أعلى، بغض النظر عما إذا كانت إجابتهم صحيحة أم خاطئة. الأمر يشبه امتلاك ميزان حرارة يقرأ دائماً "100 درجة". لا يهم إذا كنت في مجمد أو في سونا؛ الميزان يقرأ فقط "ساخن!". هذا يجعل الدرجة عديمة الفائدة لمعرفة ما إذا كان الذكاء الاصطناعي صحيحاً بالفعل.
كارثة "الاختيار من متعدد": حاول الباحث إصلاح ذلك عبر إعطاء الذكاء الاصطناعي طريقة مختلفة للتعبير عن الثقة (مثل مقياس الاختيار من متعدد: لا توجد فرصة، ربما، شبه مؤكد). وبدلاً من المساعدة، أدى ذلك إلى تعطيل عقل الذكاء الاصطناعي. فقد ارتبكت النماذج بسبب الطريقة الجديدة للإجابة لدرجة أنها توقفت عن الإجابة على أسئلة المعلومات العامة بشكل صحيح تماماً.
مفارقة "التفكير الزائد": في نموذج محدد "يفكر" قبل أن يتحدث (نموذج استنتاجي)، وجد الباحث أنه كلما قضى الذكاء الاصطناعي وقتاً أطول في "التفكير"، قلّت نبرة الثقة لديه. إنه يشبه طالباً يتمتم ويتردد لمدة خمس دقائق قبل أن يقول أخيراً: "أنا متأكد بنسبة 100%!".

لماذا يهم هذا؟ (مشكلة "الأمان")

قد تفكر: "وما الشأن؟ إذا كان الذكاء الاصطناعي واثقاً دائماً، فما عليك سوى النظر إلى إجابته."

لكن في العالم الحقيقي، نريد استخدام الذكاء الاصطناعي في أمور مهمة — مثل المشورة الطبية، أو الأبحاث القانونية، أو قيادة السيارات. في هذه الحالات، نحتاج من الذكاء الاصطناعي أن يقول: "لا أعرف، لست متأكداً، يرجى سؤال بشري."

إذا تم برمجة الذكاء الاصطناعي ليكون واثقاً دائماً، فلن "يمتنع" أبداً عن الإجابة أو يطلب المساعدة. سيقود سيارة في منحدر بكل ثقة، أو سيعطيك جرعة دواء خاطئة بكل ثقة.

الخلاصة

تخلص الورقة البحثية إلى أن نماذج الذكاء الاصطناعي الصغيرة هي حالياً "كاذبة لفظياً". قد يعرفون في الواقع أنهم مخطئون في أعماق "أدمغتهم" الرقمية، لكن عندما تسألهم عن شعورهم، لا يمكنهم نقل عدم اليقين هذا إليك. إنهم عالقون في حلقة مفرغة من الثقة المفرطة.

الدرس المستفاد: قبل أن نثق في ذكاء اصطناعي لاتخاذ قرارات كبرى بناءً على "ثقته"، نحتاج للتأكد من أنه يمتلك بالفعل "مستشعر عدم يقين" يعمل — وفي الوقت الحالي، بالنسبة لهذه النماذج، هذا المستشعر معطل.

ملخص تقني: تشبع الثقة اللفظية في النماذج اللغوية الكبيرة ذات الأوزان المفتوحة (3-9 مليار معلمة)

العنوان: تشبع الثقة اللفظية في النماذج اللغوية الكبيرة ذات الأوزان المفتوحة والموجهة تعليمياً (3-9 مليار معلمة): فحص صلاحية سيكومتري مسبق التسجيل
المؤلف: جون بول كاسيولي
التاريخ: أبريل 2026

1. المشكلة: فشل "القراءة" (The Readout Failure)

بينما يُطلب من النماذج اللغوية الكبيرة (LLMs) بشكل متكرر التعبير لفظياً عن ثقتها (على سبيل المثال: "أنا متأكد بنسبة 90%") لتقدير عدم اليقين، هناك قلق متزايد من أن هذه الإشارة اللفظية لا تعكس بدقة الحالة الداخلية للنموذج. تشير الأبحاث الحالية إلى وجود "مشكلة في القراءة": حتى لو كان النموذج "يعرف" داخلياً أنه مخطئ، فإن الواجهة المستخدمة لاستخراج تلك المعلومة (المخرج اللفظي) قد تكون معطلة.

تحديداً، يبحث هذا البحث في تشبع الثقة — وهي ظاهرة حيث تقدم النماذج درجات ثقة تقترب من الحد الأقصى (على سبيل المثال: 95-100%) بغض النظر عما إذا كانت الإجابة صحيحة أم خاطئة. وإذا كانت الإشارة مشبعة، فلا يمكن استخدامها في المهام اللاحقة مثل تصفية السلامة، أو التوجيه، أو الامتناع عن الإجابة، لأنها تفتقر إلى القدرة على التمييز بين الاستجابات الصحيحة والخاطئة.

2. المنهجية

استخدمت الدراسة نهجاً سيكومترياً صارماً ومسجلاً مسبقاً لتحديد ما إذا كانت الثقة اللفظية تلبي المتطلبات الدنيا لـ التمييز من النوع الثاني (القدرة على التمييز بين العناصر الصحيحة والخاطئة).

النطاق: سبعة نماذج مفتوحة الأوزان وموجهة تعليمياً تتراوح بين 3 إلى 9 مليارات معلمة (بما في ذلك Llama 3، وMistral، وQwen 2.5، وGemma 2، وDeepSeek-R1-Distill).
مجموعة البيانات: 524 عنصراً من مجموعة بيانات TriviaQA، مما نتج عنه 8,384 تجربة حتمية.
تنسيقات الاستخلاص:
- العددي (NUM): طُلب من النماذج تقديم نسبة مئوية من 0 إلى 100.
- الفئوي (CAT): طُلب من النماذج تصنيف الثقة ضمن مقياس رتبي مكون من 10 فئات.
إعدادات الاستدلال: فك التشفين الجشع (Greedy decoding) عند درجة حرارة (0) على أجهزة استهلاكية لعزل سلوك الاحتمالية القصوى للنموذج.
فحص الصلاحية السيكومترية: بدلاً من مجرد قياس المعايرة (مدى قرب الرقم من الدقة)، طبق المؤلف بروتوكول صلاحية على الطراز السريري. يتضمن ذلك التحقق من التدهور/التعفن (حيث تقع جميع الاستجابات تقريباً في فئة واحدة) وحساب مؤشرات مثل $L$ (احتمالية الثقة العالية في حالة الإجابة الخاطئة) و $F_p$ (احتمالية الثقة المنخفضة في حالة الإجابة الصحيحة).

3. النتائج الرئيسية

أكدت الدراسة عدة فرضيات حرجة:

التشبع العالمي (H1 & H2): فشلت جميع النماذج السبعة الموجهة تعليمياً في فحص الصلاحية تحت الاستخلاص العددي. بلغ متوسط نسبة التجارب ذات الثقة $\ge 95\%$ نحو 91.7%. تم تصنيف معظم النماذج على أنها غير صالحة بسبب التدهور (الإشارة كانت في الأساس قيمة ثابتة).
فشل الإنقاذ الفئوي (H4): لم يؤدِ الانتقال إلى مقياس فئوي إلى حل المشكلة. بل تسبب في فشل تفاعلي: حيث أدى التنسيق الفئوي إلى تعطيل قدرة النماذج على الإجابة على الأسئلة نفسها، مما تسبب في انخفاض الدقة بشكل حاد (في بعض الحالات إلى أقل من 5%).
الاستقلالية عن الاحتمالات اللوغاريتمية (H5): لم تظهر الاحتمالات اللوغاريتمية لرموز الـ (tokens) — وهي وسيط شائع لعدم اليقين — أي علاقة تنبؤية قابلة للاستخدام مع الثقة المعلنة لفظياً ( $R^2 < 0.01$ ).
تلوث الاستدلال (E5): في النموذج المقطر للاستدلال (DeepSeek-R1)، ارتبطت مسارات الاستدلال الطويلة ارتباطاً قوياً بانخفاض الثقة اللفظية ( $\rho = -0.36$ )، مما يشير إلى أنه بينما "يكافح" النموذج خلال عملية التفكير، تنخفض ثقته المعلنة لفظياً.
الإشارة الداخلية مقابل الخارجية: من المهم ملاحظة أن صعوبة العنصر كانت ترتبط بالثقة ( $\rho = 0.50$ )، مما يعني أن النماذج تمتلك بالفعل معلومات داخلية حول عدم اليقين الخاص بها، ولكن هذه المعلومات تفشل في البقاء أثناء الانتقال إلى واجهة المخرج اللفظي.

4. المساهمات الرئيسية

تغيير المنظور: يجادل البحث بأن التشبع يجب أن يُعامل كـ فشل في الصلاحية (الإشارة غير معلوماتية) وليس كـ فشل في المعايرة (الإشارة منحازة فقط). لا يمكنك "إعادة معايرة" إشارة فقدت كل تباينها.
الإطار السيكومتري: يقدم البروتوكول إطاراً رسمياً وقابلاً للتكرار (الملحق أ) يمكن للباحثين استخدامه للتحقق من صحة إشارات عدم اليقين قبل نشرها في بيئات الإنتاج.
تحديد "مشكلة القراءة": يوفر دليلاً تجريبياً على أن الواجهة الافتراضية لعدم اليقين (التعبير اللفظي) معطلة بشكل أساسي في نطاق 3-9 مليارات معلمة.

5. الأهمية والآثار المترتبة

تعد هذه النتائج بمثابة تحذير لمجتمع نشر الذكاء الاصطناعي. أي نظام يعتمد على "الثقة المبلغ عنها ذاتياً" من قبل نموذج لغوي لاتخاذ قرارات عالية المخاطر (مثل تحديد ما إذا كان يجب طلب المساعدة من إنسان أو ما إذا كانت الاستجابة آمنة) من المرجح أنه يستخدم إشارة متدهورة إذا كان النموذج في نطاق 3-9 مليارات معلمة.

تخلص الدراسة إلى أن الفحص السيكومتري يجب أن يسبق استخدام إشارات الثقة اللفظية. لا ينبغي للباحثين افتراض أنه لمجرد أن النموذج يمكنه قول "أنا متأكد بنسبة 50%"، فإنه قادر فعلياً على التعبير عن عدم اليقين بدقة.