💻 computer science

Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B

تفيد هذه الورقة بأنه بينما فشلت محاولة مسجلة مسبقاً لتقطير الاتساق الذاتي في الثقة اللفظية على نموذج Gemma 3 4B بسبب انهيار اعتلاج الملصقات، فإن تدريب الإنقاذ اللاحق على بيانات غير مصفاة نجح في ضغط إشارات الاتساق الذاتي عالية الدقة في قراءة تمريرة واحدة بمعدل AUROC2 بلغ 0.774، مما يثبت أن الحفاظ على اعتلاج الملصقات أمر بالغ الأهمية لمعايرة الثقة الفعالة.

المؤلفون الأصليون: Jon-Paul Cacioli

نُشر 2026-04-28

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jon-Paul Cacioli

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة الكبيرة: الروبوت المفرط في الثقة

تخيل أن لديك مساعداً روبوتياً ذكياً (نموذج ذكاء اصطناي) يجيب على أسئلة المعلومات العامة. تسأله: "ما هي عاصمة بيرو؟" فيجيب: "ليما". ثم تسأله: "ما مدى تأكدك؟"

المشكلة التي يعالجها هذا البحث هي أن هذا الروبوت سيء جداً في تقدير مستوى ثقته بنفسه. فحتى عندما يكون في حالة تخمين تام، يقول: "أنا متأكد بنسبة 99%!". الأمر يشبه طالباً يخمن الإجابات في اختبار، لكنه يكتب "متأكد بنسبة 100%" بجانب كل إجابة، سواء كانت صحيحة أم خاطئة.

يطلق الباحثون على هذا اسم "القناة اللفظية المتدهورة" (degenerate verbal channel). الروبوت في الواقع يعرف متى يكون في حالة تخمين (لديه إشارات داخلية)، لكنه يرفض الاعتراف بذلك علانية. هو فقط يخرج بعبارة واثقة مثل "99%" بغض النظر عن أي شيء.

التجربة: تعليم الروبوت كيف يكون صادقاً

أراد الباحث إصلاح هذا الأمر. حاول تعليم الروبوت أن يقول "لست متأكداً" عندما يكون غير متأكد بالفعل.

الإعداد:

المعلم: استخدموا طريقة "الاتساق الذاتي" (self-consistency). وهذا يعني أنهم سألوا الروبوت نفس السؤال 10 مرات.
- إذا أجاب الروبوت بشكل صحيح 10/10 مرات، يقول المعلم: "هذا سؤال سهل. يجب أن تقول إنك متأكد بنسبة 95%".
- إذا أخطأ الروبوت 10/10 مرات، يقول المعلم: "هذا سؤال صعب. يجب أن تقول إنك متأكد بنسبة 5%".
- إذا كانت النت مختلطة (مثلاً 5 صح و5 خطأ)، يقول المعلم: "أنت متأكد بنسبة 50%".
الهدف: تدريب الروبوت على النظر إلى السؤال وقول مستوى الثقة الصحيح فوراً (5% أو 95%) دون الحاجة لسؤال نفسه 10 مرات.

المحاولة الأولى: فخ "الطالب المثالي" (النتيجة السلبية)

بدأ الباحث بقاعدة صارمة ("مرشح نمطي" - modal filter). قرروا فقط عرض الأمثلة التي يكون فيها الروبوت مصيباً في معظم الأحيان. فكروا قائلين: "لماذا نعلم الروبوت عن كونه مخطئاً؟ دعونا نعلمه فقط عندما يكون مستواه جيداً".

ماذا حدث؟
فشل الروبوت تماماً. ظل يقول "متأكد بنسبة 95%" لكل شيء.
لماذا؟
فكر في الأمر كمعلم موسيقى لا يسمح للطالب إلا بممارسة الأغاني التي يعرفها بالفعل بإتقان. الطالب لن يتعلم أبداً كيفية التعامل مع أغنية صعبة.
في بيانات التدريب، كانت معظم الأسئلة "سهلة" (حيث كان الروبوت مصيباً بنسبة 100%). تعلم الروبوت خدعة بسيطة: "إذا رأيت سؤالاً، فقط قل 95%". لم يتعلم أبداً ما هو شعور "انخفاض الثقة" لأنه لم يُعرض عليه أمثلة لعدم التأكد. أطلق الباحثون على هذا اسم "انهيار إنتروبيا التسمية" (Label-Entropy Collapse). لم تكن البيانات متنوعة، لذا لم يكن لدى الروبوت ما يتعلمه.

عملية الإنقاذ: السماح للروبوت برؤية الفوضى (النتيجة الإيجابية)

أدرك الباحث خطأه. عاد وقال: "حسناً، دعونا نظهر للروبوت كل شيء، بما في ذلك الأسئلة التي أخطأ فيها".

قاموا بإزالة المرشح الصارم ودربوا الروبوت على جميع الأسئلة الـ 2,000، بما في ذلك الأسئلة التي كان الروبوت مرتبكاً فيها (أجاب على 0 أو 1 من أصل 10 محاولات).

النتيجة:
فجأة، تعلم الروبوت!

قبل: كان يقول "متأكد بنسبة 95%" لكل شيء.
بعد: بدأ يقول "متأكد بنسبة 5%" عندما كان يخمن، و"متأكد بنسبة 95%" عندما كان يعرف الإجابة.
السحر: أصبح بإمكانه الآن التمييز بين الإجابة الصحيحة والخاطئة بمجرد الاستماع إلى مستوى ثقته الخاص. لقد كان تقريباً بمستوى جودة سؤاله لنفسه 10 مرات، لكنه فعل ذلك في مرة واحدة فقط.

الأثر الجانبي: أصبح الروبوت أذكى (وأكثر إيجازاً)

كان هناك مكافأة غير متوقعة. عندما تعلم الروبوت أن يكون صادقاً بشأن ثقته، أصبح أيضاً أفضل في الإجابة على الأسئلة في اختبار آخر (MMLU).

لماذا؟ لاحظ الباحثون تغيراً في طريقة حديث الروبوت.
- قبل: كان الروبوت يسترسل في شروحات طويلة ومربكة.
- بعد: بدأ الروبوت يعطي إجابات قصيرة ومباشرة (مثلاً: "ج. الإجابة هي X. الثقة: 95%").
التشبيه: الأمر يشبه طالباً، عندما يُطلب منه أن يكون صادقاً بشأن معرفته، يتوقف عن محاولة "التظاهر بالمعرفة" عبر كتابة مقال طويل ومربك، ويكتفي بإعطاء الإجابة المباشرة. هذه الصراحة أجبرت الروبوت على أن يكون أكثر إيجازاً، مما ساعده بالصدفة على الإجابة بشكل صحيح أكثر.

العقبة (القيود)

الورقة البحثية صريحة جداً بشأن ما لم تفعله:

إنها ثنائية: تعلم الروبوت أن يقول "5%" أو "95%". لم يتعلم قول "72%". الأمر يشبه مفتاح الضوء (تشغيل/إيقاف) بدلاً من مفتاح التحكم في شدة الإضاءة (dimmer).
إنها مهمة إنقاذ: النجاح حدث بعد أن أدرك الباحث أن خطته الأولى كانت معيبة. يجب اختبار ذلك مرة أخرى للتأكد من أنه يعمل في كل مرة.
انخفاض الدقة: في الاختبار المحدد المستخدم للتدريب، أصبح الروبوت في الواقع أسوأ قليلاً في الإجابة بشكل صحيح، رغم أنه أصبح أفضل في تقدير ثقته. لقد ضحى ببعض الدقة في سبيل الصدق.

الدرسان الكبيران

تخلص الورقة البحثية في نتيجتين رئيسيتين لأي شخص يحاول تعليم الذكاء الاصطناعي أن يكون صادقاً:

يجب أن تظهر للروبوت متى يكون مخطئاً. إذا دربت الروبوت فقط على الأمثلة "السهلة" حيث يكون واثقاً، فلن يتعلم أبداً كيف يقول "لا أعرف".
الصدق يغير الأسلوب. تعليم الروبوت الإبلاغ عن ثقته بشكل صحيح يبدو أنه يجعله يتوقف عن الاسترسال ويبدأ في تقديم إجابات أكثر نظافة وفائدة.

باخت-صار، حاول الباحث تعليم روبوت كيف يعترف عندما يكون في حالة تخمين. فشلت المحاولة الأولى لأنهم أخفوا عنه الأسئلة الصعبة. نجحت المحاولة الثانية، مما علم الروبوت أن يكون صادقاً "ثنائياً" (بين نعم ولا) وهو الآن أفضل بكثير في رصد أخطائه مقارنة بالسابق.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "تقطير الاتساق الذاتي إلى ثقة لفظية: نتيجة سلبية مسجلة مسبقاً وإنقاذ لاحق للنتائج على نموذج Gemma 3 4B."

١. بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs)، وخاصة تلك التي تقع في نطاق ٣-٩ مليارات معلمة (parameters)، من مشكلة "الثقة اللفظية المتدهورة" (degenerate verbal confidence). فعند سؤالها عن مستوى ثقتها كنسبة مئوية، تُظهر هذه النماذج باستمرار مستويات ثقة قصوى (معدلات سقف > ٩٠٪) بغض النظر عما إذا كانت إجابتها صحيحة أم لا.

الفجوة: بينما تحتوي التمثيلات الداخلية (الحالات الخفية/hidden states) وإنتروبيا اللوجيت (logit entropy) في المرة الواحدة على معلومات كبيرة حول الصحة (AUROC2 ~ 0.6–0.8)، تفشل القناة اللفظية في نقل هذه المعلومات (AUROC2 ~ 0.5، أي بالقرب من مستوى الصدفة).
الهدف: تبحث الدراسة فيما إذا كان الضبط الدقيق الخاضع للإشراف المشروط بالثقة (CSFT) يمكنه تقطير المعلومات من "الاتساق الذاتي" متعدد العينات (وهي طريقة قوية ولكنها مكلفة حاسوبياً) إلى إشارة ثقة لفظية موثوقة في تمريرة واحدة.

٢. المنهجية

استخدمت الدراسة نموذج Gemma 3 4B-it واتبعت مسار تقييم سيكومتري صارم يعتمد على برنامج CMM (نظرية كشف الإشارة من النوع الثاني - Type-2 Signal Detection Theory).

التصميم التجريبي

البيانات: عناصر مستخرجة من TriviaQA (للمعايرة والتدريب والتقييم المستبعد) وMMLU (للنقل عبر الاختبارات).
اشتقاق الهدف: لكل عنصر تدريبي، تم توليد ١٠ عينات عند درجة حرارة $T=0.7$ . تم ربط عدد العينات الصحيحة ( $n_{correct}$ ) بهدف الثقة (على سبيل المثال، $n_{correct}=10 \rightarrow 95\%$ ، و $n_{correct}=0 \rightarrow 5\%$ ).
التدريب: استخدام تقنية LoRA (رتبة ١٦) على مطالبة الدردشة (chat prompt)، حيث يتم تدريب النموذج على إخراج الإجابة متبوعة بنسبة الثقة المستمدة.
ضوابط التحكم: تم تدريب نموذج تحكم بأهداف مشوشة (shuffled-target control) بنفس البنية المعمارية ولكن مع تبديل تسميات الثقة عشوائياً للتمييز بين تعلم التنسيق (format) وبين تعلم الإشارة (signal).

مرحلتان

البروتوكول المسجل مسبقاً (المرحلة ٠): تضمنت مرشح المنوال (modal filter)، الذي قصر بيانات التدريب على العناصر التي يكون فيها الجواب الأكثر تكراراً عبر ١٠ عينات صحيحاً.
الإنقاذ اللاحق (Post-Hoc Rescue): تمت إزالة مرشح المنوال، مما سمح للنموذج بالتدريب على جميع عناصر المعايرة البالغ عددها ٢,٠٠٠ عنصر، بما في ذلك العناصر ذات الإجابات المنوالية غير الصحيحة (توزيع ثنائي المنوال).

٣. النتائج الرئيسية

أ. النتيجة المسجلة مسبقاً (سلبية)

النتيجة: فشل البروتوكول.
المقاييس: انخفضت قيمة AUROC2 اللفظية من 0.554 (الأساس) إلى 0.509. وتدهورت الدقة بنسبة 7.6%. وظل مقياس تقييم الصلاحية (VRS) "غير صالح".
التشخيص: انهيار إنتروبيا التسمية (Label-Entropy Collapse). أدى مرشح المنوال إلى إزالة جميع العناصر التي كان النموذج فيها غير متأكد أو مخطئاً ( $n_{correct} < 10$ ). أدى ذلك إلى جعل مجموعة التدريب ذات أهداف ثقة عالية شبه موحدة (معظمها 95%). تعلم النموذج تجاهل المدخلات وإخراج المنوال (95%)، وفشل في تعلم متى يعبر عن انخفاض الثقة.

ب. الإنقاذ اللاحق (إيجابي استكشافي)

من خلال إزالة مرشح المنوال، تضمنت مجموعة التدريب توزيعاً ثنائي المنوال: 48.2% من العناصر كانت $n_{correct}=10$ (الهدف 95%) و36.5% كانت $n_{correct}=0$ (الهدف 5%).

أداء TriviaQA:
- AUROC2: تحسن بشكل ملحوظ من 0.554 (الأساس) إلى 0.774.
- معدل السقف (Ceiling Rate): انهار من 97.7% إلى 49.8%، مما يشير إلى أن النموذج تعلم تنويع الثقة.
- طبيعة الإشارة: تعلم النموذج مميزًا ثنائياً (إخراج إما 5% أو 95%) بدلاً من المعايرة المستمرة. نجح في ضغط إشارة الاتساق الذاتي المكونة من ١٠ عينات (AUROC2 = 0.999) في إخراج لفظي تمريرة واحدة، مستعيداً حوالي 77.5% من قوة التمييز.
- المقارنة: تفوقت إشارة الثقة المقطرة (0.774) على إنتروبيا اللوجيت في التمريرة الواحدة (0.701).
النقل عبر اختبار MMLU:
- الدقة: تحسنت بشكل كبير من 54.2% إلى 77.4%.
- AUROC2: تحسن من 0.535 إلى 0.616.
- التحكم: لم يظهر نموذج الأهداف المشوشة أي تحسن (الدقة 56.1%، AUROC2 0.523) وأنتج مخرجات مطولة وغير قابلة للتحليل، مما يؤكد أن المكاسب كانت بسبب محتوى أهداف الثقة، وليس مجرد إجراء LoRA.

٤. المساهمات الرئيسية ومبادئ التصميم

إنتروبيا التسمية أمر بالغ الأهمية: حددت الدراسة انهيار إنتروبيا التسمية كنمط فشل رئيسي في تدريب الثقة. لتدريب نموذج على التعبير عن عدم اليقين، يجب أن تتضمن مجموعة التدريب أمثلة على عدم اليقين (أهداف الثقة المنخفضة). تصفية الأمثلة "الصعبة" أو "الخاطئة" تضمن الفشل.
تقطير الاتساق الذاتي: من الممكن تقطير معلومات الاتساق الذاتي متعدد العينات (التي تتطلب عادةً ١٠ تمريرات أمامية) في إشارة ثقة لفظية تمريرة واحدة. ورغم وجود فقد في الضغط (~22.5%)، إلا أن الإشارة الناتجة أكثر معلوماتية من إنتروبيا اللوجيت القياسية ويمكن الوصول إليها عبر واجهات برمجة التطبيقات (APIs) القياسية.
تنظيم التنسيق (Format Regularization): بدا أن التدريب على أهداف الثقة الصحيحة يعمل كمنظم لتنسيق المخرجات. أنتج النموذج ذو الهدف الحقيقي استجابات موجزة وقابلة للتحليل، بينما أنتج نموذج الأهداف المشوشة نصوصاً مطولة وغير مهيكلة، مما يشير إلى أن أهداف الثقة قد تعمل كمنظم لهيكل المخرجات.
المقايضة بين الدقة والثقة: أدى التدخل إلى تحسين التمييز ولكنه تسبب في انخفاض بنسبة 7.5% في دقة TriviaQA. هذا يشير إلى أن النموذج اعتمد "سياسة إجابة-ثقة" جديدة تعطي الأولوية للتمثيل التمييزي على توليد الإجابة الخام، أو أن إشارة الثقة ساعدت في تصفية الهلوسات في اختبارات أخرى (MMLU).

٥. الأهمية والقيود

الأهمية: يوفر هذا العمل مساراً عملياً لتمكين النماذج اللغوية الكبيرة من "نطق" عدم اليقين الخاص بها بشكل موثوق دون الحاجة إلى الوصول إلى اللوجيتات الداخلية أو عمليات أخذ عينات متعددة. وهو يسلط الضوء على أن "القناة اللفظية" قابلة للتدريب ولكنها تتطلب توزيعات بيانات محددة (إنتروبيا عالية).
القيود:
- المخرج الثنائي: تعلم النموذج مصنفاً ثنائياً (5% مقابل 95%) بدلاً من المعايرة المستمرة (مثل 60% ثقة).
- الطبيعة اللاحقة: النتيجة الإيجابية لم تكن مسجلة مسبقاً وتتطلب التكرار (Replication).
- نموذج/بذرة واحدة: النتائج خاصة بـ Gemma 3 4B وبذرة عشوائية واحدة.
- انخفاض الدقة: يشير التحسن في دقة MMLU والانخفاض في دقة TriviaQA إلى وجود تفاعل معقد بين تدريب الثقة وتوليد سياسة الإجابة، مما يتطلب المزيد من دراسات الاستبعاد (Ablation studies).

الخاتمة

تثبت هذه الورقة أنه بينما تفشل النماذج اللغوية الصغيرة بطبيعتها في الإبلاغ عن عدم اليقين، يمكن معالجة ذلك عبر CSFT إذا حافظت بيانات التدريب على إنتروبيا التسمية. من خلال التدريب على كامل طيف نتائج الاتساق الذاتي (بما في ذلك الإخفاقات)، يمكن للنموذج تقطير الاستدلال المعقد متعدد العينات إلى إشارة ثقة لفظية موثوقة في تمريرة واحدة، تتفوق على معايير الإنتروبيا القياسية وتحسن الأداء في المهام العابرة للاختبارات مثل MMLU.