💬 NLP

Let the Model Distribute Its Doubt: Confidence Estimation through Verbalized Probability Distribution

تقترح هذه الورقة طريقة لتحسين تقدير ثقة النماذج اللغوية الكبيرة من خلال حث النموذج على التعبير لفظياً عن توزيع احتمالي كامل بدلاً من تخمين واحد، مما يثبت أن هذا النهج يعزز كفاءة الاستدلال، ويحقق أداءً فائقاً عبر المهام، ويقلل بشكل كبير من التكاليف الحسابية أثناء التوسع في وقت الاستدلال مقارنة بالنماذج المرجعية الحالية.

المؤلفون الأصليون: Ante Wang, Weizhi Ma, Yang Liu

نُشر 2026-04-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ante Wang, Weizhi Ma, Yang Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تسأل صديقاً ذكياً ومطلعاً جداً (نموذج لغة كبير - LLM) سؤالاً صعباً. أنت لا تريد الإجابة فحسب؛ بل تريد معرفة مدى تأكده منها.

إذا قال لك صديقك: "عاصمة فرنسا هي باريس"، فأنت تثق به. ولكن إذا قال لك: "عاصمة فرنسا هي... حسناً، أنا متأكد بنسبة 99% أنها باريس، ولكن ربما تكون ليون؟" فأنت بحاجة لمعرفة ما إذا كانت نسبة الـ 99% هذه شعوراً حقيقياً أم مجرد تخمين واثق.

هذه الورقة البحثية تدور حول تعليم الذكاء الاصطناعي كيف يكون حكماً أفضل على مدى يقينه الخاص. إليك التفاصيل باستخدام تشبيهات بسيطة.

المشكلة: الصديق المفرط في الثقة

تعاني نماذج الذكاء الاصطناعي حالياً من مشكلة الإفراط في الثقة رغم براعتها في توليد النصوص. قد تعطي إجابة خاطئة بيقين يصل إلى 100% لأنها مُدربة على أن تبدو مفيدة وحاسمة.

الطريقة القديمة: يختار الذكاء الاصطناعي إجابة ويقول: "أنا متأكد بنسبة 90%". الأمر يشبه طالباً يجري اختباراً، فيختار الإجابة "أ"، ويكتب بجانبها فوراً "90%" دون التفكير في سبب احتمال خطئه.
العيب: يؤدي هذا غالباً إلى "الهلوسة"، حيث يكون الذكاء الاصطناعي مخطئاً بكل ثقة. وفي المجالات عالية الخطورة مثل الطب أو القانون، يعد هذا أمراً خطيراً.

الحل: دع النموذج "يوزع شكوكه"

يقترح المؤلفون طريقة جديدة تسمى التوزيع الاحتمالي اللفظي (Verbalized Probability Distribution). بدلاً من مطالبة الذكاء الاصطناعي باختيار إجابة واحدة وتخمين درجة ثقته، نطلب منه سرد جميع الإجابات المحتملة وتعيين احتمال لكل منها.

فكر في الأمر كالتالي:

الطريقة القديمة (الثقة اللفظية): الذكاء الاصطناعي هنا مثل المقامر الذي يضع رهاناً واحداً. "أراهن على اللون الأحمر!" (هو لا يفكر في الأسود أو الأخضر).
الطريقة الجديدة (التوزيع اللفظي): الذكاء الاصطناعي هنا مثل متنبئ الأرصاد الجوية. فبدلاً من القول فقط "ستمطر"، يقول: "هناك احتمال 60% لهطول الأمطار، و30% لغيوم، و10% للشمس".

كيف يعمل الأمر: قاعدة "كل الخيارات"

وجد الباحثون أنه عندما تجبر الذكاء الاصطناعي على مراعاة كل الخيارات الممكنة (حتى السخيفة منها) والتأكد من أن جميع النسب المئوية تجمع 100%، يحدث شيء سحري:

يفكر بعمق أكبر: يتعين على الذكاء الاصطناعي موازنة الإيجابيات والسلبيات لكل خيار، وليس فقط الخيار الذي يحبه.
يصبح صادقاً: إذا كان الذكاء الاصطناً مرتبكاً، فلا يمكنه ببساطة وضع ثقة 100% على إجابة واحدة خاطئة. يجب عليه توزيع "شكوكه" حول الخيارات. ربما يعطي 40% للإجابة (أ)، و30% للإجابة (ب)، و30% لخيار "لا أعرف".
شبكة الأمان "لا شيء مما سبق": بالنسبة للأسئلة مفتوحة النهايات حيث توجد إجابات لا نهائية، يُطلب من الذكاء الاصطناعي تضمين خيار يسمى "لا شيء مما سبق". يعمل هذا كوعاء لكل حالات عدم اليقين التي لا تنطبق على التخمينات المحددة.

"المدرب" (التعلم التعزيزي)

اختبرت الورقة أيضاً تدريب الذكاء الاصطناعي باستخدام "مدرب" (التعلم التعزيزي).

تخيل مدرباً يراقب الذكاء الاصطناعي وهو يلعب لعبة. في كل مرة يعطي فيها الذكاء الاصطناعي إجابة واثقة وتكون خاطئة، يوجه له المدرب عقوبة. وفي كل مرة يوزع فيها الاحتمالات بشكل صحيح (بحيث تتطابق ثقته مع مدى صحة إجاباته فعلياً)، يحصل على مكافأة.
النتيجة: يتعلم الذكاء الاصطناعي أن يكون حكماً أفضل على مهاراته. يتعلم أن كون الإجابة "مُعايرة" (أي دقيقة في تعبيرها عن الثقة) أهم من مجرد أن يكون صوته عالياً وواثقاً.

لماذا هذا مهم: فوز "الكفاءة"

أحد أروع النتائج هو ما يتعلق بـ السرعة والتكلفة.

عادةً، للحصول على إجابة أفضل، عليك أن تطلب من الذكاء الاصطناعي التفكير لفترة أطول أو إجراء الحساب عدة مرات (مثل طلبك من صديق أن يفكر في مشكلة لمدة ساعة).
هذه الطريقة الجديدة تحقق نتائج أفضل دون الحاجة إلى ذلك الوقت الإضافي. الأمر يشبه أن يتعلم الذكاء الاصطنا_ب فجأة كيف "يفكر قبل أن يتحدث" بمجرد تغيير قواعد اللعبة. تشير الورقة إلى أنها وفرت ما يقرب من 6 أضعاف الحوسبة للوصول إلى نفس مستوى الدقة التي تحققها الطرق المعقدة الأخرى.

العائق: ليس مثالياً لكل شيء

تعمل هذه الطريقة بشكل رائع للأسئلة ذات الخيارات المتعددة (مثل الامتحانات الطبية أو المسابقات الثقافية) أو الأسئلة مفتوحة النهايات حيث توجد احتمالات عديدة.
ومع ذلك، بالنسبة للمسائل الرياضية، فإن الأمر أكثر تعقيداً. في الرياضيات، عادة ما تكون هناك إجابة واحدة صحيحة فقط، والخطوات للوصគាត់ إليها مطلقة. إذا سألت ذكاءً اصطناعياً رياضياً لتخمين الاحتمالات لـ "2+2=5" و "2+2=4"، فقد يرتبك لأن الإجابة ليست مسألة رأي، بل هي حقيقة. تعترف الورقة بأن هذه الطريقة تحتاج إلى بعض التعديلات بالنسبة للاستنتاج الرياضي البحت.

الصورة الكبيرة

تعلمنا هذه الورقة أن عدم اليقين هو ميزة وليس عيباً. من خلال إجبار نماذج الذكاء الاصطناعي على إظهار "شكها" صراحة وتوزيع ثقتها عبر جميع الاحتمالات، نحصل على:

ذكاء اصطناعي أكثر أماناً: نعرف متى نثق في الذكاء الاصطناعي ومتى نتحقق من عمله.
ذكاء اصطناعي أذكى: عملية سرد جميع الخيارات تجبر النموذج على التفكير بشكل أفضل.
ذكاء اصطناعي أقل تكلفة: نحصل على نتائج أفضل دون الحاجة إلى حواسيب خارقة لتشغيل النموذج لفترات أطول.

باخت-صار: لا تسأل الذكاء الاصطناعي فقط "ما هي الإجابة؟" بل اسأله: "ما هي جميع الاحتمالات، وما مدى احتمالية كل منها؟" هذا التحول البسيط يجعل الذكاء الاصطناعي أكثر موثوقية بكثير.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "دع النموذج يوزع شكوكه: تقدير الثقة من خلال التوزيع الاحتمالي اللفظي."

1. بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في المجالات عالية الخطورة (مثل الرعاية الصحية، القانون، والتمويل)، ومع ذلك فهي ترتكب أخطاءً لا مفر منها. وتتمثل الفجوة الحرجة في نشرها في الافتقار إلى تقديرات ثقة جيدة المعايرة (well-calibrated confidence estimates).

المشكلة: تفشل الطرق التقليدية التي تعتمد على احتمالات الرموز (token probabilities) غالباً لأن النماذج اللغوية الكبيرة الحديثة (خاصة تلك التي تم ضبطها باستخدام التعلم التعزيزي من التغذية الراجعة البشرية RLHF) قد تضحي بالمعايرة من أجل اتباع تعليمات المستخدم بشكل أفضل، مما يؤدي إلى الإفراط في الثقة (overconfidence).
محدودية الحلول الحالية:
- الثقة اللفظية (Verbalized Confidence): طلب درجة ثقة واحدة من النموذج غالباً ما يؤدي إلى الإفراط في الثقة لأن النموذج يركز على تخمين واحد دون النظر في البدائل.
- أعلى $k$ لفظياً (Verbalized Top- $k$ ): طلب $k$ من التخمينات يحسن المعايرة، ولكنه غالباً ما يفشل في فرض توزيع احتمالي صالح (على سبيل المثال، قد يتجاوز مجموع الاحتمالات 100%)، مما يؤدي إلى تقدير غير قابل للتطبيق للثقة.
الفجوة البحثية: لا يزال من غير الواضح ما هي استراتيجيات الاستدلال المحددة التي تستخرج تقديرات ثقة دقيقة. وتحديداً، كيف يؤثر إجبار النموذج على التفكير في كامل فضاء الاحتمالات على تقدير عدم اليقين الخاص به، وهو أمر لم يُدرس بعمق بعد.

2. المنهجية: التوزيع الاحتمالي اللفظي

يقترح المؤلفون التوزيع الاحتمالي اللفظي (Verbalized Probability Distribution)، وهي استراتيجية توجيه (prompting) تجبر النموذج اللغوي الكبير على صياغة حالة الاعتقاد الخاصة به عبر فضاء الإجابات بأكره بدلاً من التركيز على تنبؤ واحد.

الآلية الأساسية:

التوجيه (Prompting): يتم توجيه النموذج للقيام بما يلي:
- تحديد جميع الإجابات الممكنة (أو مجموعة ممثلة للمرشحين).
- تعيين درجة ثقة لكل مرشح.
- التأكد من أن مجموع درجات الثقة لجميع المرشحين يساوي 1.0 (توزيع احتمالي صالح).
التعامل مع المهام مفتوحة المجموعة (Open-Set Tasks): بالنسبة للمهام التي يستحيل فيها حصر جميع الإجابات، تتضمن الطريقة خيار "لا شيء مما سبق" (None of the above). يقوم هذا الخيار بتجميع الكتلة الاحتمالية للمرشحين ذوي الاحتمالية المنخفضة، مما يضمن بقاء التوزيع صالحاً.
التحسين عبر التعلم التعزيزي (RL): يستكشف المؤلفون تحسين هذه العملية باستخدام التعلم التعزيزي مع مكافآت المعايرة (RLCR).
- دالة المكافأة: تعتمد على درجة برير (Brier score) حيث ( $r = y - (c-y)^2$ )، حيث $y$ هو الصحة و $c$ هي الثقة.
- القيد: يتم تطبيق عقوبة صارمة ( $r = -1$ ) إذا لم يكن الناتج مجموعاً يساوي 1، مما يفرض قيد التوزيع الاحتمالي أثناء التدريب.

المقارنة مع الخطوط المرجعية (Baselines):

الثقة اللفظية: تخمين واحد + درجة واحدة (عرضة للإفراط في الثقة).
أعلى $k$ لفظياً: $k$ من التخمينات + الدرجات (يخفف من الإفراط في الثقة ولكنه يفتقر إلى الصرامة التوزيعية).
التوزيع اللفظي: حالة اعتقاد كاملة + درجات معيرة (يجبر النموذج على التفكير في البدائل والاتساق المنطقي).

3. المساهمات الرئيسية

استراتيجية توجيه مبتكرة: قدمت طريقة تتطلب من النماذج اللغوية الكبيرة توليد توزيع احتمالي معير عبر الإجابات الممكنة، مما يجبرها فعلياً على "توزيع شكوكها" بدلاً من التمسك بفرضية واحدة.
تقييم منهجي: إجراء تجارب واسعة النطاق عبر نماذج لغوية متعددة (سلسلة Qwen3، GPT-4.1، DeepSeek-V3، Llama-3) ومهام متنوعة (مجموعة مغلقة: MedQA، MMLU-Pro؛ مجموعة مفتوحة: HotpotQA، MedCaseReasoning).
التحسين عبر التعلم التعزيزي (RL): أظهرت النتائج أن التعلم التعزيزي يمكن أن يصقل هذه الطريقة بشكل أكبر، مما يؤدي إلى تقارب أسرع وتعميم أفضل خارج النطاق (out-of-domain) مقارنة بطرق التعبير اللفظي الأخرى.
تحليل الكفاءة: أظهرت الط المقترحة تحقيق تقدير ثقة متفوق بتكاليف حوسبة أقل بكثير (عدد توكنز أقل) أثناء توسيع وقت الاستدلال مقارنة بالنماذج المرجعية.

4. النتائج التجريبية

تقيم الورقة الأداء باستخدام AUROC (التمييز)، و ECE (خطأ المعايرة)، و درجة برير (الدقة الإجمالية لتقديرات الاحتمال).

التوجيه بدون تدريب (Training-Free Prompting):
- تفوق التوزيع اللفظي باستمرار على "الثقة اللفظية" و"أعلى $k$ لفظياً" في جميع النماذج والمهام.
- حقق أدنى درجات برير وأقل خطأ معايرة (ECE).
- النماذج الصغيرة تستفيد أكثر: أظهرت النماذج الأصغر (مثل Qwen3-4B) أكبر المكاسب، مما يشير إلى أن الطريقة تساعد النماذج الأصغر على التفكير بشكل أكثر فعالية في عدم اليقين.
التعلم التعزيزي (RL):
- حسن التدريب بالتعلم التعزيزي جميع الطرق، لكن التوزيع اللفظي حافظ على الصدارة.
- أظهر تقارباً أسرع أثناء التدريب (الوصول إلى الأداء الأمثل في خطوات أقل).
- أظهر أداءً قوياً في مهام خارج التوزيع (OOD) (مثل التدريب على MedQA والاختبار على MMLU-Pro).
توسيع وقت الاستدلال (Inference-Time Scaling):
- عند دمج الطرق مع اتساق الإجابة (أخذ عينات من مسارات متعددة)، كان التوزيع اللفظي هو الأكثر كفاءة في العينات.
- وصل إلى أفضل درجة برير للنموذج المرجعي الأقوى في MMLU-Pro باستخدام 6 أضعاف أقل من الحوسبة تقريباً.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة خيار "لا شيء مما سبق" إلى انخفاض كبير في الأداء، خاصة في المهام مفتوحة المجموعة.
- أدت إزالة شرط المعايرة (المجموع=1) إلى تدهور المعايرة، مما يثبت أن القيد ضروري لإجبار النموذج على التفكير في الاحتمالات النسبية.

5. الأهمية والقيود

الأهمية:

الذكاء الاصطناي الموثوق: توفر آلية عملية، سواء بدون تدريب أو بتدريب خفيف، لجعل النماذج اللغوية الكبيرة أكثر موثوقية في التطبيقات الحرجة من خلال الإشارة بدقة إلى متى تكون غير متأكدة.
آلية الاستدلال: تكشف أن عملية توزيع الاحتمالات تجبر النموذج على الانخراط في استدلال أعمق، من خلال التفكير في البدائل وتجنب "التكلفة الغارقة" لتخمين أولي واحد.
الكفاءة: تقدم مساراً فعالاً حوسبياً للحصول على تقدير عالي الجودة للثقة، وهو أمر بالغ الأهمية لتوسيع تطبيقات النماذج اللغوية الكبيرة.

القيود:

الاعتماد على المهمة: تواجه الطريقة صعوبة في المهام التي تكون فيها مساحة الإجابة بطبيعتها أحادية أو حتمية (مثل الاستدلال الرياضي الصارم)، حيث يكون "توزيع الشك" أقل طبيعية.
العبء الإضافي للتوكنز (Token Overhead): توليد توزيع كامل يستهلك المزيد من التوكنز في تمريرة واحدة مقارنة بإجابة واحدة، رغم أنه أكثر كفاءة من أخذ عينات متكررة.
الحساسية للتوجيه: تختلف الفعالية باختلاف المهمة؛ ويُقترح كعمل مستقبلي اختيار استراتيجيات التوجيه تلقائياً بناءً على خصائص المهمة.

الخاتمة

تثبت الورقة أن التوزيع الاحتمالي اللفظي هو نهج متفوق لتقدير الثقة. من خلال إجبار النماذج اللغوية الكبيرة على نمذجة عدم اليقين الخاص بها صراحة عبر كامل فضاء الإجابات والالتزام ببديهيات الاحتمال، فإن هذه الطريقة تحسن بشكل كبير من المعايرة وفعالية الاستدلال، لا سيما للنماذج الأصغر ومهام الاستدلال المعقدة.