Always Tell Me The Odds: Fine-grained Conditional Probability Estimation

ملخص تقني: أخبرني دائمًا بالاحتمالات: تقدير الاحتمال الشرطي دقيق التفاصيل

نُشر في: COL-M 2025

1. بيان المشكلة

بينما تتفوق النماذج اللغوية الكبيرة (LLMs) في الاستدلال الحتمي، فإنها تعاني في الاستدلال الاحتمالي تحت ظروف عدم اليقين. فالمعرفة في العالم الحقيقي هي بطبيعتها احتمالية، ومع ذلك تعاني طرق تقدير عدم اليقين الحالية في النماذج اللغوية الكبيرة من ثلاث عيوب رئيسية:

• الخشونة (Coarseness): غالبًا ما تلتزم الثقة اللفظية بقيم منفصلة قليلة (مثل "75%" أو "50%").
• سوء المعايرة (Miscalibration): غالبًا ما تكون الاحتمالات القائمة على الـ (logits) مفرطة في الثقة أو منحازة.
• الافتقار إلى الدقة دقيقة التفاصيل: تعتمد النماذج الحالية غالبًا على بنيات قائمة على المشفرات (encoders) صغيرة الحجم، والتي تفشل في الاستفيد من قدرات الاستدلال ومعرفة العالم العميقة التي تمتلكها النماذج اللغوية الكبيرة الحديثة القائمة على فك التشفير (decoder-only).

يهدف المؤلفون إلى بناء نماذج قادرة على تقدير الاحتمال الشرطي دقيق التفاصيل $P(\text{proposition} \mid \text{context})$ — أي توفير تقديرات دقيقة ومستمرة تقريبًا بدلاً من مجرد تسميات فئوية بسيطة.

2. المنهجية

يقترح المؤلفون مسار عمل متعدد المراحل لتدريب النماذج اللغوية الكبيرة الحديثة القائمة على فك التشفير (decoder-based) للقيام بعملية انحدار (regression) عالية الدقة.

أ. إنشاء البيانات الاصطناعية (التوسيم الزائف - Pseudo-labeling):
للتغلب على ندرة التوسيمات البشرية الاحتمالية عالية الجودة، استخدم المؤلفون مسار عمل اصطناعي متطور:

1. التحفيز المعزز بالاستدلال (Reasoning-Augmented Prompting): تقوم نماذج لغوية متعددة بتوليد تقديرات احتمالية مصحوبة بسلاسل استدلال.
2. التصفية القائمة على الاتفاق (Agreement-Based Filtering): يتم تحديد الحالات التي تظهر فيها نماذج لغوية مختلفة تباينًا عاليًا.
3. النموذج اللغوي كحكم (LLM-as-a-Judge): بالنسبة للعينات ذات التباين العالي، يقوم نموذج لغوي قوي (Judge) بتقييم جودة سلاسل الاستدلال وتعيين درجة ثقة لكل منها.
4. تجميع التوزيع (Distribution Aggregation): تُستخدم هذه الدرجات لإنشاء توزيع خليط مرجح، مما يوفر "توسيمًا زائفًا" أكثر قوة مما يمكن لأي نموذج لغوي منفرد تقديمه.

ب. الضبط الدقيق للنموذج (الانحدار القائم على فك التشفير):
بدلاً من التصنيف القياسي، يعامل المؤلفون هذه المشكلة كمهمة انحدار متخصصة:

• قاعدة تسجيل الملصقات المتوقعة (Expected Label Scoring Rule): يتم تقسيم الفترة $[0, 1]$ إلى $N$ من الفئات المنفصلة، حيث يتم تخصيص رمز (token) خاص لكل منها. ولتحقيق دقة دقيقة التفاصيل، يتم تدريب النموذج على التنبؤ بـ توزيع غاوسي مكمم (quantized Gaussian distribution) ممركز حول الاحتمال المستهدف. التقدير النهائي هو القيمة المتوقعة عبر هذه الفئات: $\hat{y} = \sum f(b_j) \cdot p(t_j \mid x)$.
• أهداف التدريب الهجينة: يتم تحسين النموذج باستخدام دالة خسارة مركبة:
  $$\mathcal{L} = \mathcal{L}_{\text{Direct}}(\text{Human}) + \beta_1 \mathcal{L}_{\text{Direct}}(\text{Synthetic}) + \beta_2 \mathcal{L}_{\text{Rank}}(\text{Pairwise})$$
  • $\mathcal{L}_{\text{Direct}}$: تباعد (KL-divergence) أمامي لمطابقة التوزيع المستهدف.
  • $\mathcal{L}_{\text{Rank}}$: خسارة الهامش (margin loss) لضمان حفاظ النموذج على ترتيب نسبي ثابت بين الأزواج (على سبيل المثال، إذا كان $A$ أكثر احتمالاً من $B$، فيجب أن تعكس درجات النموذج هذا الأمر).

3. المساهمات الرئيسية

• إطار عمل تدريبي مبتكر: طريقة لتحويل النماذج اللغوية الكبيرة القائمة على فك التشفير إلى نماذج انحدار مستمرة دقيقة باستخدام قاعدة تسجيل الملصقات المتوقعة.
• مسار بيانات متقدم: نهج قابل للتوسع لتوليد إشراف احتمالي عالي الجودة باستخدام مجموعات النماذج اللغوية وتحسين "النموذج اللغوي كحكم".
• مجموعة تقييم شاملة: إطار تقييم ثلاثي المستويات يغطي المهام الجوهرية (المواءمة مع الملصقات)، والمقارنة (ترتيب المعقولية)، والهيكلية (انتشار عدم اليقين في أشجار الاستدلال المعقدة مثل Maieutic و BIRD).

4. النتائج

• أداء متفوق: تتفوق النماذج المقترحة باستمرار على نماذج المشفرات (encoders) الموجودة (مثل RoBERTa) وطرق التحفيز صفرية المحتوى (zero-shot prompting) (مثل GPT-4o) عبر معظم الاختبارات المرجعية.
• قوانين القياس (Scaling Laws): يتحسن الأداء بشكل ملحوظ مع زيادة حجم النموذج (على سبيل المثال، الانتقال من 7 مليار إلى 14 مليار معلمة).
• التعميم: يحسن تضمين البيانات الاصطناعية بشكل كبير من قدرة النموذج على التعميم في مجالات بعيدة (مثل النصوص الطبية أو المدونات).
• المواءمة البشرية: تظهر النماذج عدم يقين "شبيه بالبشر"، حيث تنتج توزيعات متعددة الأنماط (multi-modal) في الحالات التي تنقسم فيها الآراء البشرية (كما هو موضح في تحليل ChaosNLI).
• دعم اتخاذ القرار: تعزز النماذج بشكل كبير أطر الاستدلال المهيكلة (Maieutic Prompting و BIRD)، مما يوضح أن تحسين تقدير الاحتمال المحلي يؤدي إلى تحسين دقة الاستدلال العالمي.

5. الأهمية

ينقل هذا العمل نموذج عدم اليقين في النماذج اللغوية الكبيرة من "الثقة اللفظية" إلى "التقدير الاحتمالي دقيق التفاصيل". ومن خلال تمكين النماذج اللغوية الكبيرة من "إخبارنا بالاحتمالات" بدقة، يمهد هذا البحث الطريق لوكلاء ذكاء اصطناعي أكثر موثوقية وقدرة على اتخاذ قرارات دقيقة في بيئات العالم الحقيقي عالية المخاطر وغير مؤكدة وغامضة.