Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "التنبؤ التوافقي التكيفي لتحسين واقعية التوليدات بواسطة النماذج اللغوية الكبيرة" (Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models).

1. بيان المشكلة

تولد النماذج اللغوية الكبيرة (LLMs) في كثير من الأحيان مخرجات سلسة ولكنها غير صحيحة واقعيًا (هلوسات)، مما يشكل مخاطر كبيرة في المجالات عالية الخطورة مثل الطب. وبينما تم تطبيق التنبؤ التوافقي (Conformal Prediction - CP) على النماذج اللغوية الكبيرة لتوفير ضمانات إحصائية على الواقعية (ضمان أن الإجابة الصحيحة تقع ضمن مجموعة تنبؤ باحتمالية $1-\alpha$)، فإن الطرق الحالية تعاني من قصور حرج: الافتقار إلى التكيف مع المطالبة (Prompt Adaptivity).

• المشكلة: تطبق طرق التنبؤ التوافقي القياسية عتبة معايرة (quantile) عالمية واحدة وتطبقها بشكل موحد على جميع مطالبات الاختبار، بغض النظر عن صعوبة المطالبة أو غموضها أو مجالها.
• النتيجة: يؤدي هذا إلى تغطية هامشية (صحيحة في المتوسط) ولكن تغطية شرطية ضعيفة.
  • بالنسبة للمطالبات "السهلة"، قد تكون الطريقة متحفظة للغاية (تغطية زائدة)، مما يؤدي إلى استبعاد عدد قليل جدًا من العناصر والاحتفاظ بالضجيج غير الضروري.
  • بالنسبة للمطالبات "الصعبة"، قد تكون الطريقة غير صارمة بما يكفي (تغطية ناقصة)، مما يفشل في استبعاد الهلوسات.
• الهدف: يهدف المؤلفون إلى تطوير طريقة تكيف عتبة الثقة بناءً على مطالبة الإدخال المحددة، مما يحسن التغطية الشرطية مع الحفاظ على الضمانات الهامشية الصارمة.

2. المنهجية

تقترح الورقة إطار عمل للتنبؤ التوافقي التكيفي يوسع طرق تحويل درجات التوافق لتطبيقها على النماذج اللغوية الكبيرة. الفكرة الجوهرية هي تطبيع درجات عدم التوافق بناءً على خصائص مطالبة الإدخال قبل حساب العتبة العالمية.

أ. الإطار الجوهري

1. درجة عدم التوافق ($V$):
   • الإجابة على الأسئلة طويلة التنسيق (Long-form QA): يولد النموذج مجموعة من الادعاءات الذرية. تُعرف $V(x, y)$ بأنها الحد الأقصى لعتبة عدم اليقين بحيث تكون جميع الادعاءات المحتفظ بها صحيحة واقعيًا (يتم التحقق منها مقابل حقيقة أرضية $y$).
   • الإجابة على الأسئلة متعددة الخيارات (Multiple-Choice QA): تستخدم درجة المصنف الأقل غموضًا (Least Ambiguous Classifier - LAC)، حيث $V(x, y) = 1 - p(x)_y$ (1 ناقص الاحتمال المتوقع للفئة الصحيحة).
2. تحويل الدرجة (التكيف):
   • بدلاً من استخدام الدرجات الخام $V(x, y)$، تقوم الطريقة بتحويلها باستخدام دالة تعتمد على الإدخال: $\tilde{V}(x, y) = V(x, y) / \hat{\tau}(x)$.
   • هنا، $\hat{\tau}(x)$ هو تقدير لـ الكمي الشرطي (conditional $1-\alpha$-quantile) لدرجة عدم التوافق الأصلية بمعلومية المطالبة $x$.
   • يعمل هذا التحويل فعليًا على إعادة قياس الدرجات بحيث تصبح توزيعاتها الشرطية ثابتة تقريبًا عبر مختلف المدخلات.
3. تقدير الكمي الشرطي:
   • يستخدم المؤلفون انحدار الكمي المشروط بالتمثيلات (embedding-conditioned quantile regression) لتقدير $\hat{\tau}(x)$.
   • تعمل تمثيلات المطالبة (المستمدة من مشفر جمل متعدد اللغات) كسمات مدخلة لشبكة عصبية متعددة الطبقات (MLP) مدربة للتنبؤ بالكمي الخاص بدرجة عدم التوافق.
4. المعايرة ثنائية المرحلة:
   • $D_{cal1}$: تُستخدم لتدريب مُقدر الكمي الشرطي $\hat{\tau}(x)$.
   • $D_{cal2}$: تُستخدم لحساب الدرجات المحولة $\tilde{V}$ وتحديد العتبة العالمية النهائية $Q_{1-\alpha}$.
   • $D_{test}$: عند الاستدلال، يتم تصفية الادعاءات إذا كانت درجة عدم اليقين المعيارية لها $s(c)/\hat{\tau}(x)$ أقل من العتبة المعايرة.

ب. الضمان النظري

تحافظ الطريقة على ضمان التغطية الهامشية في العينة المحدودة للتنبؤ التوافقي المنقسم:
$$P(\text{الإجابة الصحيحة} \in \text{المجموعة المصفاة}) \geq 1 - \alpha$$
وفي الوقت نفسه، تعمل بشكل كبير على تحسين التغطية الشرطية، مما يضمن أن الضمان يتحقق باستمرار عبر فئات المطالبات غير المتجانسة.

3. المساهمات الرئيسية

1. إطار عمل تكيفي مبتكر: يقترح نهج تنبؤ توافقي متكيف مع المطالبة لاكتشاف هلوسة النماذج اللغوية الكبيرة باستخدام انحدار الكمي المشروط بالتمثيلات.
2. الصلاحية النظرية: يثبت أن الطريقة تحافظ على ضمانات التغطية الهامشية الصارمة للتنبؤ التوافقي القياسي بينما تحقق تغطية شرطية متفوقة.
3. التفوق التجريبي: يظهر مكاسب كبيرة في الأداء مقارنة بالنماذج المرجعية الحالية (مثل Conformal Factuality) في كل من التوليد طويل التنسيق والأسئلة متعددة الخيارات عبر نماذج متنوعة (Mistral, Llama, Gemma).
4. التنبؤ الانتقائي: يدعم النهج بشكل طبيعي التنبؤ الانتقائي، مما يسمح بتصفية الادعاءات أو الخيارات غير الموثوقة في التطبيقات اللاحقة دون التضحية بالصلاحية الإحصائية.

4. النتائج التجريبية

قيم المؤلفون طريقتهم على 8 فئات من الأسئلة طويلة التنسيق (مثل الاختراعات، السير الذاتية) و 16 فئة من الأسئلة متعددة الخيارات (مجموعة بيانات MMLU) باستخدام Mistral-7B و Llama-3.1-8B و Gemma-3-12B.

• تسجيل الادعاءات: من بين مختلف طرق تحديد عدم اليقين (الاعتلاج/الإنتروبي، الارتباك/Perplexity، إلخ)، وُجد أن احتمالية الادعاء المشروطة (Claim Conditioned Probability - CCP) هي الأكثر فعالية لتصفية الادعاءات.
• التغطية الشرطية:
  • الأسئلة طويلة التنسيق: في التجارب التي قارنت بين "الاختراعات" (معقدة) و "السير الذاتية" (بسيطة)، أظهر التنبؤ التوافقي القياسي تغطية زائدة للاختراعات وتغطية ناقصة للسير الذاتية. حققت الطريقة التكيفية تغطية قريبة من الهدف (0.80) لكلا الفئتين.
  • الأسئلة متعددة الخيارات: لوحظت تحسينات مماثلة عبر 16 فئة من MMLU. قللت الطريقة التكيفية من تباين أخطاء التغطية، حيث أظهرت ملفات أداء Dolan-Moré تفوقها المستمر على المرجع العالمي عبر جميع مستويات $\alpha$.
• الكفاءة: غالبًا ما قللت الطريقة التكيفية من نسبة الادعاءات المستبعدة (السلبيات الكاذبة) مع الحفاظ على التغطية المستهدفة، مما يشير إلى استخدام أكثر كفاءة لقدرات التوليد الخاصة بالنموذج.

5. الأهمية

يعالج هذا العمل نقطة ضعف جوهرية في تطبيق التنبؤ التوافقي على الطبيعة غير المتجانسة لمدخلات النماذج اللغوية الكبيرة. من خلال الانتقال من العتبات العالمية إلى العتبات المتكيفة مع المطالبة، توفر الورقة حلاً عمليًا لـ:

• الموثوقية: ضمان أن ضمانات الواقعية لا تتحقق في المتوسط فحسب، بل لكل استعلام محدد، صعب، أو نادر.
• السلامة: تمكين النشر الأكثر أمانًا للنماذج اللغوية الكبيرة في المجالات الحرجة من خلال ضبط عتبات الثقة ديناميكيًا بناءً على تعقيد المدخلات.
• القابلية للتوسع: إثبات أن التمثيلات المتعلمة (Embeddings) يمكن أن تحل بفعالية محل هندسة الميزات أو المجموعات المصممة يدويًا لتحقيق التكيف.

يوفر الإطار المقترح جسرًا بين الضمانات الإحصائية النظرية والصعوبة المتغيرة للمطالبات الواقعية للنماذج اللغوية الكبيرة، مما يقدم أداة قوية لاكتشاف الهلوسة والتوليد الانتقائي.