Differentiable Conformal Training for LLM Reasoning Factuality

إليك ملخص تقني مفصل لورقة البحث بعنوان "التدريب التوافقي التفاضلي لحقيقة الاستنتاج في النماذج اللغوية الكبيرة (LLM)."

1. بيان المشكلة

كثيراً ما تعاني النماذج اللغوية الكبيرة (LLMs) من "الهلوسة" (توليد معلومات واثقة ولكنها خاطئة)، مما يحد من موثوقيتها في التطبيقات عالية المخاطر. وبينما توفر التنبؤات التوافقية (Conformal Prediction - CP) وسيلة لتقديم ضمانات إحصائية على معدلات الخطأ (على سبيل المثال، ضمان بقاء معدلات الهلوسة دون مستوى $\alpha$ الذي يحدده المستخدم)، تواجه الطرق الحالية لحقيقة النماذج اللقية مقايضة حرجة:

• تصفية الادعاءات المستقلة: تتعامل طريقة CP القياسية مع الادعاءات بشكل مستقل، وهذا يتجاهل التبعيات المنطقية في الاستنتاج متعدد الخطوات (على سبيل المثال، يكون الاستنتاج صحيحاً فقط إذا كانت مقدماته صحيحة).
• الحقيقة المتماسكة (Coherent Factuality - CF): تعالج طريقة حديثة (Rubin-Toles et al., 2025) هذه التبعيات باستخدام رسوم بيانية للتبعية التقريبية (ADGs)، حيث تمثل العقد الادعاءات وتمثل الحواف التبعيات المنطقية. ومع ذلك، تعتمد CF على التقييم اليدوي القائم على التكرار (الاتساق الذاتي).
• القصور الجوهري: عند مستويات الموثوقية العالية (منخفض $\alpha$)، تفرض طريقة CF نظام التقييم الصارم غير التفاضلي إزالة ما يصل إلى 60% من الادعاءات الصحيحة للحفاظ على ضمانات التغطية. ولا يمكن تحسين الطريقة بشكل كامل (end-to-end) لأن عملياتها المنفصلة (العتبة، التحقق من تماسك الأسلاف، واختيار الـ argmax) ليست تفاضلية.

2. المنهجية: الحقيقة المتماسكة التفاضلية (DCF)

قدم المؤلفون إطار عمل الحقيقة المتماسكة التفاضلية (DCF)، وهو إطار يقوم بتخفيف العمليات المنفصلة لـ CF إلى بدائل تفاضلية، مما يسمح بالتحسين القائم على التدرج (gradient-based optimization) لدالة التقييم مع استعادة ضمانات الخوارزمية الأصلية بشكل مثبت.

المكونات التقنية الرئيسية

تحاكي DCF مسار عمل CF ولكنها تستبدل الخطوات المنفصلة بتقريبات سلسة:

1. العضوية الناعمة (تخفيف العتبة والتماسك):

   • تصفية العتبة: بدلاً من المؤشر الحاد $\mathbb{1}\{r_v \le \tau\}$، تستخدم DCF دالة سيجمويد (sigmoid) $\sigma(\frac{\tau - r_v}{T_p})$ لإخراج احتمال احتفاظ ناعم $p_{v,\tau}$.
   • تماسك الأسلاف: في CF، يتم الاحتفاظ بالعقدة فقط إذا كانت هي وجميع أسلافها صالحة. تقوم DCF بتخفيف هذا المنطق "و" (AND) إلى متوسط هندسي موزون من الاحتمالات:
     $$\log q_{v,\tau} = \frac{\sum_{u \in Anc(v) \cup \{v\}} w_u \log p_{u,\tau}}{\sum w_u}$$
     هذا يضمن أنه إذا كان لأي سلف احتمال احتفاظ منخفض، فإن احتمال العقدة ينخفض نحو الصفر.

2. المعايرة التفاضلية (تخفيف درجة عدم المطابقة):

   • الهدف هو إيجاد أكبر عتبة $\tau$ بحيث يحتوي الرسم البياني المصفى على لا وجود لادعاءات خاطئة.
   • قياس الانتهاك: يتم حساب درجة انتهاك $V_\tau$ بناءً على احتمال الاحتفاظ بالادعاءات الخاطئة.
   • الحد الأعلى الناعم (Soft Supremum): بدلاً من الـ $\sup$ الحاد، تستخدم DCF دالة softmax فوق دالة منفعة $s_\tau = \lambda \cdot \tau - V_\tau$. هذا يختار العتبة التي تعظم القيمة مع تقليل الانتهاكات.
   • المئيني الناعم (Soft Quantile): يتم حساب عتبة المعايرة النهائية $\hat{\tau}_\alpha$ باستخدام عامل مئيني ناعم تفاضلي (Grover et al., 2019) بدلاً من الفرز.

3. التنبؤ التفاضلي:

   • في وقت الاختبار، تختار الطريقة أفضل عتبة تحت $\hat{\tau}_\alpha$. تقوم DCF بتخفيف الـ $\arg\max$ المقيد باستخدام gated softmax، حيث تفرض بوابة السيجمويد القيد $\tau < \hat{\tau}_\alpha$.

4. هدف التدريب:

   • يتم تدريب النظام بشكل كامل عبر محاكاة مسار المعايرة والتنبؤ الكامل على مجموعة بيانات مجزأة.
   • تعمل دالة الخسارة على تعظيم عدد الادعاءات الصحيحة المحتفظ بها ($L_{retention} = -\sum y_{i,v} \cdot q_{i,v}$)، مع تمرير التدرجات عبر تقدير المئيني وقيود تماسك الرسم البياني إلى بارامترات المقيم $\theta$.

الضمانات النظرية

أثبت المؤلفون (النظرية 3.1 و 3.2) أنه مع اقتراب معاملات درجة الحرارة ($T_p, \tau_s, \tau_z$) من حدودها (0 أو $\infty$)، فإن العمليات الناعمة تتقارب مع خوارزمية CF الأصلية المنفصلة. هذا يضمن أنه بينما يستخدم التدريب التدرجات، فإن النموذج المستخدم عند التشغيل يحتفظ بـ الضمانات الإحصائية للتغطية الخاصة بـ CF الأصلية.

3. المساهمات الرئيسية

1. التخفيف التفاضلي للتنبؤ التوافقي ذو البنية الرسومية: أول إطار عمل يجعل التنبؤ التوافقي تفاضلياً لـ الاستنتاج ذي البنية الرسومية (ADGs)، مع التعامل مع العمليات المنفصلة المترابطة مثل تماسك الأسلاف والـ argmax المقيد.
2. التحسين الشامل (End-to-End Optimization): يتيح تعلم دوال التقييم التي تجمع بين ميزات متعددة (مقاييس الرسم البياني، التماسك الدلالي، التكرار) لتحسين الاحتفاظ بالادعاءات، بدلاً من الاعتماد على الاستدلالات المصنوعة يدوياً.
3. التقارب النظري: يثبت أن البديل التفاضلي يستعيد بدقة خوارزمية CF الأصلية في الحد الأقصى، مما يضمن ضمانات إحصائية صالحة عند وقت الاختبار.
4. التحقق التجريبي: أظهر تحسينات كبيرة في الاحتفاظ بالادعاءات الصحيحة دون التضحية بالموثوقية.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعتين من الاختبارات: MATH (استنتاج معقد، 7.3 ادعاءات لكل مسألة) و FELM (مجالات متنوعة، 4.0 ادعاءات لكل مسألة).

• مكاسب الأداء:
  • MATH: حققت DCF تحسناً يصل إلى 141% في الاحتفاظ بالادعاءات مقارنة بأساس CF القائم على التكرار عند $\alpha=0.03$ (موثوقية 97%)، مع الحفاظ على التغطية ضمن 0.5 نقطة مئوية من الهدف.
  • FELM: حققت تحسناً يصل إلى 61% في الاحتفاظ.
• مقارنات خط الأساس:
  • تفوقت DCF على الحقيقة المستقلة (مما يثبت ضرورة بنية الرسم البياني).
  • تفوقت DCF على التعزيز المستقل (مما يثبت أن التعلم وحده بدون بنية الرسم البياني غير كافٍ).
  • تفوقت DCF على XGBoost + Conformal (مما يثبت أن المصنفات القياسية لا يمكنها استبدال مسار التدريب التوافقي التفاضلي).
• تحليل الميزات:
  • كشف تحليل SHAP أن DCF تتعلم الجمع بين الإشارات المتكاملة. على سبيل المثال، عندما كانت درجة "التكرار" القياسية هي 0 (مما يشير إلى ثقة منخفضة)، قامت مقاييس الرسم البياني مثل الوصول (reachability) و مؤشر الادعاء (claim index) بالتعويض، مما سمح للنموذج بالاحتفاظ بادعاءات صالحة كان من الممكن أن يتخلص منها خط الأساس.
  • في MATH، هيمنت ميزات بنية الرسم البياني؛ وفي FELM (سلاسل أبسط)، كان التكرار أكثر هيمنة، ومع ذلك تكيفت DCF بفعالية.

5. الأهمية

يسد هذا العمل الفجوة بين الضمانات الإحصائية الرسمية و القابلية العملية للاستخدام في أنظمة النماذج اللغوية الكبيرة.

• حل مشكلة التحفظ: كانت طرق التنبؤ التوافي السابقة متحفظة للغاية للاستخدام العملي، حيث تتخلص من الكثير من المعلومات الصحيحة لضمان السلامة. تجعل DCF هذه الضمانات "قابلة للاستخدام" من خلال زيادة كمية المعلومات الصحيحة والمحتفظ بها بشكل كبير.
• المتعلم مقابل المصنوع يدوياً: يوضح العمل أن دوال التقييم المتعلمة التي تحترم التبعيات المنطقية هي أفضل من الاستدلالات الثابتة المصنوعة يدوياً لمهام الاستنتاج المعقدة.
• جاهز للنشر: نظرًا لأن النشر النهائي يستخدم الخوارزمية المنفصلة الأصلية (مع المقيم المتعلم)، فإن النظام يحافظ على الضمانات النظرية الصارمة المطلوبة لاتخاذ القرارات عالية المخاطر.

باختصار، توفر DCF طريقة قوية ومبنية على أسس رياضية لجعل استنتاج النماذج اللغوية الكبيرة أكثر موثوقية وإفادة، مما يسمح بنشر الحقيقة التوافقية في تطبيقات العالم الحقيقي حيث تكون الدقة وكثافة المعلومات أمراً بالغ الأهمية.