Geometry-Calibrated Conformal Abstention for Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "الامتناع المعتمد على المعايرة الهندسية للنماذج اللغوية" (Geometry-Calibrated Conformal Abstention for Language Models).

1. بيان المشكلة

غالبًا ما تفشل النماذج اللغوية الكبيرة (LLMs) في إدراك حدود معرفتها. فعند مواجهة استعلامات خارج نطاق توزيع بيانات التدريب أو قاعدة معرفتها، تميل هذه النماذج إلى توليد استجابات تبدو منطقية ولكنها غير صحيحة واقعيًا (الهلوسة)، بدلًا من الامتناع عن الإجابة (قول "لا أعرف").

• محدودية التدريب: يصعب إعادة تدريب النماذج لمكافأة الامتناع بسبب ندرة المعايير التي تعاقب التخمين صراحة وتكافئ الجهل. علاوة على ذلك، يمكن أن تؤدي مثل هذه التدخلات إلى الإفراط في التخصيص (overfitting) أو سلوك محافظ للغاية حيث ترفض النماذج الإجابة حتى عندما تعرف الإجابة.
• الطرق التقليدية اللاحقة (Post-hoc): يوفر التنبؤ المطابق (Conformal Prediction - CP) التقليدي ضمانات للعينات المحدودة لليقين، لكنه يعتمد على "درجات عدم المطابقة". وفي توليد النصوص المفتوحة، يكون تحديد دالة درجة حقيقية أمرًا مستعصيًا لأن الإجابات الصحيحة يمكن أن تتخذ أشكالًا لا نهائية متكافئة دلاليًا.
• السؤال الجوهري: هل يمكن تزويد النماذج اللغوية الكبيرة بآلية لاحقة (post-hoc) للامتناع عن الإجابة بشكل موثوق عند عدم اليقين، دون إعادة تدريب، مع توفير ضمانات نظرية على الصحة؟

2. المنهجية: الامتناع المطابق (Conformal Abstention - CA)

يقترح المؤلفون الامتناع المطابق (CA)، وهو إطار عمل يجمع بين نظرية التنبؤ المطابق واستراتيجية مبتكرة لـ المعايرة القائمة على هندسة التمثيل.

أ. الإطار النظري (الامتناع المطابق)

يقوم نظام CA بتكييف التنبؤ المطابق (CP) مع بيئة توليد اللغة من خلال التركيز على ثقة التنبؤ بدلاً من درجات عدم المطابقة. ويضع ضمانين للعينات المحدودة:

1. ضمان المشاركة: يحدد احتمالية تقديم النموذج لإجابة (عدم الامتناع).
2. ضمان الصحة الشرطية: يحدد احتمالية أن تكون الإجابة المقدمة صحيحة، بشرط أن يكون النموذج قد اختار المشاركة.

يستخدم الإطار درجة عدم يقين $r(\hat{y}|x)$ (مثل الارتباك/Perplexity). ومن خلال وضع عتبة $\tau$ بناءً على مجموعة معايرة، يمتنع النموذج إذا تجاوزت الدرجة هذه العتبة. تثبت البراهين النظرية (النظرية 3.1، اللمة 3.2) أنه إذا كانت أزواج المدخلات والمخرجات قابلة للتبادل، فإن الصحة الشرطية للإجابات المحتفظ بها تكون مقيدة بحد أدنى من مستوى الثقة الذي يحدده المستخدم.

ب. المعايرة عبر هندسة التمثيل

لضمان أن درجة عدم اليقين تعكس بصدق الحالة الداخلية للنموذج (المعرفة مقابل الجهل)، قدم المؤلفون استراتيجية معايرة تعتمد على هندسة التمثيلات عبر طبقات المحول (Transformer). ويفترضون أنه عندما يستفيد النموذج من المعرفة الداخلية، فإن تحديثات الشبكات العصبية متعددة الطبقات (MLP) تُحدث تحولات هندسية محددة في الحالات المخفية.

يستخرجون ثلاث إشارات هندسية من مسار تمثيل (embedding) آخر رمز للاستعلام:

1. التقارب ($\omega$): يقيس مساهمة تحديث الـ MLP. ويحسب المسافة بين تمثيلات ما قبل وما بعد الـ MLP. تشير المسافة الصغيرة (التقارب العالي) إلى أن الـ MLP شكل التمثيل بنشاط.
2. دوران التمثيل ($\theta$): يقيس زاوية الدوران الناتجة عن تحديث الـ MLP. تشير الدورات الكبيرة إلى تحول كبير في اتجاه التنبؤ، وهو ما يرتبط غالبًا باسترجاع معرفة محددة.
3. المحاذاة ($\phi$): تقيس الزاوية بين تمثيل الرمز والاتجاه متباين الخواص السائد (dominant anisotropic direction) للبيانات داخل التوزيع. تشير المحاذاة العالية إلى أن النموذج يعمل ضمن توزيعه المتعلم؛ بينما يشير الانحراف إلى الاستقراء (Uncertainty).

الفرضيات التي تم التحقق منها:

• H1: ترتبط التنبؤات الصحيحة بمساهمة معرفية قوية (تقارب عالٍ $\omega$) تسبب دورانًا كبيرًا (دوران عالٍ $\theta$).
• H2: تظل التنبؤات الصحيحة محاذية للمخروط متباين الخواص داخل التوزيع (محاذاة منخفضة $\phi$)، بينما تنحرف التنبؤات غير الصحيحة.

ج. مسار المعايرة (Calibration Pipeline)

1. استخراج الميزات: لكل رمز، يحسب النموذج متجه ميزات $(\Omega, \Theta, \Phi_{in}, \Phi_{out})$ يلتقط الإشارات الهندسية عبر جميع الطبقات.
2. حساب المسافة: يحسب النظام مسافة ماهالانوبيس (Mahalanobis distance) لهذه الميزات عن توزيعات التنبؤات الصحيحة والخاطئة.
3. تدريب المعاير: يتم تدريب نموذج XGBoost لربط هذه الميزات الهندسية (بالإضافة إلى الارتباك الخام) بدرجة عدم يقين منقحة.
4. القرار: تحدد درجة عدم اليقين النهائية ما إذا كان سيتم الامتناع بناءً على العتبة المطابقة.

3. المساهمات الرئيسية

1. إطار الامتناع المطابق: طريقة لاحقة (post-hoc) توفر ضمانات صارمة للعينات المحدودة لكل من معدلات المشاركة والصحة الشرطية في التوليد المفتوح، متجاوزة صعوبة تحديد درجات عدم المطابقة.
2. المعايرة القائمة على الهندسة: نهج مبتكر لتقدير عدم اليقين يستفيد من الديناميكيات الهندسية الداخلية لطبقات المحول (مساهمات الـ MLP، الدورات، والتباين في الخواص) لمواءمة الثقة بشكل أفضل مع الصحة الفعلية.
3. الضمانات النظرية: براهين تثبت أن قابلية التبادل يتم الحفاظ عليها تحت التحويلات الحتمية المستخدمة لاستخراج درجات عدم اليقين، مما يضمن صحة الحدود المطابقة.
4. التقييم الشامل: تجارب مكثفة عبر ست مجموعات بيانات متنوعة (NQ, TruthfulQA, GSM8K, إلخ) وعدة أحجام للنماذج (Gemma-3, LLaMA-3).

4. النتائج التجريبية

• الأداء: يتفوق الأسلوب المقترح بشكل كبير على الخطوط المرجعية القوية (بما في ذلك الارتباك/Perplexity، والاعتلاج الدلالي/Semantic Entropy، والطرق القائمة على الانتباه، والثقة اللفظية) عبر جميع مجموعات البيانات.
• الصحة الشرطية: في ظل الامتناع المطابق، يحقق الأسلوب متوسط صحة شرطية بنسبة 75.0%. وهذا يعني أنه عندما يقرر النموذج الإجابة، فإنه يكون صحيحًا بنسبة 75% من الوقت، وهو تحسن كبير عن الخطوط المرجعية التي غالبًا ما تحوم حول 50-60%.
• المتانة: يحافظ الأسلوب على أداء عالٍ عبر معدلات مشاركة مختلفة (من 10% إلى 90% من الاستعلامات المجابة).
• دراسات الاستئصال (Ablation Studies): يؤدي تغيير الإشارات الهندسية ($\omega, \theta, \phi$) إلى انخفاض مماثل في الأداء، مما يشير إلى أن جميع الإشارات الثلاث ضرورية ومتكاملة.
• معايرة الخطوط المرجعية: يظهر المؤلفون أن مجرد تطبيق المعاير الخاص بهم على الخطوط المرجعية الموجودة غالبًا ما يؤدي إلى تدهور الأداء (بسبب الإفراط في التخصيص على إشارات منخفضة الأبعاد)، في حين أن الميزات الهندسية عالية الأبعاد تستفيد بشكل كبير من المعايرة.

5. الأهمية

يعالج هذا العمل فجوة حرجة في موثوقية نشر النماذج اللغوية الكبيرة. فمن خلال تمكين النماذج من الامتناع الانتقائي مع ضمانات نظرية، يقلل نظام CA من خطر الهلوسة في المجالات عالية المخاطر (الرعاية الصحية، القانون، العلوم) دون الحاجة إلى إعادة تدريب مكلفة. إن تقديم هندسة التمثيل كبديل لـ "المشاركة المعرفية" يقدم نموذجًا جديدًا لتقدير عدم اليقين، يتجاوز الاحتمالات السطحية إلى الآليات الداخلية لكيفية معالجة النماذج للمعلومات. وهذا يجعل النظام أكثر موثوقية وقابلية للتطبيق في التطبيقات الواقعية حيث يكون الاعتراف بالجهل أفضل من تقديم معلومات خاطئة.