Towards Dependable Retrieval-Augmented Generation Using Factual Confidence Prediction

ملخص تقني: نحو توليد مدعوم بالاسترجاع (RAG) موثوق باستخدام التنبؤ بالثقة الواقعية

بيان المشكلة
أصبح "التوليد المدعوم بالاسترجاع" (RAG) معيارًا لتزويد النماذج اللغوية الكبيرة (LLMs) بالمعرفة الخاصة بمجال معين. ومع ذلك، تظل هناك ثغرة حرجة: لا يوجد ضمان متأصل بأن السياق المسترجع عبر البحث عن التشابه يدعم بالفعل الحقائق المولدة، كما لا يوجد ضمان بأن النموذج اللغوي الكبير لن يهلوس بمعلومات رغم وجود سياق ذي صلة. تعتمد طرق ضمان السلامة الحالية غالبًا على تحسينات استدلالية أو تعديلات في مكونات محددة، وتفتقر إلى بروتوكول عام غير مرتبط بالبنية التحتية لتقديم ضمانات قابلة للتوثيق لمسار الـ RAG. التحدي الجوهري يكمن في ربط مقاييس ثقة ذات معنى بكل من عملية الاسترجاع (لضمان أمان المصدر) وعملية التوليد (لضمان الواقعية بالنسبة للسياق المسترجع).

المنهجية
يقترح المؤلفون بروتوكول تصديق مكونًا من مرحلتين، وهو مستقل عن البنية التحتية ويعمل دون تعديل مكونات المسترجع أو النموذج اللغوي الكبير الأساسية.

1. تقدير ثقة الاسترجاع (الكتلة 1):

• النهج: يطبق المؤلفون التنبؤ بالتوافق (Conformal Prediction - CP) على عملية الاسترجاع لاختيار قطع المستندات التي لديها فرصة مضمونة إحصائيًا في الأصل من المصدر الصحيح.
• الآلية: باستخدام مجموعة معايرة من الثلاثيات (سؤال-مرجع-إجابة)، يحسب النظام عتبة عدم توافق بناءً على درجات الاسترجاع ومقياس تشابه (RougeL). يتم إنشاء عتبة $s_{thres}$ للتمييز بين القطع الصحيحة والقطع غير الصحيحة.
• الضمان: تحت افتراض تبادل العينات (sample exchangeability)، توفر هذه الطريقة ضمانًا إحصائيًا (يتم التحكم فيه بواسطة معدل الخطأ $\alpha$) بأن مجموعة القطع "الموثوقة" تتضمن قطعة المصدر الحقيقية.
• التشخيص: يقدم المؤلفون مقياسين، $m_1$ (الوجود الثنائي للقطعة الموثوقة) و $m_2$ (نسبة القطع الموثوقة)، لتشخيص ما إذا كان مزيج (المسترجع-البيانات) معين يستوفي افتراض التبادل المطلوب لعمل الـ CP.

2. تقدير ثقة الاستجابة (الكتلة 2):

• النهج: للكشف عن الهلوسة في الإجابة النهائية، يستخدم المؤلفون مصنفًا للواقعية يعتمد على الانتباه (attention-based factuality classifier).
• الآلية: يقوم النظام باستخراج قيم الانتباه الوسيطة من النموذج اللغوي الكبير أثناء التوليد. وتحديدًا، يحسب النظام نسب النظر إلى الخلف لكل قطعة (chunk-wise lookback ratios - CW LR)، والتي تقيس متوسط الانتباه الذي يوليه النموذج لقطع سياقية مسترجعة معينة مقارنة بإجمالي الانتباه الموجه للسياق والمخرجات المولدة.
• المصنف: يتم تدريب وحدة انحدار لوجستي بسيطة على نسب النظر إلى الخلف هذه للتنبؤ بدرجة الواقعية. ومن الأهمية بمكان أن المؤلفين يستبعدون الانتباه من مطالبات النظام (system prompts) وسؤال المستخدم من متجه الميزات لمنع المصنف من تعلم التحيزات المرتبطة بالمجال (مثل: "الأسئلة المالية أصعب") بدلاً من التركيز على التجذر الواقعي.

المساهمات الرئيسية

• مسار RAG قابل للتصديق: سير عمل مبتكر يدمج التنبؤ بالتوافق للاسترجاع والانتباه القائم على الكشف للتوليد، مما يوفر مقاييس ثقة منفصلة لكل مرحلة.
• مقاييس تشخيصية: تقديم المقاييس $m_1$ و $m_2$ لتقييم مدى ملاءمة إعداد الـ RAG. يوضح البحث أنه إذا أشارت هذه المقاييس إلى ضعف أداء المسترجع (مما ينتهك فرضية التبادل)، فإن الضمانات الإحصائية للـ CP تفشل، وقد يؤدي تصفية القطع إلى تدهور جودة الإجابة.
• تحسين الكشف عن الهلوسة: إثبات أنه بينما قد تحقق نماذج الانتباه لكامل السياق (بما في ذلك المطالبات) قيم AUROC أعلى في التحقق المتقاطع، فإن نسب النظر إلى الخلف لكل قطعة (CW LR) توفر تجذرًا واقعيًا أكثر موثوقية من خلال استبعاد مصادر الانتباه غير المتعلقة بالاسترجاع التي قد تضلل المصنف.

النتائج
تم تقييم المنهجية على مجموعة بيانات Natural Questions (NQ) ومجموعة Ragbench (RB) (12 مجموعة بيانات متنوعة) باستخدام Llama-3-8B-Instruct واسترجاع BM25.

• ثقة الاسترجاع:

  • في مجموعات البيانات التي يعمل فيها المسترجع بشكل جيد (مثل NQ، RB-cuad)، يتوافق المقياس $m_1$ مع التوقع النظري $1-\alpha$، مما يؤكد صحة افتراض التبادل.
  • في مجموعات البيانات ذات مهام الاسترجاع الصعبة (مثل RB-finqa، RB-tatqa)، ينخفض $m_1$ بشكل كبير، مما يشير إلى أن القطع الصحيحة لا تظهر في قائمة الـ top-K. في هذه الحالات، أدت عملية التصفية القائمة على CP فعليًا إلى تدهور اتساق الإجابة بنسبة تصل إلى 10%، مما يؤكد أن الضمانات الإحصائية لا تتحقق عندما يفشل المسترجع في العثور على المصدر.
  • بالنسبة للمسترجعات القوية، أدت تصفية القطع غير الموثوقة إلى تحسين اتساق الإجابة بنسبة تصل إلى 6%.

• ثقة الاستجابة:

  • حقق مصنف نسبة النظر إلى الخلف لكل قطعة أقصى AUROC اختبار بلغ 77% في التحقق المتقاطع داخل نفس المجموعة.
  • أظهر التحقق المتقاطع عبر مجموعات البيانات المختلفة انخفاضًا في الأداء يصل إلى 16%، مما يسلط الض\على تحدي التعميم.
  • أظهرت المقارنات أن نسب النظر إلى الخلف للسياق الكامل (FC) (بما في ذلك المطالبات) أعطت قيم AUROC أعلى (تصل إلى 82%)، ولكن تم اعتبارها أقل موثوقية للتجذر الواقعي بسبب احتمال التحيز من أنماط المطالبات. يُفضل نهج القطعة (CW) المقترح للأنظمة الموثوقة رغم انخفاض الـ AUROC قليلاً.

الأهمية والادعاءات
يدعي البحث تأسيس أساس لأنظمة RAG معتمدة مناسبة للتطبيقات الصناعية ذات الحساسية العالية تجاه السلامة. تكمن أهميته الأساسية في الانتقال من المتانة الاستدلالية إلى التصديق الإحصائي. يؤكد المؤلفون أن نهجهم ليس "حلاً سحريًا" لجميع إعدادات RAG؛ بل هو إطار تشخيصي. يذكر البحث صراحة أن صلاحية ضمانات ثقة الاسترجاع تعتمد على تبادل العينات، وهو أمر مرهون بقدرة المسترجع على إظهار القطع الصحيحة. لذلك، تعتبر المقاييس المقترحة ($m_1, m_2$) متطلبات أساسية لتحديد ما إذا كان إعداد RAG معين مناسبًا للنشر مع ضمانات الثقة هذه. يهدف العمل إلى توجيه تطوير تطبيقات RAG الموثوقة من خلال تحديد مكان ضعف المسار (الاسترجاع مقابل التوليد) وتقديم مقاييس قابلة للقياس للثقة.