CTRL-RAG: Contrastive Likelihood Reward Based Reinforcement Learning for Context-Faithful RAG Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "CTRL-RAG: التعلم المعزز القائم على مكافأة الاحتمالية التباينية لنماذج RAG المخلصة للسياق".

1. بيان المشكلة

تتناول الورقة أوجه القصور الحرجة في تدريب النماذج اللغوية الكبيرة (LLMs) لعمليات التوليد المعزز بالاسترجاع (RAG)، مع التركيز بشكل خاص على الإخلاص السياقي (الارتكاز في الإجابات على المستندات المسترجعة) وقدرات الاستدلال. تواجه الأساليب الحالية تحديين رئيسيين:

• قصور في المكافآت الخارجية: يعتمد التعلم المعزز (RL) التقليدي لـ RAG على إشارات خارجية مثل دقة الاستشهاد ($R_{cite}$) أو صحة الإجابة ($R_{acc}$). وغالبًا ما تكون هذه الإشارات غير مثالية:
  • تفشل في تقييم كيفية استخدام النموذج للسياق (على سبيل المثال، قد يستشهد النموذج بمستند ولكنه يهلوس المحتوى).
  • عرضة لـ "اختراق المكافأة" (مثل محاكاة تنسيقات الاستشهاد دون إجراء استدلال حقيقي).
  • تواجه صعوبة في ترتيب الإجابات المرشحة المتشابهة في بيئات النطاق المفتوح.
• محدودية المكافآت الداخلية: صُممت آليات المكافأة الذاتية الحالية (بناءً على الإنتروبيا أو الارتياب/Perplexity) للتوليد العام، وليس لـ RAG. والاعتماد فقط على الإشارات الداخلية دون تحقق خارجي يمكن أن يؤدي إلى تراكم الهلوسة وانهيار النموذج، حيث يفتقر النموذج إلى مرساة موضوعية للأدلة المسترجعة.

المشكلة الجوهرية هي غياب آلية مكافأة تشجع النموذج في آن واحد على تحديد الأدلة ذات الصلة، واستخدامها للاستدلال، والحفاظ على الصحة الواقعية دون الاعتماد على حكام خارجيين هشين.

2. المنهجية: إطار عمل CTRL-RAG

يقترح المؤلفون CTRL-RAG، وهو إطار عمل جديد للتعلم المعزز يتمحور حول مكافأة الاحتمالية التباينية (CLR). هذه آلية مكافأة هجينة تدمج احتمالات النموذج الذاتية مع الإشراف على المستندات الخارجي.

أ. المفهوم الأساسي: المساهمة الدليلية

تقيس الطريقة مدى اعتماد الاستجابة المولدة على مستندات داعمة محددة.

• احتمالية السياق الكامل ($S(y|D)$): لوغاريتم الاحتمالية لتوليد استجابة $y$ بمعلومية الاستعلام $q$ ومجموعة المستندات المسترجعة الكاملة $D$.
• احتمالية "الاستبعاد الواحد" (LOO) ($S^-(y|D)$): لوغاريتم الاحتمالية عند إزالة المستند الداعم الأكثر أهمية ($d^*$).
• المساهمة الدليلية ($E(y)$): تُعرف بأنها الفرق: $E(y) = S(y|D) - S^-(y|D)$.
  • تشير قيمة $E(y)$ العالية إلى أن ثقة النموذج في الإجابة تنخفض بشكل كبير بدون ذلك المستند المحدد، مما يثبت أن الإجابة مرتكزة على ذلك الدليل.

ب. مكافأة الاحتمالية التباينية ($R_{CLR}$)

لجعل $E(y)$ إشارة مكافأة قابلة للاستخدام، عالج المؤلفون مشكلتين: انحياز الطول (النصوص الأطول تراكم درجات أعلى) وضجيج الإشارة (القيم الموجبة الصغيرة قد تكون ضجيجًا إحصائيًا).

• التطبيع (Normalization): يتم تقسيم المكافأة على $\sqrt{T}$ (حيث $T$ هو طول التسلسل) لمعاقبة الإطناب بشكل دون خطي.
• عتبة الأهمية ($\tau$): تقوم دالة المؤشر $I(E(y) > \tau)$ بتصفية المساهمات الضئيلة أو السالبة. فقط الاستجابات ذات الارتكاز الجوهري وغير الغامض تتلقى مكافأة.
• الصيغة:
  $$R_{CLR}(y) = \frac{E(y) \cdot I(E(y) > \tau)}{\sqrt{T}}$$

ج. تكامل المكافأة الهجينة

تضمن $R_{CLR}$ الإخلاص، لكنها لا تضمن الصحة الواقعية (يمكن للنموذج أن يستخرج معلومات خاطئة بإخلاص). ولحل ذلك، اقترح المؤلفون صيغة البوابة (Gating Formulation):

• التطبيع: يتم قياس $R_{CLR}$ باستخدام (min-max scaling) لتكون ضمن النطاق $[0, 1]$ داخل الدفعة (batch).
• البوابة الضربيه: المكافأة الهجينة النهائية هي $R_{hybrid} = R'_{CLR} \cdot R_{acc}$.
  • بخلاف الجمع الموزون، تخصص آلية البوابة هذه مكافأة صفرية إذا كانت الإجابة غير صحيحة ($R_{acc}=0$)، بغض النظر عن مدى إخلاصها للمستند (الذي قد يكون خاطئًا). هذا يجبر النموذج على منح الأولوية للصحة مع الحفاظ على الارتكاز.

د. التحسين (Optimization)

يستخدم إطار العمل تحسين السياسة النسبية للمجموعة (GRPO) لتحسين السياسة. ومن الجدير بالذكر أن المؤلفين وجدوا أن تضمين عقوبة تباعد KL القياسية (مقابل نموذج مرجعي) تسبب في عدم استقرار التدريب وانهيار المكافأة في هذا السياق التبايني، لذا قاموا باستبعادها ($\beta=0$).

3. المساهمات الرئيسية

1. إطار عمل RL مخصص لـ RAG: يعد CTRL-RAG أول نهج RL مصمم خصيصًا لتحسين الإخلاص السياقي باستخدام مكافآت الاحتمالية التباينية. إنه يسد الفجوة بين الثقة الداخلية والأدلة الخارجية.
2. القوة عبر البنى الهيكلية: تم التحقق من فعالية الطريقة على كل من نماذج الكثافة (Qwen3-8B) ونماذج خليط الخبراء (Qorest-of-Experts) (Qwen3-30B-A3B)، مما يثبت قابليتها للتعميم.
3. الحد من الهلوسة: من خلال مكافأة المساهمة الهامشية للمستندات صراحةً، يقلل الأسلوب من الاعتماد على الذاكرة البارامترية ويمنع المخرجات "المخلصة ولكن الخاطئة" من خلال آلية البوابة.
4. القابلية للتفسير: يظهر تحليل مستوى الرمز (token-level) أن النموذج يتعلم مكافأة رموز أدلة محددة (مثل معرفات المستندات، حقائق معينة) وروابط الاستدلال، مع معاقبة التكرار.

4. النتائج التجريبية

قيم المؤلفون CTRL-RAG على عدة اختبارات مرجعية: 2Wiki, HotpotQA, MuSiQue (متعدد الخطوات)، TriviaQA, PopPopQA (أحادي الخطوة)، PubMed (المجال الطبي الحيوي)، و PRGB (الإخلاص).

• مكاسب الأداء:
  • الاستدلال متعدد الخطوات: تفوقت $R_{CLR}$ و $R_{hybrid}$ بشكل كبير على المكافآت القائمة على الدقة ($R_{acc}$) والاستشهاد ($R_{cite}$). على سبيل المثال، في نموذج Qwen3-30B، حقق النهج الهجين متوسط درجة قدره 84.9 مقابل 84.2 لأفضل خط أساس ($R_{total}$).
  • الإخلاص (PRGB): أظهرت النماذج المدربة باستخدام CTRL-RAG تحسنًا بمقدار +3 نقاط عن نظيراتها في عزل المعرفة الداخلية عن السياق الخارجي.
  • الاعتماد على المرجع ($RR_\theta$): زاد المقياس الذي يقيس مكاسب الأداء من استخدام المستندات بنسبة 6% أثناء التدريب، مما يشير إلى أن النموذج تعلم الاستفادة بفعالية من السياق الخارجي بدلاً من الاعتماد على الذاكرة البارامترية.
• دراسات الاستئصال (Ablation Studies):
  • تطبيع الطول: كان استخدام تطبيع $\sqrt{T}$ أمرًا بالغ الأهمية؛ فبدونه، أنتجت النماذج نصوصًا مسهبة ومتكررة.
  • استراتيجية LOO: كان استخدام الحد الأدنى لـ log-likelihood (تأثير الاختناق) عبر المستندات أفضل من التجميع المتوسط (average pooling).
  • البوابة مقابل الجمع: تفوقت البوابة الضربيه ($R_{CLR} \cdot R_{acc}$) على التجميعات الجمعية، مما يثبت أن الصحة يجب أن تكون قيدًا صارمًا لكي يكون الإخلاص ذا قيمة.

5. الأهمية والأثر

• تحول في النموذج الفكري: ينقل هذا البحث تدريب RAG بعيدًا عن الحكام الخارجيين الهشين (مثل LLM-as-a-judge أو فحوصات الاستشهاد القائمة على القواعد) نحو نظام مكافأة قائم على الاحتمالية الداخلية والمبررة رياضيًا.
• حل مشكلة "المخلص الخاطئ": من خلال الجمع بين الاحتمالية التباينية وبوابة الصحة، يضمن CTRL-RAG أن النماذج ليست جيدة فقط في الاستشهاد بالمستندات، بل تستخدمها بالفعل لاستخلاص إجابات صحيحة.
• الكفاءة: يقلل الأسلوب من الحاجة إلى نماذج مكافأة خارجية مكلفة أو تحقق بشري أثناء تدريب RL، حيث تُشتق المكافأة مباشرة من احتمالات النموذج الخاصة تحت ظروف مجموعات سياقية مختلفة.
• الاتجاه المستقبلي: يقر المؤلفون بوجود عبء حسابي (يتطلب عمليات تمرير أمامي إضافية لتقدير الاحتمالية) وتعارضات محتملة عندما تكون المستندات المسترجعة خاطئة واقعيًا بينما تكون معرفة النموذج الداخلية صحيحة، مما يشير إلى عمل مستقبلي في آليات الثقة التكيفية.

باختًا، يوفر CTRL-RAG حلاً قويًا ومبررًا نظريًا لتدريب نماذج RAG التي تتميز بالإخلاص العالي للسياق المسترجع والدقة الواقعية في آن واحد، مما يعالج عقبة حرجة في نشر النماذج اللغوية الكبيرة الموثوقة لمهام الاستدلال المعقدة.