EvidenceRL: Reinforcing Evidence Consistency for Trustworthy Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "EvidenceRL: تعزيز اتساق الأدلة لضمان موثوقية النماذج اللغوية الكبيرة."

1. بيان المشكلة

تتمتع النماذج اللغوية الكبيرة (LLMs) بالطلاقة، لكنها عرضة لـ الهلوسة، لا سيما في المجالات عالية الخطورة مثل الرعاية الصحية والقانون. أحد أوجه الفشل الحرجة هو الافتقار إلى الاستناد للأدلة: حيث غالبًا ما تولد النماذج إجابات تبدو منطقية وصحيحة واقعيًا بناءً على الذاكرة البارامترية (المعرفة الداخلية) بدلاً من السياق المقدم، أو تنتج إجابات تتعارض مع الأدلة المتاحة.

تعاني الحلول الحالية من قيود:

• التوليد المعزز بالاسترجاع (RAG): رغم أن RAG يوفر سياقًا، إلا أن النماذج غالبًا ما تتجاهله أو تنخرط في "التبرير اللاحق" (إرفاق استشهادات سطحية بالإجابات المستمدة من الذاكرة).
• ضوابط وقت الاستنتاج: الطرق مثل Self-RAG أو Self-Consistency تقوم بتصفية المخرجات ولكنها لا تغير بشكل جوهري سياسة التوليد أو سلوك الاستدلال لدى النموذج.
• التحقق اللاحق (Post-hoc Verification): التحقق من الحقائق بعد التوليد لا يمنع النموذج من تعلم تجاهل الأدلة أثناء التدريب.
• التعلم المعزز من التغذية الراجعة البشرية القياسي (Standard RLHF): غالبًا ما تكافئ التغذية الراجعة البشرية "المنطقية" على حساب "القابلية للتحقق"، وتفشل في تحسين الالتزام بالأدلة بشكل صريح.

التحدي الجوهري هو أن الأنظمة الحالية تفتقر إلى آلية لفرض التوليد المتسق مع الأدلة بشكل مباشر خلال عملية التدريب، مما يؤدي إلى "فجوة الإخلاص" حيث تكون النماذج دقيقة ولكنها غير مستندة إلى أدلة.

2. المنهجية: EvidenceRL

يقترح المؤلفون EvidenceRL، وهو إطار عمل للتعلم المعزز يحسن الالتزام بالأدلة كهدف تدريب قابل للتفاضل. يستخدم الإطار تحسين السياسة النسبي للمجموعات (GRPO) لتدريب النماذج دون الاعتماد على تعليقات التفضيل البشرية.

المكونات الرئيسية:

أ. بنية المكافأة (Reward Architecture)
مكافأة التدريب ($r$) هي مجموع مرجح لثلاثة مكونات:

1. مكافأة التنسيق ($r_f$): إشارة ثنائية تضمن أن المخرج هو ملف JSON صالح، مما يسهل التحليل الهيكلي.
2. مكافأة الصحة ($r_c$):
   • طبياً: يستخدم تضمينًا متخصصًا في المجال (BioLORD-2023) لحساب تشابه جيب التمام بين التشخيصات المتوقعة والحقيقة الأرضية.
   • قانونياً: يستخدم المطابقة التامة للإجابات متعددة الخيارات.
3. مكافأة الاستناد ($r_g$): الابتكار الجوهري، ويتم حسابه عبر استراتيجية "التركيز ثم التحقق" لتجنب تخفيف الإشارة في السياقات الطويلة.
   • التركيز: يتم دمج سياق مرجعي (مثل الشكوى الرئيسية) مع مقتطفات أدلة فردية (مثل نتائج مخبرية محددة أو قوانين قانونية) لإنشاء أزواج (مقدمة-فرضية) مركزة.
   • التحقق: يقوم نموذج استدلال لغوي طبيعي (NLI) ثابت (مثل PubMedBERT للمجال الطبي، وDeBERTa للمجال القانوني) بتقييم مدى الاستلزام بين استدلال النموذج وكل مقتطف دليل.
   • التجميع: يتم اشتقاق درجة الاستناد النهائية من أقوى دليل داعم أو معارض ($r_{max}^g$) ومن متوسط الاتساق ($r_{avg}^g$).

ب. التحسين (GRPO)

• لكل مدخل، تقوم السياسة بأخذ عينة من مجموعة مكونة من $G$ من الإكمالات.
• يتم تطبيع المكافآت داخل المجموعة لحساب المزايا.
• يتم تحديث السياسة باستخدام هدف مقصوص (clipped objective) مع تنظيم KL مقابل سياسة مرجعية ثابتة، مما يشجع النموذج على توليد مخرجات دقيقة ومستندة إلى الأدلة في آن واحد.

3. المساهمات الرئيسية

1. إطار عمل EvidenceRL: إطار عمل جديد للتعلم المعزز يفرض الاستناد للأدلة كهدف تدريب أساسي باستخدام نماذج NLI مؤتمتة ومكافآت حكم LLM، مما يلغي الحاجة إلى بيانات التفضيل البشرية.
2. بنية "التركيز ثم التحقق": آلية لحساب الاستلزام على مستوى الجملة ضمن نوافذ سياقية مركزة، مما يحل مشكلات تخفيف الإشارة المتأصلة في التقييم على مستوى الوثيقة.
3. التحقق التجريبي: إثبات أن EvidenceRL يحسن كل من دقة المهام والاستناد للأدلة عبر عائلات نماذج متعددة (Llama, Gemma, GPT-oss) ونطاقات مختلفة (3B–120B) في المجالات الطبية والقانونية عالية الخطورة.

4. النتائج التجريبية

تم تقييم إطار العمل على مجموعتي بيانات: MIMIC-IV-Ext (تشخيص أمراض القلب) و BarExam MBE (الاستدلال القانوني).

المجال الطبي (تشخيص أمراض القلب)

• الأداء: على نموذج Llama-3.2-3B، رفع EvidenceRL قيمة F1@3 من 37.0 إلى 54.5 وقيمة الاستناد (Gmax@3) من 47.6 إلى 78.2.
• الهلوسة: انخفضت معدلات الهلوسة بمقدار 5 أضعاف تقريبًا (من 11.6% إلى 2.4%).
• معدل الاستناد للأدلة: ارتفعت نسبة التشخيصات المدعومة بالأدلة من 31.8% إلى 61.6%.
• الإخلاص (Faithfulness): ارتفعت نسبة التنبؤات الصحيحة التي كانت مدعومة حقًا بالأدلة إلى 87.5%.

المجال القانوني (BarExam)

• الأداء: على نموذج Llama-3.1-8B، ارتفع الإخلاص من 32.8% إلى 67.6%.
• الاستناد: تحسنت درجات الاستناد المتوسطة بشكل كبير (من -1.7 إلى 18.9)، مما نقل التنبؤات من "تخمينات محظوظة" إلى استدلال "مستند إلى الأدلة".

التحليل المقارن

• مقابل SFT: أدى الضبط الدقيق الخاضع للإشراف (SFT) إلى تحسين الدقة ولكنه تسبب في "انهيار الاستناد" (تعلمت النماذج اقتباس تنسيق الأدلة دون الالتزام الدلالي بها).
• مقابل ضوابط وقت الاستنتاج: فشلت طرق مثل Self-RAG وSelf-Consistency في تحسين الدقة والاستناد معًا بشكل متسق.
• مقابل fDPO: حسن fDPO (الضبط الدقيق لتعزيز الإخلاص) من الاستناد ولكن غالبًا على حساب الدقة أو عبر استقاء المعرفة من نماذج أقوى. أما EvidenceRL فقد حسن كلاً من الدقة والاستناد عبر التحسين في الموقع (on-policy).
• التوسع (Scaling): سمح EvidenceRL للنماذج الأصغر (مثل 3B) بالتفوق على النماذج الأكبر (مثل 70B) في حالة Zero-shot من حيث الاستناد للأدلة، مما يشير إلى أن منهجية التدريب يمكن أن تكون بديلاً جزئيًا لحجم المعلمات.

5. الأهمية والخاتمة

يعالج EvidenceRL قصورًا جوهريًا في النماذج اللغوية الكبيرة الحالية: القدرة على إنتاج إجابات صحيحة ولكنها غير مستمدة من الأدلة المقدمة. ومن خلال نقل هدف التعلم إلى معاقبة الصحة غير المستندة إلى دليل بشكل صريح، يعيد الإطار تشكيل سياسة اتخاذ القرار في النموذج.

• الموثوقية: يوفر مسارًا لنشر النماذج اللغوية الكبيرة في المجالات الحرجة للسلامة حيث يجب أن تكون القرارات مبررة بمعلومات قابلة للتحقق.
• الكفاءة: يقدم مسارًا فعالًا من حيث الحوسبة للوصول إلى استدلال موثوق، حيث يمكن للنماذج الأصغر المدربة بـ EvidenceRL أن تتفوق على النماذج الأكبر غير المدربة من حيث الاستناد للأدلة.
• العمومية: النهج مستقل عن المجال، وقد تم إثبات ذلك بنجاح في كل من الاستدلال السريري والقانوني.

تخلص الورقة إلى أن ضوابط وقت الاستنتاج (مثل الاسترجاع) غير كافية لتغيير كيفية استدلال النماذج؛ بل إن تعزيز اتساق الأدلة أثناء وقت التدريب هو الوحيد القادر على مواءمة سلوك النموذج بشكل جوهري مع متطلبات المخرات القابلة للتحقق والمستندة إلى الأدلة.