ملخص تقني: EviBack

بيان المشكلة

مكّن التعلم التعزيزي (RL) أنظمة التوليد المعزز بالاسترجاع (RAG) الوكيلية من تعلم استراتيجيات بحث متعددة الخطوات من خلال مكافآت النتائج القابلة للتحقق. ومع ذلك، يوجد قصور حرج في نماذج التدريب الحالية: عندما تؤدي مجموعة من المسارات التي تم أخذ عينات منها (الانتشارات/rollouts) إلى عدم وجود أي إجابات صحيحة (مجموعة "الصفر المطلق"/all-zero)، فإن إشارة التعلم التعزيزي القياسية لا توفر أي معلومات مقارنة. في هذه السيناريوهات، يكون "الميزة المنسوبة" (normalized advantage) صفرًا، مما يجعل التقدم الجزئي أو سلوكيات البحث الوسيطة الصحيحة غير قابلة للتمييز عن الفشل التام. علاوة على ذلك، فإن الطرق الحالية التي تعتمد على تصميم المطالبات (prompts) يدويًا لتقييم العمليات غالبًا ما تفشل في توصيف أبعاد مثل عقلانية الاستعلام وكفاية الأدلة بشكل مستقر، أو أنها تخاطر بالسماح للإجابات المرجعية بتجاوز الأحكام المتعلقة بنقص الأدلة.

المنهجية

يقترح البحث إطار عمل EviBack، وهو مصمم لتوفير إشراف مساعد لمجموعات الانتشار ذات "الصفر المطلق" مع الحفاظ على سلامة مكافآت "الممثل" (Actor) القابلة للتحقق. تتكون المنهجية من ثلاثة مكونات أساسية:

1. التراجع التدريجي للمعلم المقيد بالأدلة (Evidence-Constrained Teacher Backoff)

يقدم EviBack نموذج "معلم" (Teacher) يعمل كآلية تراجع (fallback). يتم تفعيله فقط عندما تحتوي مجموعة انتشار "الممثل" على مسارات لا تحتوي على أي تطابق دقيق قابل للتحقق (مجموعات الصفر المطلق).

• بنية ثنائية المرحلة: يفصل "المعلم" بين تقييم الأدلة وتحسين الإجابة لمنع الإجابات المرجعية من حجب نقص الأدلة.
  • المرحلة أ (العمياء عن الإجابة الذهبية): تقيم ما إذا كانت الأدلة المتراكمة المرئية لـ "الممثل" كافية للإجابة على السؤال. وتخرج بحالة: كافية (S)، غير كافية (I)، أو غامضة (A). تعمل هذه المرحلة دون الوصول إلى الإجابة الحقيقية (ground-truth).
  • المرحلة ب (المدركة للإجابة الذهبية): تُنفذ فقط إذا قررت المرحلة (أ) أن الأدلة ليست غير كافية ($s_A \neq I$). تقوم بتحسين الإجابة لتتوافق مع المرجع، لكنها تحافظ بصرامة على "حد عدم الكفاية" الذي وضعته المرحلة (أ).
• إشارة المكافأة: بالنسبة لمجموعات "الصفر المطلق"، يقدم "المعلم" مكافأة هجينة بناءً على الحالة ومعامل F1 المتوافق مع المرجع. يتم تصغير هذه المكافأة (بمعامل $\lambda = 0.1$) لضمان عدم طغيانها على إشارة التعلم من المجموعات التي تحتوي على نتائج مؤكدة.

2. هندسة المطالبات الآلية من البداية للنهاية (E2E-APE)

لبناء سياسة "المعلم"، يقترح المؤلفون E2E-APE، وهي طريقة موجهة بالقيود لتوليد مطالبات التقييم.

• العملية: على عكس تحسين المطالبات التقليدي الذي يهدف لتعظيم درجات المهمة النهائية، يبدأ E2E-APE من قيود صريحة مطلوبة لتقييم العمليات الوسيطة (مثل عقلانية الاستعلام، وفعالية الأدلة).
• الأتمتة: باستخدام متحكم GPT-5.5، يقوم خط الإنتاج تلقائيًا بتقسيم بيانات الانتشار، وتوليد مطالبات/سير عمل مرشحة، وتقييمها مقابل مقاييس محددة (الامتثال لحدود الأدلة، الاستقرار، التكلفة)، واختيار سياسة ثنائية المرحلة محكومة.
• النتيجة: تحول هذه العملية "المعلم" من مطالبة واحدة مكتوبة يدويًا إلى سياسة ثنائية المرحلة مجمدة ومؤرخة دون تدخل يدوي بعد الإطلاق الأولي.

3. بروتوكول التدريب

يستخدم النظام خوارزمية GRPO (تحسين السياسة النسبي للمجموعات).

• أولوية "الممثل": إذا حقق أي مسار في المجموعة تطابقًا دقيقًا قابلًا للتحقق، يتم تجاوز "المعلم"، وتُستخدم مكافآت "الممثل" القياسية.
• التراجع الانتقائي: يتم استدعاء "المعلم" فقط للمجموعات التي تفشل فيها جميع المسارات. يتم تنسيب المكافآت الناتجة داخل المجموعة، ويتم تصغير "الميزة" (advantage) الناتجة عن التراجع للحفاظ على مساهمة أقل في تدرج السياسة (policy-gradient) مقارنة بالمجموعات التي تحتوي على نتائج مؤكدة.

المساهمات الرئيسية

1. E2E-APE: طريقة هندسة مطالبات آلية من البداية للنهاية قائمة على القيود لتوليد مطالبات التقييم. وهي تنقل التركيز من تعظيم أداء المهمة النهائية إلى تلبية القيود اللازمة لتقييم العمليات الوسيطة، مما يقلل تكاليف التصميم اليدوي ويحسن استقرار التقييم.
2. إطار عمل EviBack: نظام مكافأة هجين لـ RAG الخاص بعميل البحث، يجمع بين مكافآت الإجابة النهائية القابلة للتحقق ومكافآت العمليات المستمدة من "المعلم". إنه يوسع نطاق الإشراف في التعلم التعزيزي من النتائج النهائية إلى جودة مسارات البحث، ويعالج تحديدًا مشكلة مجموعات "الصفر المطلق".
3. الحفاظ على حدود الأدلة: تصميم "معلم" ثنائي المرحلة يفصل بين الحكم على كفاية الأدلة وبين تحسين الإجابة، مما يضمن عدم قدرة الإجابات المرجعية على تجاوز أحكام نقص الأدلة.

النتائج التجريبية

قيم المؤلفون EviBack عبر سبعة اختبارات مرجعية للأسئلة مفتوحة المجال (بما في ذلك NQ، HotpotQA، MuSiQue، 2WikiMultiHopQA، إلخ) وثلاثة مقاييس لنماذج Qwen3 (0.6B، 1.7B، و4B).

• مكاسب الأداء: حقق EviBack تحسنًا مستمرًا في درجات F1 مقارنة بأساس Search-R1 القوي.
  • عند مقياس 1.7B، حقق EviBack زيادة نسبية قدرها 16% عن الأساس.
  • لوحظت التحسينات في درجات F1 الكلية (macro F1) لكل من الخطوة الواحدة (single-hop) والخطوات المتعددة (multi-hop) عبر جميع المقاييس.
• كفاءة البحث: قللت الطريقة من متوسط عدد عمليات البحث، ومعدلات الاستعلام المكررة، ومعدلات الإنهاء القسري (الحد الأقصى للخطوات). على سبيل المثال، عند مقياس 1.7B، ارتفع معدل الإجابة الصحيحة من 0.7317 إلى 0.8611، بينما انخفض متوسط عمليات البحث من 1.73 إلى 1.59.
• بناء المعلم: تفوق "المعلم" الذي تم بناؤه بواسطة E2E-APE على "المعلم" المصمم يدويًا بمطالبة واحدة للمهام المزدوجة، حيث حسن درجة F1 بمقدار 0.0260 ومعدل الإجابة الصحيحة بمقدار 0.2197، مع تقليل عبء البحث بشكل كبير.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن قيد الأدلة ثنائي المرحلة وعامل التدرج المحدد للتراجع ($\lambda=0.1$) كانا حاسمين لموازنة مكاسب الأداء مع كفاءة البحث.

الأهمية والادعاءات

يدعي البحث أن EviBack يعالج فجوة جوهرية في تدريب وكلاء البحث: غياب الإشارات المقارنة في حالات الفشل. ومن خلال تقديم آلية تراجع انتقائية ومقيدة بالأدلة، يوفر النظام تغذية راجعة دقيقة للعمليات الوسيطة دون المساس بقابلية التحقق من المكافأة النهائية.

يؤكد المؤلفون أن نهجهم:

• يستعيد الإشراف المساعد للمجموعات التي قد لا تقدم أي إشارة تعلم لولا ذلك.
• يمنع تسرب المرجع من تشويه أحكام كفاية الأدلة، وهي مشكلة شائعة في نماذج مكافأة العمليات.
• يثبت جدوى هندسة المطالبات الآلية (E2E-APE) لإنشاء سياسات تقييم معقدة تلبي القيود وتتفوق على التصاميم اليدوية.

يخلص العمل إلى أنه بينما تظل الإشارات الأكثر ثراءً المستمدة من "المعلم" (مثل جودة الاستعلام، والازدواجية) اتجاهًا للبحوث المستقبلية، فإن التصميم الحالي المقيد بالأدلة يقدم طريقة قوية وفعالة لتحسين أداء RAG الوكيلية. ومن المقرر جعل الكود متاحًا للجمهور في مرحلة لاحقة.