ملخص تقني: StepGap

بيان المشكلة

تتطلب الإجابة على الأسئلة متعددة الخطوات (Multi-hop QA) من النماذج استرجاع وربط والتحقق من الأدلة عبر عدة خطوات وسيطة. ومع ذلك، تظل أطر التقييم والتعلم التعزيزي (RL) الحالية في الأنظمة التي تتداخل فيها عمليات البحث موجهة نحو النهايات (endpoint-oriented)، حيث تعتمد كليًا على المطابقة التامة (EM) للإجابة النهائية. يعاني هذا النهج من عيبين هيكليين:

1. الافتقار إلى التمييز: لا تستطيع المطابقة التامة (EM) التمييز بين سلسلة استدلال قائمة على الأدلة وبين سلسلة صحيحة ظاهريًا مستمدة من الذاكرة البارامترية أو المسارات المختصرة.
2. الافتقار إلى التوطين: عندما تفشل السياسة، توفر EM إشارة مكافأة صفرية دون أي إشارة توضح أي خطوة هي التي تسببت في كسر السلسلة، مما يمنع النموذج من تعلم سلوكيات الإصلاح الخاصة بكل خطوة.

أما مدققات المستويات الخطوية الموجودة حاليًا، فإما أن تدمج جميع المهام الفرعية في استدعاء واحد لنموذج لغوي كبير (LLM)، أو تعتمد على استدعاء واحد للاستدلال باللغة الطبيعية (NLI). ولا يستطيع أي من النهجين إصدار تسميات نمطية (typed labels) (التي تميز أنواع الأخطاء المحددة) وربطها بـ قرارات حتمية مناسبة للتدريب في آن واحد. علاوة على ذلك، تعمل المدققات اللاحقة (post-hoc verifiers) فقط بعد توليد إجابة كاملة، مما يفوت فرصة إعادة توجيه المولد أثناء عملية الاستدلال.

المنهجية: StepGap

يقترح المؤلفون StepGap، وهو شجرة قرار هجينة تجمع بين NLI وLLM مصممة لاكتشاف فجوات الأدلة على مستوى الخطوة وإصدار أحد ثلاثة تسميات نمطية، كل منها مرتبط بإجراء إصلاح ملموس:

• ادعاء متناقض (CONTRADICTED CLAIM - CC): الخطوة تؤكد ادعاءً يتعارض مع الأدلة المسترجعة. الإجراء: التراجع (Retract).
• دليل غير ذي صلة (IRRELEVANT EVIDENCE - IE): الدليل لا يتناول الكيان أو العلاقة المطلوبة من قبل الخطوة. الإجراء: إعادة البحث (Re-search).
• جسر مفقود (MISSING BRIDGE - MB): الدليل ذو صلة ولكنه لا يستلزم الادعاء بعد. الإجراء: بحث جسري (Bridging search).

البنية الهيكلية

يعمل StepGap كشجرة قرار هجينة مكونة من خمس مراحل لكل خطوة استدلال $s_i$ (بناءً على الأدلة المتراكمة $e_{\le i}$):

1. المرحلة أ (LLM): تتحقق من محاذاة الكيان/العلاقة. تحدد ما إذا كانت الخطوة تستهدف الكيان/العلاقة الصحيحة قبل الاسترجاع. استهداف الخطأ يؤدي إلى تسمية CC.
2. المرحلة ب (LLM): تتحقق من صحة الامتناع. تتحقق مما إذا كان ادعاء "لا يمكن التحديد" يستند إلى أدلة. الامتناع غير المبرر يؤدي إلى CC.
3. المرحلة ج (LLM): تتحقق من اتساق الكيان واستخراج الاقتباس. تتحقق مما إذا كانت الأدلة المسترجعة تتعلق بالكيان الصحيح وتستخرج اقتباسًا حرفيًا داعمًا. عدم التطابق يؤدي إلى IE.
4. المرحلة د (NLI): تقوم بـ الاستلزام المحلي. تستخدم نموذج NLI حتمي (DeBERTa-v3) للتحقق مما إذا كان الاقتباس من المرحلة (ج) يستلزم الادعاء.
   • الاستلزام $\leftarrow$ لا توجد فجوة.
   • الحياد $\leftarrow$ MB.
   • التناقض $\leftarrow$ CC.
5. المرحلة هـ (NLI): تقوم بـ التحقق عبر الخطوات. بالنسبة لخطوات الاستنتاج التي تفتقر إلى اقتباس محلي، تتحقق مما إذا كان الادعاء مستلزمًا من الأدلة من خطوات الاستدلال السابقة. الفشل يؤدي إلى IE.

دمج مكافأة العملية (Process Reward Integration)

يتم دمج المخرجات النمطية $\tau_i$ في خوارزمية GRPO (تحسين السياسة النسبي للمجموعات) كمكافأة لكل خطوة:

• المكافأة الأساسية ($r_{base}$): تخصص قيمًا عددية بناءً على نوع الفجوة (مثل +0.20 لعدم وجود فجوة، و -0.10 لـ IE، و +0.05 لاكتشاف CC).
• مكافأة التشكيل ($r_{shape}$): تشترط القيام بـ إجراء الإصلاح المتخذ في الخطوة اللاحقة. فهي تكافئ السياسة للقيام بالإصلاح الصحيح (مثل إعادة البحث بعد IE، أو التراجع بعد CC) وتعاقب تجاهل الفجوة أو إصدار استعلامات شبه مكررة.

المساهمات الرئيسية

1. الاقتران بين النوع والإجراء: يجادل البحث بأن التسميات النمطية على مستوى الخطوة لا تكون مفيدة إلا عند اقترانها بإجراءات إصلاح محددة. يربط StepGap صراحةً بين CC وIE وMB وبين التراجع، وإعادة البحث، والبحث الجسري، على التوالي.
2. القابلية للتفكيك الهجين مقابل إلغاء الخطأ في LLM فقط:
   • في اختبار مرجعي مُصنف بشريًا (181 خطوة)، حقق StepGap قيمة sF1 بلغت 72.0، وهي غير قابلة للتمييز إحصائيًا عن خط الأساس المعتمد على LLM فقط (70.1).
   • ومع ذلك، كشفت دراسات الاستئصال (ablation studies) عن اختلاف نوعي: إزالة أي مكون من StepGap يخفض الأداء (تفكيك صحي)، بينما إزالة ثلاثة من أربعة مكونات من نظام LLM فقط يحسن الأداء. يشير هذا إلى أن نظام LLM فقط يعاني من إلغاء الخطأ المتنافس (competing-error cancellation)، حيث تحجب المراحل الداخلية أخطاء بعضها البعض، مما يجعله غير مناسب لإشارات RL موثوقة.
3. فخ Q-F1: يكشف المؤلفون عن خلل في المقاييس حيث يتم تضخيم F1 على مستوى السؤال (Q-F1) آليًا بواسطة المدققات التي تصنف كل خطوة. المدقق الذي يصنف 95% من الخطوات يمكنه تحقيق Q-F1 قريب من الحد الأقصى بينما يمتلك دقة ضعيفة على مستوى الخطوة. يتجنب StepGap ذلك من خلال موازنة F1 على مستوى الخطوة (sF1) والدقة المتوازنة (BA).
4. فعالية مكافأة العملية: استخدام StepGap كمكافأة نمطية لـ GRPO يحسن المطابقة التامة (EM) لنموذج Qwen2.5-7B-Instruct من 32.1 إلى 35.4 (عبر ثلاث بذور عشوائية) ويزيد دعم الإجابة للادعاء إلى 71.5%.

النتائج

• أداء المدقق: حقق StepGap قيم sF1=72.0، وQ-F1=81.2، وBA=60.6% على الاختبار المرجعي البشري المكون من 181 خطوة. ويحافظ على توزيع صحي لأنواع الفجوات (IE ~38%، CC ~15%، MB ~6%)، بينما تنهار النسخ المتدهورة (مثل LLM قوي واحد) لتصنف كل شيء تقريبًا كـ IE (87.8%)، فاشلة في التمييز بين أنواع الأخطاء.
• تدريب RL:
  • Typed+Shape (StepGap مع مكافآت التشكيل) يتفوق على خط الأساس Search-R1 GRPO بمقدار +5.6 في متوسط EM (29.8 $\leftarrow$ 35.4).
  • كما يتفوق على خط الأساس Search-R1 بمقدار +10.9 في EM على مجموعة بيانات MuSiQue الصارمة خارج النطاق.
  • تشجع إشارة المكافأة السياسة على زيادة عدد عمليات البحث (من 2.5 إلى 2.8) والقيام بإصلاحات محددة بدلاً من مجرد تجنب الأخطاء.
• التقطير (Distillation): يحتفظ نموذج الطالب المستخلص Qwen2.5-7B بـ 87% من درجة F1 للمعلم دون الحاجة إلى استدعاءات API أثناء الاستدلال، مما يجعل النظام قابلًا للتوسع لعمليات RL طويلة.

الأهمية والادعاءات

يزعم البحث أن StepGap يوفر إشارة عملية مختلفة نوعيًا مقارنة بالمدققات الحالية. وبينما قد تمتلك نظامان فترات ثقة متداخلة لـ F1، فإن النظام الذي يتميز بـ مساهمات مكونات أحادية الاتجاه (monotone component contributions) (مثل StepGap) هو الوحيد المناسب لمكافآت RL النمطية. يعتمد نهج LLM فقط، رغم تشابه دقة التجميع، على إلغاء الخطأ الذي يحجب الطبيعة المحددة للإخفاقات، مما يجعله غير موثوق لتدريب السياسات على إجراء إصلاحات محددة.

يضع المؤلفون StepGap ليس مجرد مدقق أفضل، بل كمكون ضروري لتدريب RAG الوكيل (agentic RAG)، مما يمكّن النماذج من تعلم كيفية إصلاح سلاسل الاستدلال (التراجع، إعادة البحث، الجسر) بدلاً من مجرد تعلم تجنب الأخطاء النهائية. يسلط العمل الضوء على ضرية الحاجة إلى التشخيصات على مستوى الخطوة بدقة فوق مقاييس مستوى السؤال لتجنب "فخ Q-F1" وضمان أن التحسينات في تدريب RL مدفوعة بقدرات استدلال حقيقية وليس ارتباطات زائفة.

القيود التي لاحظها المؤلفون:

• مجموعة التقييم البشري صغيرة (181 خطوة)، مما يؤدي إلى تداخل فترات الثقة مع خطوط الأساس؛ ويتم تأطير المساهمة حول الخصائص الهيكلية (التفكيك) بدلاً من مجرد فوز خام في F1.
• يتم ضبط مقادير المكافأة لنموذج Qwen2.5-7B ولا تنتقل بصفرية (zero-shot) إلى Llama-3.1-8B.
• يعتمد اكتشاف التراجع على مطابقة الأنماط السطحية، والتي يمكن نظريًا أن تكون عرضة لـ "اختراق المكافأة" (reward hacking)، وإن لم يُلاحظ ذلك خلال 200 دورة.