ملخص تقني: RICE-PO

بيان المشكلة

تتناول الورقة البحثية تحدي تخصيص الائتمان (credit-assignment challenge) في تدريب الوكلاء اللغويين لعمليات الاسترجاع كثيفة الاستدلال. بخلاف عمليات الاسترجاء التقليدية ذات الخطوة الواحدة، ينخرط الوكلاء الحديثون في حلقات تكرارية حيث يستدلون على الأدلة، ويعيدون صياغة الاستعلامات، ثم يبحثون مجددًا. هناك عدم تماثل جوهري في هذه العملية:

• الأفعال القابلة للتنفيذ (Executable Actions): يمكن تقديم الملخصات أو الاستعلامات المولدة مباشرة إلى نظام الاسترجاع وتقييمها باستخدام مقاييس قياسية (مثل NDCG@10).
• أفعال الاستدلال الكامنة (Latent Reasoning Actions): خطوات الاستدلال الداخلي (مثل مسارات التفكير) ليست قابلة للتنفيذ المباشر أو القياس؛ فهي تؤثر فقط على الاسترجاع بشكل غير مباشر من خلال تشكيل الأفعال القابلة للتنفيذ اللاحقة.

تعتمد طرق التعلم المعزز (RL) الحالية غالبًا على مكافآت مستوى النتيجة (outcome-level rewards) (درجة الاسترجاع النهائية) التي تُسند إلى المسار بأكل. هذا النهج غير موثوق لأن النتيجة النهائية الناجحة قد تكون ناتجة عن خطوات استرداد لاحقة بدلاً من الاستدلال الأولي، مما يؤدي إلى خطأ في تخصيص الائتمان. علاوة على ذلك، تعتمد العديد من الطرق على نقاد متعلمين (learned critics) أو نماذج مكافأة للعمليات (process reward models)، وهي مكلفة حوسبيًا وصعبة التدريب. المشكلة الجوهرية هي كيفية تخصيص الائتمان لخطوات الاستدلال الكامنة دون الحاجة إلى أحكام خارجية أو عمليات تجربة (rollouts) شاملة، وذلك عبر الاستفادة فقط من إشارات التفاعل المتاحة داخل حلقة الاسترجاع.

المنهجية: RICE-PO

يقترح المؤلفون RICE-PO (تقدير ائتمان التفاعل مع الاسترجاع لتحسين السياسة)، وهو إطار عمل خالٍ من الناقد (critic-free) يحول تفاعلات الاسترجاع إلى إشارات تعلم محلية. تعمل الطريقة على فرضية أن الملخصات القابلة للتنفيذ توفر تغذية راجعة مباشرة، والتي يمكن نشرها انتقائيًا إلى نطاقات الاستدلال الكامنة السابقة تحت شروط محددة.

يتكون الإطار من ثلاث مراحل رئيسية:

1. اختيار المرتكزات الموجه باليقين (Uncertainty-Guided Anchor Selection)

بدلاً من تقييم كل خطوة، يحدد الوكيل نقاط القرار الحرجة حيث تكون الحاجة لتخصيص الائتمان في أقصى درجاتها.

• الآلية: يقوم النظام بحساب الاعتلاج على مستوى الرمز (token-level entropy) لأفعال الملخصات القابلة للتنفيذ عبر مسارات متعددة مأخوذة عينات.
• الاختيار: يختار أفضل $K$ من أفعال الملخصات ذات الاعتلاج الأعلى (اليقين المنخفض). تعمل هذه كـ "مرتكزات" لتقدير التناقض المحلي، مما يركز الموارد الحوسبية على نقاط القرار الغامضة حيث يؤثر خيار السياسة بشكل كبير على النتيجة.

2. التفرع التناقضي المحلي (Local Counterfactual Branching)

لكل نقطة مرتكز مختارة، تنشئ الطريقة فروعًا محلية لتقدير تأثير فعل الاستدلال على نتيجة الاسترجاع.

• بناء الفرع: من نفس تاريخ التفاعل، يولد الوكيل $K$ من نطاقات الاستدلال البديلة ($z_t$) وأفعال الملخصات المقابلة لها ($s_t$).
• تقدير التأثير: يحسب التباين في مكافآت الاسترجاع ($\hat{\sigma}^2_t$) عبر هذه الفروع. يشير التباين العالي إلى أن فعل الاستدلال الكامن يؤثر بقوة على جودة الملخص القابل للتنفيذ اللاحق.
• تقدير استقرار المتبقي (Residual Stability Estimation): يتم تمديد الفروع إلى عمق المسار الكامل لحساب المكافأة النهائية. يتم حساب تباين الأثر المتبقي ($\text{ResVar}_t = \text{Var}(R_T - r_t)$)؛ حيث يشير التباين المنخفض إلى أن خطوات التفاعل اللاحقة لا تقلب فرق المكافأة المحلي الذي أحدثه زوج (الاستدلال-الملخص) الحالي.

3. نشر الائتمان المبوب (Gated Credit Propagation)

يتم نشر الائتمان من الملخص إلى نطاق الاستدمان فقط عندما تُعتبر الإشارة موثوقة.

• شروط التبويب: يحدث النشر إذا:
  1. كان التأثير عاليًا: $\hat{\sigma}^2_t \geq \tau_{var}$ (خيار الاستدلال يغير درجة استرجاع الملخص بشكل كبير).
  2. كان استقرار المتبقي عاليًا: $\text{ResVar}_t \leq \tau_{res}$ (فرق المكافأة المحلي يستمر عبر الخطوات المستقبلية).
• حساب الميزة (Advantage Calculation):
  • الرموز القابلة للتنفيذ: تتلقى ميزة على مستوى الخطوة ($A^{sum}_t$) بناءً على درجات الاسترجاء التناقضية المحلية.
  • رموز الاستدلال: تتلقى ميزة مبوبة ($A^{think}_t$). إذا استُوفيت شروط التبويب، فإنها ترث ميزة الملخص؛ وإلا، فإنها تحتفظ بالميزة القياسية على مستوى المسار.
• التحسين: تُستخدم هذه الميزات على مستوى الرمز في هدف مقصوص (clipped objective) من نوع PPO لتحديث السياسة، مما يلغي الحاجة إلى ناقد متعلم أو نموذج مكافأة خارجي.

المساهمات الرئيسية

1. تخصيص الائتمان المدرك للملاحظة (Observability-Aware Credit Assignment): تقدم الورقة منظورًا يميز بين الأفعال القابلة للتنفيذ والأفعال الكامنة في الاسترجاع، وتوضح أن الملخصات القابلة للتنفيذ يمكن أن تعمل كمرتكزات تغذية راجعة مباشرة بينما يتطلب الاستدلال الكامن نشرًا عكسيًا انتقائيًا.
2. إطار عمل خالٍ من الناقد (Critic-Free Framework): يستغل RICE-PO عدم التماثل في وكلاء الاسترجاع لاستخلاص إشراف دقيق دون الحاجة إلى نقاد متعلمين، أو نماذج مكافأة للعمليات، أو تسميات بشرية. إنه يستخدم التقييم التناقضي المحفز بالاعتلاج وبوابات استقرار المتبقي لضمان موثوقية الائتمان.
3. التحقق التجريبي: أظهرت التجارب المكثفة تحسينات مستمرة على الوكلاء القائمين على التلقين (prompt-based) وعلى أسس RL الجماعية (GRPO, GiGPO, HGPO, Tree-GRPO) في مهام الاسترجاع كثيفة الاستدلال والاسترجاع العام.

النتائج التجريبية

تم تقييم الطريقة على BRIGHT (12 مهمة كثيفة الاستدلال) و BEIR (5 مجموعات بيانات استرجاع عامة) باستخدام NDCG@10 كمقياس.

• أداء BRIGHT:

  • باستخدام نموذج خلفي بسعة 1.5B (DeepSeek-R1-Distill-Qwen-1.5B)، حقق RICE-PO متوسط درجة قدره 27.49، متفوقًا على GRPO (24.98) وعلى خط الأساس القوي Diver (الذي حقق 37.20 بمتوسط نموذج 14B، ومع ذلك فقد تفوق RICE-PO بنموذج 1.5B على خط أساس GRPO بنموذج 1.5B بشكل كبير).
  • باستخدام نموذج خلفي بسعة 4B (Qwen3-4B-Thinking-2507)، حقق RICE-PO أفضل متوسط درجة قدره 37.76، متفوقًا على GRPO و GiGPO و HGPO و Tree-GRPO بهوامش تتراوح بين 1.15 إلى 1.45 نقطة.
  • تشير النتائج إلى أن التعلم من إشارات التفاعل يسمح للنماذج الأصغر بمنافسة أو تجاوز النماذج الأكبر التي تعتمد فقط على التلقين الثابت أو مكافآت مستوى النتيجة.

• أداء BEIR:

  • حقق RICE-PO أفضل متوسط درجات في مجموعات بيانات BEIR لكل من النماذج الخلفية 1.5B (65.66) و 3B (65.68)، متفوقًا على جميع أسس RL ونماذج إعادة التصنيف القوية.
  • رغم أن المكاسب كانت أقل مقارنة بـ BRIGHT (بسبب انخفاض كثافة الاستدلال في BEIR)، إلا أن الاتساق يشير إلى أن الطريقة تتعمم لما وراء إعدادات الاستدلال متعدد الخطوات.

• دراسات الاستئصال (Ablation Studies):

  • آلية التبويب (Gating Mechanism): تبويب نشر الائتمان ديناميكيًا بناءً على التأثير واستقرار المتبقي تفوق على الاستراتيجيات التي تنشر دائمًا أو تعتمد فقط على النتائج النهائية.
  • التحفيز (Triggering): حقق التحفيز القائم على الاعتلاج لاختيار المرتكزات مكاسب كبيرة مقارنة بالتحفيز العشوائي في معظم المهام.
  • دمج الإشارات: أثبت دمج "التأثير" (الحساسية المحلية) و"الأثر" (الاستقرار اللاحق) تفوقًا على استخدام أي منهما بمفرده.

الأهمية والادعاءات

تدعي الورقة أن بنية التفاعل بين الوكيل والبيئة نفسها يمكن أن توفر إشرافًا مفيدًا لتدريب وكلاء الاسترجاع القائمين على الاستدلال. من خلال معاملة تفاعلات الاسترجاع كمصدر لإشارات تعلم محلية بدلاً من الاعتماد فقط على مكافآت نادرة على مستوى النتيجة، يتيح RICE-PO تدريبًا أكثر كفاءة وموثوقية لوكلاء الاستدلال.

يؤكد المؤلفون أن هذا النهج يقدم بديلًا عمليًا لتدريب النقاد المكلفين أو الاعتماد على نماذج أكبر. يسلط العمل الضوء على أهمية تصميم خوارزميات تعلم تتوافق مع البنية المحددة لتفاعلات الأنظمة اللغوية متعددة الخطوات، وخاصة التمييز بين الأفعال القابلة للتنفيذ الملحوظة وعمليات الاستدلال الكامنة. تشير النتائج إلى أن الاستخدام الفعال لإشارات التفاعل هو المفتاح لتحسين الاسترجاع كثيف الاستدلال، حتى مع النماذج اللغوية الأصغر.