ملخص تقني: S3-R1 – التعلم على الاسترجاع والإجابة خطوة بخطوة باستخدام البيانات الاصطناعية

بيان المشكلة

بينما مكنت مرحلة ما بعد التدريب باستخدام التعلم التعزيزي (RL) النماذج اللغوية الكبيرة (LLMs) من أداء استخدام الأدوات الوكيلية (agentic tool-use) للبحث، تواجه الأساليب الحالية قيودين أساسيين في الإجابة على الأسئلة متعددة الخطوات (multi-hop QA):

1. المكافآت شحيحة النتائج: تعتمد أطر التعلم التعزيزي القياسية غالبًا على صحة الإجابة النهائية فقط (مثل المطابقة التامة - Exact Match). وهذا يخلق مشكلات حادة في تحديد المسؤولية عن المكافأة (credit assignment)، حيث قد ينفذ النموذج استعلامات بحث مثالية وتوليفاً دقيقاً للأدلة، لكنه يتلقى مكافأة صفرية إذا كانت الإجابة النهائية غير صحيحة قليلاً، مما يؤدي دون قصد إلى معاقبة سلوكيات البحث الفعالة.
2. توزيع البيانات وصعوبتها: تفتقر بيانات التدريب الحالية غالباً إلى توزيع متنوع لصعوبة الأسئلة. تعاني النماذج من أجل التعميم لأنها لا تتعرض لأسئلة "متوسطة الصعوبة" تتطلب تفكيراً تكرارياً ولكنها قابلة للحل ضمن قيود أدوات الاسترجاع القياسية. علاوة على على ذلك، فإن خطوط إنتاج البيانات الاصطناعية الحالية غالباً ما تولد مسارات استدلال لأسئلة ثابتة بدلاً من توسيع توزيع الأسئلة نفسه.

المنهجية: إطار عمل S3-R1

يقدم المؤلفون S3-R1 (البيانات الاصطناعية والبحث المستقر R1)، وهو إطار عمل يجمع بين نهج متمحور حول البيانات وإشارات تعلم أكثر كثافة. تتكون المنهجية من ثلاثة مكونات أساسية:

1. خط إنتاج توليد وتنسيق البيانات الاصطناعية

لمعالجة ندرة الأسئلة المتنوعة والقابلة للحل متعددة الخطوات، يقترح المؤلفون خط إنتاج ثلاثي المراحل:

• تنقيب المرتكزات الصعبة (Hard Anchor Mining): يتم تقييم النموذج على مجموعة بيانات موجودة باستخدام درجة قابلية حل متشائمة ($Score(q) = E[RF1] - Var[RF1]$). تحدد هذه المعلمة الأسئلة ذات الدقة المتوسطة المنخفضة والتقلب العالي (عدم اليقين المعرفي)، حيث يتم اختيار الـ 10,000 حالة الأدنى كـ "مرتكزات صعبة".
• التوليد القائم على عدم التشابه: يتم استخدام نموذج متطور (Gemini 2.5 Pro) لتوليد أسئلة اصطناعية جديدة مشروطة بوثائق الأدلة الخاصة بالمرتكزات الصعبة. ومن الأهمية بمكان أن يُوجه المولد لإنشاء أسئلة تبتعد عن المرتكز الأصلي مع بقائها متجذرة في نفس الوثائق، مما يضمن توزيعاً متنوعاً لمشكلات الصعوبة المتوسطة.
• التحقق القائم على الاسترجاع: لضمان جدوى الأسئلة الاصطناعية للتدريب، يتم تطبيق عملية تحقق من خطوتين:
  1. التحقق من طرف "الأوراكل" (Oracle Verification): التأكد من أن السؤال قابل للحل واقعياً من الوثائق الحقيقية.
  2. قابلية الاسترجاع (Retrieval Feasibility): يقوم النظام بمحاكاة بيئة استرجاع ضوضائية عالية الاستدعاء (باستخدام BM25 لجلب أفضل 40 وثيقة). إذا تمكن نموذج المولد من إنتاج إجابة من هذا السياق المسترجع تطابق إجابة "الأوراكل" (مقاسة بـ F1 على مستوى الرموز/tokens)، يتم الاحتفاظ بالسؤال. هذا يستبعد الأسئلة التي هي قابلة للحل نظرياً ولكنها غير قابلة للحل عملياً باستخدام أدوات الاسترجاع القياسية.

2. صياغة المكافأة المدركة للاسترجاع

للتخفيف من حدة المكافآت الشحيحة، يستبدل S3-R1 مكافأة الإجابة النهائية الثنائية بدالة مكافأة مركبة:
$$R = \frac{R_{EM} + R_{Recall}}{2}$$
حيث تمثل $R_{EM}$ الصحة الثنائية للإجابة النهائية، وتمثل $R_{Recall}$ نسبة الوثائق الحقيقية التي تم استرجاعها بنجاح عبر جميع جولات البحث. يوفر هذا إشارة تعلم أكثر كثافة، مما يحفز النموذج على إجراء بحث عالي الجودة واختيار أدلة فعال حتى لو فشلت عملية التوليف النهائية.

3. تقنيات تثبيت التعلم التعزيزي (RL Stabilization)

لمنع التقارب المبكر والتحديثات المضطربة أثناء عمليات التشغيل طويلة المدى متعددة الخطوات، يدمج المؤلفون ثلاث تقنيات تثبيت في خوارزمية تحسين السياسة النسبية للمجموعات (GRPO):

• القص المزدوج (Double Clipping): تطبيق حد علوي مرتفع لنسبة القص للحفاظ على إشارات التعلم لرموز الاستكشاف ذات الاحتمالية المنخفضة.
• تنظيم الإنتروبيا (Entropy Regularization): زيادة معامل خسارة الإنتروبيا لمنع السياسة من الانهيار إلى أنماط بحث حتمية في وقت مبكر من التدريب.
• قص الميزة السالبة (Negative Advantage Clipping): تطبيق حد سفلي صارم لنسبة الأهمية عندما تكون المزايا سالبة، مما يخفف من عدم استقرار التدرج.

النتائج الرئيسية

قيم المؤلفون S3-R1 على أربع مجموعات اختبار للأسئلة متعددة الخطوات (MuSiQue, HotpotQA, 2WikiMultiHopQA, و CofCA)، مع التدريب حصرياً على مجموعة بيانات MuSiQue لاختبار التعميم عند عدم وجود بيانات سابقة (zero-shot).

• مكاسب الأداء: تفوق S3-R1 على النماذج المرجعية القوية، بما في ذلك Search-R1 واستراتيجيات التلقين المختلفة لـ RAG (مثل CoT و Decomposition). على نموذج Qwen2.5-7B، حقق S3-R1 تحسناً بنسبة 10% في التعميم القوي على مجموعات البيانات خارج النطاق مقارنة بـ Search-R1.
• دراسات الاستئصال (Ablation Studies):
  • تحسينات التعلم التعزيزي: إزالة البيانات الاصطناعية مع الإبقاء على التحسينات الخوارزمية للتعلم التعزيزي (S3-R1 - No Synthetic) لا تزال تحقق مكاسب كبيرة مقارنة بـ Search-R1، مما يؤكد قيمة المكافأة الأكثر كثافة وتقنيات التثبيت.
  • البيانات الاصطناعية: وفرت إضافة خط إنتاج البيانات الاصطناعية دفعة إضافية كبيرة، لا سيية في الإعدادات خارج النطاق.
  • ضرورة التحقق: أدى التدريب على بيانات اصطناعية غير متحقق منها أو بيانات مولدة من بذور عشوائية (سهلة) إلى تدريب غير مستقر وأداء أقل، مما يؤكد ضرورة خطوات التنقيب والتحقق.
• تحليل الخطوات (Per-Hop Analysis): أظهر النموذج تحسينات متسقة عبر الأسئلة ذات الخطوتين و3 خطوات و4 خطوات، مما يشير إلى القدرة على تعلم استراتيجيات استدلال متعددة الخطوات قابلة للنقل.

الأهمية والادعاءات

يزعم البحث أن S3-R1 يعالج الاختناقات الأساسية لتدريب نماذج البحث الوكيلية: نقص البيانات المتنوعة والقابلة للحل، وشح إشارات المكافأة. من خلال توسيع نطاق التوزيع التدريبي بشكل منهجي ليشمل أسئلة متوسطة الصعوبة ومحققة، وربطها بمكافآت مدركة للاسترجاع، يُمكّن هذا الإطار النماذج من تعلم استراتيجيات بحث وتوليف أكثر فعالية.

يؤكد المؤلفون أن نهجهم لا يعتمد على مسترجعات أقوى أو نماذج أكبر، بل على نموذج تدريب أكثر فعالية. ويؤكدون أن هذا الجمع بين تنسيق البيانات والإشراف الكثفي يسمح للنماذج بالتعميم بقوة على مجالات غير مرئية وسلاسل استدلال معقدة، متجاوزةً بذلك قيود المعرفة البارامترية الثابتة وخطوط أنابيب "الاسترجاع ثم القراءة" الهشة. ويشير العمل إلى أن التقدم المستقبلي في وكلاء البحث طويل المدى سيعتمد على الجمع بين المناهج الدراسية الواعية للصعوبة وإشارات التعلم على مستوى العملية.