ChatR1: Reinforcement Learning for Conversational Reasoning and Retrieval Augmented Question Answering

إليك ملخص تقني مفصل لورقة البحث بعنوان "ChatR1: التعلم التعزيزي للاستدلال الحواري والإجابة على الأسئلة المدعومة بالاسترجاع (RAG)."

1. بيان المشكلة

تفرض الإجابة على الأسئلة في السياق الحواري (CQA) تحديات فريدة مقارنة بالإجابة على الأسئلة في الدور الواحد والثابت. في الـ CQA، يتطور قصد المستخدم عبر أدوار الحوار، وغالباً ما تكون التعبيرات غير محددة بدقة (على سبيل المثال، تحتوي على ضمائر، أو حذف، أو تحولات في الموضوع).

• قصور النهج الحالية: تعتمد معظم الأنظمة الحالية على مسارات "إعادة الكتابة-الاسترجاع-التوليد" الثابتة باستخدام الضبط الدقيق الخاضع للإشراف (SFT). تعامل هذه المسارات إعادة صياغة الاستعلام، والاسترجاع، والتوليد كخطوات منفصلة ومتتالية. وهي تفتقر إلى القدرة على تكييف استراتيجيات الاستدلال ديناميكياً بناءً على التغذية الراجعة الوسيطة.
• تحدي التعلم التعزيزي (RL): بينما أظهر التعلم التعزيزي نتائج واعدة في الاستدلال أحادي الدور (مثل Search-R1)، فإن تطبيقه على الـ CQA متعدد الأدوار أمر صعب بسبب ندرة المكافأة (Reward Sparsity). فالمكافآت القياسية القائمة على النتيجة (بناءً على الإجابة النهائية فقط) توفر تغذية راجعة متأخرة، مما يفشل في توجيه القرارات الوسيطة مثل تفسير السياق أو صياغة الاستعلام. يؤدي هذا إلى عدم الاستقرار وضعف التعلم في البيئات الحوارية حيث تتغير أهداف المستخدم باستمرار.

2. المنهجية: ChatR1

يقترح المؤلفون إطار عمل ChatR1، وهو إطار يستخدم التعلم التعزيزي لتحسين المسار الحواري بأكمله من البداية إلى النهاية، مع دمج الاستدلال والبحث والتوليد بشكل متداخل.

أ. حلقة التفاعل والبنية (Architecture)

• نموذج السياسة ($\pi_\theta$): يعتمد على نماذج Qwen2.5 (بنسختي 3B و 7B)، ويقوم النموذج بتوليد مسار $\tau$ يتكون من:
  1. أثر الاستدلال (Reasoning Trace): خطوات التفكير الداخلية (داخل وسوم <thought>).
  2. إجراءات البحث (Search Actions): إصدار استعلامات بحث (داخل وسوم <search>) لمحرك خارجي.
  3. الاسترجاع (Retrieval): استقبال أفضل $N$ من الفقرات.
  4. الإجابة النهائية (Final Answer): توليد الاستجابة (داخل وسوم <answer>).
• التحسين (Optimization): يتم تدريب النموذج باستخدام تحسين السياسة التقريبي (PPO). يهدف الهدف إلى تعظيم المكافأة المتوقعة مع تنظيم السياسة مقابل نموذج مرجعي ($\pi_{ref}$) لمنع انهيار النمط (Mode Collapse).
  $$J(\theta) = \mathbb{E}[R(\tau) - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})]$$

ب. الابتكار الجوهري: المكافأة المدركة للقصد (Intent-Aware Reward)

لحل مشكلة ندرة المكافأة، قدم المؤلفون دالة مكافأة مركبة $R(\tau)$:
$$R(\tau) = R_{answer}(y) + \alpha R_{intent}(Q)$$

1. مكافأة الإجابة ($R_{answer}$): هي درجة F1 قياسية تقارن الإجابة المولدة نهائياً $y$ مع المرجع الذهبي $y^*$. وهي نادرة وتُقدم فقط في نهاية المسار.
2. المكافأة المدركة للقصد ($R_{intent}$): هذا هو المساهمة الرئيسية. فهي توفر إشرافاً على مستوى الدور من خلال مقارنة استعلامات البحث المولدة $Q = \{q_k\}$ مع إعادة كتابة الاستعلامات المعيارية ($q_{rw}$) التي تم تحديدها بشرياً.
   $$R_{intent}(Q) = \max_{q_k \in Q} \text{F1}(q_k, q_{rw})$$
   • الآلية: تحسب تداخل F1 بين استعلام البحث الخاص بالنموذج واستعلام إعادة الكتابة الحقيقي الذي يحل السياق (الضمائر، والحذف).
   • الفائدة: هذا يخلق إشارة مكافأة أكثر كثافة، مما يوجه النموذج لتفسير قصد المستخدم بشكل صحيح قبل توليد الإجابة النهائية. كما أنه يفصل بين أخطاء الاسترجاع وأخطاء صياغة الاستعلام.

3. المساهمات الرئيسية

1. إطار عمل ChatR1: أول نموذج استدلال قائم على التعلم التعزيزي مصمم خصيصاً للـ CQA متعدد الأدوار، مما يسمح بالتنسيق الديناميكي بين الاسترجاع والتوليد بدلاً من المسارات الثابتة.
2. تشكيل المكافأة المدركة للقصد (Intent-Aware Reward Shaping): آلية مكافأة مبتكرة توائم استعلامات البحث الوسيطة مع القصد المتطور للمستخدم، مما يقلل بشكل كبير من ندرة المكافأة ويؤدي لاستقرار تعلم RL في السياقات الحوارية.
3. تقييم شامل: اختبار واسع النطاق عبر خمس مجموعات بيانات متنوعة لـ CQA (TopiOCQA, QReCC, INSCIT, MultiDoc2Dial, FaithDial) تغطي تحولات الموضوع، والحوارات ذات المبادرة المختلطة، والتدعيم متعدد الوثائق.

4. النتائج التجريبية

أُجريت التجارب على نماذج بـ 3B و 7B من المعلمات (Qwen2.5) باستخدام 5 مجموعات بيانات.

• مكاسب الأداء:
  • يتفوق ChatR1 بشكل كبير على نماذج SFT الأساسية والنماذج التجارية ذات القدرة صفرية (ChatGPT, Claude) في مقاييس F1 و BERTScore.
  • يحقق ChatR1-3B أداءً يضاهي أو يتجاوز أداء نماذج RAG الأساسية ذات 7B (مثل UniConv, ChatRetriever) في عدة مجموعات بيانات، على الرغم من استخدامه لمسترجع أصغر بحجم 300M مقارم المسترجعات 7B المستخدمة لدى المنافسين.
  • يؤدي الانتقال من 3B إلى 7B إلى تحسينات ثابتة (متوسط +1.4 نقطة F1).
• التعميم: يظهر ChatR1 قدرة قوية على النقل خارج النطاق (Out-of-domain transfer). فالنماذج المدربة على QReCC تحافظ على أداء عالٍ في مجموعات البيانات غير المرئية (مثل MultiDoc2Dial)، مما يظهر أنه يتعلم استراتيجيات استرجاع قابلة للتعميم بدلاً من الإفراط في التخصيص لنطاقات معينة.
• دراسات الاستئصال (Ablation Studies):
  • إزالة مكافأة القصد ($R_{intent}$) تسبب انخفاضاً كبيراً في الأداء (متوسط -2.2 F1)، مما يثبت ضرورتها لاستقرار تعلم RL.
  • مكافآت F1 على مستوى الاستعلام تتفوق على مكافآت النجاح على مستوى الفقرات (مثل hit@3)، لأنها أقل ندرة ومستقلة عن ضجيج محرك الاسترجاع.
• جودة الاسترجاع: يتعلم ChatR1 ذاتياً استخدام أداة البحث بفعالية. هناك ارتباط إيجابي قوي بين دقة الاسترجاع (MRR) وجودة الإجابة النهائية. يتعلم النموذج إصدار استعلامات متعددة عندما يكون البحث الأول غير كافٍ.

5. الأهمية والأثر

• ما وراء المسارات الثابتة: يثبت ChatR1 أن التعلم التعزيزي يمكنه تعلم سلوكيات تكيفية (مثل تحديد متى يبحث، وكيف يعيد صياغة الاستعلامات بناءً على السياق) والتي لا تستطيع مسارات SFT الثابتة التقاطها بسهولة.
• الكفاءة: يحقق نتائج رائدة (State-of-the-art) باستخدام أحجام نماذج أصغر (3B) ومسترجعات أصغر، مما يشير إلى أن استراتيجيات الاستدلال الأفضل أكثر تأثيراً من مجرد زيادة حجم المعلمات.
• الاتجاه المستقبلي: يجسر هذا العمل الفجوة بين الاستدلال الوكيل (Agentic reasoning) والبحث الحواري، مما يوفر مخططاً لتدريب النماذج التي يمكنها التعامل مع الاحتياجات المعلوماتية المعقدة والمتطورة في أنظمة الحوار الواقعية.

باختصار، يثبت ChatR1 أن التعلم التعزيزي مع تشكيل المكافأة المدركة للقصد هو نهج قابل للتطبيق ومتفوق لتدريب الوكلاء الحواريين، مما يتيح لهم الاستدلال ديناميكياً واسترجاع المعلومات بشكل أكثر فعالية من الطرق التقليدية الخاضعة للإشراف.