ملخص تقني: LongR – إطلاق قدرات الاستدلال في السياقات الطويلة عبر التعلم التعزيزي باستخدام مكافآت المنفعة الكثيفة

1. صياغة المشكلة

أثبت التعلم التعزيزي (RL) فعاليته في تعزيز قدرات الاستدلال للنماذج اللغوية الكبيرة (LLMs)، لا سيما في مجالات مثل الرياضيات. ومع ذلك، فإن تطبيق التعلم التعزيزي على سيناريوهات السياق الطويل (مثل فهم الحوارات الطويلة، أو تحليل البيانات المهيكلة) يفرض تحديات فريدة. في هذه الإعدادات، لا تكمن الصعوبة الأساسية في استهلاك الرموز (tokens) فحسب، بل في إجراء استدلال دقيق على محتوى واسع النطاق.

تواجه الأساليب الحالية قصورين رئيسيين:

1. ندرة المكافأة (Reward Sparsity): يعتمد التعلم التعزيزي القياسي على مكافآت ناتجة عن المخرجات النهائية فقط (مثل صحة الإجابة النهائية). وفي مهام السياق الطويل، غالبًا ما تكون هذه الإشارات خشنة للغاية بحيث لا يمكنها توجيه عملية الاستدلال المعقدة بفعالية، مما يؤدي إلى تلاشي التدرجات (vanishing gradients) فيما يتعلق بالتأسيس السياقي.
2. القيود الهيكلية: تسعى الأعمال الحديثة التي تحاول التخفيف من الندرة (مثل LongRLVR) إلى تقسيم المستندات إلى أجزاء منفصلة (chunks) وتدريب النماذج على إخراج معرفات محددة لهذه الأجزة. هذا التقسيم الصارم يخاطر بخلخلة سلامة المعلومات، ويستحدث أعباءً إضافية لصناعة البيانات الاصطناعية، ويجبر النماذج على اتخاذ صيغ مخرجات غير طبيعية تفصل بين عملية "البحث عن المعلومة" وعملية "الاستدلال".

المشكلة الجوهرية التي يعالجها هذا البحث هي كيفية تعزيز الاستدلال في السياق الطويل ضمن التوليد التلقائي (autoregressive generation) القياسي دون الحاجة لتقسيم صارم، مع توفير تغذية راجعة كثيفة ومعلوماتية لتوجيه النموذج نحو الأدلة ذات الصلة.

2. المنهجية: إطار عمل LongR

يقترح LongR إطار عمل موحداً يعمل بدقة ضمن عملية التوليد التلقائي القياسية، ويدمج ثلاث آليات رئيسية:

أ. آلية "التفكير والقراءة" الديناميكية (Dynamic "Think-and-Read")

بدلاً من تقسيم المستندات مسبقاً، يشجع LongR النموذج على دمج خطوات الاستدلال مع استشارة المستند مباشرة ضمن سلسلة التفكير (chain of thought).

• العملية: يولد النموذج مساراً تتناوب فيه خطوات الاستدلال (التفكير الداخلي) مع استخراج الأدلة المستندة إلى المستند (الاقتباسات من النص).
• الفائدة: يحاكي هذا العمليات المعرفية البشرية، ويحافظ على سلامة المعلومات الأصلية، ويلغي الحاجة إلى معرفات أجزاء منفصلة أو صيغ مخرجات متخصصة.

ب. مكافأة الكثافة السياقية عبر كسب المعلومات النسبي

لمعالجة ندرة المكافأة، يقدم LongR إشارة مكافأة كثيفة تعتمد على كسب المعلومات النسبي (Relative Information Gain).

• المفهوم: يقيس إطار العمل مدى فائدة أجزاء المستند المسترجعة من خلال قياس مدى تقليل السياق لحالة عدم اليقين حول الدليل المستخرج.
• التنفيذ:
  1. يقوم نموذج تحقق (verifier model) مجمد (مثل Qwen3-4B) بتقدير احتمالية جزء مولد $s_k$ مع السياق ($P(s_k|c)$) وبدونه ($P(s_k)$).
  2. يتم حساب المنفعة باستخدام تقليل السلب اللوغاريتمي (NLL): $Score(s_k, c) = L(s_k) - L(s_k|c)$.
  3. التطبيع (Normalization): لضمان ثبات المقياس ومنع النموذج من التلاعب بالمكافأة عبر توليد نصوص مطولة أو غريبة، يتم تطبيع الدرجة باستخدام عدم اليقين السابق، مما ينتج عنه كسب معلومات نسبي:
     $$r(s_k, c) = 1 - \frac{L(s_k|c)}{L(s_k)}$$
  4. مكافأة المسار النهائي هي متوسط هذه الدرجات عبر جميع الاقتباسات الفريدة. وإذا لم يتم توليد أي اقتباسات، تكون المكافأة صفراً.

ج. التعلم المنهجي التصاعدي (Progressive Curriculum Learning)

لتجنب هندسة البيانات المكلفة والخاصة بالسياق الطويل (مثل بناء نماذج توضيحية لـ "استشر ثم استدل")، يستخدم LongR استراتيجية تعلم منهجي:

• يتم تعريض النموذج تدريجياً لمستندات تزداد طولاً (على سبيل المثال، البدء بـ 16 ألف رمز والتوسع إلى أكثر من 32 ألف رمز).
• يسمح هذا للنموذج بتعلم نمط "التفكير والقراءة" من خلال التعلم التعزيزي الصرف، بدءاً من البيانات العامة وصولاً إلى إتقان السياقات الأطول تدريجياً.

3. المساهمات الرئيسية

1. إطار عمل LongR: نهج موحد للاستدلال في السياق الطويل يدمج آلية "التفكير والقراءة" الديناميكية مع مكافأة كثافة سياقية، ويعمل بالكامل ضمن التوليد التلقائي القياسي.
2. الإشراف بكثافة المنفعة: اقتراح مقياس كسب المعلومات النسبي كإشارة مكافأة. يوفر هذا النهج القائم على نظرية المعلومات (White-box) تغذية راجعة دقيقة حول فائدة السياق المسترجع دون الاعتماد على نماذج مكافأة "الصندوق الأسود" أو تقسيم المستندات الصارم.
3. أنماط استدلال ذاتية التعلم: إثبات أن نمط "التفكير والقراءة" يمكن اكتسابه من البيانات العامة المتاحة بسهل عبر منهج تعليمي تصاعدي، مما يلغي الحاجة إلى بيانات ضبط دقيق (SFT) مكلفة وخاصة بالسياق الطويل.

4. النتائج التجريبية

قام المؤلفون بتقييم LongR باستخدام عائلة Qwen3 (بمعلمات 4B و 8B) عبر ثلاثة اختبارات مرجعية رئيسية: LongBench v2، و RULER، و InfiniteBench.

• LongBench v2: حقق LongR زيادة إجمالية في الأداء بنسبة 9% مقارنة بالخط المرجعي لضبط الدقة (SFT)، وتحسينات ملحوظة مقارنة بالتعلم التعزيزي القائم على المخرات فقط (DAPO). بالنسبة لنموذج Qwen3-8B، ارتفعت الدرجة من 26.64 (SFT) إلى 36.23 (LongR). والجدير بالذكر أن المكاسب كانت أكثر وضوحاً في الأسئلة "الصعبة" (Hard) وتقسيمات السياق "الطويل" (Long).
• RULER: تفوق LongR باستمرار على النماذج المرجعية عند أطوال سياق 64K و 128K. بالنسبة لنموذج 8B، حقق متوسط درجة 71.98 في تقسيم 64K، متفوقاً على نموذج DAPO المرجعي بـ +16.96.
• InfiniteBench: حقق LongR أعلى متوسط درجات (50.18 لنموذج 8B، و 47.60 لنموذج 4B)، مع تحسينات جوهرية في مهام فرعية محددة مثل En.MC و En.QA.
• القوة تجاه خوارزميات التعلم التعزيزي: أظهر الإطار تحسينات متسقة عبر خوارزميات متنوعة، بما في ذلك DAPO و CISPO و GSPO، مما يشير إلى فعالية الطريقة بغض النظر عن الخوارزمية المستخدمة.
• دراسات الاستئصال (Ablation Studies):
  • تصميم المكافأة: تفوقت مكافأة "الكثافة النسبية" بشكل كبير على النماذج المرجعية لـ "المخرات فقط"، و"الكثافة المطلقة"، و"كثافة العتبة"، مما يؤكد أن الكسب النسبي الثابت في المقياس أمر بالغ الأهمية لمنع التلاعب بالمكافأة (reward hacking).
  • حجم نموذج التحقق: وفر استخدام نموذج تحقق بحجم 4B التوازن الأمثل بين تحسين الأداء والكفاءة الحسابية، حيث لوحظ تراجع في العوائد عند التوسع إلى 32B.
  • الكفاءة: أظهر تحليل أطوال سلسلة الاستدلال أن LongR لا يتسبب في "تضخم الطول" أو التلاعب بالمكافأة (النسخ الأعمى للنص). بدلاً من ذلك، فإنه يشجع على "الاستخراج الجراحي" للأدلة ذات الصلة، مما يحافظ على عدد الرموز مساوياً أو أقل من النماذج المرجعية القائمة على المخرات فقط.

5. الأهمية والادعاءات

يزعم البحث أن LongR يعالج العقبة الحرجة المتمثلة في ندرة المكافأة في التعلم التعزيزي للسياق الطويل دون فرض القيود الهيكلية التي تفرضها الطرق السابقة. ومن خلال الاستفادة من كسب المعلومات النسبي، يوفر الإطار إشارة قوية وجوهرية تحفز النموذج على البحث بنشاط عن المعلومات عالية القيمة بدلاً من الاعتماد على المطابقة السطحية للاستعلام.

يؤكد المؤلفون أن LongR يمكّن النماذج من:

• التنقل في السياقات الواسعة بـ كفاءة قوية.
• تعلم أنماط استدلال معقدة دون الحاجة إلى هندسة بيانات مكلفة ومتخصصة في المجال.
• الحفاظ على سلامة المعلومات عبر تجنب التقسيم الصارم للمستندات.

في النهاية، يثبت LongR أن دمج مكافآت المنفعة الكثيفة مع منهج تعليمي تصاعدي يمكن أن يطلق بشكل كبير إمكانات الاستدلال للنماذج اللغوية الكبيرة في سيناريوهات السياق الطويل، مما يوفر مساراً قابلاً للتوسع نحو وكلاء وأنظمة استدلال أكثر قدرة.