Less Noise, More Voice: Reinforcement Learning for Reasoning via Instruction Purification

إليك ملخص تقني مفصل لورقة البحث بعنوان "ضجيج أقل، صوت أعلى: التعلم المعزز للاستدلال عبر تنقية التعليمات" (Less Noise, More Voice: Reinforcement Learning for Reasoning via Instruction Purification).

1. بيان المشكلة

تتناول الورقة عقبة حرجة في التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) للنماذج اللغوية الكبيرة (LLMs)، وتحديداً في مهام الاستدلال المعقدة.

• المشكلة الجوهرية: تعتمد طرق RLVR (مثل GRPO) على أخذ عينات من "المخرجات" (rollouts) الصحيحة (مسارات الاستدلال) لتوليد إشارات التعلم. ومع ذلك، في المهام المعقدة، تكون ندرة المكافأة (reward sparsity) عالية؛ حيث تكون المخركات الصحيحة نادرة بسبب اتخاذ القرارات طويل الأمد والتغذية الراجعة الثنائية.
• السبب الجذري: حدد المؤلفون أن العديد من حالات فشل الاستكشاف ليست بسبب الصعوبة المتأصلة في المهمة، بل بسبب عدد صغير من "رموز التداخل" (Interference Tokens) (عادةً أقل من 5% من النص التوجيهي/البرومبت) داخل التعليمات. هذه الرموز تسبب ضجيجاً، مما يؤدي إلى انحراف النموذج عن مسارات الاستدلال الصحيحة.
• محدودية الحلول الحالية:
  • توسيع الاستكشاف: زيادة ميزانية العينات (أخذ عينات أكثر) أمر مكلف حاسوبياً وغير فعال.
  • تصفية النصوص التوجيهية: استبعاد النصوص التوجيهية الصعبة (ذات التباين الصفري) يضحي بقدرة النموذج على التعلم من العينات الصعبة، مما يحد من توسيع القدرات.

2. المنهجية: إطار عمل LENS

يقترح المؤلفون إطار عمل LENS (إطار أخذ عينات الضجيج الأقل)، وهو إطار عمل انتقائي عبر الإنترنت يتكون من مرحلتين رئيسيتين:

المرحلة الأولى: تحديد وتنقية رموز التداخل

• درجة التداخل ($S_I$): يقيس إطار العمل الانحراف بين السياسة الحالية ($\pi_\theta$) والسياسة المرجعية ($\pi_{ref}$) على مستوى الرمز (token).
  $$S_I(s, a) \triangleq |\log \pi_\theta(a | s) - \log \pi_{ref}(a | s)|$$
  تشير الرموز ذات الدرجات العالية إلى انحراف كبير، مما يشير إلى أنها على الأرجح "تداخل" يسبب التحسين المفرط أو سلوكاً زائفاً.
• التنقية: بالنسبة للنصوص التوجيهية ذات معدل النجاح المنخفض، يتم تحديد وأزالة أعلى $k$ من الرموز ذات درجات التداخل الأعلى (تقليم)، مما ينتج عنه نص توجيهي منقى من الضجيج ($x'_i$). يتم ذلك بنسبة حذف صغيرة ($\gamma \approx 1\%-5\%$) للحفاظ على الدلالات الأصلية.

المرحلة الثانية: تحسين سياسة المخرجات المعايرة (CRPO)

بدلاً من مجرد التدريب على النصوص التوجيهية النظيفة، يستخدم LENS نهج التعلم بنقل المعرفة (transfer learning) لتعليم النموذج تجاهل التداخل في الإعداد الأصلي المليء بالضجيج.

• استبدال المخرجات: إذا حقق النص التوجيهي المنقى ($x'_i$) معدل نجاح أعلى من النص الأصلي ($x_i$)، تُستخدم المخرات الناجحة الناتجة عن $x'_i$ كـ "إشراف عالي المكافأة".
• إعادة وزن العينات: هذه المخرات الناجحة والمنقاة تحل محل مجموعة فرعية من المخرات الفاشلة من النص التوجيهي الأصلي في دفعة التدريب (batch).
• دالة الهدف: يتم تحسين دالة هدف موحدة من نوع PPO. وهي تستخدم إعادة الوزن بالأهمية (importance weighting) لتصحيح عدم التطابق في التوزيع بين النصوص التوجيهية الأصلية والمنقاة، مما يضمن تعلم النموذج إنتاج استدلال صحيح حتى عندما يحتوي المدخل على رموز تداخل.
  • تتضمن دالة الخسارة حداً لتنظيم KL لمنع السياسة من الانحراف بعيداً عن المرجع.

3. المساهمات الرئيسية

1. رؤية جديدة: اكتشاف أن جزءاً صغيراً من رموز التداخل في النصوص التوجيهية هو سبب رئيسي لانهيار تدريب RLVR وانخفاض نجاح أخذ العينات، وليس مجرد تعقيد المهمة.
2. إطار عمل LENS: إطار عمل جاهز للتركيب (plug-and-play) يجمع بين تنقية التداخل على مستوى الرمز وخوارزمية تحسين السياسة المعايرة (CRPO) لنقل إشارات التعلم من المدخلات النظيفة إلى المليئة بالضجيج.
3. الكفاءة والمتانة: على عكس الطرق التي تستبعد العينات الصعبة أو تكتفي بأخذ عينات أكثر، يقوم LENS بتعليم النموذج بنشاط كيفية تصفية الضجيج، مما يؤدي إلى قدرات استدلال أكثر متانة.

4. النتائج التجريبية

قيم المؤلفون LENS عبر عائلات نماذج متعددة (Llama-3.2, Qwen-2.5, Qwen-3) ومعايم اختبار مختلفة.

• أداء الاستدلال الرياضي:
  • حقق LENS متوسط زيادة في الأداء بنسبة 3.88% مقارنة بـ GRPO القياسي عبر سبعة معايم رياضية (MATH500, AIME, AMC, إلخ).
  • أظهر تسارعاً في التقارب بمقدار 1.6 ضعف (يتطلب خطوات تدرج أقل للوصة إلى ذروة الدقة).
  • تفوق LENS على النماذج المرجعية التي ضاعفت ميزانية المخرات (GRPOextended) وتلك التي قامت بتصفية النصوص التوجيهية (DAPO, GRESO)، رغم استخدامه لموارد حاسوبية أقل بشكل صارم.
• التعميم خارج النطاق (Out-of-Domain):
  • في مهام الاستدلال العلمي (SuperGPQA, GPQA-Diamond) والاستدلال العام (BBEH, MMLU-Pro)، أظهر LENS زيادة متوسطة بنسبة 1.83%، مما يثبت أنه يحسن الاستدماء العام وليس فقط أنماط الرياضيات.
• ديناميكيات التدريب:
  • تقليل النصوص التوجيهية ذات المكافأة الصفرية: خفض LENS بشكل كبير نسبة النصوص التوجيهية التي تنتج مكافآت صفرية مقارنة بـ GRPO.
  • الاستقرار: أظهرت منحنيات التدريب تقدماً أكثر استقراراً في الدقة وظهوراً مبكراً لـ "الاستدلال طويل الصيغة" (لحظات الـ aha) مقارنة بالتقلبات المشاهدة في GRPO.

5. الأهمية

• منظور جديد لـ RLVR: تنقل الورقة التركيز من "أخذ عينات أكثر" أو "التصفية بشكل أقسى" إلى "تنقية الإشارة". وهي تسلط الضوء على أن تقليم رموز التداخل هو رافعة حاسمة وغير مستكشفة جيداً لتحسين كفاءة المخرات.
• كفاءة الموارد: يقدم LENS تحسيناً من نوع "باريتو" (Pareto improvement)، حيث يحقق دقة أعلى مع تقارب أسرع وتكاليف حاسوبية أقل مقارنة بالنهج القائمة على التوسع.
• المتانة: من خلال تدريب النموذج صراحةً على تجاهل التداخل، يعزز LENS قدرة النموذج على الاستدلال في بيئات التلقين (prompting) الواقعية المليئة بالضجيج، مما يعالج فجوة رئيسية في أبحاث RLVR الحالية.

باختالام، يثبت LENS أنه من خلال تحديد وتنقية عدد قليل من الرموز المسببة للضجيج في التعليمات، ومن ثم معايرة السياسة للتعلم من هذه الإشارات المنقاة، يمكن تعزيز كفاءة وأداء التعلم المعزز لمهام الاستدلال بشكل كبير.