ملخص تقني: DenoiseRL

بيان المشكلة

أصبح التعلم المعزز (RL) نموذجاً مهيمناً لتعزيز القدرة على الاستنتاج في النماذج اللغوية الكبيرة (LLMs). ومع ذلك، تواجه النهج المتطورة الحالية عائقاً هيكلياً؛ فهي غالباً ما تعتمد على الإشراف من نماذج معلمة أقوى أو مجموعات بيانات منسقة بعناية وصعبة. هذا الاعتماد يخلق مشكلة في القابلية للتوسع؛ فعندما لا تتوفر نماذج معلمة جاهزة ذات قدرات كافية، يصبح تحقيق مكاسب إضافية في القدرات أمراً صعباً. علاوة على ذلك، تعاني طرق التعلم المعزز التقليدية المعتمدة على السياسة (on-policy) غالباً من عائق الاستكشاف، حيث تصل السياسة إلى حالة التشبع عبر توليد مسارات صحيحة في الغالب أو أنماط فشل ضيقة للغاية، مما يترك "الإخفاقات المعلوماتية" نادرة جداً لتقديم تحديثات ذات مغزى للتدريج (gradient updates). المحاولات الحالية لمعالجة ذلك، مثل التعميم من الضعيف إلى القوي (W2SG)، محدودة بسبب الضجيج وقدرة المعلم الضعيف، بينما تتطلب نهج تخليق البيانات هندسة يدوية معقدة.

المنهجية: DenoiseRL

يقترح البحث إطار عمل للتعلم المعزز يُسمى DenoiseRL، والذي يعيد صياغة تحسين الاستنتاج كـ مشكلة إزالة ضجيج واستعادة (denoising and recovery). بدلاً من استخدام النماذج الضعيفة لتوليد تسميات مستعارة صحيحة أو بيانات صعبة، يستخدم DenoiseRL النماذج الضعيفة لتوليد اضطرابات هيكلية (بادئات استنتاج خاطئة) تعمل كإشارات تدريبية.

الآلية الجوهرية

1. حقن البادئة الضوضائية (Noisy Prefix Injection): يقوم إطار العمل بأخذ عينات من مسارات الاستنتاج الخاطئة من نموذج ضعيف (مثل Qwen2.5-1.5B). ويختار إطار عمل هذا المسار الخاطئ (يتم تحديده بواسطة نسبة البادئة $\rho$) ويضعه كبادئة لمدخل نموذج السياسة.
2. هدف الاستعادة (Recovery Objective): يتم تدريب نموذج السياسة ليس لمحاكاة النموذج الضعيف، بل لـ الاستعادة من الحالة الخاطئة. يجب عليه التعرف على الفساد، ومراجعة استنتاجه، والتحول إلى مسار صحيح، والوصول إلى الإجابة المتحقق منها.
3. توزيع التدريب: تمزج عملية التدريب نوعين من المسارات لكل مسألة:
   • المسارات الرئيسية ($N$): مسارات قياسية تعتمد على السياسة تبدأ من السؤال.
   • مسارات إزالة الضجيج ($K$): مسارات تبدأ من البادئة الضوضائية المولدة من النموذج الضعيف.
4. عدالة ميزانية المخرجات: لضمان مقارنة عادلة، يتم تحديد إجمالي طول الاستجابة. تستهلك البادئة الضوضائية جزءاً من ميزانية الرموز (tokens)، ويتم اقتطاع تكملة النموذج بناءً على ذلك. يتم تحديث الرموز التي يولدها النموذج (التكملة) فقط أثناء الانتشار العكسي (backpropagation)؛ وتُحجب البادئة الضوضائية في حساب الخسارة لمنع عدم الاستقرار.
5. التحسين (Optimization): يستخدم إطار العمل تحسين السياسة النسبي للمجموعات (GRPO). يتم مشاركة خط أساس ميزة واحد (advantage baseline) عبر جميع المسارات $N+K$ لمسألة معينة. وهذا يسمح لمسارات إزالة الضجيج (التي غالباً ما تؤدي إلى الفشل إذا لم يستطع النموذج الاستعادة) بأن تعمل كعينات سلبية، بينما توفر عمليات الاستعادة الناجحة إشارات تعلم إيجابية بالنسبة للمجموعة.

المساهمات الرئيسية

• نموذج RL مبتكر: تقديم DenoiseRL، الذي يوحد التعلم من الضعيف إلى القوي مع تخليق البيانات المدفوع بالصعوبة. إنه يعيد توظيف أخطاء النموذج الضعيف كضجيج هيكلي بدلاً من إشارات تعلم، مما يتيح تحسيناً قابلاً للتوسع دون إشراف خارجي.
• تعزيز التصحيح الذاتي: يدرب هذا الأسلوب النموذج صراحةً على الاستعادة من الحالات الفاسدة، مما يرفع التصحيح الذاتي من سلوك ناشئ إلى هدف تدريب مباشر.
• التحقق التجريبي: يثبت البحث أن DenoiseRL يتفوق باستمرار على خطوط الأساس القوية للتعلم المعزز القائم على السياسة (GRPO و DAPO) عبر اختبارات الاستدلال الرياضي والعام التنافسية (MATH500, AMC23, AIME2024/2025, BBEH) على نماذج بـ 4 مليارات و 8 مليارات معلمة.
• تحليل التصميم: يقدم المؤلفون تحليلاً مفصلاً للمعلمات الفائقة الرئيسية، موضحين أن:
  • نسبة البادئة ($\rho$): الضجيج المتوسط ($\rho=0.2$) هو الأمثل؛ فالضجيج المفرط ($\rho=0.8$) يؤدي إلى "الإفراط في التفكير" وحلقات لا نهاية لها من الشك الذاتي.
  • كثافة الاستعادة ($K$): يوفر المزيج المتوازن من مسارات إزالة الضجيج ($K=4$ من أصل 16 مساراً إجمالياً) أفضل مقايضة. فوجود عدد قليل جداً ($K=1$) يوفر إشارة غير كافية، بينما وجود عدد كبير جداً ($K=8$) يشتت الانتباه عن الهدف الأساسي وهو حل المسائل من الصفر.
  • التحديثات خارج السياسة (Off-Policy): يؤدي تحديث السياسة على رموز البادئة الضوضائية إلى انهيار التدريب، مما يؤكد أن التدرجات يجب أن تتدفق فقط عبر التكملة الخاصة بالنموذج نفسه.

النتائج

تظهر التجارات التي أجريت على نماذج Qwen3-4B و Qwen3-8B تحسينات متسقة:

• مكاسب الأداء: حسن DenoiseRL-GRPO متوسط الدرجات في Qwen3-4B من 39.6% (خط أساس GRPO) إلى 42.0%. حقق DenoiseRL-DAPO أفضل النتائج الإجمالية على نموذج 8B، حيث وصل إلى متوسط 44.8% مقارنة بخط أساس DAPO البالغ 42.8%.
• تفاصيل الاختبارات: لوحظت مكاسب ملحو-ظة في الاختبارات الأكثر صعوبة مثل AIME2024 و AIME2025، حيث حقق DenooseRL-DAPO على نموذج 8B نسبة 27.0% و 24.8% على التوالي، متفوقاً على جميع التكوينات الأخرى.
• التغيرات السلوكية: تكشف دراسات الحالة أن النموذج يتعلم الحفاظ على المعلومات الهيكلية المفيدة من البادئة مع التخلص من المنطق المعيب، مما يجعله يغير استراتيجياته بفعالية (على سبيل المثال، من البحث الصريح عن الجذر إلى صيغ فييتا) لاستعادة الإجابة الصحيحة.

الأهمية والادعاءات

يزعم البحث أن DenoiseRL يوفر مساراً بديلاً فعالاً وقابلاً للتوسع لتحسين الاستنتاج في النماذج اللغوية الكبيرة. تكمن أهميته الأساسية في:

1. تقليل الاعتماد: إنه يلغي الحاجة إلى تنسيق البيانات المكلف أو النماذج المعلمة الأقوى، معتمداً بدلاً من ذلك على قدرة النموذج على التعلم من أخطائه (وأخطاء النماذج الأضعف).
2. القابلية للتوسع: من خلال تحويل أخطاء النماذج الضعيفة إلى اضطرابات هيكلية، يزيد الأسلوب تلقائياً من صعوبة التدريب دون توليد بيانات جديدة.
3. المتانة: يعزز إطار العمل سلوك التصحيح الذاتي القوي، خاصة مع زيادة صعوبة التدريب، مما يشير إلى أن تدريب الاستعادة يؤثر على ديناميكيات الاستنتاج العميقة بما يتجاوز مجرد مقاييس الأداء البسيطة.

يخلص المؤلفون إلى أن أخطاء النموذج نفسها يمكن أن تعمل كمصدر قوي لإشارة التعلم، مما يوفر منظوراً جديداً لمرحلة ما بعد التدريب لنماذج الاستنتاج. كما يقرون بالقيود، مشيرين إلى أن جودة إشارة الاستعادة تعتمد على طبيعة أخطاء النموذج الضعيف، وأن الفساد المفرط يمكن أن يؤدي إلى مسارات استنتاج غير فعالة وطويلة بشكل مبالغ فيه.