Self-Distilled RLVR

إليك ملخص تقني مفصل لورقة البحث "Self-Distilled RLVR" (RLSD).

1. بيان المشكلة

تتناول الورقة مشكلة عدم الاستقرار الحرجة في التقطير الذاتي عبر السياسة الواحدة (On-Policy Self-Distillation - OPSD)، وهو نموذج تدريب شائع للنماذج اللغوية الكبيرة (LLMs).

• السياق: في OPSD، يعمل نموذج واحد كطالب ومعلم في آن واحد. نسخة "المعلم" تكون مشروطة بـ معلومات مميزة ($r$)، مثل مسار استدلال تم التحقق منه أو الإجابة الصحيحة، بينما لا يرى "الطالب" سوى المدخل ($x$). الهدف هو استخدام إشارات المعلم الكثيفة على مستوى الرمز (token-level) لتوجيه تعلم الطالب.
• نمط الفشل: رغم المكاسب الأولية في الأداء، يعاني OPSD من تسرب شديد للمعلومات المميزة وعدم استقرار في التدريب. يتعلم النموذج "الغش" ضمنيًا عن طريق تشفير الارتباطات بين المدخل ($x$) والمعلومات المميزة ($r$) في معلماته. أثناء الاستنتاج (حيث لا تتوفر $r$)، يستدعي النموذج صراحةً هذه المراجع غير المرئية، مما يؤدي إلى ذروة سريعة في الأداء يتبعها تدهور منهجي.
• السبب الجذري: يجادل المؤلفون بأن مطابقة التوزيع القياسية في OPSD هي عملية غير محددة جيدًا (ill-posed) تحت حالة عدم تماثل المعلومات. يُجبر الطالب على مطابقة توزيع شرطي $P(y|x, r)$ يعتمد على $r$ التي لا يستطيع رؤيتها. هذا يخلق فجوة معلومات متبادلة غير قابلة للاختزال، تدفع النموذج لتعلم ارتباطات زائفة بين $x \to r$ بدلاً من الاستدلال الحقيقي.

2. المنهجية: RLSD (RLVR مع التقطير الذاتي)

يقترح المؤلفون RLSD، وهو نموذج تدريب جديد يفصل بين اتجاه التحديثات عن مقدار التحديثات، مستفيدًا من نقاط القوة في كل من التعلم التعزيزي بالجوائز القابلة للتحقق (RLVR) والتقطير الذاتي.

المفهوم الجوهري

بدلاً من استخدام المعلم كهدف توليدي لمطابقة التوزيع (مما يسبب التسرب)، يعيد RLSD توظيف المعلم كـ مقيم ائتمان على مستوى الرمز (token-level credit evaluator) ضمن إطار عمل تدرج السياسة (policy gradient).

الخطوات الخوارزمية

1. اتجاه على مستوى التسلسل (RLVR):

   • يولد النموذج مسارًا $y$.
   • يقدم المُتحقق (verifier) مكافأة ثنائية $R(x, y)$ (0 أو 1).
   • يتم حساب ميزة (advantage) على مستوى التسلسل $A$ (على سبيل المثال، عبر تحسين السياسة النسبية للمجموعات - GRPO). هذا يحدد اتجاه التحديث: موجب للمسارات الصحيحة، وسالب للمسارات غير الصحيحة. هذا يربط عملية التحسين بالبيئة، مما يضمن الموثوقية.

2. المقدار على مستوى الرمز (التقطير الذاتي):

   • يحسب النموذج كسب المعلومات المميزة ($\Delta_t$) لكل رمز $y_t$:
     $$\Delta_t = \text{sg}(\log P_T(y_t | x, r) - \log P_S(y_t | x))$$
     حيث $P_T$ هو المعلم (المشروط على $r$) و $P_S$ هو الطالب (المشروط على $x$ فقط). يضمن التوقف عند التدرج ($\text{sg}$) أن تكون $\Delta_t$ وزنًا ثابتًا.
   • يمثل هذا الكسب مدى قيام المعلومات المميزة بتعديل اعتقاد النموذج حول الرمز.
   • يتم بناء وزن على مستوى الرمز $w_t$:
     $$w_t = \exp(\text{sign}(A) \cdot \Delta_t) = \left( \frac{P_T(y_t)}{P_S(y_t)} \right)^{\text{sign}(A)}$$
   • التفسير:
     • إذا كان المسار صحيحًا ($A > 0$)، فإن الرموز المدعومة بالمعلومات المميزة ($P_T > P_S$) تحصل على ائتمان إيجابي أعلى.
     • إذا كان المسار غير صحيح ($A < 0$)، فإن الرموز غير المفضلة من قبل المعلومات المميزة ($P_T < P_S$) تحصل على لوم سلبي أعلى.

3. تخصيص الائتمان المقتطع (Clipped Credit Assignment):

   • الميزة النهائية على مستوى الرمز هي $\hat{A}_t = A \cdot \text{clip}(w_t, 1-\epsilon, 1+\epsilon)$.
   • تُستخدم هذه لتحديث السياسة، لتحل محل الميزة الموحدة المستخدمة في GRPO القياسي.

مبادئ التصميم الرئيسية

• تثبيت الاتجاه (Direction Anchoring): يتم تحديد اتجاه التحديث بصرامة بواسطة مكافأة البيئة ($A$)، مما يمنع المعلومات المميزة من قلب إشارة التدرج.
• تعديل المقدار (Magnitude Modulation): تقوم المعلومات المميزة فقط بتغيير شدة التحديث لرموز محددة، مما يسمح بالتمييز الدقيق دون تغيير هدف التعلم الأساسي.
• لا يوجد فقدان مساعد (No Auxiliary Loss): لا يتطلب RLSD نموذج معلم خارجي أو دوال فقدان مساعدة؛ فهو يحتاج فقط إلى تمريرة أمامية إضافية لحساب لوغاريتمات (logits) المعلم.

3. المساهمات الرئيسية

1. التشخيص النظري لـ OPSD:

   • أثبت أن هدف OPSD يحتوي على فجوة معلومات متبادلة غير قابلة للاختزال ($I(Y_t; R | X, Y_{<t}) > 0$) بسبب عدم تماثل المعلومات.
   • أظهر أن هذه الفجوة تجعل التدرج يحتوي على حد انحراف يعتمد على المسار، مما يدفع النموذج لتشفير ارتباطات $x \to r$، مما يؤدي للتسرب وانهيار الأداء.
   • وضع ثلاثية المستحيل (Impossibility Trilemma) للتقطير الذاتي المشترك المعلمات: لا يمكن تحقيق الاستقرار في الهدف، والتحسن المستدام، والتدريب الخالي من التسرب في آن واحد تحت مطابقة التوزيع.

2. اقتراح RLSD:

   • قدم نموذجًا يوحد RLVR والتقطير الذاتي باستخدام المعلم فقط لـ تحديد مقدار تخصيص الائتمان بدلاً من مطابقة التوزيع.
   • قدم برهانًا رسميًا بأن RLSD محصن هيكليًا ضد تسرب المعلومات المميزة لأن اتجاه التدرج منفصل عن إشارة المعلومات المميزة.

3. التحقق التجريبي:

   • أثبت أن RLSD يحقق سقف تقارب أعلى واستقرارًا فائقًا مقارنة بـ GRPO و OPSD.
   • أظهر تفوق RLSD على النماذج المرجعية في مهام الاستدلال متعدد الوسائط المعقدة.

4. النتائج التجريبية

قيم المؤلفون RLSD على نموذج Qwen3-VL-8B-Instruct عبر خمسة اختبارات معايير للاستدلال متعدد الوسائط (MMMU, MathVista, MathVision, ZeroBench, WeMath).

• الأداء: حقق RLSD أعلى متوسط دقة (56.18%)، متفوقًا على النموذج الأساسي بنسبة 4.69% وعلى GRPO القياسي بنسبة 2.32%.
• سرعة التقارب: تجاوز RLPD نموذج GRPO الذي تم تدريبه لضعف عدد الخطوات، وذلك في 200 خطوة فقط، مما يدل على سرعة تقارب أكبر.
• الاستقرار: على عكس OPSD، الذي بلغ ذروته مبكرًا ثم تدهور، حافظ RLSD على ديناميكيات تدريب مستقرة وتجنب مرحلة "انهيار الأداء".
• تحليل تخصيص الائتمان: أكدت التصورات (الخرائط الحرارية) أن RLSD خصص بشكل صحيح ائتمانًا عاليًا لخطوات الاستدلال الحاسمة (مثل خطوات الحساب) ولومًا عاليًا للأخطاء (مثل الخطأ في قراءة رسم بياني)، بينما طبق GRPO ائتمانًا موحدًا وأظهر OPSD علامات على التسرب.

5. الأهمية

• حل مشكلة التسرب: تقدم الورقة حلاً نظريًا وعمليًا صارمًا لمشكلة تسرب المعلومات طويلة الأمد في التقطير الذاتي، مما يسمح بالاستخدام الآمن للمعلومات المميزة (مثل الإجابات المرجعية) أثناء التدريب دون المساس بسلامة الاستنتاج.
• الكفاءة: يعد RLSD بديلاً "جاهز للاستبدال" (drop-in replacement) لـ GRPO القياسي، حيث لا يتطلب نماذج معلم خارجية، مما يقلل بشكل كبير من العبء الحسابي مع توفير إشراف كثيف على مستوى الرمز.
• تحول في النموذج (Paradigm Shift): يتحدى الرؤية السائدة بأن التقطير الذاتي يجب أن يعتمد على مطابقة التوزيع. من خلال إعادة صياغة دور المعلم كـ معدل للمقدار بدلاً من هدف توليدي، يفتح المؤلفون مسارًا جديدًا لتدريب نماذج استدلال مستقرة وعالية الأداء.
• القابلية للتعميم: رغم التحقق منه في الاستدلال متعدد الوسائط، فإن إطار العمل قابل للتطبيق في أي إعداد RLVR توجد فيه نتائج قابلة للتحقق، مما يوفر بديلًا قويًا لـ RL ضعيف المكافأة (sparse-reward RL) والتقطير الذاتي غير المستقر.