ملخص تقني: SAGE – تشكيل المرتكزات للاستكشاف الموجه في التعلم المعزز بالتعليقات الراجعة القابلة للتحقق (RLVR) للنماذج اللغوية الكبيرة (LLMs)

1. بيان المشكلة

أظهرت التطورات الأخيرة في التعلم المعزز بالتعليقات الراجعة القابلة للتحقق (RLVR) القدرة على تحسين دقة pass@1 للنماذج اللغوية الكبيرة (LLMs) في مهام الاستدلال. ومع ذلك، ظهر قيد حرج: بينما يؤدي RLVR غالبًا إلى تعزيز معدلات النجاح في العينات الفردية (single-sample)، فإنه غالبًا ما يفشل في تحقيق مكاسب مماثلة في pass@k (احتمالية إيجاد إجابة صحيحة من بين k من العينات).

تشير التحليلات السابقة إلى أن هذا التباين ينشأ لأن RLVR القياسي يسبب انهيار النمط (mode collapse) أو "انكماش الدعم" (support shrinkage). فبدلاً من اكتشاف استراتيجيات استدلال مبتكرة، ينهار السياسة (policy) على مجموعة ضيقة من أنماط الاستدلة عالية الكثافة الموجودة مسبقًا في النموذج المرجعي الأساسي. ويُعزى هذا السلوك إلى القيود الهيكلية لعنصر تنظيم التباعد النوعي لـ Kullback-Leibler العكسي (reverse-KL) القياسي؛ فبينما يوفر reverse-KL الاستقرار الضروري للتدريب عبر ربط السياسة بتوزيع مرجعي ($\pi_{ref}$)، فإنه يقمع بطبيعته المسارات منخفضة الكثافة، مما يمنع النموذج فعليًا من استكشاف مسارات استدلال بديلة وصحيحة تقع خارج الدعم المباشر للنموذج المرجعي.

وقد ثبت أن محاولات حل هذه المشكلة عن طريق إزالة حد KL أو استبداله بـ forward-KL كانت دون المستوى المطلوب؛ إذ يؤدي إزالة حد KL غالبًا إلى "اختراق المكافأة" (reward hacking) وعدم الاستقرار، بينما يؤدي forward-KL، رغم توسيع الدعم، إلى تخصيص كتلة احتمالية لمناطق غير ذات صلة بالمكافأة، مما يفشل في تحسين pass@1. التحدي المركزي هو الحفاظ على الفوائد الاستقرارية لـ reverse-KL مع تمكين توسيع الدعم التجريبي المحكوم.

2. المنهجية: إطار عمل SAGE

يقترح المؤلفون إطار عمل SAGE (تشكيل المرتكزات للاستكشاف الموجه)، وهو إطار يعيد تفسير تنظيم reverse-KL ليس كقيد ثابت يجب إضعافه، بل كمرتكز ديناميكي يمكن إعادة تشكيل توزيعه المستهدف لتوجيه الاستكشاف.

الآلية الجوهرية

يعمل RLVR القيسي لـ reverse-KL على تحسين:
$$J(\theta) = \mathbb{E}_{x,y \sim \pi_\theta} [r(x, y) - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})]$$
يؤدي هذا إلى حل ثابت حيث تكون السياسة عبارة عن ميل أسي للمرجع: $\pi_\theta \propto \pi_{ref} \exp(r/\beta)$. هذا التحديث الضربي يضخم المناطق عالية الكثافة لـ $\pi_{ref}$ بينما يقمع المناطق منخفضة الكثافة.

يقوم SAGE بتعديل ذلك عبر إدخال دالة توجيه $q(x, y) > 0$ تعيد تشكيل توزيع المرتكز نفسه. يصبح الهدف الجديد:
$$J'(\theta) = \mathbb{E}_{x,y \sim \pi_\theta} [r(x, y) - \beta \tilde{D}_{KL}(\pi_\theta \parallel q \cdot \pi_{ref})]$$
هنا، $\tilde{D}_{KL}$ هو تباعد KL زائف مُعرف للدوال غير المعيرة. يصبح الحل الثابت:
$$\pi_\theta(y | x) \propto q(x, y) \pi_{ref}(y | x) \exp\left(\frac{1}{\beta} r(x, y)\right)$$
من خلال تصميم $q(x, y)$ لتكون كبيرة لأنماط الاستدلال غير المستكشفة ولكنها قد تكون صالحة، يقوم SAGE بتضخيم كتلتها الاحتمالية دون كسر الاستقرار الذي يوفره المرتكز $\pi_{ref}$.

التنفيذ عبر الإشارات الجوهرية

لجعل $q(x, y)$ عملية دون الحاجة إلى معلومات مكافأة صريحة أثناء بناء الدليل، يقترح المؤلفون استخدام إشارات جوهرية مستمدة من عملية الاستدلال نفسها:

1. الاستكشاف العشوائي: نموذج أساسي باستخدام الاضطرابات العشوائية.
2. الاستكشاف على مستوى الرمز (Token-Level): يستخدم الدهشة (surprisal) ($-\log p$) للانحياز نحو الخيارات المعجمية النادرة. يشير المؤلفون إلى أن هذا يلتقط الانحرافات السطحية ولكنه قد لا يعكس الاختلافات الهيكلية في الاستدلال.
3. الاستكشاف على مستوى التفرع (Branch-Level) (SAGE-Branch): هو المتغير المقترح الأساسي. يستخدم الاعتلاج (entropy) ($H_t$) كإشارة لتفرع الاستدلال. تُعرف دالة الدليل كالتالي:
   $$q_{Branch}(y_t | x, y_{<t}) = 1 + \gamma (H_t - \tau)_+$$
   حيث $H_t$ هو الاعتلاج على مستوى الرمز، و$\tau$ هو عتبة التنشيط، و$\gamma$ يتحكم في المقدار. هذا يضخم الاستكشاف بشكل انتقائي عند نقاط القرار ذات عدم اليقين العالي (عقد التفرع) بينما يقمع الضجيج في الخطوات الرمزية الحتمية.

الضمانات النظرية

تقدم الورقة تحليلاً نظرياً (النظرية 4.3) يوضح أنه، على عكس RLVR القياسي الذي يكون مقيداً بالدعم التجريبي للنموذج المرجعي، يمكن لـ SAGE نظرياً توسيع الدعم التجريبي. وتحديداً، إذا كانت دالة الدليل $q$ كبيرة بما يكفي لحل $y^*$ صالح للمكافأة ويكون حالياً خارج الدعم التجريبي للسياسة المرجعية، فإن Sene يمكنه تخصيص احتمالية غير مهملة له، مما يسمح فعلياً باستعادة أنماط الاستدلال "المخفية".

3. المساهمات الرئيسية

1. تحليل قيود RLVR: حدد المؤلفون أن مرتكز reverse-KL، رغم كونه مثبتاً، هو السبب الهيكلي الرئيسي لانہيار النمط في RLVR. ويجادلون بأن مجرد إزالة أو استبدال حد KL ليس كافياً، لأن ذلك يخل بالتوازن بين الكفاءة والتغطية.
2. إطار عمل SAGE: يقترحون طريقة مبدئية لتمكين توسيع الدعم التجيسي المحكوم عبر إعادة تشكيل توزيع مرتكز KL عبر دالة دليل $q(x, y)$، بدلاً من إزالة المرتكز.
3. تكامل الإشارات الجوهرية: يوضحون كيف يمكن استخدام الإشارات الجوهرية خفيفة الوزن (تحديداً الاعتلاج والدهشة) لبناء دوال دليل فعالة لا تتطلب عمليات تمرير أمامي إضافية أو بيانات خارجية.
4. التحقق التجريبي: تظهر التجارب المكثفة أن متغيرات SAGE، وخاصة الاستكشاف على مستوى الفرع، تحسن باستمرار كلاً من pass@1 وpass@k عبر مختلف اختبارات الاستدلال الرياضي.

4. النتائج التجريبية

قيم المؤلفون SAGE على مجموعات بيانات AIME 2024-2025، وAMC23، وMATH-500 باستخدام نموذج Qwen2.5-Math-7B-Base وخوارزمية GRPO.

• مكاسب الأداء: حقق متغير GRPO + Branch أقوى أداء متوسط، حيث حسن pass@1 من 0.266 (في vanilla GRPO) إلى 0.284 وpass@256 من 0.714 إلى 0.729. وقد تفوق على النماذج المرجعية عبر جميع مجموعات البيانات الثلاث.
• المقارنة مع البدائل:
  • GRPO بدون KL: أظهر مكافآت تدريب أعلى ولكن أداءً أسوأ بكثير في وقت الاختبار (pass@1 وpass@256)، مما يؤكد خطر "اختراق المكافأة" بدون مرتكز KL.
  • Forward-KL: حسن pass@256 قليلاً ولكنه فشل في مضاهاة مكاسب pass@1 لـ SAGE، مما يشير إلى أنه يخصص كتلة للمناطق غير المستهدفة.
  • خوارزميات RL الأخرى: تم دمج SAGE بنجاح مع BNPO وDAPO، حيث عالج باستمرار المقايضة التي تسبب فيها هذه الطرق تحسين pass@1 على حساب pass@k.
• تحليل نمط الاستدلال: كشف التحليل النوعي أنه بينما عزز RLVR القياسي الأنماط المهيمنة مثل "إعداد القيود"، زاد SAGE بشكل كبير من تكرار البرهان بالتناقض (من 0.8% في GRPO إلى 3.3% في GRPO+Branch)، وهو نمط استدلال نادر ولكنه صحيح.
• المتانة: في تقييمات خارج التوزيع (benchmark Knights and Knaves)، حافظت النماذج المدربة بـ SAGE على أدائها تحت تغيير التوزيع، بينما أظهرت نماذج GRPO القياسية تدهوراً كبيراً، مما يشير إلى أن SAGE يخفف من انهيار النمط.
• التعميم: كانت الطريقة فعالة أيضاً على نماذج الاستدلال الطويل (DeepSeek-R1-Distill-Qwen-7B) والنماذج الأصغر (Qwen2.5-1.5B/3B)، مما يثبت المتانة عبر مختلف أحجام النماذج وأنماط الاستدلال.

5. الأهمية والادعاءات

تزعم الورقة أن SAGE يقدم نهجاً عملياً ومبدئياً للتخفيف من حدة "شحذ النمط" (mode sharpening) في RLVR القائم على reverse-KL. ومن خلال معاملة تنظيم KL كأداة قابلة للتحكم بدلاً من كونها قيداً جامداً، يُمكّن SAGE النماذج اللغوية من اكتشاف واستخدام مسارات استدلال متنوعة وهي صالحة ولكنها ممثلة تمثيلاً ناقصاً في النموذج الأساسي.

يؤكد المؤلفون أن SAGE نمطي (modular) ومتعامد (orthogonal) مع التقنيات الحالية (مثل تشكيل الميزة أو أخذ العينات الديناميكية)، لأنه يعدل توزيع المرتكز نفسه بدلاً من هيكل التحسين. ويضعون SAGE كإطار عمل عام لتوسيع الدعم التجريبي المستقر والمتوافق مع KL.

القيود والنطاق:
يقر المؤلفون بتواضع أن SAGE يعمل ضمن دعم السياسة المرجعية الثابتة. فهو يعيد توزيع الكتلة الاحتمالية بين المسارات التي تمتلك بالفعل احتمالية غير صفرية بموجب $\pi_{ref}$؛ ولا يمكنه توليد أنماط استدلال جديدة تماماً يستحيل على النموذج الأساسي إنتاجها. ويشيرون إلى أنه بينما يمكن لعمليات التقطير (distillation) من نماذج معلمة أقوى أن توسع حدود الاستدلال، فإن SAGE يكمل ذلك من خلال تمكين الاستكشاف المستقر داخل تلك الحدود. وتعتمد النسخة الحالية على إشارات جوهرية خفيفة الوزن، ويقترح المؤلفون أن تعلم دوال دليل أكثر تعبيراً من نماذج أقوى هو اتجاه واعد للعمل المستقبلي.