Reference-Sampled Boltzmann Projection for KL-Regularized RLVR: Target-Matched Weighted SFT, Finite One-Shot Gaps, and Policy Mirror Descent

ملخص تقني لورقة بحثية: إسقاط بولتزمان القائم على أخذ عينات المرجع لتعلم التعزيز ذي المكافأة القابلة للتحقق من خلال تنظيم KL: مطابقة الهدف للأوزان في التعلم الفائق الموجه (SFT)، وفجوات الخطوة الواحدة المحدودة، وانعكاس بولتزمان للسياسة.

بيان المشكلة

يعمل التعلم التعزيزي عبر الإنترنت مع المكافآت القابلة للتحقق (RLVR) على تحويل النتائج القابلة للفحص (مثل البراهين الرياضية أو اختبارات الوحدة للكود) إلى إشارات تدريب قابلة للتوسع. ومع ذلك، فإن الطرق المتصلة بالإنترنت القياسية (مثل PPO أو GRPO) تُبقي عمليات توليد العينات، وتقييم المُحقِّق، وتقييمات سياسة المرجع في مسار التحسين الحرج، مما يؤدي إلى تكاليف حوسبة واستهلاك عالٍ للذاكرة.

هناك بديل طبيعي يتمثل في فصل عملية التوليد عن عملية التحسين: أخذ عينات من المسارات (rollouts) التي تم التحقق منها مرة واحدة، وتعيين أوزان لها، ثم التدريب عبر التعلم الفائق الموجه (SFT) الساكن. ومع ذلك، تحدد الورقة البحثية غموضاً جوهرياً في هذا النهج: التعلم الفائق الموجه الموزون ليس هدفاً واحداً. فالسياسة الناتجة عن الـ SFT الموزون تعتمد بشكل مشترك على المُنتِج (sampler) الذي أنتج المسارات والأوزان المخصصة لها. إن مجرد إرفاق أوزان ببيانات محددة مسبقاً لا يضمن أن السياسة الناتية ستطابق مُحسِّن هدف RLVR الأصلي. فبدون شرط محدد لمطابقة الهدف، قد يؤدي الـ SFT الموزون الساكن إلى ملاءمة سياسة مختلفة عن سياسة RLVR المقصودة، حتى مع وجود بيانات لانهائية وتحسين دقيق.

المنهجية: نظرية إسقاط بولتزمان (Boltzmann Projection Theory)

تطور الورقة إطاراً نظرياً لتحديد المطابقة الدقيقة على مستوى السياسة بين الـ SFT الموزون الساكن وبين الـ RLVR ذي المرجع الثابت والمنظم بـ KL.

1. سياسة الهدف (هدف بولتزمان ذو المرجع الثابت)
تثبت الورقة أن مُحسِّن هدف RLVR المنظم بـ KL (الذي يعظم المكافأة ناقص تباعد KL عن سياسة المرجع) هو سياسة شرطية محددة، وهي هدف بولتزمان $\pi^*$:
$$\pi^*(y | x) \propto \pi_{ref}(y | x) \exp(r(x, y) / \beta)$$
حيث $r(x, y)$ هي مكافأة المُحقِّق، و$\beta$ هي درجة الحرارة. هذا الهدف هو ميل أسي (exponential tilt) لسياسة المرجع.

2. هوية الهدف المستحث (Induced-Target Identity)
باستخدام Proposition 1، يوضح المؤلفون أن أي هدف SFT موزون يستحث سياسة هدف $\tilde{\pi}_w$ تتناسب طردياً مع حاصل ضرب المُنتِج $q$ والوزن $w$: $\tilde{\pi}_w \propto q(y|x)w(x,y)$. ولكي يحل محل RLVR المتصل بالإنترنت بأمانة، يجب أن تساوي السياسة المستحثة $\tilde{\pi}_w$ هدف بولتزمان $\pi^*$.

3. قانون مطابقة الهدف (Target-Matching Law)
تستنتج الورقة الشرط الضروري لهذه المطابقة (Theorem 4). بالنسبة لمُنتِج ثابت $q$، يجب أن تكون الأوزان متناسبة مع نسبة الكثافة $\pi^*/q$. ومن الأهمية بمكان أنه في فئة المرجع المأخوذة العينات (reference-sampled subclass) حيث يتم توليد المسارات من سياسة المرجع ($q = \pi_{ref}$)، يتبسط الشرط بشكل فريد إلى وزن بولتزمان المعياري للمطالب (prompt-normalized Boltzmann weight):
$$w(x, y) = \frac{\exp(r(x, y) / \beta)}{Z(x)}$$
حيث $Z(x)$ هو دالة التجزئة (partition function/normalizer). هذا الوزن هو بالضبط مشتق "رادون-نيكوديم" الذي يحول مسارات المرجع إلى مسارات الهدف.

4. خوارزمية BOLT
بناءً على هذه النظرية، تقترح الورقة خوارزمية BOLT (SFT المستهدف ببولتزمان). وهي تعمل عبر مرحلتين:

• المرحلة 1 (الحساب المسبق): أخذ عينات من المسارات من سياسة المرجع، وتقييمها باستخدام مُحقِّق، وحساب أوزان بولتزمان المعيارية للمطالب باستخدام تقدير مونت كارلو لـ $Z(x)$.
• المرحلة 2 (التحسين): تدريب النموذج باستخدام SFT متعدد الحلقات (multi-epoch) قياسي على هذه المجموعة البيانية الموزونة الثابتة.
  بما أن العمليات الشاقة (أخذ العينات، التقييم، التعيير) قد حُسبت مسبقاً، فإن مرحلة التحسين لا تتطلب عمليات تمرير أمامي (forward passes) لنموذج المرجع، مما يقلل تكاليف الذاكرة والحوسبة بشكل كبير مقارنة بـ RLVR المتصل بالإنترنت.

تحليل الخطوة الواحدة المحدودة والقيود

تقدم الورقة تحليلاً صارماً للعينات المحدودة (القسمين 5 و6) يفكك خطأ الاستبدال الساكن إلى مكونات متميزة:

• فجوة دعم النطاق (Support-Restricted Gap): إذا لم تقم سياسة المرجع $\pi_{ref}$ أبداً بأخذ عينة لإكمال عالي المكافأة، فلا يمكن لأي قدر من الأوزان أو التحسين استعادته. تثبت الورقة وجود حد أدنى دقيق لخسارة القيمة: $\beta \log(1/\pi^*(S_N | x))$، حيث $S_N$ هو الدعم المخزن. وهذا يفسر لماذا لا يمكن لحلقات SFT الإضافية إصلاح نقص التغطية.
• حد التباين-التغطية-درجة الحرارة: هناك مقايضة حيث يؤدي خفض $\beta$ (زيادة حدة الهدف) إلى زيادة تكلفة حجم العينة الفعال (ESS) وتباين المعيِّر (normalizer)، مما يجعل التقدير أصعب إذا كان احتمال مرور المرجع منخفضاً.
• التحديث التكراري كمنعكس بولتزمان للسياسة (KL Policy Mirror Descent): عندما تكون التغطية ضعيفة ولكنها غير منعدمة، توضح الورقة أن Iterative BOLT (حيث تصبح السياسة المحدثة هي المرجع الجديد للجولة التالية) يكافئ رياضياً KL-PMD. هذه العملية تراكم ميول المكافأة وتحسن تغطية المسارات المستقبلية، بينما لا يستطيع إعادة الاستخدام الساكن في خطوة واحدة القيام بذلك.

النتائج الرئيسية والأدلة التجريبية

يتحقق المؤلفون من نظريتهم باستخدام نماذج Qwen على اختبارات GSM8K (رياضيات) وHumanEval (برمجة). صُممت التجارب لعزل آليات نظرية محددة بدلاً من مجرد ادعاء الهيمنة على لوحة المتصدرين.

• مطابقة الهدف: بمقارنة BOLT (أوزان بولتزمان) مع "Refit" (أوزان المكافأة الخام) على نفس مسارات المرجع، يظهر أن BOLT يحقق دقة أعلى بكثير (مثلاً +1.44 في GSM8K، و+3.60 في MATH). وهذا يؤكد أن نسبة كثافة الوزن، وليس فقط مصدر البيانات، هي التي تحدد الهدف المستحث.
• الكفاءة: يحقق BOLT دقة مماثلة أو أفضل قليلاً من GRPO المتصل بالإنترنت مع تقليل وقت التدريب بنسبة ~75–85% وتقليل ذروة الذاكرة بنسبة ~18–31%، لأنه يلغي الحلقة المتصلة بالإنترنت.
• تشبع الخطوة الواحدة مقابل التحديث: تظهر التجارب أن BOLT في الخطوة الواحدة غالباً ما يصل إلى حالة التشبع بعد بضع حلقات إذا كان دعم المرجع محدوداً. ومع ذلك، فإن Iterative BOLT (تحديث المُنْتِج) يستمر في تحسين الأداء، مما يؤكد تفسير KL-PMD.
• الاحتفاظ (Retention): تظهر الطرق التي تستخدم مسارات المرجع (BOLT، Refit) نسياناً كارثياً أقل في الاختبارات العامة (PIQA، HellaSwag) مقارنة بـ SFT القائم على الأمثلة فقط، مما يشير إلى أن مسارات المرجع تساعد في تثبيت التوزيع.

الأهمية والادعاءات

تدعي الورقة أنها تقدم فهماً على مستوى الآلية لاستبدال RLVR الساكن، متجاوزة المقارنات الهيورستية (heuristic) لخسائر التدريب. وتتمثل مساهماتها الرئيسية في:

1. تحديد الهدف: تثبت أن الـ SFT الموزون الساكن هو فقط بديل أمين لـ RLVR ذي المرجع الثابت إذا كان حاصل ضرب المُنتِج والوزن يستحث هدف بولتزمان المحدد. وقد حددت نسبة كثافة بولتزمان المعيارية للمطالب كوزن فريد لبيانات المرجع.
2. تفكيك الفجوة المحدودة: تفصل بين "ثمن الدعم" غير القابل للاسترداد (نقص التغطية) وبين أخطاء التقدير المحدودة (تباين المعيِّر، انحراف التحسين). وهذا يوضح أن الطرق الساكنة لا يمكنها إصلاح فجوات التغطية التي فشلت سياسة المرجع في أخذ عينات منها.
3. التفسير التكراري: تعيد صياغة أخذ العينات والوزن التكراري ليس فقط كعملية "مزيد من التحسين"، بل كشكل من أشكال KL Policy Mirror Descent الذي يحسن التغطية بنشاط.
4. الكفاءة العملية: توضح أن الحساب المسبق للكميات المحددة للهدف (الأوزان) يسمح بإجراء SFT ساكن يطابق الهدف النظري لـ RLVR المتصل بالإنترنت مع تقليل كبير في العبء الحوسبي.

يظل المؤلفون متواضعين، مشيرين إلى أن نتائجهم تعتمد على تجارب تشغيل واحدة وأحجام نماذج محددة. ويؤكدون أن النظرية تحدد متى يكون الاستبدال الساكن صالحاً (في الأنظمة المغطاة) ولماذا يفشل (في فجوات الدعم)، بدلاً من ادعاء التفوق المطلق على جميع الطرق المتصلة بالإنترنت. يعمل هذا العمل كجسر نظري بين هندسة الـ KL المنظم والـ RL والجانب العملي للتعلم الفائق الموجه الموزون الساكن.