ملخص تقني: DISA - أخذ العينات الهامشي غير المتصل لتطابق التوزيع في التعلم المعزز للنماذج اللغوية الكبيرة (LLM-RL)

1. بيان المشكلة

تُقيّم وكلاء الاستدلال الحديثون بشكل متزايد بناءً على قدرتهم على توليد مسارات حل متعددة صالحة (مثل سلاسل التفكير المتنوعة، أو الخطط، أو آثار استخدام الأدوات)، بدلاً من مجرد إجابة واحدة صحيحة. تركز أهداف التعلم المعزز (RL) القياسية، مثل تحسين السياسة القريبة (PPO) أو تحسين السياسة النسبية للمجموعات (GRPO)، على تعظيم المكافأة. وبينما تعد هذه الطرق فعالة في دقة الإجابة الواحدة، إلا أنها تعاني من انهيار النمط (mode collapse)، حيث تتركز كتلة الاحتمالية للسياسة على مسار واحد عالي المكافأة، مما يلغي تنوع الحلول الصالحة المطلوبة للتقييم القوي (مثل مقاييس pass@k).

يقدم التعلم المعزز لتطابق التوزيع (Distribution-matching RL) بديلاً عبر تدريب السياسة لتناسب توزيعاً مستهدفاً يكون فيه احتمال المسار متناسباً مع الأس المرفوع للمكافأة:
$$\tilde{\pi}(o | q) = \frac{1}{Z(q)} \pi_{\text{ref}}(o | q) \exp(\beta \tilde{r}(q, o))$$
حيث $Z(q)$ هو دالة التجزئة (partition function) (ثابت التطبيع المعتمد على المطالبة $q$).

العقبة الأساسية في طرق تطابق التوزيع الحالية (مثل FlowRL وGFlowNets) هي الاقتران عبر الإنترنت (online coupling) بين السياسة ($\pi_\theta$) ومقدر دالة التجزئة ($Z_\phi$). تقوم هذه الطرق بتدريب كلا المكونين معاً باستخدام عينات مسارات مشتركة عبر الإنترنت باستخدام خسارة مشتركة (مثل توازن المسار - Trajectory Balance). هذا الاقتران يخلق مشكلتين حرجتين:

1. انتشار الخطأ: تنتقل أخطاء المعايرة في مقدر دالة التجزئة $Z_\phi$ مباشرة إلى تدرج السياسة، مما يشوه التحديثات.
2. غياب التشخيصات: لا توجد إشارة جودة مستقلة لدالة التجزئة؛ فأداؤها متشابك مع خسارة السياسة، مما يجعل من المستحيل تشخيص ما إذا كانت الإخفاقات ناتجة عن السياسة أم عن تقدير دالة التجزئة.

2. المنهجية: التثبيت بأخذ العينات الهامشي المفكك (DISA)

يقترح المؤلفون DISA، وهو خط إنتاج مكون من ثلاث مراحل يفصل تقدير دالة التجزئة عن حلقة تحسين السياسة. الفكرة الجوهرية هي أن دالة التجزئة $Z(q)$ تعتمد فقط على السياسة المرجعية $\pi_{\text{ref}}$، ودالة المكافأة، ودرجة الحرارة العكسية $\beta$، ولكنها لا تعتمد على السياسة القابلة للتدريب $\pi_\theta$. لذلك، يمكن تقديرها "خارج الخط" (offline) قبل بدء تدريب التعلم المعزز.

المرحلة 1: تقدير أخذ العينات الهامشي خارج الخط (IS)

لمجموعة من المطالبات خارج الخط $\mathcal{D}_Z$، تسحب الطريقة $N$ من مسارات الاقتراح من نموذج اقتراح قوي $p_T(\cdot|q)$ (مثل نموذج معلم أكبر).

• أوزان الأهمية: لكل مسار $o_i$، يتم حساب وزن الأهمية: $w(q, o_i) = \frac{\pi_{\text{ref}}(o_i|q)}{p_T(o_i|q)} \exp(\beta \tilde{r}(q, o_i))$.
• التجميع في الفضاء اللوغاريتمي: لضمان الاستقرار العددي وتقليل الانحياز، يتم حساب تقدير دالة التجزئة للمطالبة $q$ في الفضاء اللوغاريتمي باستخدام مجمع logsumexp:
  $$\log \hat{Z}_{\text{IS}}(q) = \text{logsumexp}_i \left( \log \pi_{\text{ref}}(o_i|q) - \log p_T(o_i|q) + \beta \tilde{r}(q, o_i) \right) - \log N$$
  يوفر هذا تقديراً غير منحاز لـ $Z(q)$ على المقياس الخطي، مع انحياز محكوم قدره $O(1/N)$ على المقياس اللوغاريتمي.

المرحلة 2: التخفيف عبر الانحدار (Amortization via Regression)

تعمل تقديرات كل مطالبة $\log \hat{Z}_{\text{IS}}(q)$ كملصقات (labels) لتدريب منظم شرطي للمطالبة خفيف الوزن $g_\psi(q)$ (مثل MLP صغير).

• يتم تدريب المنظم عبر انحدار المربعات الصغرى لتقليل الخطأ التربيعي بين تنبؤه والملصقات الناتجة عن الـ IS خارج الخط.
• بمجرد تدريبه، يتم تجميد معاملات المنظم $\psi^*$. هذا يخلق تقديراً قابلاً لإعادة الاستخدام خارج الخط لدالة التجزئة يمكنه التعميم على المطالبات خارج مجموعة التقدير الأولية.

المرحلة 3: تعلم السياسة عبر الإنترنت المثبت (Anchored Online Policy Learning)

خلال مرحلة التعلم المعزز عبر الإنترنت، يحل المنظم المجمد $g_{\psi^*}(q)$ محل دالة التجزئة القابلة للتعلم $Z_\phi(q)$ في خسارة توازن المسار (TB).

• الهدف: يتم تحسين السياسة $\pi_\theta$ لتقليل البواقي:
  $$\mathcal{L}_{\text{DISA}}(\theta) = \mathbb{E} \left[ \sum_i \omega_i \left( g_{\psi^*}(q) + \log \pi_\theta(o_i|q) - \log \pi_{\text{ref}}(o_i|q) - \beta \tilde{r}(q, o_i) \right)^2 \right]$$
• الفصل: من المهم جداً أن التدرجات تتوقف عن التدفق عبر $g_{\psi^*}$. تعمل دالة التجزئة كمثبت ثابت لكل مطالبة ("مرساة") أثناء تحديثات السياسة.

3. المساهمات الرئيسية

1. تحديد الاقتران كعقبة جوهرية: حددت الورقة أن تشابك تقدير دالة التجزئة وتعلم السياسة هو المصدر الرئيسي لأخطاء المعايرة وعمى التشخيص في التعلم المعزز لتطابق التوزيع.
2. خط إنتاج DISA: نهج مبتدئ من ثلاث مراحل ينقل تقدير دالة التجزئة إلى خارج الخط عبر أخذ العينات الهامشي، ثم يخففه عبر الانحدار، ثم يجمده لعملية التعلم المعزز عبر الإنترنت.
3. الضمانات النظرية:
   • الحفاظ الدقيق: إذا كان دالة التجزئة خارج الخط دقيقة، فإن الحد الأدنى العالمي لهدف DISA يطابق التوزيع المستهدف المائل للمكافأة نظرياً.
   • الثبات مع الانحياز: حتى مع وجود انحياز يعتمد فقط على المطالبة (حيث يعتمد الخطأ على $q$ وليس على المسار)، يظل التوزيع المستهدف نقطة ثابتة لتدفق التدرج عبر الإنترنت.
   • الاضطراب المحدود: تدخل أخطاء التقدير المتبقية في هدف السياسة فقط من خلال غلاف اضطراب محدود (مشتق عبر كوشي-شفارز)، مما يضمن الاستقرار.
4. التحقق التجريبي: تقييم شامل عبر معايم الرياضيات والبرمجة يظهر أن DISA يحافظ على فوائد تطابق التوزيع مع تجنب عيوب الاقتران عبر الإنترنت.

4. النتائج التجريبية

قيم المؤلفون DISA على نموذجين أساسيين مفتوحي الأوزان (Qwen2.5-7B و Qwen3-4B-Base) عبر ستة معايم رياضية (بما في ذلك AIME 2024/2025، AMC 2023، MATH-500) وثلاثة معايم برمجية (LiveCodeBench، CodeForces، HumanEval+).

• الاستدلال الرياضي:
  • طابقت DISA أو تجاوزت قليلاً النموذج المرجعي المرتبط عبر الإنترنت FlowRL (على سبيل المثال، 65.5 مقابل 64.8 لـ Mean@8 في Qwen3-4B-Base).
  • تفوقت بشكل كبير على نماذج تعظيم المكافأة مثل GRPO و GSPO (على سبيل المثال، +16.1 نقطة فوق GRPO في Qwen3-4B-Base).
• توليد الكود:
  • في مقياس pass@16 (وهو مقياس حساس لتنوع الحلول)، حققت DISA أعلى الدرجات بين جميع الطرق (على سبيل المثال، 51.5 في Qwen3-4B-Base)، متفوقة على FlowRL و GSPO و GRPO.
  • في مقياس pass@1، ظلت DISA تنافسية، مما أظهر عدم وجود تراجع كبير مقارنة بطرق تعظيم المكافأة.
• تحليل التنوع:
  • أظهر تقييم (LLM-as-judge) لتنوع استراتيجيات الحل (باست مستخدم مقياس ليكرت 1-5) أن DISA احتفظت بأكبر قدر من تنوع النموذج الأساسي الأصلي (3.72/5.0)، مقارنة بـ FlowRL (3.40) وبشكل أفضل بكثير من GRPO/GSPO (~3.0).
• دراسات الاستئصال (Ablation Studies):
  • قوة الاقتراح: أدى استخدام نموذج اقتراح أضعف (Qwen3-4B مقابل 235B) إلى زيادة تباين الملصقات خارج الخط، مما أدى إلى انخفاض في الأداء، لكن المنظم لا يزال يتقارب، مما يؤكد مقايضة الانحياز والتباين المتوقعة نظرياً.
  • درجة الحرارة العكسية ($\beta$): أكدت دراسات الحساسية أن نقص الميل ($\beta=10$) يؤدي إلى فقدان طفيف في الإشارة، بينما يؤدي الإفراط في الميل ($\beta=20$) إلى "منحدر التباين" وانهيار النمط، مما يؤكد التحليل النظري لأوزان أخذ العينات الهامشي.
• التنقيح (Distillation) مقابل التعلم المعزز (RL): عند مقارنتها بالضبط الدقيق (SFT) على نفس مسارات المكافأة العالية المستخدمة لتقدير DISA خارج الخط، قدمت DISA مكسباً إضافياً يصل إلى 13.8 نقطة لـ Mean@8، مما يثبت أن ملاءمة التوزيع المائل للمكافأة (الناعم) يستعيد معلومات المشهد التي يتم التخلص منها بواسطة أهداف SFT الصلبة.

5. الأهمية والادعاءات

تزعم الورقة أن DISA تمثل تحولاً معمارياً هاماً في مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة في مجال الاستدلال. من خلال فك الارتباط بين تقدير دالة التجزئة وحلقة السياسة، تقوم DISA بـ:

• إزالة أخطاء المعايرة: تمنع أخطاء تقدير دالة التجزئة من تشويه تدرجات السياسة.
• تمكين التشخيصات المستقلة: يمكن مراقبة جودة دالة التجزيرة بشكل منفصل عن تدريب السياسة عبر خسارة التحقق الخاصة بالمنظم.
• الحفاظ على التنوع: تنجح في الحفاظ على البنية متعددة الأنماط لمساحة الحلول، وهو أمر بالغ الأهمية لمهام الاستدلال المعقدة حيث توجد مسارات صالحة متعددة.
• الرصانة النظرية: توفر الطريقة ضمانات رسمية بأن عملية التقدير خارج الخط لا تغير النقطة الثابتة النظرية لهدف تطابق التوزيع، بشرط أن يكون خطأ التقدير محدوداً.

يخلص المؤلفون إلى أن DISA تقدم بديلاً قوياً ومبنياً على أسس نظرية لأسلوب الاقتران عبر الإنترنت لتطابق التوزيع، محققة أداءً رائداً في كل من الدقة والتنوع دون عدم الاستقرار المرتبط بالتدريب المشترك لدوال التجزئة والسياسات.