ملخص تقني: GDSD: التعلم التعزيزي كتقطير ذاتي لإزالة الضجيج الموجه لنماذج اللغات الانتشارية

1. بيان المشكلة

تقدم نماذج اللغات الانتشارية (dLLMs) مكاسب كبيرة في كفاءة الاستدلال مقارنة بالنماذج التوليدية ذات الترتيب التلقائي (ARMs) من خلال توليد رموز متعددة في وقت واحد وكسر ترتيب التوليد الصارم من اليسار إلى اليمين. ومع ذلك، لا تزال نماذج dLLMs تتخلف حاليًا عن النماذج التلقائية (ARMs) المتطورة في جودة التوليد، مما يستلي على ضرورة وجود طرق فعالة للضبط الدقيق مثل التعلم التعزيزي (RL).

العقبة المركزية أمام تطبيق التعلم التعزيزي على نماذج dLLMs هي استحالة حساب احتمالية السياسة (policy likelihood). تنقسم الحلول الحالية عمومًا إلى فئتين:

1. طرق احتمالية المسار (Trajectory Likelihood Methods): تقدير الاحتمالات الدقيقة عبر تراكم احتمالات الانتقال. ورغم أنها غير منحازة، إلا أنها مكلفة حوسبيًا ولا تتوافق مع أهداف التدريب المسبق.
2. طرق احتمالية التسلسل (ELBO Methods): استخدام الحد الأدنى للاحتمال (ELBO) المقدر من تسلسلات مقنعة عشوائيًا كبديل للاحتمالية الحقيقية. وهي فعالة حوسبيًا وتتوافق مع التدريب المسبق.

المشكلة الجوهرية: يجادل البحث بأن طرق التعلم التعزيزي القائمة على ELBO تعاني من انحياز عدم التطابق بين التدريب والاستدلال (Training-Inference Mismatch - TIM). ينشأ هذا الانحياز من مصدرين:

• فجوة الاحتمالية (Likelihood Gap): إن ELBO هو حد أدنى بوجود فجوة غير مهملة من الاحتمالية الحقيقية، مما يؤدي إلى إدخال الانحياز والتباين في نسب أخذ العينات الهامة (importance sampling ratios) المستخدمة في أهداف تدرج السياسة (PG) أو PPO.
• عدم تطابق توزيع أخذ العينات (Sampling Distribution Mismatch): يستخدم الاستدلال في dLLM عمليات إعادة قناع (re-masking) تكرارية وفك تشفير كتل (block-wise decoding)، مما يؤدي إلى توزيع أخذ عينات ($\pi^{rm}_{old}$) يختلف عن توزيع سياسة التدريب ($\hat{\pi}_{old}$) المقدر عبر ELBO.

يتسبب هذا عدم التطابق في جعل تصحيح أخذ العينات الهامة غير فعال، مما يؤدي إلى تدهور الأداء، وفي الحالات الشديدة، انهيار التدريب الكارثي.

2. المنهجية: التقطير الذاتي لإزالة الضجيج الموجه (GDSD)

يقترح المؤلفون التقطير الذاتي لإزالة الضجيج الموجه (GDSD)، وهو إطار عمل يعيد صياغة التعلم التعزيزي لنماذج dLLMs كمسألة تقطير ذاتي خارج السياسة (off-policy self-distillation)، وبالتالي يتجاوز الحاجة إلى تقدير الاحتمالية ويتجنب انحياز TIM.

2.1 الأساس النظري

تحت تنظيم reverse-KL، يكون للسياسة المثلى $\pi^*$ حل مغلق الصيغة:
$$\pi^*(x_0) \propto \pi_{old}(x_0)^{1-\beta} \cdot \pi_{ref}(x_0)^\beta \cdot \exp(\psi A(x_0))$$
حيث $A(x_0)$ هي دالة الميزة (advantage function)، و$\beta$ هو معامل التنظيم، و$\psi$ هو معامل التوجيه.

يوضح المؤلفون أن هذه السياسة المثلى تستحث توزيع إزالة ضجيج موجه (مزيل ضجيج "معلم" $p^*$) لنموذج الانتشار المقنع:
$$p^*(x_0|x_t) = p^{ref}_{old}(x_0|x_t) \cdot \exp(\psi A(x_0) - A_t(x_t))$$
حيث $p^{ref}_{old}$ هو خليط هندسي من السياسات القديمة والمرجعية، و$A_t(x_t)$ هو ثابت التقييس (normalization constant).

2.2 هدف GDSD

بدلاً من تحسين هدف قائم على الاحتمالية، يقوم GDSD بتقطير مباشر لمزيل الضجيج الحالي $p_\theta$ من المعلم $p^*$ عن طريق مطابقة قيم الـ logits الخاصة بهما. يقلل الهدف من مسافة $L_2$ المربعة بين الـ logits للطالب والمعلم:
$$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log p_\theta(x_0|x_t) - \log p^*(x_0|x_t) \right)^2 \right]$$

2.3 إعادة الصياغة الخالية من التقييس (Normalization-Free)

التحدي الرئيسي في تنفيذ هذا هو ثابت التقييس المستعصي $Z_t$ (أو $A_t$) في توزيع المعلم. يقترح المؤلفون حلين لإزالته:

1. المطابقة المباشرة: بالاستفادة من ثبات الترجمة لعملية Softmax، يمكن تجاهل الثابت إذا كانت الـ logits الخاصة بالطالب تطابق الـ logits غير المعيرة للمعلم حتى ثابت إضافي.
2. مركزية الـ logits على مستوى الرمز (Token-Level Logit Centralization - TLC): لمنع التحولات غير المنضبطة في مقياس الـ logits أثناء التحديثات التكرارية، يقترح المؤلفون مركزية الـ logits. من خلال طرح متوسط الـ logit عبر المفردات لكل موضع رمز، يتم القضاء تمامًا على ثابت التقييس من الهدف.

الهدف العملي النهائي (مع TLC) هو:
$$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{old}(x_0|x_t) - \psi A(x_0) \right)^2 + \beta \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{ref}(x_0|x_t) \right)^2 \right]$$
حيث يشير $\bar{p}$ إلى النموذج المركزي الـ logit.

3. المساهمات الرئيسية

1. الاختزال إلى التقطير الذاتي: يثبت البحث أن التعلم التعزيزي المنظم بـ reverse-KL لنماذج dLLMs يكافئ تقطير مزيل ضجيج موجه من معلم ذاتي مشتق من السياسة المثلى ذات الصيغة المغلقة.
2. إطار عمل GDSD: طريقة تقطير ذاتي جديدة خالية من الاحتمالية تلغي انحياز TIM بالتصميم، لأنها لا تعتمد على نسب أخذ العينات الهامة أو بدائل ELBO.
3. التحسين الخالي من التقييس: يتيح تقديم "مركزية الـ logits على مستوى الرمز" (TLC) تعلمًا تعزيزيًا عبر الإنترنت (online RL) فعالًا دون حساب دوال التجزئة (partition functions) المستعصية.
4. التوحيد النظري: يوضح البحث أن الطرق الحالية القائمة على ELBO (مثل wd1، DMPO، SPG، UniGRPO) يمكن اعتبارها حالات محددة من التقطير باستخدام مقاييس تباين مختلفة (Forward-KL أو Reverse-KL)، ولكنها تعاني من عدم كفاءة البيانات أو انحياز TIM الذي يتجنبه GDSD.

4. النتائج التجريبية

قيم المؤلفون GDSD على نماذج LLaDA-8B و Dream-7B عبر ستة اختبارات مرجعية:

• الاستدلال الرياضي: GSM8K، MATH500
• التخطيط: Countdown، Sudoku
• البرمجة: HumanEval، MBPP

النتائج الرئيسية:

• مكاسب الأداء: يتفوق GDSD باستمرار على الطرق المتطورة القائمة على ELBO. في نموذج Dream-7B، حقق GDSD تحسينات في دقة الاختبار تصل إلى +19.6% في مهام التخطيط (Sudoku و Countdown). وفي LLaDA-8B، تراوحت التحسينات بين +0.6% إلى +5% عبر اختبارات التخطيط والرياضيات والبرمجة.
• استقرار التدريب: أظهر GDSD ديناميكيات مكافأة أكثر استقرارًا بشكل ملحوظ مقارنة بالنماذج المرجعية القائمة على ELBO (مثل SPG و ESPO)، والتي أظهرت تذبذبات أو انهيارًا.
• الدراسات الاستقصائية (Ablation Studies): أظهرت دراسة مكون "مركزية الـ logits على مستوى الرمز" (TLC) أنها تساهم في استقرار التدريب بشكل أكبر، وفي بعض الحالات (مثل Sudoku)، تساعد النموذج على الهروب من النهايات الصغرى المحلية لتحقيق مكافآت نهائية أعلى.

5. الأهمية والادعاءات

يزعم البحث أن التقطير الذاتي المباشر لمزيل الضجيج يوفر بديلاً أكثر استقرارًا وفعالية للتعلم التعزيزي القائم على ELBO لنماذج dLLMs. ومن خلال إزالة الاعتماد على بدائل الاحتمالية، يتجنب GDSD الانحيازات الهيكلية المتأصلة في مناهج أخذ العينات الهامة. تشير النتائج إلى أن مكاسب الأداء الملحوظة ليست مجرد نتيجة لضبط المعلمات الفائقة (hyperparameter tuning)، بل تنبع من مسار تحسين أكثر رصانة يتوافق مع توزيع الاستدلال الفعلي لنماذج dLLM. ويخلص المؤلفون إلى أن ELBO ليس ضروريًا للتعلم التعزيزي مع نماذج dLLM، وأن إزالته تؤدي إلى قدرات أكثر قوة في المحاذاة والاستدلال.