Improving Discrete Diffusion Unmasking Policies Beyond Explicit Reference Policies

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تحسين سياسات كشف القناع في الانتشار المنفصل بما يتجاوز السياسات المرجعية الصريحة" (ICLR 2026).

1. بيان المشكلة

برزت نماذج الانتشار المقنع (MDMs) كبديل قوي للنماذج ذات الترتيب التلقائي (ARMs) في نمذجة اللغة. تقوم نماذج MDM بتوليد النصوص من خلال إزالة الضجيج بشكل متكرر عن تسلسل ما، واستبدال الرموز (tokens) المميزة بـ [MASK] برموز متوقعة. وبينما تدعم نماذج MDM "التوليد بأي ترتيب" (كشف القناع عن الرموز بأي تسلسل)، فإن اختيار الموقع الذي سيتم كشف القناع عنه تالياً يعد أمراً حاسماً للأداء.

• العائق: تعتمد أحدث نماذج MDM على جداول كشف قناع استدلالية (مثل: أقصى ثقة Max-Confidence، أو أقصى هامش Max-Margin، أو عشوائي Random). هذه القواعد عشوائية وغالباً ما تكون غير مثالية.
• الحد النظري: أثبت كيم وآخرون (2025) أنه لا توجد خوارزمية ذات وقت حدودي يمكنها استعادة توزيع البيانات بشكل مثالي لجميع الجمل المقنعة (مشكلة التوليد بـ "أي ترتيب" هي مشكلة صعبة). ومع ذلك، يمكن للاستدلالات مثل Max-Confidence تجاوز الحالات "الصعبة".
• الفجوة: لا يزال من غير الواضح ما إذا كانت الاستدلالات هي الاستراتيجية المثلى، أو ما إذا كان بإمكان سياسة متعلمة اكتشاف مسارات كشف قناع ذات مكافأة أعلى مما تفتقده الاستدلالات. علاوة على ذلك، فإن مناهج التعلم المعزز (RL) الحالية لنماذج MDM غالباً ما تركز على ضبط النموذج الأساسي أو تفتقر إلى ضمانات التقارب النظرية فيما يتعلق بتوزيع العينات.

2. المنهجية

يقترح المؤلفون تحسين سياسة كشف القناع (UPO)، وهو إطار عمل يعامل عملية كشف القناع كـ عملية قرار ماركوف (MDP) منظمة بـ KL، ويقوم بتحسين مجدول متعلم باستخدام تحسين السياسة النسبية للمجموعات (GRPO).

أ. الصياغة كعملية قرار ماركوف (MDP)

• الحالة ($x_n$): التسلسل الذي يحتوي على $n$ من الرموز المقنعة.
• الإجراء ($a_n$): اختيار واحد من $n$ من المواقع المقنعة لكشف القناع عنها.
• الانتقال: تقوم البيئة (النموذج الأساسي الثابت $\pi_\theta$) بالتنبؤ بتوزيع الرموز للموقع المختار. يتحكم الوكيل في أين يتم كشف القناع، بينما يتحكم نموذج MDM في ما هو الرمز الذي سيتم توليده.
• المكافأة ($r$): مكافأة نهائية قابلة للتحقق (على سبيل المثال، 1 إذا كانت الإجابة النهائية صحيحة، 0 خلاف ذلك، أو مكافأة كثيفة بناءً على الدقة/الاحتمالية اللوغاريتمية).

ب. الإطار النظري: GRPO المنظم بـ KL

بدلاً من تدرج السياسة القياسي، يقوم المؤلفون بتحسين هدف منظم بـ KL بالنسبة لسياسة مرجعية قوية ($g_{ref}$، مثل Max-Confidence أو Top-K):

$$\max_\phi \mathbb{E} \left[ \frac{g_\phi(x_0|q)}{g_{\phi_{old}}(x_0|q)} A(q, x_0) \right] - \beta D_{KL}(g_\phi(x_0|q) \parallel g_{ref}(x_0|q))$$

• السياسة المرجعية ($g_{ref}$): تعمل كـ "منطقة ثقة" لاستقرار التدريب وتوفير خط أساس قوي.
• ضمان التقارب: يثبت المؤلفون (النظرية 1 و2) أنه تحت الافتراضات القياسية، تتقارب السياسة المحسنة $g_\phi$ نحو نقطة ثابتة ذات مكافأة متوقعة أعلى من $g_{ref}$ وتولد عينات ذات تباعد KL أقل عن توزيع البيانات الحقيقي ($P_{data}$) مقارنة بالسياسة المرجعية.

ج. التحقيق العملي (البدائل القابلة للحساب)

بما أن توزيع مستوى الرمز $g_\phi(x_0|q)$ غير قابل للحساب (يتطلب الهامش عبر جميع المسارات)، فقد اشتق المؤلفون خسائر بديلة قابلة للحساب:

1. محاذاة تدرج مستوى الرمز: أثبتوا أن تحسين خسارة مستوى الرمز (جمع المزايا عبر المسار) يقرب من هدف مستوى المخرج.
2. التحققات المرجعية: اقترحوا ثلاثة تنفيذات محددة بناءً على اختيار $g_{ref}$:
   • أقصى ثقة ($g_{conf}$): يستخدم الإنتروبيا المتقاطعة (CE) كحد تنظيم، لأن $g_{conf}$ حتمي.
   • Softmax ($g_{conf}^\tau$): يستخدم بديل KL قابل للحساب ($L_{KL}$) بناءً على احتمالات المسار.
   • Top-K ($g_{Top-K}$): يعيد تمثيل السياسة لتأخذ عينات فقط من مرشحي Top-K، مما يسمح باستخدام $L_{KL}$ دون مشاكل الاحتمالية الصفرية.

د. البنية والكفاءة

• هيكل النموذج: نموذج سياسة خفيف الوزن (Transformer بطبقة واحدة + MLP بثلاث طبقات) يأخذ الميزات من نموذج MDM الثابت واحتمالات رموز Top-K الخاصة به كمدخلات.
• كفاءة الذاكرة: نموذج MDM الأساسي ثابت. نموذج السياسة صغير (على سبيل المثال، 134 مليون معلمة مقابل نموذج أساسي بـ 8 مليار معلمة)، مما يسمح بالتدريب على وحدة معالجة رسومية واحدة. تفصل الخوارزمية بين أخذ العينات (جمع الميزات) وتحديثات التدرج لتقليل استخدام الذاكرة.

3. المساهمات الرئيسية

1. سياسة كشف قناع متعلمة: أول عمل يستبدل جداول كشف القناع الاستدلالية بسياسة متعلمة يتم تحسينها عبر التعلم المعزز (RL)، مما يثبت وجود مسارات كشف قناع أفضل من الاستدلالات الحتمية.
2. الضمانات النظرية: يثبت إطار عمل KL-regularized GRPO التقارب نحو سياسة تتفوق على السياسة المرجعية في المكافأة وتقلل من تباعد KL عن توزيع البيانات الحقيقي.
3. خسارة بديلة قابلة للحساب: اشتق أهداف تدريب عملية ($L_{UPO}$) تقرب من هدف مستوى المخرج غير القابل للحساب باستخدام تدرجات مستوى الرمز واحتمالات المسار.
4. تدريب فعال من حيث الذاكرة: يقترح وصفة تدريب تبقي نموذج MDM الضخم ثابتاً، وتحسن فقط مجدولاً صغيراً، مما يجعل تطبيق الاستراتيجيات المتقدمة ممكناً على النماذج واسعة النط scale (مثل LLaDA-8B).

4. النتائج التجريبية

تم تقييم الطريقة على أربعة اختبارات باستخدام نموذج LLaDA-8B-INSTRUCT:

• الألغاز المنطقية: SUDOKU، ZEBRA.
• الاستدلال الرياضي: GSM8K، MATH500.

النتائج الرئيسية:

• SUDOKU: حققت السياسة المتعلمة دقة 81.7%، وهي تحسن هائل مقارنة بـ Max-Confidence (70.5%) وRandom (61.6%). هذا يسلط الضال على الأهمية الحاسمة لترتيب كشف القناع في المهام كثيفة القيود.
• GSM8K: حققت دقة 70.3%، متفوقة على Max-Confidence (68.4%) وغيرها من الخطوط المرجعية.
• ZEBRA & MATH500: طابقت أو تجاوزت باستمرار جميع الاستدلالات المرجعية.
• دراسات الاستئصال (Ablation Studies):
  • التنظيم: أدى إزالة حد تباعد KL إلى تقارب مبكر ودقة نهائية أقل.
  • التوافق: الطريقة مكملة لـ Diffu-GRPO (الذي يقوم بضبط نموذج MDM نفسه). الجمع بينهما أعطى أعلى أداء (+1.3% فوق Max-Confidence في GSM8K).
  • أنواع المكافآت: تعمل الطريقة مع كل من المكافآت الكثيفة (التقارب الأسرع) والمكافآت الثنائية (المتوافقة نظرياً).

5. الأهمية

تغير هذه الورقة البحثية بشكل جذري نموذج الاستدلال في نماذج MDM من الجدولة القائمة على القواعد إلى الجدولة المتعلمة.

• ما وراء الاستدلالات: تثبت أن القواعد المصممة يدوياً مثل Max-Confidence ليست سقف أداء نماذج MDM؛ إذ يمكن لسياسة متعلمة اكتشاف ترتيبات كشف قناع متفوقة هيكلياً.
• الصرامة النظرية: من خلال صياغة المشكلة كعملية قرار ماركوف منظمة بـ KL، يقدم المؤلفون ضمانات رياضية بأن السياسة المتعلمة تتحسن عن السياسة المرجعية، مما يعالج "صعوبة" التوليد بأي ترتيب.
• القابلية للتوسع: تسمح هذه المنهجية بتحسين استراتيجيات الاستدلال للنماذج الضخمة (8B+) دون التكلفة الحسابية لإعادة تدريب النموذج الأساسي، مما يجعل استراتيجيات الانتشار المتقدمة متاحة لمهام اللغة واسعة النطاق.

باختصار، تثبت الورقة أن تحسين "متى" (ترتيب كشف القناع) لا يقل أهمية عن "ماذا" (توقع الرمز) في الانتشار المنفصل، وتوفر إطاراً قوياً ومبنياً على أسس نظرية لتعلم هذا التحسين.