ملخص تقني: d-TreeRPO

بيان المشكلة

تقدم نماذج اللغات الكبيرة الانتشارية (dLLMs) بديلاً للفك المتوازي (parallel decoding) للنماذج التوليدية ذاتية الانحدار (AR)، مما يتيح استدلالاً أسرع. ومع ذلك، فإن تطبيق التعلم المعزز (RL) لتعزيز قدرات الاستدلال في dLLMs يواجه عقبتين حرجتين تتعلقان بالموثوقية، تفشل الطرق الحالية في معالجتهما:

1. ندرة المكافأة وعدم القابلية للتحقق: تعتمد طرق تحسين سياسة dLLM الحالية غالباً على مكافآت ناتجة خشنة (مثل الصحة الثنائية للإجابة النهائية) أو إشارات عمليات غير موثقة. هذه الندرة تعيق حساب الميزة (advantage) بدقة، بينما يمكن أن تؤدي الإشارات غير الموثقة إلى "اختراق المكافأة" (reward hacking).
2. تقدير الاحتمالات غير الموثوق: على عكس نماذج AR، التي تفكك التسلسلات عبر قاعدة السلسلة لحساب الاحتمال الدقيق في تمريرة أمامية واحدة، تقوم dLLMs بتوليد النصوص من خلال عملية إزالة ضجيج (denoising) "بأي ترتيب". يتطلب لوغاريتم احتمال الإجراء الحقيقي توقعاً على جميع أوضاع فك التشفيد الممكنة، وهو أمر مستعصٍ حسابياً. تعاني التقديرات الحالية (مثل الحدود الدنيا القائمة على ELBO أو التمريرات الأمامية أحادية الخطوة) من أخطاء تقريب غير مدروسة، مما يقوض موثوقية تحديثات تدرج السياسة.

المنهجية: d-TreeRPO

يقترح المؤلفون d-TreeRPO، وهو إطار عمل موثوق للتعلم المعزز مصمم خصيصاً لـ dLLMs. تعالج هذه الطريقة العقبات المذكورة أعلاه من خلال ثلاثة مكونات أساسية:

1. التدفقات ذات الهيكل الشجري للمكافآت المحببة

للتغلب على ندرة المكافأة، يقوم d-TreeRPO بهيكلة عملية التدفق (rollout) كشجرة بدلاً من تسلسل مسطح من العينات المستقلة.

• الهيكل: يتم تجميع خطوات إزالة الضجيج الـ $N$ في $H$ من الخطوات الشجرية. عند كل عقدة غير ورقية، يتم إجراء $B$ من عمليات أخذ العينات المستقلة، مما ينشئ شجرة تحتوي على $B^H$ من العقد الورقية التي تمثل الحالات النهائية.
• حساب الميزة من الأسفل إلى الأعلى: يتم تخصيص مكافآت ناتجة قابلة للتحقق للعقد الورقية (مثل صحة حل اللغز). تُحسب قيم الحالات للعقد الأبوية من الأسفل إلى الأعلى كمتوسط قيم أبنائها.
• المزايا دقيقة التفاصيل: تُعرف الميزة للانتقال من عقدة أب $p$ إلى عقدة ابن $c$ بأنها $A_p^c = V_c - V_p$. يوفر هذا إشارات مكافأة خطوة بخطوة، قابلة للتحقق، وهي أكثر دقة من المكافآت الناتجة الموحدة.

2. التحليل النظري لتقدير الاحتمالات

يتناول البحث استعصاء التقدير غير المنحاز للاحتمالات في dLLMs.

• الإثبات النظري: يثبت المؤلفون (النظرية 1) أن الفجوة بين تقدير احتمال التمريرة الأمامية أحادية الخطوة والاحتمال المتوقع غير المنحاز تتقلص مع زيادة ثقة النموذج في التنبؤ. وتحديداً، يضيق حد خطأ التقدير كلما أصبح النموذج أكثر حتمية.
• الاستنتاج: بينما تعمل الثقة العالية على تحسين دقة التقدير، إلا أنها تخلق مقايضة بين الاستكشاف والاستغلال، حيث يمكن للسياسات شديدة الحتمية في مراحل مبكرة من التدريب أن تعيق الاستكشاف.

3. فقد التقطير الذاتي المجدول زمنياً

للموازنة بين المقايضة بين الاستكشاف (في بداية التدريب) والتقدير الدقيق للاحتمالات (في نهاية التدريب)، يقدم d-TreeRPO هدف تقطير ذاتي مجدول زمنياً.

• الآلية: يشجع الفقد (loss) السياسة على التوافق مع توزيع مستهدف يتم بناؤه من العقد الأبناء ذات المزايا الإيجابية.
• الجدولة:
  • درجة الحرارة ($\tau(t)$): تبدأ مرتفعة للسماح بأخذ عينات متنوعة وتنخفض بمرور الوقت لجعل التوزيع المستهدف أكثر حدة.
  • الوزن ($\lambda(t)$): يبدأ قريباً من الصفر لتقليل الفقد أثناء مرحلة الاستكشاف، ويزداد تدريجياً لفرض الحتمية وتقليل خطأ التقدير في المراحل اللاحقة.
• الهدف: يُضاف هذا الفقد إلى هدف تدرج السياسة القياسي القائم على GRPO، مما يعزز حتمية النموذج فقط عندما يكون ذلك آمناً، وبالتالي يحسن دقة تقديرات الاحتمال أحادية المسار المستخدمة في تحديث التعلم المعزز.

المساهمات الرئيسية

1. إطار عمل d-TreeRPO: خوارزمية مبتكرة لتحسين السياسة لـ dLLMs تستخدم التدفقات ذات الهيكل الشجري لتوفير مزايا ومكافآت خطوة بخطوة دقيقة وقابلة للتحقق.
2. الرؤية النظرية والتقطير الذاتي: إثبات نظري يربط بين ثقة التنبؤ وتقليل خطأ التقدير، مما أدى إلى تصميم فقد تقطير ذاتي مجدول زمنياً يدير ديناميكياً مقايضة الاستكشاف والاستغلال.
3. التحقق التجريبي: تجارب واسعة النطاق تثبت تفوق d-TreeRPO على النماذج المرجعية الحالية (بما في ذلك Diffu-GRPO و VRPO و wd1) عبر عدة اختبارات استدلالية.

النتائج التجريبية

قيم المؤلفون d-TreeRPO على LLaDA-8B-Instruct و LLaDA-MoE-7BA1B-Instruct عبر أربعة اختبارات استدلالية: Sudoku، و Countdown، و GSM8K، و Math500.

• مكاسب الأداء: مقارنة بالنموذج الأساسي، حقق d-TreeRPO تحسينات كبيرة:
  • Sudoku: +86.2% (LLaDA-8B)
  • Countdown: +51.6% (LLaDA-8B)
  • GSM8K: +4.5% (LLaDA-8B)
  • Math500: +5.3% (LLaDA-8B)
• دراسات الاستئصال (Ablation Studies):
  • المكافآت المتفرقة: أدت المتغيرات التي استخدمت مكافآت ناتجة متفرقة (بث المكافآت النهائية لجميع الرموز/tokens) إلى أداء أسوأ بكثير، مما يؤكد ضرورة تخصيص الائتمان (credit assignment) دقيق التفاصيل عبر الهياكل الشجرية.
  • التقطير الذاتي: أدى حذف فقد التقطير الذاتي إلى انخفاض في الأداء وزيادة في أخطاء تقدير الاحتمال. وعلى العكس من ذلك، أدى استخدام فقد تعزيز التنوع (بهدف الحفاظ على إنتروبيا عالية) إلى أسوأ أداء وتدريب غير مستقر.
  • الجدولة: تسببت الجدولة العكسية (تقطير قوي في البداية، ضعيف لاحقاً) في انخفاض الأداء بعد المكاسب الأولية، مما يؤكد صحة التصميم المجدول للأمام.
• الكفاءة: رغم أن d-TreeRPO له تكلفة حوسبية أعلى من بعض المراجع (مثل Diffu-GRPO) بسبب التدفقات الشجرية، إلا أنه يتقارب بشكل أسرع من حيث المكافأة ويحقق أداءً نهائياً متفوقاً، مما يجعله خياراً عملياً.

الأهمية والادعاءات

يزعم البحث أن d-TreeRPO يضع أساساً أكثر موثوقية للتعلم المعزز في dLLMs من خلال حل مشكلتي ندرة المكافأة وتحيز تقدير الاحتمال. ومن خلال الاستفادة من التدفقات ذات الهيكل الشجري، تضمن الطريقة أن تكون إشارات الميزة قابلة للتحقق ودقيقة. علاوة على ذلك، من خلال تأصيل الحاجة إلى الثقة في تقدير الاحتمالات نظرياً وتنفيذ آلية تقطير ذاتي مجدولة زمنياً، ينجح إطار العمل في إدارة مقايضة الاستكشاف والاستغلال الفريدة لـ dLLMs بفعالية. تشير النتائج إلى أن تحسين السياسة الموثوق لنماذج الانتشار يتطلب تجاوز مجرد المكافآت الناتجة البسيطة وتقريبات المسار الواحد، والاعتماد بدلاً من ذلك على البحث المهيكل وتنظيم الثقة الديناميكي.