💬 NLP

Diffusion-State Policy Optimization for Masked Diffusion Language Models

تقترح الورقة البحثية "تحسين سياسة حالة الانتشار" (DiSPO)، وهي طريقة إضافية تعزز نماذج اللغة الانتشارية المقنعة من خلال تحسين قرارات ملء الرموز الوسيطة مباشرة عبر آلية تفرع وتقييم، مما يؤدي إلى تحسين الأداء في المهام المعقدة مثل الرياضيات والتخطيط دون الحاجة إلى حوسبة إضافية أو خطوات محسّن.

المؤلفون الأصليون: Daisuke Oba, Hiroki Furuta, Naoaki Okazaki

نُشر 2026-05-20

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Daisuke Oba, Hiroki Furuta, Naoaki Okazaki

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: إصلاح "النقطة العمياء" في تدريب الذكاء الاصطناائي

تخيل أنك تعلم طالباً حل لغز معقد، مثل لعبة السودوكو أو مسألة رياضية.

الطريقة القديمة (التغذية الراجعة النهائية): تترك الطالب يعمل على اللغز بأكمله. عندما ينتهي، تنظر إلى الإجابة النهائية. إذا كانت خاطئة، تقول له: "عمل سيء"، وعليه أن يخمن أي رقم تحديداً وضعه في المكان الخاطئ قبل 10 خطوات. وإذا كانت صحيحة، تقول له: "عمل جيد"، لكنه لا يعرف أي خطوة محددة هي التي صنعت الفارق. هذا يشبه إعطاء طالب درجة في نهاية الفصل الدراسي دون إخباره بأي واجب منزلي ساعده على التعلم.
الطريقة الجديدة (DISPO): تقدم هذه الورقة البحثية طريقة تسمى DISPO (تحسين سياسة حالة الانتشار). بدلاً من الانتظار حتى النهاية، يقوم DISPO بإيقاف الطالب عند لحظات محددة أثناء حل اللغز. يسأله: "لو كنت قد اخترت رقماً مختلفاً هنا، هل كانت النتيجة النهائية ستكون أفضل؟" إنه يختبر بعض سيناريوهات "ماذا لو" فوراً ويعطي ملاحظات على تلك الخطوة المحددة.

المشكلة: "تخصيص الاعتماد الخشن"

تجادل الورقة بأن نماذج الذكاء الاصطناعي الحالية (وتحديداً نماذج لغة الانتشار المقنع - Masked Diffusion Language Models) بارعة في ملء الكلمات أو الأرقام المفقودة واحداً تلو الآخر. ومع ذلك، عندما ندربها باستخدام التعلم التعزيزي (RL)، فإننا عادة ما نعطيها مكافأة (درجة) فقط على النص المكتمل النهائي.

هذا يخلق مشكلة "تخصيص الاعتماد" (Credit Assignment). لقد اتخذ الذكاء الاصطناعي مئات القرارات الصغيرة للوصول إلى ذلك النص النهائي. إذا كان النص النهائي جيداً، فأي قرار كان هو البطل؟ وإذا كان سيئاً، فأي قرار كان هو الشرير؟ الطريقة القديمة تعامل التسلسل بأكمله ككتلة واحدة كبيرة، مما يجعل من الصعب على الذكاء الاصطناعي تعلم تفاصيل كيفية التفكير خطوة بخطوة.

الحل: DISPO (محاكي "ماذا لو")

يحل DISPO هذه المشكلة عن طريق تحويل عملية توليد الذكاء الاصطناعي إلى سلسلة من القرارات الصغيرة القابلة للاختبار. إليك كيف يعمل، باستخدام منطق الورقة نفسها:

الحالة (اللقطة): تخيل أن الذكاء الاصطناعي في منتصف كتابة قصة أو حل مسألة رياضية. لقد ملأ بعض الكلمات، لكن العديد منها لا يزال "مقنعاً" (مخفياً). هذه الحالة "نصف المكتملة" هي الحالة (State).
الإجراء (الملء): يحتاج الذكاء الاصطناعي إلى ملء الأماكن المخفية.
التفرع (المحاكاة): بدلاً من مجرد ملئها مرة واحدة والمضي قدماً، يتوقف DISPO. يأخذ هذه "الحالة نصف المكتملة" ويقول: "دعونا نجرب ملء هذه الفراغات بثلاث طرق مختلفة الآن".
- تشبيه: تخيل طباخاً يتذوق الحساء. بدلاً من إضافة الملح وتقديمه فحسب، يأخذ ملعقة، يضيف الملح، ثم يتذوق. بعد ذلك، يأخذ ملعقة أخرى من نفس القدر، يضيف الفلفل، ويتذوق. إنه يقارن بين الملعقتين فوراً.
المكافأة (الدرجة): يتم إنهاء كل نسخة من نسخ "ماذا لو" هذه بسرعة (باستخدام بيانات مخبأة، مما يجعل العملية سريعة) ويتم تقييمها بناءً على الهدف النهائي (على سبيل المثال: "هل حلت هذه النسخة المسألة الرياضية؟").
التحديث (الدرس): يتعلم الذكاء الاصطناعي: "عندما كنت في هذه الحالة المحددة، كان ملء الفراغ بـ 'الملح' أفضل من 'الفلفل'". يقوم بتحديث دماغه لتفضيل الخيار الأفضل لهذا الموقف المحدد.

لماذا هو مميز: لا يوجد جهد إضافي شاق

تؤكد الورقة على خدعة كفاءة حاسمة. عادةً، لاختبار سيناريوهات "ماذا لو"، يجب على الذكاء الاصطناعي إعادة بدء العملية برمتها من البداية أو تشغيل محاكاة طويلة، وهو أمر بطيء ومكلف.

DISPO ذكي لأنه يستخدم اللوجيتز المخبأة (Cached Logits) (البيانات التي حسبها الذكاء الاصطناعي بالفعل أثناء عملية التفكير العادية).

تشبيه: الأمر يشبه امتلاك خريطة حيث رسم الذكاء الاصطناعي بالفعل جميع الطرق الممكنة. بدلاً من القيادة في كل طريق لمعرفة أين يؤدي، ينظر DISPO إلى الخريطة، ويختار بعض المسارات، ويعرف فوراً أي منها يؤدي إلى الوجهة.
النتيجة: يحصل الذكاء الاصطناعي على ملاحظات أكثر ذكاءً دون الحاجة إلى قوة حاسوبية إضافية لتشغيل عمليات محاكاة جديدة وطويلة. إنه "إضافة" تجعل طرق التدريب الموجودة أفضل دون إبطائها بشكل كبير.

النتائج: أفضل في الرياضيات والتخطيط

اختبر المؤلفون هذا على نموذج يسمى LLaDA-8B-Instruct. وقارنوا DISPO بطرق التدريب القياسية في:

الرياضيات: حل مسائل لفظية للمرحلة الابتدائية (GSM8K) ومسائل رياضية تنافسية أصعب (MATH500).
التخطيط: حل ألغاز السودوكو ولعبة الأرقام "Countdown".

النتائج:

تفوق DISPO باستمرار على الطرق القياسية.
كان جيداً بشكل خاص في السودوكو و Countdown.
لماذا؟ وجدت الورقة أن DISPO يساعد الذكاء الاصطناعي على تجنب "الالتزامات المبكرة".
- تشبيه: في السودوكو، قد يقوم ذكاء اصطناعي قياسي بملء رقم في وقت مبكر يبدو جيداً ولكن يكسر قاعدة في مرحلة لاحقة. DISPO، من خلال اختبار البدائل في تلك اللحظة المحددة، يدرك: "انتظر، إذا وضعت 5 هنا، فسأتعثر في الخطوة 10. دعنا نجرب 3 بدلاً من ذلك". إنه يؤجل القرارات السيئة حتى يحصل على مزيد من المعلومات.

الملخص

DISPO هو تقنية تدريب جديدة لنماذج الذكاء الاصطناعي التي تولد النصوص عن طريق ملء الفراغات. بدلاً من الانتظار حتى النهاية لقول "عمل جيد" أو "عمل سيء"، فإنه يتوقف عند خطوات وسيطة، ويختبر بعض خيارات "ماذا لو" فوراً، ويعلم الذكاء الاصطناعي أي حركة محددة أدت إلى أفضل نتيجة.

إنه يشبه إعطاء طالب اختباراً قصيراً أثناء الاختبار لتصحيح تفكيره في الوقت الفعلي، بدلاً من مجرد تقييم ورقة الامتحان النهائية. تثبت الورقة أن هذا يجعل الذكاء الاصطناعي أكثر ذكاءً في الرياضيات وألغاز المنطق دون الحاجة إلى المزيد من وقت الكمبيوتر لتشغيل الاختبارات.

ملخص تقني: تحسين سياسة حالة الانتشار (DISPO) لنماذج اللغة ذات الانتشار المقنع

بيان المشكلة

تقوم نماذج اللغة ذات الانتشار المقنع (MDLMs) بتوليد النصوص من خلال خطوات إزالة تشويش تكرارية، حيث تقوم بملء المواضع المقنعة بمرور الوقت. وبينما نجحت أساليب تحسين السياسة (PO) في تحسين الاستدلال والمواءمة في النماذج اللغوية، إلا أن معظم الأساليب الحالية تعتمد على المكافآت النهائية فقط. في هذه الأساليب، يتم تخصيص مكافأة عددية للنتيجة النهائية، ويتم نشر هذه الإشارة الواحدة إلى الخلف لجميع قرارات التوليد الوسيطة.

هذا "التخصيص الخشن للائتمان" (coarse credit assignment) غير فعال بشكل خاص لنماذج MDLMs. فخلال عملية التوليد (rollout)، تنتج نماذج MDLMs توزيعات الرموز (tokens) للعديد من المواضع المقنعة عند كل خطوة إزالة تشويش. ومع ذلك، فإن أساليب تحسين السياسة القائمة على التغذية الراجعة النهائية (مثل diffu-GRPO وSPG) تتجاهل معلومات الحالة-العمل الوسيطة هذه، وتتعامل مع مسار التوليد بأكمله كقرار واحد من نوع "البانديت" (bandit-style decision). ويرى المؤلفون أن هذا يترك معلومات وسيطة قيمة غير مستغلة لتخصيص الائتمان الدقيق.

المنهجية: تحسين سياسة حالة الانتشار (DISPO)

يقترح المؤلفون تحسين سياسة حالة الانتشار (DISPO)، وهو طبقة "إضافية" (plug-in) لتخصيص الائتمان مصممة لتحسين قرارات الملء الوسيطة مباشرة دون الحاجة إلى عمليات توليد انتشار متعددة الخطوات إضافية.

المفهوم الجوهري

يعيد DISPO صياغة عملية توليد MDLM كمسألة (حالة-عمل):

الحالة ( $s_{k,t}$ ): تسلسل وسيط مقنع جزئياً عند خطوة إزالة التشويش $t$ .
العمل ( $a_{k,t}$ ): الملء المشترك للمواضع المقنعة حالياً.
الآلية: بدلاً من انتظار الاكتمال النهائي، يقوم DISPO بـ "التفرع" (branching) عند حالات وسيطة مختارة. حيث يقوم بتثبيت التسلسل المقنع الحالي (الحالة) وإعادة أخذ عينات من عمليات الملء البديلة (الأعمال) للمواضع المقنعة باستخدام اللوجيتس (logits) المخزنة مؤقتاً من عملية التوليد.

سير العمل الخوارزمي

التوليد والتخزين المؤقت: يقوم عينة (sampler) قياسي لـ MDLM متعدد الخطوات بتوليد $K$ من المسارات باستخدام المعلمات المجمدة ( $\theta_{old}$ ). ومن الأهمية بمكان تخزين اللوجيتس (logits) لجميع المواضع المقنعة عند كل حالة تمت زيارتها خلال هذه العملية.
اختيار الحالة: يتم اختيار مجموعة فرعية من الحالات الوسيطة $S$ من المسارات المخزنة مؤقتاً.
التفرع في نفس الحالة: لكل حالة مختارة، يتم إعادة أخذ عينات من $Z$ من الأعمال البديلة (الملء) من اللوجيتس المخزنة مؤقتاً للسياسة المجمدة. وهذا يولد $Z$ من "الاكتمالات المتفرعة" دون إجراء أي عمليات تمرير أمامي (forward passes) جديدة عبر مُنتج الانتشار (diffusion sampler).
التسجيل والمزايا: يتم تقييم كل اكتمال متفرع باستخدام نفس دالة المكافأة النهائية $R(q, o)$ المستخدمة في تحسين السياسة القياسي. ويتم حساب "الميزة النسبية للمجموعة" (group-relative advantage) لكل فرع بناءً على متوسط المكافأة لـ $Z$ من الفروع عند تلك الحالة المحددة.
التحديث: يتم تحديث السياسة لتعظيم احتمالية الفروع ذات المكافأة العالية.
- التحديثات المحلية للرموز (Token-Local Updates): يتم حساب التدرج فقط على الرموز المملوءة حديثاً (العمل)، مع اعتبار الرموز المملوءة مسبقاً كجزء من الحالة.
- الاحتمالية البديلة (Surrogate Likelihood): للتعامل مع عدم إمكانية حساب احتمالية التسلسل الدقيقة في MDLMs، يستخدم DISPO بديلاً لخطوة واحدة للرموز المقنعة (اتباعاً لـ Zhao et al. [14]) مكيفاً مع التعريفات القائمة على الحالة.

الخصائص النظرية

يصيغ البحث DISPO كهدف عائد متوقع لحالة ثابتة.

صحة تدرج السياسة: يثبت المؤلفون أن خسارة الخطوة توفر مُقدِّراً صالحاً لتدرج السياسة لهدف الحالة الثابتة (Theorem A.1).
الهدف المختلط: يمكن دمج DISPO مع مُحسّن أساسي يعتمد على التغذية الراجعة النهائية (مثل diffu-GRPO) لتشكيل هدف مختلط واحد. وفي التوقع، يتوافق التدرج المشترك مع تدرج هذا الهدف المختلط (Theorem A.2).
تقليل التباين: يُظهر تصميم الاختيارات المتعلقة بتحديث الرموز الجديدة فقط والمتوسط عبر $Z$ من فروع نفس الحالة تقليل تباين التدرج (Propositions A.3 وA.4).

المساهمات الرئيسية

تخصيص الائتمان المشروط بالحالة: يقدم DISPO طريقة لاستغلال معلومات التوليد الوسيطة في MDLMs، من خلال معاملة التسلسلات المقنعة الوسيطة كحالات وعمليات ملئها كأعمال.
بنية إضافية فعالة: لا يتطلب DISPO أي عمليات توليد انتشار إضافية متعددة الخطوات أو خطوات مُحسِّن. فهو يعيد استخدام اللوجيتس المخزنة مؤقتاً أثناء عمليات التوليد القياسية ذات التغذية الراجعة النهائية، مما يضيف فقط تقييمات مكافأة خفيفة الوزن واستدعاءات بديلة لخطوة واحدة.
الأساس النظري: يوفر العمل اشتقاقاً رسمياً لمُقدِّر تدرج السياسة لملء القناع ذو الحالة الثابتة، ويثبت توافق الأهداف الخطوية والنهائية.
التحقق التجريبي: تُظهر التجارب المكثفة أن DISPO يتفوق باستمرار في الأداء على الخطوط المرجعية القوية تحت ميزانيات حوسبة متطابقة.

النتائج التجريبية

قيم المؤلفون DISPO باستخدام LLaDA-8B-Instruct، ودمجه مع اثنين من الخطوط المرجعية للتغذية الراجعة النهائية: diffu-GRPO وSPG.

الاختبارات المرجعية: غطت التجارب الاستدلال الرياضي (GSM8K, MATH500) والتخطيط الرمزي (Sudoku, Countdown).
الأداء: تفوق DISPO باستمرار على كلا الخطين المرجعيين عبر جميع الاختبارات.
- كانت المكاسب أكثر وضوحاً في مهام التخطيط (على سبيل المثال، تحسنت دقة Sudoku من ~14% إلى ~31% مع diffu-GRPO).
- استمرت التحسينات عبر ميزانيات توليد مختلفة ( $N_{gen} \in \{128, 256, 512\}$ ).
دراسات الاستبعاد (Ablation Studies):
- التحديثات المحلية للرموز: أدى تحديث الرموز المملوءة حديثاً فقط إلى تقليل تباين التدرج وتحسين الأداء مقارنة بتحديث جميع الرموز.
- التفرع (Branching): أدى زيادة عدد الفروع ( $Z$ ) إلى تقليل التباين، رغم أن $Z=2$ كان كافياً لتحقيق المكاسب.
- أخذ عينات الخطوات الزمنية: أدى أخذ العينات المنحاز للتأخر (التركيز على الحالات القريبة من الاكتمال) إلى نتائج أفضل من أخذ العينات الموحد أو المنحاز للبداية، مما يشير إلى أن الحالات الوسيطة القريبة من الاكتمال النهائي توفر إشارات أكثر موثوقية.
تحليل الخطأ: قلل DISPO من "الالتزامات المبكرة" (انتهاكات القيود المبكرة) في Sudoku، حيث نقل أول انتهاك إلى خطوات إزالة تشويش لاحقة مقارنة بالخطوط المرجعية.

الأهمية والادعاءات

يزعم البحث أن DISPO يقدم حلاً إضافياً عاماً لتحسين سياسة الانتشار المقنع يعالج القصور الجوهري في التخصيص الخشن للائتمان في أساليب التغذية الراجعة النهائية.

الكفاءة: من خلال إعادة استخدام اللوجيتس المخزنة مؤقتاً، يحقق DISPO تحسيناً أدق للسياسة دون التكلفة الحسابية لعمليات التوليد الإضافية، وهو ما يعد ميزة كبيرة مقارنة بالطرق التي تتطلب إشرافاً أكثر كثافة عبر أخذ عينات إضافية.
التكامل: يضع المؤلفون DISPO كعنصر مكمل للتقنيات الحالية مثل تشكيل المكافأة (مثل SAPO) أو الأهداف القائمة على المسار (مثل MDPO). فبينما تركز تلك الطرق على تكثيف المكافآت أو مقارنة المسارات، يقوم DISLO بتحسين توزيع العمل عند حالات ثابتة.
النطاق المحدود: يشير المؤلفون إلى أنه بينما يحسن DISPO الاستدلال والتخطيط، فإنه يضيف عبئاً زمنياً (wall-clock overhead) بسبب استدعاءات البدائل المتكررة غير المحسنة في تنفيذهم الحالي. وهم يؤكدون أن الطريقة هي استراتيجية تحسين وقت التدريب ولا تسرع الاستدلال بطبيعتها.

باختجصار، يثبت DISPO أن معاملة حالات الانتشار المقنعة الوسيطة كنقاط قرار يسمح لنماذج MDLMs بالتعلم بشكل أكثر فعالية من المكافآت النهائية، مما يسد الفجوة بين تحسين التسلسل الخشن وقرارات الرموز الدقيقة.