💬 NLP

Entropy Aware Reward Guidance for Diffusion Language Model Alignment

تقدم هذه الورقة EntRGi، وهي طريقة مبتكرة تقوم بالاستيفاء الديناميكي بين التخفيفات المستمرة للرموز والرموز الصلبة بناءً على الإنتروبيا التنبؤية لتمكين التوجيه الفعال للمكافأة لنماذج اللغة ذات الانتشار المنفصل، مما يظهر تحسينات متسقة على النهج الرائدة في كل من التكيف في وقت الاختبار وما بعد التدريب عبر التعلم المعزز الموجه بالمكافأة (RGRL).

المؤلفون الأصليون: Atula Tejaswi, Litu Rout, Constantine Caramanis, Sanjay Shakkottai, Sujay Sanghavi

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Atula Tejaswi, Litu Rout, Constantine Caramanis, Sanjay Shakkottai, Sujay Sanghavi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً موهوباً للغاية ولكنه مرتبك قليلاً يُدعى Diffusion. يحاول هذا الفنان رسم لوحة (أو كتابة قصة) من خلال البدء بلوحة مغطاة بالكامل بضجيج ساكن (مثل التلفاز الذي لا يوجد به إشارة) ثم يقوم تدريجياً بإزالة الضجيج للكشف عن الصورة.

عادةً، يعمل هذا الفنان في عالم "مستمر"، مثل خلط الأصباغ حيث يمكنك مزج أي درجة من اللون الأزرق. ولكن في هذه الورقة البحثية، يعمل الفنان مع رموز منفصلة (discrete tokens) — فكر في الأمر كقطع "ليجو" متميزة ومنفصلة. لا يمكنك مزج قطعة "حمراء" مع قطعة "زرقاء" لصنع اللون "الأرجواني"؛ بل يجب عليك اختيار أحدهما أو الآخر.

المشكلة التي يعالجها المؤلفون هي كيفية إخبار هذا الفنان: "لا، ليس تلك القطعة الحمراء! اجعلها قطعة حمراء أفضل"، وذلك باستخدام نموذج مكافأة (Reward Model) — وهو بمثابة ناقد يحكم على اللوحة النهائية.

المشكلة الجوهرية: انهيار "المترجم"

في الطريقة القديمة (النماذج المستمرة)، يتحدث الفنان والناقد نفس اللغة. يمكن للناقد أن يقول: "حرك فرشاتك قليلاً إلى اليسار"، ويفهم الفنان تماماً كيفية التعديل.

ولكن مع نماذج قطع الليجو هذه، الناقد يعرف فقط كيف يحكم على القطع الحقيقية والصلبة.

طريقة "التوقع" (The Expectation Method): حاول البعض إعطاء الناقد نسخة "ضبابية" من القطع (مزيج من الأحمر والأزرق) لكي يحصل الفنان على تعليمات سلسة. لكن الناقد تم تدريبه فقط على قطع حادة وحقيقية. الأمر يشبه طلب تقييم من ناقد طعام لـ "سموذي" مصنوع من مزيج الجزر والكرفس؛ فهو لا يعرف ماذا يقول لأن هذا المزيج لم يتذوقه من قبل. لذا، تكون التغذية الراجعة غير موثوقة.
طريقة "APS" (الأفضل سابقاً): حاول آخرون عرض قطعة حقيق وحادة على الناقد للحصول على درجة جيدة، ثم أخبروا الفنان بأن يتظاهر بأن القطعة لا تزال ضبابية ليحصل على تعليمات سلسة. هذا يشبه عرض قطعة ستيك مثالية على حكم، ثم إخبار الطاهي: "تخيل أن هذه القطعة هي حساء سائل" أثناء إعطائه التعليمات. التعليمات لا تتطابق مع الواقع، مما يؤدي إلى الارتباك.

الحل: EntRGi (مقياس الثقة)

قدم المؤلفون EntRGi (التوجيه بالمكافأة القائم على الإنتروبيا). فكر في هذا كـ مقياس ثقة ذكي للفنان.

بينما يعمل الفنان، يكون أحياناً متأكداً جداً من اختيار القطعة (الإنتروبيا المنخفضة/الثقة العالية)، وأحياناً أخرى يكون في حالة تخمين تام (الإنتروبيا العالية/الثقة المنخفضة).

عندما يكون الفنان واثقاً: يقول مقياس الثقة: "أنت تعرف ما تفعله! أظهر للناقد القطعة الحقيقية الصلبة". هذا يضمن أن يقدم الناقد درجة دقيقة وموثوقة لأنه يحكم على شيء يفهمه.
عندما يكون الفنان في حالة تخمين: يقول المقياس: "أنت غير متأكد! دعنا نظهر للناقد مزيجاً ضبابياً من الاحتمالات". هذا يسمح للفنان بالحصول على تعليمات مستمرة وسلسة حول كيفية التحسن دون كسر تدفق العملية الإبداعية.

السحر: يقوم EntRGi بالتبديل تلقائياً بين هذين الوضعين، قطعة بقطعة، بناءً على مدى تأكد الفنان. إنه يحصل على أفضل ما في العالمين: تغذية راجعة موثوقة من الناقد وتعليمات سلسة ودقيقة للفنان.

النتيجة: فن أفضل وتدريب جديد

تُظهر الورقة البحثية أن هذه الطريقة تعمل بشكل أفضل من المحاولات السابقة على مستويين:

التكيف وقت الاختبار (التعديل المباشر): عندما يرسم الفنان لوحة، يساعد EntRGi في توجيه العملية لإنتاج صورة نهائية أفضل دون الحاجة لإعادة تدريب الفنان من الصفر. الأمر يشبه وجود مخرج في موقع التصوير يعرف تماماً متى يعطي دفعة لطيفة ومتى يترك الممثل يرتجل.
التعلم المعزز الموجه بالمكافأة (RGRL): ابتكر المؤلفون أيضاً وصفة تدريب جديدة تسمى RGRL. بد instead من مجرد إظهار صورة نهائية للفنان وقول "عمل جيد" أو "عمل سيء" (وهو أمر غامض)، يستخدمون التغذية الراجعة السلسة من EntRGi لتعليم الفنان كيف يصبح أفضل. إنه يشبه مدرباً يعطي تمارين محددة ومفصلة بناءً على مستوى اللاعب الحالي، بدلاً من مجرد تسجيل النقاط.

الخلا الخلاصة

تزعم الورقة البحثية أنه باستخدام "مقياس الثقة" هذا (EntRGi)، يمكنهم توجيه نماذج قطع الليجو هذه لإنتاج نتائج ذات جودة أعلى من السابق. لقد اختبروا ذلك على نماذج ضخمة (7 مليارات بارامتر) ووجدوا أنها تتفوق باستمرار على أفضل الطرق السابقة، سواء عند توجيه النموذج أثناء التوليد أو عند استخدانه لتدريب النموذج ليصبح أكثر ذكاءً.

كما لاحظوا أن هذه الطريقة تعمل حتى عندما يستخدم الفنان والناقد "مفردات" مختلفة قليلاً (مجموعات مختلفة من قطع الليجو)، وهي مشكلة شائعة في العالم الحقيقي.

باختصار: لقد وجدوا طريقة للتحدث مع فنان الليجو المرتبك بطريقة تجعل الناقد سعيداً وتجعل الفنان يتعلم، مما يؤدي إلى قصص وصور أفضل.

ملخص تقني: التوجيه بالمكافأة الواعي بالإنتروبيا لنماذج لغة الانتشار المتوافقة

بيان المشكلة

أثبت التوجيه بالمكافأة (أو أخذ العينات البعدية) فعالية عالية في نماذج الانتشار المستمرة، حيث تتيح التغذية الراجعة القابلة للاشتقاق من نموذج المكافأة عملية صقل متكررة لخطوات التوليد. ومع ذلك، فإن تطبيق هذا النموذج على نماذج لغات الانتشار المنفصلة (dLLMs) يفرض تحديًا جوهريًا: إذ تولد هذه النماذج رموزًا (tokens) منفصلة، وهي غير قابلة للاشتقاق.

تحاول الأساليب الحالية سد هذه الفجوة، لكنها تواجه مقايضة حرجة بين موثوقية نموذج المكافأة ودقة التدرج (gradient accuracy):

الاسترخاء المستمر (التوقع): يسمح تغذية نموذج المكافأة بتمثيلات (embeddings) "ناعمة" (القيم المتوقعة لاحتمالات الرموز) بتدفق التدرج. ومع ذلك، يتم تدريب نماذج المكافأة عادةً على رموز صلبة؛ لذا فإن المدخلات الناعمة خارج نطاق المفردات تؤدي إلى إشارات مكافأة غير موثوقة وأداء متدهور.
المقدر المباشر (STE): تقيم أساليب مثل APS (Rout et al., 2025c) المكافأة بناءً على رموز صلبة تم أخذ عينات منها (لضمان الموثوقية)، ولكنها تنشر التدرجات كما لو كانت المدخلات ناعمة. وهذا يخلق عدم تطابق بين المكان الذي تُقيم فيه المكافأة والمكان الذي تُطبق فيه التدرجات، مما يؤدي إلى أخطاء تقريبية، خاصة عندما تكون إنتروبيا النموذج التنبؤية عالية (أي خلال خطوات إزالة الضجيج المبكرة).

المنهجية: EntRGi

يقدم المؤلفون EntRGi (التوجيه بالمكافأة الواعي بالإنتروبيا)، وهو آلية تقوم بالاستيفاء الديناميكي (interpolation) بين التخفيفات الرمزية المستمرة والرموز الصلبة المأخوذة من عينات على مستوى كل رمز على حدة. الابتكار الجوهري هو استخدام الإنتروبيا التنبؤية لكل رمز الخاصة بنموذج الانتشار لتحديد وزن الاستيفاء.

الآلية

عند كل موضع مقنع (masked position) $l$ أثناء عملية إزالة الضجيج، يقوم EntRGi ببناء تمثيل (embedding) مدخل $e_l^{EntRGi}$ لنموذج المكافأة كتركيبة محدبة:
$e_l^{EntRGi} = (1 - w_l)e_l^{soft} + w_l e_l^{hard}$
حيث أن:

$e_l^{soft}$ هو التمثيل الناعم المتوقع المستمد من توزيع احتمالات النموذج.
$e_l^{hard}$ هو تمثيل الرمز الصلب الذي تم أخذ عينة منه.
$w_l$ هو وزن تكيفي مشتق من إنتروبيا الرمز $H(q_l)$ ، وتحديدًا $w_l = H(q_l) / \log K$ .

منطق التكيف:

الإنتروبيا المنخفضة (الثقة العالية): عندما يكون النموذج واثقًا (إنتروبيا منخفضة)، فإن $w_l \to 0$ . يصبح المدخل بشكل أساسي هو التمثيل الناعم، مما يسمح بتدفق تدرج نظيف دون خطأ تقريب كبير لأن التمثيلات الناعمة والصلبة تكون متقاربة.
الإنتروبيا العالية (عدم اليقين العالي): عندما يكون النموذج غير متيقن (إنتروبيا عالية)، فإن $w_l \to 1$ . يتحول المدخل نحو تمثيل الرمز الصلب. هذا يضمن تلقي نموذج المكافأة لمدخلات واقعية وضمن التوزيع، مما يحافظ على موثوقية المكافأة حتى لو كان خطأ تقريب التدرج أعلى.

يحل هذا النهج التوتر من خلال الثقة في التمثيلات الناعمة عندما يكون النموذج واثقًا، والعودة إلى الرموز المنفصلة عندما يكون هناك عدم يقين.

ما بعد التدريب: RGRL

يقترح البحث أيضًا RGRL (التعلم المعزز الموجه بالمكافأة)، وهو وصفة لما بعد التدريب تستفيد من EntRGi (أو APS) لتوليد إكمالات موجهة بالمكافأة. تُستخدم هذه الإكمالات لصقل نموذج dLLM عبر التقطير الذاتي (self-distillation)، مما يخلق حلقة تغذية راجعة كثيفة للتدرج والمكافأة بدلاً من الاعتماد فقط على المكافآت القياسية المستخدمة في طرق RL مثل diffu-GRPO.

المساهمات الرئيسية

EntRGi: آلية مبتكرة للتوجيه بالمكافأة الواعي بالإنتروبيا لنماذج لغات الانتشار المنفصلة، توازن تكيفيًا بين دقة التدرج وموثوقية نموذج المكافأة.
تفوق التكيف وقت الاختبار: التحقق التجريبي الذي يظهر تفوق EntRGi على الحالة الراهنة (APS) والأساليب المرجعية الأخرى (Expectation، Best-of-N) عبر عدة اختبارات، لا سيما عند درجات حرارة أخذ العينات العالية حيث تكون الإنتروبيا أعلى.
تدريب ما بعد التخصيص RGRL: وصفة تدريب جديدة تستخدم العينات الموجهة بالمكافأة للصقل. أظهر المؤلفون أن RGRL-EntRGi يتفوق بشكل كبير على diffu-GRPO (خوارزمية RL واسعة الانتشار لـ dLLMs)، محققًا تحسنًا نسبيًا يصل إلى 70% في درجات المكافأة في مجموعات بيانات محددة.
المتانة تجاه عدم تطابق الرموز (Tokenizer Mismatch): تظل الطريقة فعالة حتى عندما تختلف الرموز بين dLLM ونموذج المكافأة (مثل LLaDA مقابل Qwen/Llama)، وهو سيناريو واقعي شائع تعاني فيه الأساليب المعتمدة على التدرج الحالية.

النتائج التجريبية

قيم المؤلفون EntRGi على نماذج بحجم 7 مليارات معلمة (Dream-v0-Instruct-7B و LLaDA-8B-Instruct) عبر خمس مجموعات بيانات متعددة المهارات وأربعة نماذج مكافأة.

أداء وقت الاستدلال: حقق EntRGi باستمرار درجات Top@1 و Avg@4 أعلى مقارنة بـ APS و Expectation. ومن الملاحظ أنه بينما تدهور أداء APS بشكل كبير عند درجات الحرارة العالية ( $\tau=0.7$ )، حافظ EntRGi على أدائه أو حسنه، مما يثبت قدرته على التعامل مع حالات الإنتروبيا العالية بفعالية.
كفاءة ما بعد التدريب: أظهر RGRL-EntRGi تقاربًا أسرع ودرجات مكافأة نهائية أعلى مقارنة بـ diffu-GRPO. كانت المكاسب أكثر وضوحًا في مجموعات البيانات ذات المكافآت الأولية المنخفضة (مثل WildChat-IF)، مما يشير إلى أن الطريقة فعالة بشكل خاص لمهام المحاذاة الصعبة.
دراسات الاستئصال (Ablation Studies): أكد التحليل أن التوزين القائم على الإنتروبيا يتفوق على البدائل الاستدلالية الأخرى (مثل مسافة L2-norm) وأن الطريقة تقلل من خطأ التقريب خلال خطوات إزالة الضجيء المبكرة حيث تكون الإنتروبيا في أعلى مستوياتها.

الأهمية

يزعم البحث أن EntRGi يوفر حلاً مبدئيًا للصراع بين "المنفصل والمستمر" في نماذج لغة الانتشار. من خلال استغلال عدم يقين النموذج كإشارة لتنظيم دمج التغذية الراجعة، يتيح EntRGi:

توجيه أقوى وقت الاستدلال: مما يسمح لنماذج dLLM بتحسين أهداف مهام محددة دون إعادة تدريب، مع موثوقية تضاهي نماذج الانتشار المستمرة.
بدائل قابلة للتطبيق لما بعد التدريب: فتح المجال أمام التغذية الراجدة الكثيفة للتدرج والمكافأة كبديل أكثر فعالية للضبط الدقيق الخاضع للإشراف (SFT) والتعلم المعزز القائم على المكافأة القياسية لـ dLLMs.

يضع المؤلفون هذا العمل كخطوة ضرورية نحو جعل التكيف الموجه بالمكافأة وما بعد التدريب قويًا وقابلًا للتوسع لفئة نماذج لغات الانتشار المنفصلة الناشئة.