🤖 machine learning

Reinforcement Learning for Diffusion LLMs with Entropy-Guided Step Selection and Stepwise Advantages

تقدم هذه الورقة إطار عمل جديد للتعلم التعزيزي لنماذج اللغة الانتشارية يتغلب على احتمالات الإمكانات المستعصية من خلال صياغة التوليد كعملية قرار ماركوف ذات تدرج سياسة دقيق وغير منحاز، مستفيداً من اختيار الخطوات الموجه بالإنتروبيا ومكافآت إزالة الضجيج في خطوة واحدة لتحقيق أداء رائد في معايير الاستدلال البرمجي والمنطقي والرياضي.

المؤلفون الأصليون: Vishnu Teja Kunde, Fatemeh Doudi, Mahdi Farahbakhsh, Dileep Kalathil, Krishna Narayanan, Jean-Francois Chamberland

نُشر 2026-03-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Vishnu Teja Kunde, Fatemeh Doudi, Mahdi Farahbakhsh, Dileep Kalathil, Krishna Narayanan, Jean-Francois Chamberland

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم فنان موهوب ولكنه مرتبك قليلاً كيف يرسم لوحة فنية رائعة.

الطريقة القديمة (النماذج ذات الترتيب الذاتي - Autoregressive Models):
معظم نماذج الذكاء الاصطناك الحالية تشبه الفنانين الذين يرسمون ضربة فرشاة واحدة في كل مرة، من اليسار إلى اليمين. إنهم يقررون الكلمة الأولى، ثم الثانية، ثم الثالثة. إذا ارتكبوا خطأً في البداية، فعليهم الاستمرار في الرسم فوقه أو البدء من جديد. التعلم المعزز (RL) لهذه النماذج يشبه معلماً يقف بجانبهم ويقول: "ضربة جيدة!" أو "ضربة سيئة!" بعد كل ضربة فرشاة.

التحدي الجديد (نماذج الانتشار - Diffusion Models):
يركز البحث على نوع أحدث من الذكاء الاصطناعي يسمى نموذج لغة الانتشار (DLM). بدلاً من الرسم ضربة بضربة، تخيل أن هذا الفنان يبدأ بلوحة مغطاة تماماً بضجيج ثابت (مثل شاشة التلفاز التي لا تبث إشارة). يقوم هو بـ "إزالة الضجيج" ببطء، ليكشف عن الصورة جزءاً بجزء، دفعة واحدة. هو لا يضيف كلمة واحدة فحسب؛ بل يصقل الجملة بأكملها في وقت واحد، ويصلح الأخطاء في المنتصف أو في البداية أثناء تقدمه.

المشكلة؟ تعليم هذا الفنان أمر صعب.

مشكلة "الصندوق الأسود": لأنهم يغيرون الصورة بأكملها في وقت واحد، فمن الصعب حساب مدى احتمالية اتخاذهم لقرار معين في أي لحظة معينة. الرياضيات التقليدية تنهار هنا.
مشكلة "الإفراط في التعليم": إذا حاولت تقديم ملاحظات على كل خطوة من عملية إزالة الضجيج (قد تكون هناك 1000 خطوة!)، فإن ذلك سيستهلك الكثير من قدرة الحاسوب. بالإضافة إلى ذلك، بعض الخطوات تكون واضحة (الفنان متأكد بنسبة 100%)، بينما تكون خطوات أخرى مجرد تخمين.

حل البحث: معلم أكثر ذكاءً
يقترح المؤلفون طريقة جديدة لتدريب هذه النماذج باستخدام التعلم المعزز (Reinforcement Learning) الذي يحترم آلية عمل "الانتشار". أطلقوا عليها اسم EGSPO-SA. إليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. "مقياس الارتباك" (اختيار الخطوات الموجه بالاعتلاج - Entropy-Guided Step Selection)

تخيل الفنان وهو يعمل على اللوحة. أحياناً يكون واثقاً جداً (اعتلاج منخفض). وأحياناً أخرى يحدق في بقعة فارغة، غير متأكد مما إذا كان سيرسم شجرة أم سيارة (اعتلاج مرتفع).

الطريقة القديمة: يحاول المعلم نقد كل لحظة من عملية رسم اللوحة، حتى عندما يقوم الفنان ببساطة بإضافة ورقة شجر إلى شجرة بكل ثقة. هذا يضيع الوقت.
الطالط الجديدة (EGSPO): يمتلك المعلم "مقياس ارتباك". هو يتدخل فقط لتقديم الملاحظات عندما يكون الفنان في قمة ارتباكه (اعتلاج عالٍ).
- تشبيه: إذا كنت تتعلم القيادة، فإن مدربك لا يصرخ "أدر المقود!" بينما تقود في طريق مستقيم على طريق سريع خالٍ. هو يتدخل فقط عندما تقترب من تقاطع معقد. هذا البحث يعلم الذكاء الاصطناعي التركيز على "التقاطعات الصعبة" في عملية إزالة الضجيج.

2. "البلورة السريعة للخطوة الواحدة" (المزايا المرحلية - Stepwise Advantages)

في التدريب التقليدي، لمعرفة ما إذا كانت حركة معينة جيدة، قد تضطر لترك الفنان ينهي اللوحة بأكملها 100 مرة لترى أي نسخة كانت الأفضل. هذا بطيء ومكلف للغاية.

الطريقة القديمة: "لننهِ القصة بأكملها 100 مرة لنرى ما إذا كان اختيار تلك الكلمة جيداً".
الطريقة الجديدة (المزايا المرحلية): أدرك المؤلفون أن نموذج الانتشار يمتلك قوة خارقة: في أي نقطة من العملية، يمكنه التخمين بسرعة كيف ستكون النتيجة النهائية إذا انتهى الآن.
- تشبيه: بدلاً من انتظار انتهاء الفيلم بالكامل للحكم على مشهد ما، ينظر المخرج إلى مسودة أولية للنهاية بناءً على المشهد الحالي. إذا كانت المسودة تبدو سيئة، فهو يعرف أن المشهد الحالي يحتاج إلى عمل. هذا يعطي الذكاء الاصطناعي ملاحظات فورية ("عمل جيد!" أو "حاول مجدداً!") دون انتظار انتهاء العملية بأكملها.

3. النتيجة: فنان أسرع وأذكى

من خلال الجمع بين هاتين الحيلتين:

التعليم فقط عند الارتباك (لتوفير قدرة الحاسوب).
استخدام مسودة سريعة للحكم على التقدم (لتوف توقيت العمل).

يتعلم الذكاء الاصطناعي بشكل أسرع وأفضل من الطرق السابقة.

ماذا حققوا؟
اختبر البحث هذه الطريقة على:

البرمجة: كتابة برامج الكمبيوتر.
الألغاز المنطقية: مثل السودوكو أو المسائل الرياضية.
الاستنتاج: حل المسائل الكلامية المعقدة.

أظهرت النتائج أن هذه الطريقة الجديدة تفوقت على جميع الطرق الأخرى الموجودة لتدريب نماذج الانتشار. إنه يشبه أخذ فنان موهوب كان يعاني من عملية فوضوية وإعطاءه مدرباً ذكياً وفعالاً يعرف بالضبط متى يتحدث وكيف يقدم الملاحظات.

باخت-صار:
لقد وجد هذا البحث كيفية تدريب الجيل القادم من الذكاء الاصطناعي (نماذج الانتشار) دون استنزاف موارد الحاسوب. بد instead من إزعاج الذكاء الاصطناعي باستمرار، علموه التركيز على اللحظات التي يكون فيها غير متأكد، باستخدام اختصار ذكي للحكم على تقدمه فورياً. والنتيجة هي ذكاء اصطناعي يكتب الأكواد ويحل الألغاز المنطقية بشكل أفضل من أي وقت مضى.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "التعلم التعزيزي لنماذج الانتشار اللغوية (Diffusion LLMs) باستخدام اختيار الخطوات الموجه بالإنتروبيا والمزايا المرحلية."

1. بيان المشكلة

بينما نجح التعلم التعزيزي (RL) في تعزيز النماذج اللغوية ذات التوليد الذاتي (ARLMs) عبر مرحلة ما بعد التدريب، فإن توسيع هذه الأساليب لتشمل نماذج الانتشار اللغوية (DLMs) يطرح تحديات كبيرة:

الاحتمالات غير القابلة للحساب (Intractable Likelihoods): تعتمد نماذج ARLM على التفكيك السببي لكل رمز (token)، مما يسمح بحساب لوغاريتم الاحتمالية ونسب الأهمية بكفاءة. أما نماذج DLM فتولد النصوص عبر عملية إزالة ضجيج (denoising) تكرارية في فضاء مقنع (masked space)، مما يعني أن احتمالية المخرج النهائي لا تسمح بتفكيك بسيط لكل رمز.
التحيز في النهج الحالية: تعتمد الطرق الحالية لنماذج DLM غالبًا على احتمالات بديلة، أو تقريبات استدلالية، أو صياغات على مستوى المسار (trajectory-level) ذات مقدرات متحيزة. هذه الأساليب تحجب البنية التسلسلية لإزالة الضجيج وتفشل في نمذجة توزيع الائتمان (credit assignment) صراحةً عبر خطوات إزالة الضجيج الفردية.
التكلفة الحسابية: يتطلب تطبيق تدرجات السياسة القياسية (policy gradients) على نماذج DLM بشكل ساذج تقييم احتمالية التسلسل بأكمله، وهو أمر مكلف حسابيًا للغاية. علاوة على ذلك، تتجاهل الطرق الحالية التطور غير المنتظم لعدم يقين النموذج على طول مسار إزالة الضجيج.

2. المنهجية

يقترح المؤلفون إطار عمل مبدئي يعامل توليد الانتشار المقنع كـ عملية قرار ماركوف (MDP) ذات أفق زمن محدود عبر خطوات إزالة الضجيج، بدلاً من معاملة نموذج DLM كمولد (sampler) "صندوق أسود".

أ. صياغة MDP وتدرج السياسة الدقيق

تعريف MDP: يتم صياغة مسار إزالة الضجيج كعملية MDP حيث الحالة عند الزمن $t$ هي التسلسل المقنع جزئيًا $x_t$ (بالإضافة إلى الاستعلام $q$ )، والإجراء هو الانتقال إلى الحالة التالية $x_{t-1}$ (إزالة القناع عن رموز محددة).
التدرج الدقيق: اشتق المؤلفون نظرية تدرج سياسة دقيقة وغير متحيزة تتفكك عبر خطوات إزالة الضجيج. بخلاف نماذج ARLM حيث تكون التدرجات خاصة بكل رمز، يكون التدرج هنا خاصًا بكل خطوة:
$\nabla_\theta J(\theta) = \sum_{t=0}^{T-1} \mathbb{E} \left[ A_t^\pi(x_{t+1}, x_0, q) \nabla_\theta \log \pi_\theta(x_t | x_{t+1}) \right]$
حيث $A_t^\pi$ هي الميزة المرحلية (stepwise advantage)، والمعرفة بأنها المكافأة النهائية ناقص قيمة الحالة عند الخطوة $t+1$ . تتجنب هذه الصياغة التقييم الصريح لاحتمالية التسلسل غير القابلة للحساب.

ب. اختيار الخطوات الموجه بالإنتروبيا (EGSPO)

إن حساب التدرج لكل خطوة إزالة ضجيج ( $T \approx 10^2 - 10^3$ ) مكلف حسابيًا. لذا قدم المؤلفون استراتيجية لاختيار مجموعة فرعية من الخطوات $S$ ( $|S| \le K$ ) للتحديثات:

الأساس النظري: أثبتوا أن الخطأ في تقريب التدرج الكامل محكوم بمجموع إنتروبيا توزيعات السياسة عند الخطوات غير المختارة.
الاستراتيجية: لتقليل حد الخطأ هذا، تختار الطريقة الخطوات الـ $K$ التي تمتلك أعلى إنتروبيا (أقصى درجات عدم اليقين) في توزيع إزالة القناع. هذا يعطي الأولوية للخطوات التي يكون فيها النموذج الأقل ثقة، مما يعظم إشارة التعلم لكل وحدة حسابية.

ج. تقدير الميزة المرحلية (EGSPO-SA)

يتطلب تقدير القيمة المرجعية $V_t$ عادةً عمليات تشغيل (rollouts) متعددة الخطوات ومكلفة. اقترح المؤلفون تقريبًا خفيف الوزن:

الإكمال في خطوة واحدة: بدلاً من العمليات الكاملة، يستخدمون إكمالًا "جشعًا في خطوة واحدة" من الحالة الحالية $x_{t+1}$ باستخدام توزيع إزالة الضجيج بخطوة واحدة للنموذج ( $\pi_{\theta 0|t}$ ).
تصحيح التحيز: بما أن هذا التقريب متحيز (خاصة في بداية المسار)، فقد أدخلوا معلمًا فائقًا (hyperparameter) $\lambda_t$ لدمج المكافأة النهائية مع القيمة المقدرة، مما يخلق فعليًا ميزة مرحلية دون الحاجة إلى شبكة قيمة منفصلة.

د. الخوارزمية النهائية: EGSPO-SA

تجمع الخوارزمية الناتجة، EGSPO-SA (التحسين المرحلي للسياسة الموجه بالإنتروبيا مع المزايا المرحلية)، بين:

اختيار الخطوات: اختيار الخطوات ذات الإنتروبيا العالية لتحديثات التدرج.
تقدير الميزة: استخدام الإكمالات في خطوة واحدة لتقدير المزايا المرحلية.
دالة الخسارة: دالة بديلة مقصوصة (clipped surrogate loss) بأسلوب GRPO تتضمن هذه المزايا المرحلية وتنظيم KL.

3. المساهمات الرئيسية

صياغة MDP لنماذج DLM: أول صياغة لتوليد الانتشار المقنع كعملية MDP ذات أفق زمن محدود، مع تحديد صريح للحالات، والإجراءات، والانتقالات للتحليل باستخدام التعلم التعزيزي.
تدرج سياسة دقيق وغير متحيز: اشتقاق نظرية تدرج السياسة التي تتفكك عبر خطوات إزالة الضجيج، مما يقدم تعريفًا دقيقًا لـ المزايا المرحلية دون الحاجة لتقييم احتمالية التسلسل.
المقدرات الفعالة:
- اختيار الخطوات الموجه بالإنتروبيا: طريقة قائمة على أسس نظرية لتخصيص الحوسبة لخطوات إزالة الضجيج الأكثر إفادة (الأكثر عدم يقين).
- تقدير الميزة المرحلية: طريقة لتقدير المكافآت المتوسطة باستخدام إكمالات خفيفة في خطوة واحدة، مما يتجنب العمليات المكلفة أو شبكات القيمة.
أداء رائد (State-of-the-Art): إثبات نتائج متفوقة على نماذج DLM-RL السابقة (مثل d1, wd1, SPG) في مهام البرمجة والاستدلال المنطقي.

4. النتائج التجريبية

أُجريت التجارب باستخدام النموذج الأساسي LLaDA-8B-Instruct على معايير البرمجة (HumanEval, MBPP)، والاستدلال المنطقي (Sudoku, Countdown)، والاستدلال الرياضي (GSM8K, MATH500).

الاستدلال المنطقي (Sudoku/Countdown): حققت EGSPO-SA نتائج رائدة، متفوقة بشكل كبير على طرق الانتشار السابقة. كان تخصيص الائتمان على مستوى الخطوة فعالًا بشكل خاص للمهام ذات القيود العالمية الصارمة.
البرمجة (HumanEval/MBPP): تفوقت الطريقة على النماذج المرجعية (d1) عبر جميع أطوال التوليد، مما يثبت فائدة التحسين الموجه بالإنتروبيا في تركيب البرامج.
الاستدلال الرياضي: حققت EGSPO و EGSPO-SA أداءً مشابهًا أو أفضل قليلاً من الطرق السابقة، مما يظهر أنه بينما تساعد المزايا المرحلية، فإن إشارات مستوى التسلسل قوية أيضًا في هذا المجال.
كفاءة الحوسبة: أظهرت EGSPO-SA كفاءة فائقة مقارنة بالنموذج المرجعي d1. فقد وصلت إلى مكافآت تقارب الكمال بعدد أقل بكثير من العمليات الحسابية (FLOPs)، والعينات، وخطوات التدرج، مما يثبت أن تحديثات الخطوات الانتقائية أكثر فعالية من التحديثات الموحدة.

5. الأهمية

يسد هذا العمل فجوة حرجة بين النجاح النظري للتعلم التعزيزي في نماذج ARLM والتطبيق العملي للتعلم التعزيزي في نماذج DLM.

الصرامة النظرية: يتجاوز العمل مجرد استخدام البدائل الاستدلالية ليقدم اشتقاقًا دقيقًا وغير متحيز لتدرج نماذج الانتشار، موضحًا دور خطوات إزالة الضجيج في تخصيص الائتمان.
القابلية للتوسع: من خلال استغلال عدم اليقين الجوهري (الإنتروبيا) لنماذج الانتشار، تجعل هذه الطريقة تدريب RL قابلاً للتوسع لنماذج DLM، والتي كانت تُعتبر سابقًا مكلفة جدًا للتدريب باستخدام تقنيات RL القياسية.
الأداء: تضع هذه الدراسة معيارًا جديدًا لما بعد تدريب نماذج DLM، مما يثبت إمكانية تحسين نماذج الانتشار بفعالية لمهام الاستدلال المعقد والبرمجة، مما قد يفتح آفاقًا لمزاياها (السياق ثنائي الاتجاه، والتوازي) في التطبيقات عالية الأهمية.