🤖 machine learning

DACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language Models

يعالج DACA-GRRO أوجه القصور في أساليب التعلم التعزيزي الحالية لنماذج الانتشار اللغوية من خلال تقديم درجات تقدم إزالة الضجيج واحتمالية القناع الطبقي لتمكين التخصيص الائتماني الزمني وتقليل انحياز المجال المتوسط، مما يؤدي إلى تحسينات كبيرة في الأداء عبر مختلف معايير الاستدلال والتوليد.

المؤلفون الأصليون: Amin Karimi Monsefi, Dominic Culver, Nikhil Bhendawade, Lokesh Boominathan, Manuel R. Ciosici, Yizhe Zhang, Irina Belousova

نُشر 2026-05-19

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Amin Karimi Monsefi, Dominic Culver, Nikhil Bhendawade, Lokesh Boominathan, Manuel R. Ciosici, Yizhe Zhang, Irina Belousova

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم طالباً كيفية كتابة قصة، ولكن بدلاً من الكتابة كلمة بكلمة من اليسار إلى اليمين (مثل الشخص الطبيعي)، يبدأ الطالب بصفحة مليئة بالفراغات ويملؤها ببطء، واحداً تلو الآخر، حتى تكتمل القصة. هكذا تعمل نماذج اللغة الانتشارية (Diffusion Language Models). إنها طريقة جديدة لكتابة النصوص بواسطة الذكاء الاصطناعي، وهي سريعة جداً لأنها تستطيع ملء العديد من الفراغات في وقت واحد.

ومع ذلك، عندما حاول الباحثون تعليم هذه النماذج كيف تصبح أفضل باستخدام التعلم التعزيزي (Reinforcement Learning) (وهي طريقة يحصل فيها الذكاء الاصطناعي على "نقاط" للإجابات الجيدة و"تعبيرات استياء" للإجابات السيئة)، واجهوا مشكلتين كبيرتين. الورقة البحثية التي قدمتها، DACA-GRPO، تعالج هاتين المشكلتين بحيلتين ذكيتين.

إليك تفصيل المشكلة والحل، باستخدام تشبيهات بسيطة.

المشكلتان الكبيرتان

1. مشكلة "التصحيح الأعمى" (غياب التقدير الزمني للمسؤولية - No Temporal Credit Assignment)
تخيل طالباً يجري اختباراً في الرياضيات. يقضي 90% من وقته في مسح وإعادة كتابة رقم واحد، لكن اللحظة الوحيدة التي يكتب فيها الصيغة الرياضية الصحيحة هي الجزء الأكثر أهمية.

الطريقة القديمة: المعلم (مدرب الذكاء الاصطناعي) ينظر إلى الاختبار بأكم له ويعطي درجة واحدة. إنه يعامل كل ثانية من عمل الطالب على أنها متساوية في الأهمية. لا يدرك أن اللحظة التي استنتج فيها الطالب الصيغة كانت هي "اللحظة السحرية" التي تهم، بينما كان الباقي مجرد عمل روتيني ممل.
النتيجة: يتعلم الذكاء الاصطناعي ببطء لأنه يحصل على نفس "الائتمان" لملء فراغ بسيط كما يحصل عليه لحل لغز منطقي صعب. إنه يهدر طاقته في الأشياء السهلة ويفوت الدروس المهمة.

2. مشكلة "التخمين المعزول" (تقديرات الاحتمالية المتحيزة - Biased Likelihood Estimates)
تخيل أنك تحاول تخمين الكلمة التالية في جملة ما.

الطريقة القديمة: يُطلب من الذكاء الاصطناعي تخمين الكلمة التالية، لكن يُجبر على التظاهر بأنه ليس لديه أدنى فكرة عن الكلمات الأخرى في الجملة. يجب عليه تخمين "The cat sat on the..." دون معرفة ما هي "The cat". هذا يجعل التخمين صعباً للغاية وخاطئاً جداً، مما يؤدي إلى بيانات تدريب سيئة.
النتيجة: يتم تقييم الذكاء الاصطناعي في اختبار مُتلاعب به ضده. إنه يحاول التنبؤ بكلمة بدون أي سياق، مما يخلق "تحيزاً" يربك عملية التعلم.

الحل: DACA-GRPO

يقترح المؤلفون ترقية "جاهزة للاستخدام" تسمى DACA-GRPO. فكر فيها كمدرب ذكي يراقب عملية الكتابة الكاملة للطالب ويقيمهم بشكل أكثر عدلاً. يستخدم المدرب أداتين رئيسيتين:

الأداة الأولى: درجات التقدم في إزالة الضجيج (DPS) – "كاشف لحظة الإدراك!"

بدلاً من إعطاء كل ثانية من عملية الكتابة نفس الدرجة، تنظر DPS إلى مدى تغير فهم الطالب في كل خطوة.

كيف تعمل: بينما يملأ الذكاء الاصطناعي الفراغات، فإنه يضع توقعات لما يمكن أن توضع هناك من كلمات. أحياناً، يكون الذكاء الاصطناعي غير متأكد للغاية. ثم فجأة، يكشف عن كلمة، وتقفز ثقته في بقية الجملة.
التشبيه: تخيل محققاً يحل لغزاً. معظم الوقت، هو فقط يبحث عن أدلة (روتين). ولكن بعد ذلك، يجد بصمة إصبع محددة تجعل القضية بأكملها تتضح فجأة.
الإصلاح: تحدد DPS هذه "لحظات الإدراك" (Aha! moments). تقول: "مهلاً، هذه الخطوة المحددة التي استنتج فيها النموذج الهيكل كانت مهمة للغاية! لنمنح تلك الخطوة ائتماناً إضافياً". إنها تتجاهل الخطوات الروتينية المملة.
ميزة إضافية: هي تفعل ذلك مجاناً! فالذكاء الاصطناعي كان يقوم بالفعل بحساب هذه التوقعات أثناء العمل؛ الطرق القديمة كانت ببساطة تتخلص منها. هذه الطريقة تحفظها لاستخدامها كأداة للتقييم.

الأداة الثانية: احتمالية القناع الطبقي (SML) – "المُقيّم الغني بالسياق"

تعالج هذه الأداة مشكلة "التخمين المعزول".

كيف تعمل: بدلاً من طلب تخمين الكلمة التالية من الذكاء الاصطناعي مع صفر سياق، تطلب SML منه تخمين كلمة بينما تظهره معظم الكلمات الأخرى في الجملة.
التشبيه: تخيل أنك تلعب لعبة "Mad Libs" (ملء الفراغات).
- الطريقة القديمة: عليك تخمين الكلمة المفقودة دون رؤية الجملة. (صعب! قد تخمن "banana" لجملة "The cat sat on the...").
- الطريقة الجديدة (SML): يُسمح لك برؤية 75% من الجملة. ترى "...The cat sat on the" وعليك تخمين الكلمة الأخيرة. الآن، "mat" أو "sofa" هي تخمينات أفضل بكثير.
الإصلاح: من خلال منح الذكاء الاصطناعي رؤية أفضل للجملة أثناء تقييمه، تصبح "الدرجة" التي يحصل عليها أكثر دقة. يتوقف عن الارتباك بسبب نقص السياق.

النتائج: ماذا حدث؟

اختبر الباحثون هذا المدرب الجديد (DACA-GRPO) على ثلاثة أنواع مختلفة من مدربي الذكاء الاصطناعي وسبعة أنواع مختلفة من المهام. كانت النتائج بمثابة إعطاء طالب كتاباً مدرسياً أفضل ومعلماً أذكى:

الرياضيات والمنطق (Sudoku، Countdown): أصبح الذكاء الاصطناعي أفضل بشكل كبير. بالنسبة لـ Sudoku، قفزت الدقة بنسب هائلة (تصل إلى تحسن بنسبة 90% في بعض الحالات). وهذا منطقي لأن Sudoku تعتمد كلياً على "لحظات الإدراك" حيث يجبر رقم واحد بقية الشبكة على الاستقرار في مكانها.
البرمجة: كتب الذكاء الاصطناعي أكواداً برمجية أفضل، خاصة للبرامج الطويلة.
المسائل الرياضية: حل الذكاء الاصطناعي مسائل رياضية معقدة بدقة أكبر.
JSON (البيانات المهيكلة): أصبح الذكاء الاصطناعي أفضل بكثير في اتباع قواعد التنسيق الصارمة، وهو أمر يصعب عادةً على الذكاء الاصطناعي.

الملخص

تجادل الورقة البحثية بأن مدربي الذكاء الاصطناعي الحاليين "عميان" عن اللحظات الأكثر أهمية في عملية الكتابة، و"متحيزون" بسبب طرق الاختبار السيئة. DACA-GRPO يصلح ذلك من خلال:

رصد "لحظات الإدراك" (DPS) ومنحها ائتماناً إضافياً.
تقديم اختبار أكثر عدلاً للذكاء الاصطناعي (SML) عبر السماح له برؤية المزيد من السياق أثناء التعلم.

النتيجة هي ذكاء اصطناعي يتعلم بشكل أسرع، يرتكب أخطاء أقل، وهو أفضل بكثير في المهام المعقدة مثل الرياضيات، البرمجة، وألغاز المنطق. والأفضل من ذلك؟ إنها ترقية خفيفة يمكن إضافتها إلى أي نظام تدريب ذكاء اصطناعي موجود تقريباً دون الحاجة إلى إعادة بنائه من الصفر.

ملخص تقني: DACA-GRPO

بيان المشكلة

تقدم نماذج اللغات الكبيرة القائمة على الانتشار (dLLMs) بديلاً مقنعاً للنماذج ذات التوليد الذاتي (autoregressive) من خلال تمكين توليد النصوص بشكل متوازٍ وعالي الإنتاجية. ومع ذلك، فإن تطبيق التعلم المعزز (RL)، وتحديداً تحسين المجموعة النسبي (GRPO)، على نماذج dLLMs يواجه نقطتي ضعف جوهريتين تفشل الطرق الحالية في معالجتهما:

غياب التخصيص الزمني للمسؤولية (Temporal Credit Assignment): على عكس النماذج ذات التوليد الذاتي حيث يتم توليد الرموز (tokens) بالتتابع، تتنبأ نماذج dLLMs بجميع المواضع المحجوبة (masked positions) في آن واحد عند كل خطوة إزالة ضجيج (denoising step). تقوم طرق التعلم المعزز الحالية بتعيين ميزة (advantage) قياسية موحدة لكامل الإكمال، متجاهلة مسار إزالة الضجيج. هذا يعامل جميع الخطوات على أنها متساوية الأهمية، مما يفشل في التمييز بين الخطوات "الحاسمة" (التي يلتزم فيها النموذج بخيارات هيكلية رئيسية، مثل العمليات الرياضية أو تدفق التحكم في البرمجة) والخطوات "الروتينية" (الملء البسيط). نتيجة لذلك، يتم التخلص من التنبؤات الوسيطة — التي تشفر فهم النموذج المتطور — مما يؤدي إلى تحديثات غير فعالة للتدرج (gradient updates).
تقديرات احتمالية منحازة وعالية التباين: يعتمد تحسين السياسة القياسي في dLLMs على تقدير لوغاريتم الاحتمالية (log-likelihood) للإكمال. النهج السائد يقوم بحجب جميع رموز الإكمال ويتنبأ بها من صفر سياق بين الرموز (تقريب المجال المتوسط/mean-field approximation). هذا يؤدي إلى انحياز منهجي (التنبؤ بدون سياق هو أمر أصعب) وتباين عالٍ (أنماط الحجب العشوائية الفردية قد لا تمثل الصعوبة النموذجية)، مما يفسد تدرج السياسة (policy gradient).

المنهجية: DACA-GRPO

يقترح المؤلفون إطار عمل DACA-GRPO (تخصيص المسؤولية الواعي بإزالة الضجيج لـ GRPO)، وهو إطار عمل خفيف الوزن وقابل للتركيب (plug-and-play) يدمج آليتين متكاملتين لمعالجة نقاط الضعف المحددة.

1. درجات تقدم إزالة الضجيج (DPS)

تعالج DPS غياب التخصيص الزمني للمسؤولية من خلال قياس تطور اعتقاد النموذج عبر خطوات إزالة الضجيج دون الحاجة إلى عمليات تمرير أمامي (forward passes) إضافية.

الآلية: في كل خطوة إزالة ضجيج $k$ ، يتنبأ النموذج بتوزيعات لجميع المواضع المحجوبة. تحسب DPS "دلتا التقدم" ( $\delta_k$ ) عن طريق قياس التغير في متوسط لوغاريتم الاحتمالية للنموذج للمواضع التي تظل محجوبة في الخطوة التالية ( $k+1$ ). تحديداً، $\delta_k = S(k+1, k+1) - S(k, k+1)$ ، حيث $S$ هو متوسط لوغاريتم الاحتمالية لمجموعة المواضع التي لا تزال محجوبة عند الخطوة $k+1$ .
التفسير: تشير $\delta_k$ الموجبة الكبيرة إلى أن الكشف عن الرموز عند الخطوة $k$ حسن فهم النموذج بشكل كبير (خطوة حاسمة). بينما تشير $\delta_k$ الصغيرة أو السالبة إلى تقدم روتيني أو ارتباك.
التنفيذ: يتم تطبيع هذه القيم الخام لكل خطوة عبر الدفعة (z-score) للتعامل مع المقاييس غير المستقرة. يعمل المقياس الموحد على تعديل الميزة لكل رمز في خسارة التعلم المعزز: $\tilde{A}_i = A \cdot (1 + \lambda \cdot \bar{\delta}_{\text{birth}(i)})$ . هذا يعزز إشارات التعلم للرموز التي "ولدت" أثناء الانتقالات الحاسمة ويقلل من حدتها للخطوات الروتينية.
التكلفة: صفر عمليات تمرير أمامي إضافية، حيث تعيد استخدام الـ logits المحسوبة طبيعياً أثناء التوليد.

2. احتمالية الحجب الطبقي (SML)

تعالج SML انحياز المجال المتوسط في تقدير الاحتمالية من خلال ضمان التنبؤ بالرموز بسياق جوهري.

الآلية: بدلاً من حجب جميع الرموز (0% سياق)، تقوم SML بتقسيم مواضع رموز المخرجات إلى $K$ من الطبقات المنفصلة. لكل طبقة $S_k$ ، يتنبأ النموذج بالرموز في $S_k$ مع إبقاء جميع الطبقات الأخرى مرئية.
التقدير: يكون احتمالية التسلسل هي مجموع لوغاريتم الاحتمالات عبر جميع الطبقات: $\log p_{\text{SML}} = \sum_{k=1}^K \sum_{n \in S_k} \log p_\theta(o_n | o_{\setminus S_k}, q)$ .
الأثر: يتم التنبؤ بكل رمز مع وجود $(K-1)/K$ من التسلسل كسياق (على سبيل المثال، 75% سياق لـ $K=4$ )، مما يقلل بشكل كبير من الانحياز الناتج عن افتراض الصفر سياق.
التكامل:
- بالنسبة لـ الطرق الخالية من النسبة (مثل wd1): تُضاف SML كحد خسارة إضافي.
- بالنسبة لـ الطرق القائمة على النسبة (مثل Diffu-GRPO، GDPO): يتم دمج SML في نسبة الأهمية (importance ratio) عن طريق متوسط التنبؤ بالحجب الكامل مع التنبؤ الطبقي للحفاظ على التوافق مع نظام التوليد مع تقليل الانحياز.

المساهمات الرئيسية

تحديد نقاط الضعف: يحدد البحث رسمياً غياب التخصيص الزمني للمسؤولية والانحياز المنهجي لتقديرات احتمالية المجال المتوسط كعوائق أساسية أمام طرق dLLM الحالية.
درجات تقدم إزالة الضجيج (DPS): آلية مبتكرة لاستخراج أوزان أهمية لكل رمز من التنبؤات الوسيطة دون تكلفة حسابية إضافية، مما يسمح بتخصيص المسؤولية على مستوى الخطوة.
احتمالية الحجب الطبقي (SML): مُقدِّر احتمالية طبقي المواضع يقلل من انحياز المجال المتوسط من خلال تقييم الرموز بسياق غني، مكملاً تقنيات تقليل التباين الحالية.
إطار عمل موحد: دمج DPS وSML في إطار عمل DACA-GRPO القابل للتركيب والمتوافق مع مختلف متغيرات GRPO (مثل Diffu-GRPO، wd1، GDPO).

النتائج التجريبية

قيم المؤلفون DACA-GRPO على نموذج LLaDA-8B-Instruct عبر سبعة اختبارات مرجعية:

الاستدلال الرياضي: MATH-500, GSM8K.
توليد الكود: MBPP, HumanEval.
تحقيق القيود: Countdown, Sudoku.
التوليد المقيد: الالتزام بمخطط JSON (JSON Schema Adherence).

النتائج الرئيسية:

تحسينات مستمرة: حقق DACA-GRPO مكاسب ثابتة عبر جميع الاختبارات والطرق الأساسية.
- الاستدلال الرياضي: تحسن يصل إلى 5.6 نقطة مئوية (pp).
- توليد الكود: تحسن يصل إلى 7.4 نقطة مئوية (pp).
- تحقيق القيود: تحسن يصل إلى 36.3 نقطة مئوية (pp) (لاسيما في Sudoku، حيث قفزت دقة كل خلية من ~34% إلى ~70% لـ wd1 + DPS).
- الالتزام بـ JSON: تحسن يصل إلى 5.9 نقطة مئوية (pp).
التكامل (Complementarity): تعتبر DPS وSML مكملتين لبعضهما البعض. تحقق DPS أكبر المكاسب في المهام الهيكلية قصيرة التوليد (مثل Sudoku، Countdown) من خلال تحديد الخطوات الحاسمة. بينما تحقق SML أكبر المكاسب في المهام طويلة التنسيق (مثل الرياضيات، الكود) حيث تكون التبعيات بين الرموز قوية وانحياز المجال المتوسط شديداً.
حدود القابلية للتطبيق: فعالة SML للمخرجات الطويلة ولكنها تسبب انهيار النمط (mode collapse) في المهام القصيرة والمقيدة بشدة (مثل Sudoku) حيث يحدد السياق الجزئي الإجابة بشكل بديهي. في هذه الحالات، تكون DPS وحدها كافية وفعالة للغاية.

الأهمية والادعاءات

يزعم البحث أن التنبؤات الوسيطة "المهدورة" في توليد الانتشار تحتوي على إشارات كافية لتحسين التدريب بشكل ملموس عند استخدامها بشكل صحيح. تكمن الأهمية الأساسية لـ DACA-GRPO في:

الكفاءة: يستفيد من الحسابات الموجودة بالفعل (الـ logits) لتحسين تخصيص المسؤولية دون عبء حسابي كبير (تضيف DPS أقل من 1% من وقت التشغيل؛ وتضيف SML تكلفة متواضلة تتناسب مع $K$ ).
العمومية: يبدو أن هيكل غياب تخصيص المسؤولية هو عائق مشترك عبر مختلف صيغ الخسارة (القائمة على النسبة مقابل الخالية من النسبة) والمجالات (الرياضيات، الكود، القيود).
الأثر العملي: تشير التحسينات الدراماتيكية في المهام الهيكلية مثل Sudoku إلى أن تخصيص المسؤولية الموحد الحالي يقصر بشدة في خدمة المهام ذات التبعيات القوية بين الرموز.

يخلص المؤلفون إلى أنه بينما تعد DPS إضافة عالمية، يجب إعطاء الأولوية لـ SML للطرق والمهام التي يكون فيها جودة الاحتمالية هي القيد الحاسم، خاصة للتوليد طويل التنسيق. كما يقرون بالقيود المتعلقة بقابلية تطبيق SML على المخرات القصيرة والمقيدة، ويقترحون عملاً مستقبلياً على اختيار الخطوات التكيفي وتوسيع التقدير الطبقي ليشمل أهداف ما قبل التدريب (pre-training).