💬 NLP

Plan for Speed: Dilated Scheduling for Masked Diffusion Language Models

تقدم هذه الورقة "مجدول إزالة القناع بالتوسع" (DUS)، وهو أسلوب مخصص للاستدلال فقط يقوم بتقسيم مواضع التسلسل إلى مجموعات غير متجاورة لإزالة القناع بشكل متوازٍ لتقليل كسب الإنتروبيا المشتركة، مما يحقق تسريعًا في توليد النصوص يصل إلى 5.8 ضعفًا في نماذج اللغة ذات الانتشار المقنع دون المساس بالجودة أو تعديل المُنقي الأساسي.

المؤلفون الأصليون: Omer Luxembourg, Haim Permuter, Eliya Nachmani

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Omer Luxembourg, Haim Permuter, Eliya Nachmani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل أحجية صور مقطوعة (jigsaw puzzle) ضخمة، ولكن بدلاً من رؤية الصورة، تبدأ بصندوق مغطى بالكامل بملصقات سوداء. هدفك هو إزالة الملصقات للكشف عن الصورة.

في عالم توليد النصوص باستخدام الذكاء الاصطناعي، تعمل نماذج اللغات ذات الانتشار المقنع (Masked Diffusion Language Models - MDLMs) بهذه الطريقة. فهي تبدأ بجملة حيث تكون كل كلمة مخفية (مقنعة) وتحاول "إزالة القناع" عنها واحدة تلو الأخرى لإعادة بناء الإجابة.

المشكلة: النهج "الواثق" بطيء

تعمل هذه النماذج تقليديًا كشخص حذر وواثق للغاية. فهي تنظر إلى الأحجية، وتخمن أي قطعة هي الأكثر احتمالاً لتكون صحيحة، ثم تزيل الملصق عن ذلك الموضع فقط. بعد ذلك، تنظر مجددًا، وتخمن الموضع التالي الأكثر ثقة، وتزيل ملصقًا آخر.

وعلى الرغم من أن هذا الأسلوب دقيق، إلا أنه بطيء للغاية. إذا كنت بحاجة للكشف عن 100 كلمة، فعليك القيام بـ 100 رحلة منفصلة إلى "آلة التخمين" (نموذج الذكاء الاصطناعي). الأمر يشبه محاولة طلاء جدار عن طريق غمس فرشاة صغيرة في علبة الطلاء، وطلاء بوصة مربعة واحدة، ثم غمس الفرشاة مرة أخرى، وتكرار العملية.

حاول بعض الباحثين تسريع هذه العملية عبر القول: "حسنًا، لنختر أكثر 10 مواضع ثقة ونزيل الأقنعة عنها جميعًا في وقت واحد!". لكن هذا غالبًا ما يؤدي إلى نتائج عكسية. لأن تلك المواضع العشرة تم اختيارها بناءً على الثقة، فهي عادة ما تكون متجاورة. وإزالة الأقنعة عن الجيران في وقت واحد يشبه محاولة طلاء 10 مربعات متجاورة دون معرفة كيفية اتصالها ببعضها البعض؛ إذ يصاب الذكاء الاصطناعي بالارتباك، ويرتكب خطأً، ويضطر للتراجع أو إنتاج كلام غير مفهوم.

الحل: استراتيجية "التمدد" (Dilated Strategy)

يقترح مؤلفو هذه الورقة البحثية طريقة جديدة للعب تسمى مجدول إزالة القناع المتمدد (Dilated Unmasking Scheduler - DUS).

فكر في DUS ليس كشخص يخمن أفضل موضع، بل كـ رئيس عمال بناء ذكي لديه خطة ثابتة. بدلاً من سؤال الذكاء الاصطناعي "أي كلمة تعتقد أنها صحيحة؟"، يقول رئيس العمال: "سنقوم بإزالة القناع عن الكلمات في المواضع 1، 5، 9، 13...".

إليك التشبيه:
تخيل أنك تملأ ممرًا طويلًا ومظلمًا بمصابيح كهربائية.

الطريقة القديمة (كلمة بكلمة): تقوم بتشغيل مصباح واحد، وتنتظر حتى يتكيف الغرفة، ثم تشغل المصباح التالي، وتنتظر، وهكذا. يستغرق الأمر وقتًا طويلاً.
الطريقة المتوازية "الواثقة": تنظر إلى الممر، وترى أن المصابيح الخمسة الأولى سهلة التخمين، فتقوم بتشغيلها جميعًا في وقت واحد. ولكن لأنها متجمعة معًا، يكون الضوء غير متساوٍ، وتفوتك البقع المظلمة في مكان آخر.
طريقة DUS: تستخدم جدولًا متمددًا.
1. الجولة الأولى: تشغل المصابيح في المواضع 1، 5، 9، 13، 17... (مع ترك فجوات كبيرة).
2. الجولة الثانية: تملأ الفجوات بينها: 3، 7، 11، 15...
3. الجولة الثالثة: تملأ الفجوات الصغيرة المتبقية.

لماذا ينجح هذا؟

سحر DUS يكمن في التوزيع (Spacing). من خلال إجبار الذكاء الاصطناعي على الكشف عن الكلمات التي تفصل بينها مسافات بعيدة عن بعضها البعض في الجولات الأولى، فإنك تتجنب مشكلة "التكتل".

الاستقلالية: الكلمات التي تفصل بينها مسافات لا تعتمد على بعضها البعض كثيرًا. من الأسهل تخمين الكلمة الأولى من الجملة والكلمة الأخيرة من الجملة بشكل مستقل عن تخمين الكلمة الخامسة والسادسة معًا.
بناء السياق: بمجرد الكشف عن تلك الكلمات المتباعدة، فإنها تعمل كمرتكزات (anchors). عندما يعود الذكاء الاصطناعي لملء الفجوات في الجولة الثانية، يكون لديه "خريطة" أغنى للجملة للعمل بها، مما يجعل التخمينات أكثر دقة بكثير.

النتائج: سريع ودقيق

اختبرت الورقة هذه الطريقة في مهام صعبة مثل حل المسائل الرياضية (GSM8K)، وكتابة الأكواد البرمجية (HumanEval)، والإجابة على أسئلة المعرفة العامة.

السرعة: يسمح DUS للذكاء الاصطناعي بإزالة القناع عن كتلة كاملة من النص في عدد قليل من الجولات (وقت لوغاريتمي) بدلاً من جولة واحدة لكل كلمة. أدى هذا إلى تسريع يصل إلى 5.8 ضعفًا مقارنة بالطريقة القديمة البطيئة.
الجودة: للمفارقة، من خلال إزالة الأقنعة عن عدد أقل من الكلمات في المرة الواحدة مع توزيعها مسافات، ارتكب الذكاء الاصطناعي أخطاءً أقل من الطرق المتوازية "الواثقة". لم يصبح أسرع فحسب، بل أصبح أكثر ذكاءً في الوقت نفسه.
لا حاجة لإعادة التدريب: هذا تحديث "جاهز للاستخدام" (plug-and-play). لست بحاجة لإعادة تدريب نموذج الذكاء الاصطناعي أو تغيير دماغه. أنت فقط تغير قواعد اللعبة لكيفية الكشف عن الكلمات أثناء اللعب.

الملخص

تقدم الورقة حيلة جدولة بسيطة: لا تخمن أسهل الكلمات أولاً؛ بل خمن الكلمات الأكثر توزعًا أولاً.

من خلال معاملة توليد النصوص كأنها مشروع بناء حيث تضع أعمدة بعيدة قبل ملء الجدران، يمكن للذكاء الاصطناعي توليد النصوص بسرعة أكبر بكثير دون أن يفقد قدرته على التفكير المنطقي، أو حل المسائل الرياضية، أو كتابة الأكواد. إنه يحول عملية بطيئة خطوة بخطوة إلى عملية متوازية سريعة، دون الحاجة إلى أي أجهزة جديدة أو تدريب إضافي للنموذج.

ملخص تقني: خطة للسرعة: الجدولة المتمددة لنماذج اللغات ذات الانتشار المقنع

1. بيان المشكلة

تقدم نماذج اللغات ذات الانتشار المقنع (MDLMs) بديلاً واعدًا لنماذج التوليد التلقائي (AR) التقليدية من خلال تمكين توليد النصوص بشكل متوازٍ وغير تلقائي الترتيب. ومع ذلك، توجد عقبة حرجة في كفاءة الاستنتاج الخاصة بها.

تعتمد النهج الحالية عادةً على المخططين الذاتيين (self-planners) الذين يختارون الرموز (tokens) لفك القناع عنها بناءً على ثقة النموذج أو الإنتروبيا. ويجادل البحث بأن المخططين القائمين على الثقة هذه يحاكيون سلوك التوليد التلقائي عن غير قصد؛ فمن خلال الاختيار الجشع للرموز الأكثر ثقة (والتي غالبًا ما تكون متجاورة مكانيًا)، فإنهم يتجاهلون التفاعلات بين خطوات فك القناع المتوازية. يؤدي هذا إلى عملية "قصيرة النظر" حيث يعود النموذج فعليًا إلى التوليد البطيء رمزًا تلو الآخر، مما يتطلب $O(G)$ من استدعاءات المُنقي (denoiser) لتسلسل طوله $G$ .

أما الاستراتيجيات البديلة، مثل الانتشار الكتلي شبه التلقائي، فتقسم التسلسلات إلى نطاقات متصلة ولكنها لا تزال تتطلب $O(B)$ من استدعاءات المُنقي لكل كتلة بحجم $B$ ، مما يفشل في استغلال التوازي بشكل كامل. علاوة على ذلك، فإن العمل الأخير الذي يؤطر فك القناع كمسألة تخطيط وقت الاستنتاج يتطلب نماذج إرشادية خارجية أو أهداف تدريب معقدة، مما يحد من عمليتها كحلول جاهزة للاستخدام.

2. المنهجية: المجدول المتمدد لفك القناع (DUS)

يقترح المؤلفون المجدول المتمدد لفك القناع (DUS)، وهو مخطط نقي لوقت الاستنتاج ومستقل عن النموذج، مصمم لتقليل زيادة الإنتروبيا المشتركة عند كل خطوة تنقية دون تعديل المُنقي الأساسي أو الحاجة لإعادة التدريب.

المفهوم الجوهري

يقوم DUS بتقسيم كتلة التسلسل ذات الحجم $B$ إلى مجموعات متمددة (dilated groups) غير متجاورة ويقوم بفك القناع عنها بالتوازي. يعمل المجدول على مبدأ تقليل فجوة الإنتروبيا ( $\Delta$ ) بين هدف مجموع الهوامش القابل للحساب وهدف الإنتروبيا المشتركة غير القابل للحساب، وهو أمر أساسي لأخذ العينات المتوازي عالي الجودة.

$\Delta(I_t; S_t) = \sum_{i \in I_t} H(X_i | S_t) - H(X_{I_t} | S_t)$

حيث أن $I_t$ هي مجموعة المؤشرات التي يتم فك القناع عنها عند الخطوة $t$ ، و $S_t$ هي الحالة الحالية. يتم تقليل الفجوة عندما تكون الرموز المختارة مستقلة شرطيًا.

التصميم الخوارزمي

يستخدم DUS جدولة حتمية من الخشن إلى الناعم:

النمط المتمدد: بدلًا من اختيار الرموز بناءً على درجات النموذج، يحدد DUS مسبقًا المؤشرات المراد فك القناع عنها باستخدام نمط تمدد ثابت.
التحسين التكراري: بالنسبة لكتلة بحجم $B$ $B$ ، يكمل المجدول الكتلة في $R = \lceil \log_a B \rceil$ $R = ⌈ lo g_{a} B ⌉$ من التكرارات (حيث $a > 1$ $a > 1$ هو الأساس، وعادة ما يكون 2).
- التكرارات المبكرة: فك القناع عن مجموعة متفرقة من الرموز المتباعدة (خطوة واسعة $s_t$ ). هذا يقلل من الاعتماد الشرطي بين الرموز التي يتم أخذ عينات منها في آن واحد تحت افتراض سلاسل ماركوف متغيرة الطول (VLMC) سريعة الاختلاط.
- التكرارات اللاحقة: ملء الفجوات المتبقية بدقة أدق مع زيادة غنى السياق $S_t$ بالجيران الذين تم الكشف عنهم.
التعقيد: يقلل هذا النهج عدد استدعاءات المُنقي لكل كتلة من $O(B)$ إلى $O(\log B)$ ، محققًا تعقيدًا إجماليًا قدره $O(\frac{G}{B} \log B)$ .

الضمانات النظرية

تحت افتراض VLMC سريع الاختلاط، يثبت البحث أن تباعد المؤشرات بمسافة $d$ يؤدي إلى اضمحلال المعلومات المتبادلة بينها هندسيًا. وبناءً على ذلك، تقترب الإنتروبيا الشرطية المشتركة للرموز المتباعدة من مجموع الإنتروبيات الشرطية الفردية لها، مما يدعم استخدام بديل إنتروبيا الهامش لأخذ العينات المتوازية.

3. المساهمات الرئيسية

فك تشفير مستقل عن النموذج ومخصص لوقت الاستنتاج فقط: يعد DUS استراتيجية "جاهزة للاستخدام" لا تتطلب أي تعديلات على بنية النموذج أو أوزانه أو إجراءات تدريبه.
جدولة فك قناع لوغاريتمية: يقدم استراتيجية تمدد حتمية من الخشن إلى الناعم تحترم السياق المحلي وتقلل الإنتروبيا المشتركة في $O(\log B)$ من التكرارات.
التحليل النظري: يقدم المؤلفون حدودًا نظرية تظهر أن DUS يقترب من حد الإنتروبيا المشتركة في كل تكرار تحت افتراضات الاختلاط السريع، مما يتناقض مع الخطوط المرجعية التي قد تتسبب في فجوات إنتروبيا كبيرة بسبب اختيار الرموز المتكتلة.
الامتداد الهجين المكمل: يوضح البحث أنه يمكن تطبيق مبدأ التباعد المتمدد كمرشح لاحق (post-filter) لأخذ العينات التكيفية (المحدودة بالإنتروبيا والمحدودة بالثقة)، مما يحسن دقتها عند ميزانيات حوسبة متساوية أو أعلى قليلاً.

4. النتائج التجريبية

قيم المؤلفون DUS عبر خمسة متغيرات من MDLMs (وهي LLaDA-8B، وDream-7B، وDiffuCoder-7B) عبر أربع فئات مرجعية:

الرياضيات: GSM8K، MATH500
البرمجة: HumanEval، MBPP
المعرفة العامة: BBH، MMLU-Pro
اتباع التعليمات: IFEval

النتائج الرئيسية

المفاضلة بين السرعة والدقة: يتفوق DUS باستمرار على المخططين القائمين على الثقة. عند تساوي السرعة، يحسن DUS دقة المهام النهائية بنسبة تصل إلى 27% في اختبارات الرياضيات و 20% في اختبارات البرمجة.
تسريع وقت التنفيذ (Wall-Clock): يحقق DUS تسريعًا في وقت التنفيذ يصل إلى 5.8× مقارنة بفك تشفير MDLM رمزًا تلو الآخر دون تعديل المُنقي. على سبيل المثال، في GSM8K مع LLaDA-8B، يحقق DUS (حجم الكتلة $B=32$ ) دقة 49.36% مع تسريع 5.8×، بينما يحقق الخط المرجعي (رمزًا تلو الآخر) دقة 72.63% ولكنه أبطأ بكثير.
المقارنة مع AR: في تكوينات محددة (مثل LLaDA-8B مع DUS على GSM8K)، يكون الطريقة أسرع بـ 5.6× من نموذج Llama-3-8B التلقائي الترتيب (AR) مع الحفاظ على دقة تنافسية.
المتانة: يعمل النهج بشكل جيد عبر مجالات متنوعة بما في ذلك توليد الكود والاستدلال في المعرفة العامة، مما يؤكد فعالية الجدولة المتمددة حتى في المهام التي قد تنتهك افتراضات الاختلاط السريع الصارمة.
التحسينات الهجينة: عند تطبيقه كمرشح لاحق لأخذ العينات التكيفية (EB/CB)، يحسن التباعد المتمدد الدقة (على سبيل المثال، +13.4% على HumanEval لـ EB) من خلال منع اختيار الرموز المتكتلة بشدة.

5. الأهمية والادعاءات

يزعم البحث أن DUS يعالج بنجاح "المفاضلة بين الجودة والسرعة" المتأصلة في نماذج اللغات ذات الانتشار المقنع. وخلافًا لطرق التسريع التقليدية التي تضعف الأداء، فإن DUS يعزز كلاً من سرعة الاستنتاج وجودة المخرجات مقارنة باستراتيجيات أخذ العينات المتوازية الحالية.

يؤكد المؤلفون أن DUS يطلق العنان للتوازي المتأصل في فك تشفير الانتشار دون الحاجة إلى:

إعادة تدريب النموذج.
إضافة نماذج مخططة مساعدة (مثل المخططين الموجهين بـ BERT).
تعديل هدف تدريب المُنقي.

من خلال تحويل المفاضلة بين الجودة والسرعة إلى دالة حتمية ومتوقعة لحجم الكتلة $B$ ، يوفر DUS مسارًا عمليًا لنشر نماذج لغوية ذات انتشار مقنع عالية الكفاءة والجودة. ويُقدم النهج كتقنية مكملة لمكاسب الكفاءة الأخرى مثل تخزين KV مؤقت (KV caching)، والذي يعمل بشكل متعامد عبر تقليل التكاليف لكل خطوة بدلاً من تغيير جدول فك القناع.