💬 NLP

DOS: Dependency-Oriented Sampler for Masked Diffusion Language Models

تقدم هذه الورقة البحثية استراتيجية DOS، وهي استراتيجية فك ترميز خالية من التدريب لنماذج اللغة ذات الانتشار المقنع (Masked Diffusion Language Models) تستفيد من التبعيات بين الرموز عبر مصفوفات الانتباه لتحسين جودة وكفاءة التوليد في مهام البرمجة والاستدلال الرياضي.

المؤلفون الأصليون: Xueyu Zhou, Yangrong Hu, Jian Huang

نُشر 2026-03-17

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Xueyu Zhou, Yangrong Hu, Jian Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: طريقة جديدة للكتابة باستخدام الذكاء الاصطنا Artificial Intelligence

تخيل أنك تحاول ملء الفراغات في قصة حيث تم استبدال كل كلمة بمسافة فارغة [_____]. لديك مساعد ذكي للغاية من الذكاء الاصطناي، وهو يعرف القصة، لكنه لا يستطيع سوى تخمين كلمة واحدة في كل مرة.

الذكاء الاصطناعي التقليدي (Autoregressive) يعمل مثل معلم صارم: "يجب عليك ملء الفراغ الأول، ثم الثاني، ثم الثالث". هذا الأسلوب بطيء لأنه لا يمكنه القيام بشيئين في وقت واحد.

نماذج الانتشار المقنعة (Masked Diffusion Models - MDLMs) هي الجيل الجديد في هذا المجال. إنهم يشبهون مجموعة من الطلاب يعملون معاً. يمكنهم النظر إلى جميع الفراغات في وقت واحد ومحاولة تخمين العديد منها في آن واحد. هذا أسرع بكثير (فك التشفير المتوازي/parallel decoding).

المشكلة:
رغم أن هذه النماذج الجديدة سريعة، إلا أن بها خللاً. فعندما يخمنون كلمات متعددة في نفس الوقت، غالباً ما يعاملون كل كلمة كجزيرة معزولة. يتساءلون: "ما هي الكلمة الأكثر احتمالاً هنا؟" و"ما هي الكلمة الأكثر احتمالاً هناك؟" دون أن يتساءلوا: "هل تعتمد الكلمة هنا على الكلمة هناك؟"

يؤدي هذا إلى أخطاء. على سبيل المثال، إذا كانت الجملة هي "القط جلس على الـ ___"، فقد يخمن النموذج كلمة "سجادة" للفراغ الأخير. ولكن إذا كان يخمن أيضاً الكلمة التي تسبق "جلس"، فقد يخمن "كلب"، مما ينتج جملة غير منطقية: "الكلب جلس على السجادة" (وهذا صحيح)، ولكن إذا كان السياق هو "القط جلس على الـ ___"، وخمن "كلب" للجزء الأول، فإن الجملة بأكملها ستفسد. يفشل النموذج في رؤية الارتباط بين الكلمات.

الحل: DOS (المُنتِج الموجه بالتبعية - Dependency-Oriented Sampler)

يقترح المؤلفون استراتيجية جديدة تسمى DOS. فكر في DOS كأنه مراقب حركة المرور لعملية التخمين لدى الذكاء الاصطناعي.

بدلاً من ترك الذكاء الاصطناعي يخمن الكلمات عشوائياً أو بناءً فقط على أي كلمة تبدو "أكثر ثقة" بمفردها، ينظر DOS إلى العلاقات بين الكلمات.

التشبيه الإبداعي: حفل عشاء

تخيل حفل عشاء حيث يحاول الجميع تخمين ما يفكر فيه المضيف بشأن الطبق التالي.

الطريقة القديمة (القائمة على عدم اليقين): يصرخ الجميع بتخميناتهم بناءً على ما يعتقدون شخصياً أنه الأكثر احتمالاً. "أعتقد أنها حساء!" "أعتقد أنها بيتزا!" إنهم يتجاهلون ما يقوله الشخص بجانبهم. إذا كان الشخص الذي بجانبك يهمس "إنها سلطة"، فقد تظل تصرخ "بيتزا" لأنك واثق في تخمينك الخاص. هذا يؤدي إلى وجبة فوضوية وغير متناسقة.
طريقة DOS: ينظر DOS إلى خريطة الانتباه (Attention Map). في نموذج "ترانسفورمر" (العقل المدبر وراء هذه النماذج)، توجد آلية تسمى "الانتباه" (Attention). إنها تشبه تسليط الضوء. عندما يفكر الذكاء الاصطناعي في كلمة معينة، يسلط الضوء على الكلمات الأخرى التي "يستمع" إليها.
- إذا كان الذكاء الاصطناعي يخمن كلمة "سلطة"، فقد يسلط الضوء بقوة على كلمتي "تتبيلة" و"وعاء".
- يقول DOS: "مهلاً، بما أن الذكاء الاصطناعي يولي اهتماماً كبيراً لـ 'وعاء' و'تتبيلة' لتخمين 'سلطة'، فيجب علينا تخمين 'سلطة' أولاً".
- بمجرد ملء كلمة "سلطة"، يمكن للذكاء الاصطناعي استخدام هذه المعلومة الجديدة لتخمين الكلمة التالية بدقة أعلى بكثير.

يعطي DOS الأولوية لملء الفراغات الأكثر ارتباطاً وثيقاً بالكلمات التي نعرفها بالفعل. إنه يبني الجملة بترتيب يحترم التدفق المنطقي، بدلاً من مجرد تخمين الكلمات "الأسهل" أولاً.

كيف يعمل (الخدعة السحرية)

يكشف البحث أن DOS لا يتطلب تدريباً (training-free). وهذا أمر بالغ الأهمية.

لا تدريب جديد: لا تحتاج لإعادة تعليم الذكاء الاصطناعي كيفية التحدث. هو يعرف بالفعل كيف يفعل ذلك.
استخدام "تسليط الضوء": يقوم الذكاء الاصطناعي بالفعل بحساب "درجات الانتباه" (مدى اهتمام كلمة بكلمة أخرى) أثناء تفكيره. يقوم DOS ببساطة بأخذ هذه البيانات واستخدامها لتحديد ترتيب التخمين.
النتيجة: الأمر يشبه إعطاء الذكاء الاصطناعي خريطة للتبعيات. بدلاً من التسكع بلا هدف، فإنه يسلك طريقاً مستقيماً من الكلمات المعروفة إلى الكلمات غير المعروفة، متبعاً أقوى الروابط.

لماذا يهم هذا؟

اختبر المؤلفون هذا على مهمتين صعبتين للغاية: البرمجة (Coding) و الرياضيات (Math).

البرمجة: إذا كنت تكتب برنامجاً، يجب أن يتطابق المتغير x المعرف في الأعلى مع x المستخدم في الأسفل. إذا خمن الذكاء الاصطناعي كل منهما بشكل مستقل، فسيتعطل الكود. يضمن DOS أن يربط الذكاء الاصطناعي النقاط ببعضها، مما ينتج كوداً يعمل بنجاح.
الرياضيات: الرياضيات هي سلسلة من المنطق. إذا كانت الخطوة 1 خاطئة، فالخطوة 2 عديمة الفائدة. يساعد DOS الذكاء الاصطناعي على حل السلسلة بأكملها بشكل صحيح من خلال فهم أن الخطوة 2 تعتمد بشكل كبير على الخطوة 1.

النتائج:

دقة أفضل: تفوق DOS على جميع الطرق السابقة في اختبارات الرياضيات والبرمجة.
المتانة (Robustness): ترتبك الطرق الأخرى إذا قمت بتغيير عدد الكلمات التي يخمنونها في وقت واحد (حجم الكتلة/block size). أما DOS فيظل قوياً بغض النظر عن كيفية تقسيم العمل.
السرعة: يعمل بشكل مثالي مع الطرق "السريعة" الموجودة، مما يجعل الذكاء الاصطناعي أسرع وأذكى في آن واحد.

الملخص

نماذج الانتشار المقنعة (Masked Diffusion Models) تشبه فريقاً من الفنانين يحاولون رسم لوحة من خلال ملء بقع مفقودة في وقت واحد.
الاستراتيجيات القديمة أخبرتهم أن يلونوا أي لون يشعرون به في كل بقعة.
DOS يخبرهم: "انظروا إلى البقع المجاورة لكم! إذا كنتم ترسمون سماءً، فانظروا إلى السحب أولاً. إذا كنتم ترسمون وجهاً، فانظروا إلى العينين أولاً".

من خلال احترام التبعيات بين الكلمات، يساعد DOS الذكاء الاصطناعي على توليد نصوص (ونصوص برمجية) متماسكة وعالية الجودة بشكل أسرع وأكثر موثوقية من ذي قبل، دون الحاجة إلى أي تدريب إضافي. إنه تعديل بسيط وذكي يجعل الذكاء الاصطناعي يفكر مثل البشر: من خلال فهم كيفية اتصال الأفكار ببعضها البعض.

إليك ملخص تقني مفصل لورقة البحث بعنوان "DOS: Dependency-Oriented Sampler for Masked Diffusion Language Models".

1. بيان المشكلة

ظهرت نماذج اللغات القائمة على الانتشار المقنع (Masked Diffusion Language Models - MDLMs) كبديل واعد للنماذج ذات الترتيب التلقائي (Autoregressive models)، حيث توفر ترتيبات توليد مرنة وقدرة على فك الترميز المتوازي. ومع ذلك، تعاني استراتيجيات فك الترميز الحالية لنماذج MDLMs المدربة مسبقًا من قصورين حرجين:

الاعتماد على عدم اليقين على مستوى الرمز (Token-Level Uncertainty): تختار الطرق الحالية (مثل Confidence و Entropy و Margin) الرموز المراد إزالة القناع عنها بناءً على عدم اليقين في تنبؤات الرموز الفردية فقط. وهي تفشل في نمذجة الارتباطات بين الرموز (inter-token dependencies) ومعلومات التسلسل بشكل صريح. يؤدي هذا إلى عدم تطابق بين توزيعات الرموز الهامشية التي يتنبأ بها النموذج والتوزيع المشترك الحقيقي للتسلسل.
الحساسية لهياكل الكتل (Block Structures): تعتمد العديد من استراتيجيات فك الترميز المتوازي على تقسيمات كتل استدلالية (مثل الانتشار القائم على الكتل). إذا لم يتوافق هيكل الكتلة المفروض مع هيكل الارتباط الأساسي للبيانات، فإنه يعطل التنظيم العالمي للتسلسل. وهذا يجعل جودة التوليد حساسة للغاية لاختيارات حجم الكتلة ويعيق التوسع نحو إعدادات الانتشار أحادية الكتلة النقية.

التحدي الجوهري هو تطوير استراتيجية لفك الترميز لا تتطلب تدريبًا، تأخذ في الاعتبار صراحةً الارتباطات بين الرموز لتوجيه ترتيب فك الترميز، وبالتالي استعادة التوزيع المشترك المستهدف بشكل أكثر فعالية دون الاعتماد على هياكل كتل جامدة.

2. المنهجية: المُنقي الموجه بالارتباط (Dependency-Oriented Sampler - DOS)

يقترح المؤلفون DOS، وهو استراتيجية لفك الترميز لا تتطلب تدريبًا، تستفيد من آليات الانتباه الداخلية لشبكة "ترانسفورمر" (Transformer) لتوجيه تحديثات الرموز.

المفهوم الأساسي

بدلاً من استخدام مقاييس عدم اليقين، يستخدم DOS مصفوفة الانتباه (attention matrix) من كتل الترانسفورمر كوسيط للارتباطات بين الرموز. الفرضية الأساسية هي أن أوزان الانتباه (تحديدًا $softmax(QK^\top/\sqrt{d})$ ) تشفر مدى اعتماد الرمز على الرموز الأخرى في التسلسل.

خطوات الخوارزمية

استخراج الانتباه: أثناء عملية التمرير الأمامي (forward pass) لنموذج MDLM، يتم استخراج مصفوفات الانتباه من كتلة ترانسفورمر محددة.
حساب درجة الارتباط (Dependency Scoring):
- ليكن $M$ هو مجموعة المواقع المقنعة (masked positions) و $U$ هو مجموعة المواقف غير المقنعة (unmasked/observed positions).
- لكل رمز مقنع $m \in M$ ، يتم حساب درجة الارتباط (dependency score) عن طريق جمع أوزان الانتباه من $m$ إلى جميع الرموز غير المقنعة $u \in U$ :
  $\text{dep}(m) = \sum_{u \in U} \text{Attn}(m, u)$
- تقيس هذه الدرجة مدى قوة اعتماد التنبؤ عند الموقع المقنع على السياق المتاح حاليًا.
اختيار الرموز: في كل خطوة لإزالة الضجيج (denoising step)، يتم اختيار الرموز المقنعة ذات درجات الارتباط الأعلى لإزالة القناع عنها. يضمن هذا حل الرموز الأكثر دعمًا بالسياق الحالي أولاً، مما يخلق ترتيبًا لفك الترميز متوافقًا مع الارتباطات.
التكامل: يمكن استخدام DOS كآلية تسجيل مستقلة (بديلة لـ Confidence/Entropy) أو دمجها مع طرق أخذ العينات المتوازية الموجودة (مثل EB-Sampler) لتحسين الكفاءة بشكل أكبر.

الميزة التقنية الرئيسية

بما أن مصفوفات الانتباه يتم حسابها بالفعل أثناء عملية التمرير الأمامي القياسية للترانسفورمر، فإن DOS لا يتطلب أي تكلفة تدريب إضافية ويضيف عبئًا حسابيًا ضئيلاً جدًا.

3. المساهمات الرئيسية

فك ترميز مدرك للارتباط (Dependency-Aware Decoding): حددت الورقة أن عدم اليقين على مستوى الرمز غير كافٍ لفك الترميز المتوازي، واقترحت استخدام أوزان الانتباه لنمذجة واستغلال الارتباطات بين الرموز بشكل صريح.
استراتيجية لا تتطلب تدريبًا: لا يتطلب DOS ضبطًا دقيقًا (fine-tuning) أو معاملات إضافية؛ فهو يستخدم آليات الانتباه الموجودة في البنية الأصلية.
المتانة تجاه حجم الكتلة: على عكس الطرق الأخرى التي يتدهور أداؤها بشكل كبير مع زيادة أحجام الكتل، يحافظ DOS على أداء ثابت عبر إعدادات الكتلة الواحدة (الانتشار الصرف) وإعدادات الكتل المتعددة.
تكامل سلس: يعمل DOS كمعيار عام يمكن دمجه مع تقنيات التسريع (مثل EB-Sampler و Fast-dLLM) لتحسين جودة التوليد وسرعة الاستدلال معًا.

4. النتائج التجريبية

قيم المؤلفون DOS على نموذجين من نماذج MDLMs مفتوحة المصدر (LLaDA-Instruct-8B و Dream-v0-Instruct-7B) عبر أربعة معايسات: HumanEval و MBPP (توليد الكود)، و GSM8K و MATH500 (الاستدلال الرياضي).

أبرز نتائج الأداء

دقة متفوقة: تفوق DOS بشكل كبير على النماذج المرجعية القائمة على عدم اليقين (Confidence، Entropy، Margin) والطرق القائمة على الكتل (Fast-dLLM، KLASS).
- في نموذج LLaDA-Instruct-8B (كتلة واحدة، 512 رمزًا)، حقق DOS دقة بلغت 84.31% في GSM8K، مقارنة بنحو 33% لأفضل نموذج مرجعي (Margin).
- في نموذج Dream-v0-Instruct-7B، حقق DOS نسبة 59.15% في HumanEval و 45.00% في MATH500، متفوقًا على جميع النماذج المرجعية.
الكفاءة: عند دمجه مع EB-Sampler (أي DOS+EB)، حققت الطريقة دقة أعلى مع الحفاظ على كفاءة استدلال تنافسية أو أفضل (مقاسة بعدد عمليات التقييم الأمامي - NFE) مقارنة بالمستخلصات الأخرى.
المتانة:
- الحساسية لحجم الكتلة: بينما أظهرت النماذج المرجعية مثل Fast-dLLM و KLASS انخفاضًا كبيرًا في الأداء مع زيادة أحجام الكتل (على سبيل المثال، من 32 إلى 256)، ظل DOS مستقرًا ومتينًا.
- اختيار الطبقة: تتميز الطريقة بالمتانة عبر طبقات الترانسفورمر المختلفة، حيث توفر الطبقات الضحلة (1–10) غالبًا إشارات ارتباط كافية.

5. الأهمية والخاتمة

يغير هذا العمل بشكل جذري نموذج فك الترميز لنماذج لغات الانتشار المقنع من النموذج المدفوع بعدم اليقين إلى النموذ-المدفوع بالارتباط.

رؤية نظرية: تثبت الدراسة أن استعادة التوزيع المشترك المستهدف في فك الترميز المتوازي يتطلب احترام هيكل الارتباط الأساسي بين الرموز، وهو ما تشفر آليات الانتباه ذلك بشكل طبيعي.
الأثر العملي: يتيح DOS لنماذج MDLMs توليد تسلسلات طويلة عالية الجودة (خاصة في مهام الاستدلال والبرمجة) دون الحاجة إلى قواعد تجريبية معقدة تعتمد على تقسيم الكتل. إنه يسد الفجوة بين مرونة نماذج الانتشار وتماسك التوليد التلقائي (Autoregressive).
الاتجاهات المستقبلية: يشير المؤلفون إلى أنه بينما يعد الانتباه وسيطًا جيدًا، يمكن للأعمال المستقبلية استكشاف هياكل ارتباط صريحة (مثل الرسوم البيانية الموجهة غير الحلقية - DAGs) أو تجميع الطبقات المتعددة لزيادة دقة نمذجة الارتباط.

باخت-صار، يوفر DOS آلية بسيطة ولكنها قوية لإطلاق الإمكانات الكاملة لنماذج لغات الانتشار المقنع، مما يجعلها أكثر قابلية للتطبيق في مهام التوليد المعقدة وطويلة المدى.