💬 NLP

Balancing Understanding and Generation in Discrete Diffusion Models

تقترح الورقة البحثية نموذج XDLM، وهو نموذج انتشار منفصل مبتكر يوحد بين نماذج القناع (Masked) والضجيج الموحد (Uniform-noise) من خلال نواة ضجيج ثابتة لتحقيق فهم دلالي فائق وتوليد عالي الجودة في خطوات معدودة في آن واحد، مما يعزز بفعالية جبهة باريتو للأداء عبر مهام النصوص والصور.

المؤلفون الأصليون: Yue Liu, Yuzhong Zhao, Zheyong Xie, Qixiang Ye, Jianbin Jiao, Yao Hu, Shaosheng Cao, Yunfan Liu

نُشر 2026-02-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yue Liu, Yuzhong Zhao, Zheyong Xie, Qixiang Ye, Jianbin Jiao, Yao Hu, Shaosheng Cao, Yunfan Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كتابة القصص أو رسم الصور. لديك معلمان مختلفان تماماً، كل منهما بارع في شيء واحد ولكنه سيء جداً في الآخر.

المعلم (أ) (المعلم "المقنع"): هذا المعلم يشبه المحرر الصارم. يأخذ جملة، ويغطي بعض الكلمات بمربعات سوداء (أقنعة)، ثم يطلب من الروبوت تخمين الكلمات المفقودة. هذا الأسلوب رائع لفهم السياق والمعنى. يتعلم الروبوت قواعد اللغة بشكل جيد جداً. ومع ذلك، عندما يُطلب منه إنشاء شيء من الصفر بسرعة، يكون بطيئاً وخرقاً؛ إذ يتطلب الأمر خطوات كثيرة للوصول إلى نتيجة جيدة.
المعلم (ب) (المعلم "الموحد"): هذا المعلم يشبه الفنان الفوضوي. يأخذ جملة ويقوم ببعثرة كل كلماتها عشوائياً لتصبح مجرد هراء. يجب على الروبوت إصلاحها كلها دفعة واحدة. هذا المعلم مذهل في إنتاج محتوى جديد بسرعة وبجودة عالية في خطوات قليلة فقط. ولكن، غالباً ما يعاني الروبوت في فهم المعنى العميق أو السياق، مما يؤدي إلى نواتج غير مفهومة إذا طُلب منه القراءة أو التحليل.

لفترة طويلة، كان على الباحثين الاختيار بين معلم أو آخر. لم يكن بإمكانك الحصول على روبوت يكون محرراً بارعاً وفناناً سريعاً في آن واحد.

الحل: المعلم "المزيج" (XDLM)

ابتكر مؤلفو هذه الورقة البحثية معلماً جديداً يسمى XDLM (نموذج لغة الانتشار المختلط). فكر في XDLM كطاهٍ ماهر يمزج أفضل المكونات من المعلم (أ) والمعلم (ب) في وصفة واحدة مثالية.

بدلاً من الاختيار بين "تغطية الكلمات" (المقنع) أو "بعثرة كل شيء" (الموحد)، يستخدم XDLM ما يسمى بـ "نواة ضجيج ثابتة" (stationary noise kernel). بعبارة بسيطة، هي قاعدة تقول: "أحياناً، سنخفي كلمة مثل المعلم (أ). وأحياناً أخرى، سنبعثر كلمة مثل المعلم (ب). سنفعل ذلك بطريقة متسقة ومتوازنة طوال العملية بأكملها."

كيف يعمل (التمثيل التشبيه لوصف الآلية)

تخيل أنك تحاول ترميم لوحة فنية ممزقة وفوضوية.

الطريقة القديمة (المعلم أ): تنظر بعناً إلى حواف التمزق وتحاول تخمين القطعة المفقودة بناءً على الصورة المحيطة. هذا ممتاز للدقة، ولكنه بطيء جداً إذا كانت اللوحة بأكملها ممزقة.
الطريقة القديمة (المعلم ب): تلقي باللوحة بأكملها في خلاط، ثم تحاول إعادة تجميعها عبر تخمين كل بكسل في وقت واحد. هذا سريع، ولكنه غالباً ما ينتج عنه فوضى باهتة.
الطريقة الجديدة (XDLM): تستخدم استراتيجية ذكية. تنظر إلى الصورة الكبيرة لفهم السياق (مثل المعلم أ)، ولكنك تسمح لنفسك أيضاً بإجراء تعديلات عشوائية صغيرة لإصلاح التفاصيل بسرعة (مثل المعلم ب). والأهم من ذلك، أن لدى XDLM خدعة خاصة: إذا ارتكب تخميناً سيئاً، يمكنه إعادة قناع (تحويل الكلمة إلى لغز مرة أخرى) والمحاولة مجدداً. هذا يسمح له بالهروب من الأفكار السيئة والوصج إلى الحل المثالي بشكل أسرع بكثير من الطرق القديمة.

ماذا وجدوا (النتائج)

تدعي الورقة أنه من خلال مزج هذين النهجين، تمكنوا من كسر قاعدة "المفاضلة". فعادةً، إذا أصبحت أفضل في التوليد، تصبح أسوأ في الفهم، والعكس صحيح. لقد حسن XDLM كلاً من الأمرين في نفس الوقت.

فهم أفضل: في اختبارات النصوص، فهم XDLM اللغة بشكل يقارب المعلم "المقنع" الأفضل، ولكنه أفضل بكثير من المعلم "الموحد".
توليد أسرع: عندما طُلب منه إنشاء صور أو نصوص في خطوات قلي القليلة، كان XDLM أسرع وذو جودة أعلى من المعلم "المقنع".
"النقطة المثالية": وجدوا "نسبة خلط" محددة (حوالي 10% ضجيج موحد، 90% ضجيج مقنع) كانت هي الأفضل. لقد كان التوازن المثالي، تماماً مثل العث_ور على درجة الحرارة المثالية لخبز كعكة.
نطاق واسع: اختبروا ذلك على نموذج لغوي ضخم (8 مليارات بارامتر). وعندما استخدموا XDLM لتعليمه كتابة الأكواد البرمجية، تضاعف أداء النموذج مقارنة بالطريقة القياسية، خاصة عندما كان عليه كتابة الكود بسرعة (في خطوات قليلة).

لماذا يهم هذا الأمر (بدون مبالغة)

لا تدعي الورقة أنها ستعالج الأمراض أو تحل مشكلة الجوع في العالم. بدلاً من ذلك، هي تحل مشكلة تقنية محددة في الذكاء الاصطناعي: كيف نجعل الذكاء الاصطناعي ذكياً (يفهم السياق) وسريعاً (يولد محتوى جيداً بسرعة) في آن واحد؟

لقد أثبتوا أنه لم يعد عليك الاختيار بين طرفين. فمن خلال توحيد الطريقتين الموجودتين رياضياً في إطار عمل واحد مرن، أنشأوا نموذجاً أكثر كفاءة، ويستخدم ذاكرة حاسوبية أقل، وينتج نتائج أفضل في كل من النصوص والصور. الأمر يشبه أخيراً بناء سيارة تكون سيارة اقتصادية للمشاوير اليومية وسيارة سباق عالية السرعة في آن واحد، وكل ذلك في هيكل واحد.

ملخص تقني: موازنة الفهم والتوليد في نماذج الانتشار المنفصلة

1. بيان المشكلة

في مجال النمذجة التوليدية المنفصلة، ظهر نموذجان مهيمنان بخصائص نقاط قوة وضعف متباينة:

نماذج لغة الانتشار المقنع (MDLMs): تتفوق هذه النماذج في الفهم الدلالي، ونمذجة الاحتمالية، والتعميم صفري القدرة (zero-shot). ومع ذلك، فإنها غالبًا ما تعاني في توليد مخرجات متماسكة ومتسقة سياقيًا عند تقييدها بعدد محدود من خطوات الاستدلال.
نماذج لغة الانتشار ذو الضجيج الموحد (UDLMs): تحقق هذه النماذج توليدًا عالي الجودة بعدد قليل من خطوات الاستدلال، لكنها غالبًا ما تتخلف عن نماذج MDLM في الاحتمالية صفرية القدرة والفهم الدلالي مع زيادة عدد خطوات الاستدلال.

حاليًا، لا يحقق أي من النموذجين أداءً متوازنًا عبر بُعدي الفهم والتوليد. هذا الاختلال حرج بشكل خاص في تطبيقات مثل تركيب الصور، حيث تكون خطوات الاستدلال عادةً أقل بكثير من إجمالي عدد الرقع (patches)، مما يفضل نماذج UDLM ولكنه يترك القدرة المتفوقة على التأصيل الدلالي لنماذج MDLM غير مستغلة بالقدر الكافي. التحدي الجوهري هو سد الفجوة بين هذين النموذجين للوصول إلى نموذج يحتفظ بقدرة التوليد القوية في الخطوات القليلة لـ UDLMs مع الحفاظ على الفهم الدلالي المتفوق لـ MDLMs.

2. المنهجية: XDLM

يقترح المؤلفون نموذج لغة الانتشار المختلط (XDLM)، وهو إطار عمل موحد يربط بين توزيعات الضجيج الموحد والمقنع عبر نواة ضجيج مستقرة (stationary noise kernel).

الآلية الجوهرية

على عكس النهج السابقة مثل GIDD، التي تعتمد على عمليات غير متجانسة زمنياً مكلفة حاسوبياً حيث تتغير خصائص الضجيج عند كل خطوة زمنية، يفرض XDLM نواة ضجيج مستقرة. تقوم هذه النواة هيكلياً بمطابقة الضجيج التدريجي مع الضجيج الهامشي، مما يسمح بتحليل هدف التدريب إلى ثوابت ثابتة وجداول زمنية ديناميكية.

تُحكم العملية الأمامية بواسطة مصفوفة انتقال $Q_{t|s}$ تُعرف كتركيب خطي لمصفوفة الوحدة $I$ ونواة ضجيج مستقرة $K$ :
$Q_{t|s} = \alpha_{t|s}I + \beta_{t|s}K$

يتم بناء نواة الضجيج $K$ كخليط من الضجيج الموحد وضجيج الامتصاص (المقنع):
$K = \frac{k}{N}J + \mu M$
حيث أن:

$k$ هو وزن نسبة خلط الضجيج الموحد.
$\mu$ هو وزن مكون الامتصاص (حيث $k + \mu = 1$ ).
$J$ هي مصفوفة الكل في واحد (انتقال موحد).
$M$ هي مصفوفة الامتصاص لحالة القناع (mask state).

التوحيد النظري

يوفر XDLM توحيداً نظرياً مبدئياً حيث:

ضبط $k=0$ (مقنع خالص) يستعيد هدف MDLM.
ضبط $k=1$ (موحد خالص) يستعيد هدف UDLM.
وبالتالي، ثبت أن MDLM و UDLM هما حالتان حدّيتان لصيغة XDLM.

التنفيذ الفعال

المساهمة التقنية الرئيسية هي اشتقاق صيغة قياسية (scalar formulation) للاحتمالات اللاحقة وتباعد KL. إن التقييم المباشر لهذه الحدود عبر عمليات المصفوفات مكلف للغاية بالنسبة لقواميس الكلمات الكبيرة. من خلال تعريف دوال مساعدة (معدل الضجيج $r(e)$ وخريطة الانتشار الأمامي $f_t(x, e)$ )، أعاد المؤلفون صياغة هدف التدريب إلى شكل قياسي قابل للتتبع. هذا التبسيط الجبري يخفف من اختناقات الذاكرة، مما يمكّن XDLM من التوسع إلى أحجام قواميس كلمات كبيرة دون تكاليف حوسبية باهظة.

3. المساهمات الرئيسية

التوحيد النظري: يؤسس XDLM جسراً صارماً بين توزيعات الضجيج الموحد والمقنع، مثبتاً أن النماذج القائمة (MDLM و UDLM) هي حالات خاصة لهذا الإطار الموحد.
التوسع الفعال للذاكرة: تتيح التبسيطات الجبرية المقترحة لحسابات الاحتمالات اللاحقة تدريباً واستدلالاً فعالين، مما يتغلب على الاختناقات الحوسبية المرتبطة بقواميس الكلمات الكبيرة في نماذج الانتشار المنفصلة.
الأداء المتوازن: نجح الإطار في دفع حدود باريتو (Pareto frontier) بين قدرة الفهم (الارتباك/Perplexity صفري القدرة) وجودة التوليد (التوليد في خطوات قليلة).

4. النتائج التجريبية

أُجريت التجارب عبر وسائط النصوص والصور، وكذلك على نماذج اللغة واسعة النطاق.

توليد وفهم النصوص

الاحتمالية صفرية القدرة (Zero-Shot Likelihood): على مجموعة التحقق من OpenWebText (OWT)، حقق XDLM ارتباكاً (PPL) قدره 24.097، وهو قريب من MDLM (23.321) وأفضل بكثير من UDLM (25.937). وعبر سبعة اختبارات معيارية صفرية القدرة (مثل AG News، LAMBADA، إلخ)، حافظ XDLM على متوسط PPL قدره 54.110، مساوياً لـ MDLM (53.650) ومتفوقاً على UDLM (59.574).
جودة التوليد: في أنظمة الخطوات القليلة (8-32 خطوة)، يستفيد XDLM من ديناميكيات الضجيج الموحد، محققاً جودة توليد تضاهي UDLM وتتفوق على النماذج المقنعة البحتة. وفي أنظمة الخطوات المتعددة، يحافظ على الصرامة الهيكلية للقناع ليتفوق على UDLM.

توليد الصور

ImageNet-1K: أظهر XDLM أداءً فائقاً في توليد الخطوات القليلة. عند 4 خطوات، خفض X_DM قيمة FID من 80.8 (MDLM) إلى 54.1. وعند 16 خطوة، حقق أدنى FID (25.77) بين النماذج المرجعية بدون استخدام توجيه خالي من التصنيف (CFG).
مع استخدام CFG: عند استخدام CFG (بمقياس 2.0)، حقق XDLM أفضل درجات FID عند 4 خطوات (13.55) و8 خطوات (8.96)، متفوقاً على UDLM في نظام الخطوات القليلة، بينما يقترب من أداء MDLM عند الخطوات الأعلى.

توسع النماذج اللغوية الكبيرة (LLM)

التدريب المسبق المستمر: قام المؤلفون بتكييف نموذج MDLM بـ 8 مليارات معلمة (LLaDA) إلى صيغة XDLM عبر 600 خطوة من التدريب المسبق المستمر.
توليد الكود البرمجي: في معيار MBPP، حقق LLaDA-XDLM درجة 15.0 في 32 خطوة استدلال فقط، وهو ما يضاعف فعلياً أداء LLaDA الأساسي (6.8). نتج هذا التحسن عن تقليل أخطاء الكود غير القابل للتنفيذ، مما يشير إلى تعزيز التماسك الهيكلي.
ديناميكيات التدريب: كشف التحليل عن ظاهرة "التقاطع في الأداء". فبينما تستقر النماذج المقنعة (masked baselines) بسرعة ولكنها تصل إلى مرحلة الثبات مبكراً، يحافظ XDLM على تحسن مستمر طوال عملية التدريب، مما يظهر قدرة توسع طويلة الأمد متفوقة.

5. الأهمية والادعاءات

يزعم البحث أن XDLM ينجح في دمج الخصائص الميكانيكية لكل من UDLM و MDLM في إطار عمل موحد. ومن خلال تحديد نسبة خلط مثالية ( $k=0.1$ ) كـ "نقطة مثالية"، كسر النموذج حدود باريتو للنماذج المرجعية. فهو يحقق قدرات فهم قوية دون التدهور الشديد في أداء التوليد المعتاد في النماذج المقنعة البحتة، وبالعكس، يحافظ على جودة توليد قوية دون التضحية بالتأصيل الدلالي.

يؤكد المؤلفون أن المكاسب ناتجة عن فعالية صيغة XDLM نفسها وليس مجرد خطوات تدريب إضافية أو آثار استدلال. يوضح العمل أن نماذج الانتشار المنفصلة يمكن توسيعها لتشمل أحجام قواميس كلمات كبيرة وأعداد معاملات ضخمة (8B) مع موازنة المقايضة بين الفهم الدلالي وكفاءة التوليد.

القيود المعترف بها:
يشير البحث إلى أن XDTM لم يتم تدريبه بعد من الصفر على نطاق واسع، وأن ظاهرة "التقاطع في الأداء" تتطلب مزيداً من الاستقصاء، كما أن استراتيجيات الاستدلاء الخاصة بالمجالات النصية والبصرية لم يتم تحسينها بالكامل بعد. بالإضافة إلى ذلك، لا يزال التفاعل بين الوسائط النصية والبصرية ضمن نموذج موحد واحد غير مستقصى.