💬 NLP

Beyond Masks: Efficient, Flexible Diffusion Language Models via Deletion-Insertion Processes

تقدم هذه الورقة نماذج لغوية تعتمد على انتشار الحذف والإدراج (DID)، والتي تستبدل نموذج إخفاء الرموز (token masking) بعمليات حذف وإدراج دقيقة لتحقيق كفاءة حوسبية فائقة، ودعم أصيل للأطوال المتغيرة، وقدرات تصحيح ذاتي جوهرية مقارنة بنماذج الانتشار اللغوية القائمة على الإخفاء.

المؤلفون الأصليون: Fangyu Ding, Ding Ding, Sijin Chen, Kaibo Wang, Peng Xu, Zijin Feng, Haoli Bai, Kai Han, Youliang Yan, Binhang Yuan, Jiacheng Sun

نُشر 2026-03-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fangyu Ding, Ding Ding, Sijin Chen, Kaibo Wang, Peng Xu, Zijin Feng, Haoli Bai, Kai Han, Youliang Yan, Binhang Yuan, Jiacheng Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية كتابة قصة. لفترة طويلة، كانت أفضل طريقة للقيام بذلك هي الكتابة التكرارية (Autoregressive): حيث يكتب الروبوت كلمة، ثم الكلمة التالية، ثم التي تليها، تماماً كما يفعل الإنسان أثناء طباعة جملة. هذه الطريقة سريعة، لكنها لا تستطيع استباق الأحداث أو إصلاح الأخطاء بسهولة بمجرد كتابة الكلمة.

ثم اخترع الباحثون نماذج الانتشار المقنعة (Masked Diffusion Models - MDLMs). فكر في الأمر كأنها لعبة "الفراغات" أو لغز حيث يبدأ الروبوت بجملة تخفي كل كلمة فيها خلف صندوق أسود (<MASK>). يتعين على الروبوت تخمين ما يوجد داخل هذه الصناديق واحداً تلو الآخر، ليكشف عن الكلمات حتى تكتمل الجملة.

المشكلة في الطريقة القديمة (MDLMs):

ضريبة "الصندوق الفارغ": حتى لو كان الروبوت يحتاج فقط لكتابة جملة قصيرة، فإنه غالباً ما يضطر لملء شبكة ذات حجم ثابت وطويل. إذا كانت الجملة قصيرة، فسيتم ملء بقية الشبكة برموز "الحشو" (مثل <PAD>) أو أقنعة فارغة. تستهلك الحواسيب طاقة هائلة في حساب هذه الصناديق الفارغة، تماماً مثل شاحنة توصيل تسلك مساراً كاملاً حتى لو كان لديها طرد واحد فقط لتسليمه.
البنية الجامدة: بمجرد أن يكشف الروبوت عن كلمة، يصبح عالقاً هناك. إذا ارتكب خطأً في البداية، فلا يمكنه تغيير ترتيب الكلمات بسهولة لاحقاً لتحسين تدفق الكلام. الأمر يشبه الكتابة على ورقة لا يمكنك فيها استخدام الممحاة أو نقل فقرة؛ عليك فقط الاستمرار في الكتابة فوق الخطأ.

الحل الجديد: نموذج الانتشار بالحذف والإدراج (DID)
يقترح مؤلفو هذه الورقة طريقة جديدة تسمى DID. بدلاً من إخفاء الكلمات في صنوق وتكشفها، يعمل نظام DID مثل النحات أو البستاني.

التشبيه: النحات مقابل الرسام

1. العملية الأمامية (الحذف = النحت والقطع)
تخيل كتلة من الرخام (الجملة الأصلية).

الطريقة القديمة (MDLM): تقوم بطلاء الكتلة بأكملها بطلاء أسود، ثم تحاول كشط الطلاء للكشف عن التمثال. عليك كشط السطح بالكامل، حتى الأجزاء التي لا تهم.
الطريقة الجديدة (DID): تبدأ بالتمثال كاملاً ثم تقطع منه قطعاً حتى لا يتبقى منه سوى قاعدة صغيرة. أنت تحذف الكلمات واحدة تلو الأخرى حتى تصبح الجملة فارغة. هذه هي العملية "الأمامية".

2. العملية العكسية (الإدراج = البناء للأعلى)
الآن، يتعين على الروبوت إعادة إنشاء التمثال من تلك القاعدة الصغيرة.

الطريقة القديمة (MDLM): يحاول ملء ثقوب محددة مسبقاً في شبكة ثابتة.
الطريقة الجديدة (DID): يبدأ من مساحة فارغة ويدرج الكلمات في الأماكن التي تناسبها تماماً.
- الخطوة 1: يدرج الكلمة الأولى.
- الخطوة 2: ينظر إلى تلك الكلمة ويدرج كلمة ثانية إما قبلها أو بعدها.
- الخطوة 3: يدرج كلمة ثالثة، ربداً بين الكلمتين الأوليين.

لماذا هذه الطريقة أفضل؟

لا توجد طاقة مهدرة (الكفاءة): لأن DID يبني الجملة من الصفر، فهو لا يضيع وقته أبداً في الحساب على مساحات "الحشو" الفارغة. إذا كانت القصة قصيرة، فإن الكمبيوتر يبذل جهداً قليلاً جداً. وإذا كانت القصة طويلة، فإنه يبذل جهداً أكبر. إنه يشبه شاحنة التوصيل التي تقطع المسافة المطلوبة للطرود التي تحملها فعلياً، بدلاً من الدوران في مسار ثابت في كل مرة.
التصحيح الذاتي (المرونة): في طريقة "إزالة القناع" القديمة، بمجرد وضع الكلمة، تصبح مقفلة. في DID، ولأن الروبوت يقوم بـ إدراج الكلمات، يمكنه تغيير البنية أثناء العمل. إذا أدرك أن كلمة ما يجب أن تكون في منتصف الجملة بدلاً من نهايتها، فيمكنه إدراجها هناك. الأمر يشبه امتلاك محرر سحري يمكنه تحريك الكلمات لتجعل تدفق الجملة مثالياً، مما يسمح بإصلاح الأخطاء أثناء البناء.
طول متغير: لا يهتم DID ما إذا كانت الجملة مكونة من 5 كلمات أو 500 كلمة. هو يستمر في الإدراج حتى تنتهي القصة. الطرق القديمة كانت تجبر كل شيء في صندوق ثابت الحجم، مما كان غير فعال للنصوص القصيرة.

السر الكامن وراء النجاح: رياضيات "الرتبة الفرعية" (Subsequence)
الجزء الأصعب في هذه الطريقة الجديدة هو تعليم الروبوت أين يدرج الكلمات. طور المؤلفون خدعة رياضية خاصة (باستخدام ما يسمى "البرمجة الديناميكية") لحساب عدد الطرق التي يمكن بها تشكيل جملة ما.

فكر في الأمر كالتالي: إذا كانت لديك جملة "القط جلس"، وأردت إدراج كلمة "بسرعة"، يحتاج الروبوت لمعرفة أن "القط بسرعة جلس" خيار صالح، ولكن "القط جلس بسرعة" هو أيضاً خيار صالح. الرياضيات الجديدة تسمح للروبوت بحساب احتمالية كل موضع إدراج ممكن فوراً، دون الغرق في حسابات معقدة.

النتائج
تظهر الورقة أن هذا النهج "النحات" (DID) هو:

أسرع: يقوم بتدريب وتوليد النصوص بسرعة أكبر بـ 3.79 مرة من الطرق القديمة لأنه يتوقف عن إضاعة الوقت في الصناديق الفارغة.
أذكى: ينتج نصوصاً ذات جودة أعلى مع أخطاء أقل.
أكثر مرونة: يتعامل مع النصوص القصيرة والطويلة بنفس الكفاءة دون الحاجة لفرض حجم معين عليها.

باختصار:
كانت الطريقة القديمة تشبه محاولة ملء شبكة ثابتة بقطع اللغز، مما يهدر الوقت في المساحات الفارغة ويجعلك عالقاً إذا ارتكبت خطأً. أما الطريقة الجديدة (DID) فهي تشبه بناء جملة من الصفر، بإضافة الكلمات في أماكنها الصحيحة تماماً، مما يسمح للروبوت بتعديل بنيتها أثناء البناء، ويوفر كميات هائلة من قدرة الحاسوب عبر القيام بالعمل المطلوب فعلياً فقط.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "ما وراء الأقنعة: نماذج لغوية انتشارية فعالة ومرنة عبر عمليات الحذف والإدراج" (DID)، المنشورة كبحث في مؤتمر ICLR 2026.

1. بيان المشكلة

تعتمد نماذج الانتشار اللغوي المقنعة (MDLMs) الحالية على نموذج يتم فيه إخفاء الرموز تدريجيًا (استبدالها برمز <MASK>) في العملية الأمامية، وإلغاء القناع عنها بشكل تكراري في العملية العكسية. ورغم فعاليتها، إلا أن هذا النهج يعاني من قصورين حرجين:

عدم الكفاءة الحسابية: يجب على نماذج MDLMs معالجة تسلسلات كاملة الطول في كل خطوة، بما في ذلك رموز <MASK> غير المعلوماتية. وفي جدول ضوضاء لوغاريتمي خطي نموذجي، يُهدر حوالي 50% من عمليات الفاصلة العائمة (FLOPs) على هذه الأقنعة. علاوة على ذلك، عند التعامل مع بيانات متغيرة الطول، تتطلب نماذج MDLMs حشوًا (padding) للوصول إلى طول ثابت، مما يؤدي إلى إدخال رموز <PAD> إضافية غير معلوماتية تزيد من تدهور الكفاءة.
جمود التوليد: بمجرد إلغاء القناع عن رمز ما في نماذج MDLMs، يصبح موقعه ومحتواه ثابتين. هذا النقص في المرونة يعيق التصحيح الذاتي (القدرة على إصلاح الأخطاء المرتكبة في مراحل مبكرة من التوليد) ويجعل نمذجة التسلسلات متغيرة الطول أمرًا صعبًا، حيث لا يمكن للنموذج تعديل طول التسلسل ديناميكيًا أثناء التوليد.

2. المنهجية: انتشار الحذف والإدراج (DID)

يقترح المؤلفون DID، وهو إطار عمل انتشار منفصل جديد يستبدل نموذج الحجب/إلغاء الحجب بعملية الحذف والإدراج.

أ. العملية الأمامية: الحذف

الآلية: بدلاً من الحجب، تقوم العملية الأمامية بـ حذف الرموز تدريجيًا من التسلسل حتى يصبح فارغًا (يُمثل برمز خاص هو <BOS>).
فضاء الحالة: يعمل النموذج على فضاء حالة متغير الطول ( $\cup_{d=0}^{\infty} V^d$ )، مما يدعم بشكل طبيعي تسلسلات بأي طول دون الحاجة للحشو.
الانتقال: يتم حذف الرموز بشكل مستقل بمعدل $\sigma(t)$ . ويتم اشتقاق احتمال الانتقال بناءً على عدد المتتاليات الفرعية المتميزة ( $N$ ) بين الحالة الحالية والبيانات الأصلية.

ب. العملية العكسية: الإدراج

الآلية: يبدأ التوليد من تسلسل فارغ (يحتوي فقط على <BOS>) ويقوم بـ إدراج الرموز تكراريًا في مواضع مختلفة حتى يتم إعادة بناء التسلسل الكامل.
التصحيح الذاتي: نظرًا لأنه يتم إدراج الرموز في تسلسلات موجودة بالفعل، يمكن للنموذج تعديل مواضع الرموز ديناميكيًا. إذا كان الإدراج المبكر غير مثالي، يمكن للإدراجات اللاحقة تحسين البنية، مما يوفر آلية تصحيح ذاتي جوهرية تفتقر إليها النماذج ذات المواضع الثابتة (سواء كانت ذاتية الانحدار أو نماذج إلغاء الحجب).
درجة الإدراج: يتعلم النموذج درجة إدراج $\bar{s}(x_t, t)[i, v]$ ، والتي تمثل احتمال إدراج الرمز $v$ في الموضع $i$ عند الزمن $t$ . هذه الدرجة قابلة للحساب في بنية المحولات (Transformer) (بشكل $|x_t| \times |V|$ ).

ج. هدف التدريب: إنتروبيا درجة إدراج إزالة الضجيج (DISE)

الاشتقاق: اشتق المؤلفون هدف تدريب يعتمد على إطار عمل إنتروبيا درجة إزالة الضجيج (DSE). لقد حددوا حدًا علويًا تباينيًا يسمى DISE.
الهدف: يقلل الهدف من الفرق بين درجات الإدراج المتوقعة ونسبة عدد المتتاليات الفرعية الحقيقية: $\frac{N(\text{Ins}(x_t, i, v), x_0)}{N(x_t, x_0)}$ .
الحساب الفعال: حساب أعداد المتتاليات الفرعية ( $N$ ) لجميع عمليات الإدراج الممكنة مكلف حسابيًا ( $O(mn^2V)$ ). قدم المؤلفون خوارزمية برمجة ديناميكية (DP) متوازية تحسب هذه النسب في زمن قدره $O(mn)$ عبر الاستفادة من جداول البرمجة الديناميكية للبادئات واللواحق (prefix and suffix DP tables)، مما يجعل التدريب ممكنًا.

د. التحسين للإعدادات ثابتة الطول (DICE)

لضمان مقارنة عادلة مع نماذج MDLMs، اشتق المؤلفون هدفًا مبسطًا يسمى إنتروبيا التقاطع لإزالة ضجيج الإدراج (DICE).

الاستقلال عن الزمن: في الإعدادات ثابتة الطول، تصبح درجة الإدراج مستقلة عن الزمن، مما يلغي الحاجة لتضمينات الوقت (time embeddings).
التطبيع (Normalization): تسمح خاصية التطبيع على مستوى التسلسل ( $\sum \bar{s} = |x_0| - |x_t|$ ) بتبسيط الهدف إلى خسارة "التقاطع الموزون" (weighted cross-entropy loss)، مما يحسن كفاءة المعلمات والتعلم.

3. المساهمات الرئيسية

نموذج جديد (DID): تقديم نموذج انتشار يعتمد على عمليات الحذف والإدراج، مما يلغي الحاجة لرموز <MASK> و <PAD>، ويغير فضاء الحالة بشكل جذري ليكون متوافقًا أصليًا مع الأطوال المتغيرة.
الصياغة النظرية: اشتقاق دقيق لعمليات الحذف الأمامية وعمليات الإدراج العكسية ضمن إطار عمل انتشار منفصل ذي زمن مستمر، بما في ذلك تعريف درجة الإدراج وهدف تدريب DISE.
الكفاءة الخوارزمية: تطوير خوارزمية برمجة ديناميكية متوازية لحل مشكلات عد المتتاليات الفرعية المطلوبة لهدف التدريب بكفاءة، مما يقلل التعقيد من تربيعي إلى خطي بالنسبة لطول التسلسل.
هدف مبسط ثابت الطول: اشتقاق هدف DICE، الذي يبسط التدريب للبيانات ثابتة الطول عبر إزالة التبعيات الزمنية والاستفادة من قيود التطبيع.

4. النتائج التجريبية

تقيم الورقة نموذج DID مقابل خطوط أساس قوية (RADD لنماذج MDLMs و ILM للنماذج القائمة على الإدراج) في كل من المهام ثابتة الطول ومتغيرة الطول.

مكاسب الكفاءة:
- سرعة التدريب: يحقق DID تسريعًا بمقدار 1.89× إلى 1.99× في مجموعات البيانات ثابتة الطول، وما يصل إلى 3.42× في مجموعات البيانات متغيرة الطول مقارنة بـ RADD.
- سرعة الاستدلال: نموذج DID أسرع بمقدار 1.58× إلى 3.79× من RADD. ويظهر هذا التسريع بشكل أوضح في الإعدادات متغيرة الطول بسبب التخلص من معالجة رموز <PAD>.
أداء النمذجة:
- ثابت الطول: عند المواءمة حسب الميزانية الحسابية (FLOPs)، يتفوق DID-F (المتواءم مع FLOPs) باستمرار على RADD عبر مجموعات بيانات متعددة (WikiText, Lambada, Pubmed, إلخ).
- متغير الطول: يتفوق DID بشكل كبير على كل من RADD و ILM في الإنتروبيا (PPL) وجودة العينات.
نمذجة الطول: يظهر DID قدرة فائقة على مطابقة توزيع الطول لبيانات التدريب. وخلافًا لـ RADD (الذي يولد مخرجات ثابتة الطول محشوة بـ <PAD>)، يقوم DID بتوليد تسلسلات ذات أطوال تتوافق طبيعيًا مع توزيع البيانات (تم التحقق من ذلك عبر تحليل CDF).
التصحيح الذاتي: يظهر التحليل النوعي قدرة DID على تحسين بنية الجملة أثناء التوليد، بينما تعاني نماذج MDLMs من تراكم الأخطاء بمجرد إلغاء القناع عن الرموز.

5. الأهمية

يمثل هذا العمل تحولًا كبيرًا في تصميم نماذج الانتشار اللغوية (DLMs). فمن خلال الابتعاد عن نموذج الحجب، يعالج DID أوجه القصور الجوهرية في معالجة الرموز غير المعلوماتية وجمود التوليد ثابت الطول.

القابلية للتوسع: إن التخلص من رموز <MASK> و <PAD> يجعل نماذج DLMs أكثر قابلية للتوسع بشكل كبير، خاصة في تطبيقات السياق الطويل والمتغير الطول.
المرونة: الدعم الأصلي للتسلسلات متغيرة الطول وآلية التصحيح الذاتي الجوهرية تجعل من DID إطار عمل أكثر قوة لمهام توليد النصوص الواقعية حيث يكون طول التسلسل غير متوقع.
الاتجاه المستقبلي: تضع هذه الورقة أساسًا نظريًا صارمًا للانتشار القائم على الإدراج، مما يفتح آفاقًا لأبحاث مستقبلية في النماذج الهجينة واستراتيجيات الاستدلال المتقدمة دون الأعباء المرتبطة بالحجب التقليدي.

باختًا، يثبت DID أن نماذج الانتشار اللغوية يمكن أن تكون فعالة حسابيًا ومرنة في آن واحد، متفوقة على نماذج الانتشار المقنعة الحديثة في السرعة والجودة والقدرة على التكيف.