💬 NLP

Dynamic Chunking for Diffusion Language Models

تقدم هذه الورقة نموذج الانتشار بالتقطيع الديناميكي (DCDM)، الذي يستبدل الكتل الموضعية الجامدة بقطع دلالية قابلة للتعلم ومحددة بالمحتوى عبر آلية انتباه تقطيع قابلة للتفاضل لتحسين كفاءة وأداء نماذج اللغة ذات الانتشار المنفصل.

المؤلفون الأصليون: Yichen Zhu, Xiaoming Shi, Peng Zhao, Weiyu Chen, Debing Zhang, James Kwok

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yichen Zhu, Xiaoming Shi, Peng Zhao, Weiyu Chen, Debing Zhang, James Kwok

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية كتابة قصة من خلال جعله يخمن الكلمات المفقودة واحدة تلو الأخرى. هكذا تعمل "نماذج انتشار اللغة" (Diffusion Language Models): فهي تبدأ بجملة مليئة بالهراء ثم تقوم بتنظيفها ببطء حتى تصبح منطقية.

المشكلة في الطريقة الأفضل حالياً للقيام بذلك (والتي تسمى الانتشار الكتلي - Block Diffusion) هي أنها تشبه قطع فيلم سينمائي إلى شرائط ثابتة الطول، بغض النظر عما يحدث في المشهد.

الطريقة القديمة (الكتل الثابتة): تخيل أن لديك مقطعاً مدته 10 ثوانٍ لمطاردة سيارات. الروبوت يقطع الفيلم كل ثانيتين.
- المشكلة: قد يقطع الفيلم في منتصف انفجار حاسم، فيفصل كلمة "بوم" عن "النار". أو قد يجمع محادثة هادئة مع تحطم صاخب لمجرد أنهما وقعا في نفس النافذة الزمنية البالغة ثانيتين. الروبوت سيضطر لتخمين الانفجار والمحادثة بشكل منفصل، رغم أنهما مرتبطان بعمق. إنها طريقة جامدة وتتجاهل تدفق القصة الفعلي.

يقترح مؤلفو هذه الورقة البحثية طريقة جديدة تسمى DCDM (نموذج انتشار التقطيع الديناميكي). بدلاً من قطع الفيلم بناءً على الوقت، يقومون بقطعه بناءً على المعنى.

الفكرة الجوهرية: "المقصات الذكية"

تخكن أن DCDM بمثابة امتلاكك لـ "مقصات ذكية" يمكنها النظر إلى القصة وتقرر أين تقطع بناءً على الحبكة، وليس بناءً على مؤقت زمني.

إذا كانت القصة عن مطاردة سيارات، فإن الروبوت يجمع كل كلمات "السيارة"، و"السرعة"، و"التحطم" في مجموعة واحدة، حتى لو كانت متباعدة في الجملة.
إذا انتقلت القصة إلى محادثة هادئة، فإنه يجمع تلك الكلمات معاً.
هذه المجموعات (التي تسمى الكتل - chunks) يمكن أن تكون ذات أحجام مختلفة ولا يشترط أن تكون متجاورة في النص الأصلي.

كيف يعمل الأمر: تشبيه "النادي"

داخل عقل الروبوت، توجد طبقة خاصة تسمى انتباه التقطيع (Chunking Attention). تخيل هذا كأنه حارس أمن عند مدخل نادٍ ليلي يمتلك $K$ من غرف كبار الشخصيات (VIP) المختلفة (المجموعات).

قاعدة الحارس: بدلاً من السماح للناس بالدخول بناءً على من وصل أولاً (الموقع)، ينظر الحارس إلى ما يرتدونه (المعنى).
خدعة الفضاء الفرعي (Subspace Trick): تذكر الورقة تفصيلاً تقنياً يسمى "تجميع الفضاءات الفرعية". بتبسيط شديد، بدلاً من أن يكون لكل غرفة "وجه" واحد (وهو أمر جامد للغاية وسهل الكسر)، يتم تعريف كل غرفة من خلال أسلوب أو طابع (فضاء فرعي منخفض الأبعاد).
- التشبيه: "غرفة الروك" ليست فقط لمن يمتلك وجهاً معيناً؛ بل هي لأي شخص يناسب "طابع الروك". هذا يجعل النظام أكثر مرونة واستقراراً، ويمنع الروبوت من الارتباك ووضع الجميع في غرفة واحدة فقط.
النتيجة: يقوم الروبوت بإنشاء "قناع سببي" (causal mask). يقول: "حسناً، سأقوم بإصلاح جميع الكلمات في غرفة 'مطاردة السيارات' في نفس الوقت، لكن لا يمكنني النظر إلى غرفة 'محادثة العشاء' الآن لأنها تحدث لاحقاً في القصة".

لماذا يعد هذا أفضل؟

اختبرت الورقة هذا النموذج مقابل طريقة "الكتل الثابتة" القديمة وطريقة "عدم وجود كتل".

فهم أفضل: لأن الروبوت يجمع الأفكار ذات الصلة معاً، فإنه يتعلم بشكل أسرع ويرتكب أخطاء أقل. الأمر يشبه الدراسة للاختبار عبر تجميع المفاهيم ذات الصلة (مثل تاريخ روما بالكامل) بدلاً من دراسة الصفحة 1، ثم الصفحة 2، ثم الصفحة 3، حتى لو كانت الصفحة 2 تتحدث عن شيء مختلف تماماً.
تدريب أسرع: يصل الروبوت إلى مستوى عالٍ من المهارة في خطوات تدريبية أقل.
انتصارات مستمرة: سواء كان الروبوت صغيراً (0.5 مليار معلمة) أو كبيراً (1.5 مليار معلمة)، فقد تفوقت طريقة "التقطيع الذكي" هذه باستمرار على الطرق القديمة في مهام مثل الرياضيات، والبرمجة، والاستنتاج العام.

العقبة (القيود)

تشير الورقة إلى قيد واحد: عدد "غرف كبار الشخصيات" (الكتل) ثابت قبل أن يبدأ الروبوت في التعلم.

التشبيه: الأمر يشبه وجود فصل دراسي يحتوي على 16 مكتباً بالضبط. إذا كان لديك 5 طلاب، فستبقى 11 مكتباً فارغة. وإذا كان لديك 20 طالباً، فسيضطر 4 منهم للوقوف. الروبوت لا يضيف تلقائياً المزيد من المكاتب إذا أصبحت القصة طويلة جداً أو معقدة للغاية؛ بل يلتزم بالعدد الذي أُعطي له. ومع ذلك، وجد المؤلفون أن اختيار عدد معقول (مثل 16 أو 32) يعمل بشكل جيد في معظم الحالات.

الملخص

تقدم الورقة طريقة لجعل مولدات النصوص بالذكاء الاصطناعي أكثر ذكاءً من خلال السماق لها بـ تجميع الكلمات حسب المعنى بدلاً من مجرد موقعها في الجملة. إنه الفرق بين تنظيم المكتبة حسب ترتيب وصول الكتب على الشاحنة وبين تنظيمها حسب النوع والموضوع. النتيجة هي نموذج يفهم السياق بشكل أفضل، ويتعلم بشكل أسرع، ويكتب نصاً أكثر تماسكاً.

ملخص تقني: التجزئة الديناميكية لنماذج لغة الانتشار (Diffusion Language Models)

1. بيان المشكلة

ظهرت نماذج لغة الانتشار (dLLMs) كنموذج تنافسي لتوليد النصوص، حيث توفر القدرة على فك التشفير لعدة رموز (tokens) بالتوازي. ويعد "انتشار الكتل" (Block Diffusion) تصميماً مهيمناً لنماذج dLLMs القابلة للتوسع، وهو يعمل على تحليل التسلسل بشكل تلقائي (autoregressively) عبر كتل موضعية ثابتة الحجم ومتصلة. داخل كل كتلة، يتم إزالة الضجيج (denoising) للرموز بشكل ثنائي الاتجاه وبالتوازي، بينما يتم الحفاظ على التبعيات بين الكتل بشكل تلقائي.

يجادل المؤلفون بأن هذا التقسيم الموضعي الجامد هو تجريد محدود للغة. فالاعتمادات الدلالية (semantic dependencies) غالباً لا تتوافق مع التجاور المحلي؛ فعلى سبيل المثال، قد يتحكم كيان ما في إشارات بعيدة، أو قد يكون رمز برمجي مقيداً بأسطر برمجية بعيدة عن موقعه. يمكن للكتل الموضعية الثابتة أن تفصل الرموز المتماسكة دلالياً (عبر تقسيمها عبر حدود الكتل) بينما تجمع رموزاً مجاورة غير مرتبطة ببعضها البعض. هذا عدم التطابق يجبر النموذج على تطبيق تحليل "التسلسل التلقائي للكتل" عند مستوى من التفصيل لا يعكس البنية الدلالية للتسلسل، مما قد يؤدي إلى هدر المعلومات الهيكلية الموجودة بالفعل في البيانات.

2. المنهجية: نموذج انتشار التجزئة الديناميكية (DCDM)

لمعالجة عدم التطابق هذا، يقترح البحث نموذج انتشار التجزئة الديناميكية (DCDM). يستبدل DCDM الكتل الموضعية الثابتة بـ كتل دلالية محددة بالمحتوى يتم تعلمها من البداية إلى النهاية (end-to-end).

المكون الأساسي: انتباه التجزئة (Chunking Attention)

الابتكار المركزي هو طبقة توجيه قابلة للاشتقاق تسمى "انتباه التجزئة"، والتي تقوم بتجميع الرموز في $K$ من المجموعات بناءً على تمثيلاتها الدلالية بدلاً من مواضعها.

تجميع الفضاءات الفرعية (Subspace Clustering): بدلاً من تعيين الرموز للمجموعات بناءً على المسافة من مركز نقطة واحدة (وهو أمر غير مستقر في الفضاءات عالية الأبعاد)، يمثل DCDM كل كتلة كـ فضاء فرعي قابل للتعلم منخفض الأبعاد. يتم تحديد كل مجموعة $k$ بواسطة مصفوفة أساس $\mu_k \in \mathbb{R}^{d \times h}$ .
آلية التوجيه (Routing Mechanism): يتم توجيه الرموز إلى مجموعة بناءً على توافقها (إسقاطها) مع الفضاء الفرعي المقابل. يتم حساب التقارب بين الرمز $x_\ell$ والمجموعة $k$ عبر بوابة ثنائية الخطية: $p_{k,\ell} = \mu_k^\top x_\ell$ .
المسار الناعم مقابل المسار الصلب (Soft vs. Hard Routing):
- المسار الناعم: تقوم الوحدة بحساب مصفوفات التقارب الزوجية وتجميعها عبر وظيفة الـ softmax لإنتاج مخرج قابل للاشتقاق. يسمح هذا المسار لمعلمات الفضاءات الفرعية $\{\mu_k\}$ باستقبال التدرجات من هدف الانتشار.
- المسار الصلب: لعملية إزالة الضجيج الفعلية، يتم اشتقاق تعيين مجموعة صلب $c_\ell$ (عبر $\arg\max$ لدرجات التوافق). يؤدي هذا إلى استحثاث قناع انتباه "سببية الكتلة" (chunk-causal attention mask) حيث يمكن للرموز داخل نفس الكتلة الانتباه لبعضها البعض بشكل ثنائي الاتجاه، لكن الرموز في الكتل اللاحقة لا يمكنها الانتباه للرموز في الكتل السابقة (أو العكس حسب التعريف السببي، وتحديداً $c_m \leq c_\ell$ ).

التدريب والبنية

التحليل (Factorization): يتم تحليل احتمالية التسلسل بشكل تلقائي عبر هذه الكتل الديناميكية: $p_\theta(x) = \prod_{k=1}^K p_\theta(x^{(k)} | x^{(<k)})$ , حيث تمثل $x^{(k)}$ الرموز في الكتلة الدلالية رقم $k$ .
التصميم ثنائي المسار (Dual-Stream Design): لمنع تسرب المعلومات أثناء التدريب (حيث قد يكشف الجزء النظيف من المدخلات الحقيقة الأرضية للجزء المشوش)، يستخدم DCDM قناع ضجيج. يضمن هذا القناع أن المواضع المقابلة للرموز المحجوبة (masked tokens) في المسار المشوش لا يمكنها الانتباه للقيم الحقيقية للأماكن المحجوبة الأخرى في المسار النظيف.
موازنة الحمل (Load Balancing): لمنع "انهيار المركز" (حيث تهيمن عدد قليل من المجموعات وتتلقى المجموعات الأخرى أي إشارة تدرج)، طبق المؤلفون آليتين:
1. خسارة مساعدة لكل تسلسل: تشجع على التوزيع الموحد للرموز عبر المجموعات داخل التسلسل الواحد باستخدام مُقدّر Gumbel-Softmax مباشر.
2. تصحيح انحياز الدفعة العالمية: يقوم مصطلح انحياز غير قابل للتدريب بتعديل درجات التوجيه بناءً على عدد الرموز الجاري لكل مجموعة عبر الدفعة، مما يحقق استقرار الحمل خلال خطوات التدريب.

3. المساهمات الرئيسية

يحدد البحث ثلاث مساهمات رئيسية:

انتباه التجزئة: آلية توجيه قابلة للاشتقاق قائمة على الفضاءات الفرعية تستحث أقنعة سببية للكتل الدلالية، مستبدلةً التقسيمات الموضعية الجامدة بتقسيمات تكيفية مع المحتوى.
بنية DCDM: نموذج لغة انتشار يعمم بشكل صارم نماذج انتشار لغة الكتل (BDLMs). يقوم بتدريب آلية التجزئة والمزيل (denoiser) معاً تحت هدف الانتشار.
التحقق التجريبي: أدلة واسعة النطاق تظهر أن التجزئة الدلالية تتفوق على كل من الانتشار غير المهيكل (MDLM) وانتشار الكتل الموضعية (BDLM) في مهام الاستدلال العام، والرياضيات، وتوليد الأكواد البرمجية عند مقاييس 0.5 مليار و1.5 مليار معلمة.

4. النتائج التجريبية

قام المؤلفون بتقييم DCDM مقابل النماذج المرجعية (MDLM، وBDLM، وAdaBlock التكيفي في وقت الاستدلال) على معايير قياسية (ARC-C, MMLU, HellaSwag, TruthfulQA, WinoGrande, PIQA, MATH, GSM8K, HumanEval).

مكاسب الأداء: تفوق DCDM باستمرار على النموذج المرجعي MDLM غير المهيكل في جميع الاختبارات تقريباً. والأهم من ذلك، أنه تفوق على نموذج BDLM المعتمد على الكتل الموضعية في معظم المهام، مما يثبت أن التحسن نابع من الطبيعة "التكيفية مع المحتوى" للكتل وليس مجرد هيكل الكتلة نفسه.
- لوحظت مكاسب ملحوظة في HellaSwag وGSM8K وPIQA.
- الاستثناء الوحيد كان WinoGrande، حيث تفوق BDLM قلياً على DCDM.
التوسع والكفاءة:
- كانت ميزة DCDM على النماذج المرجعية مستقرة عبر المقاييس (من 0.5 مليار إلى 1.5 مليار).
- أظهرت ديناميكيات التدريب أن DCDM يتقارب بشكل أسرع من BDLM، حيث يصل إلى الدقة النهائية لـ BDLM في وقت مبكر بكثير. ويعزو المؤلفون ذلك إلى تركيز إشارة التدرج على التبعيات المتماسكة داخل الكتلة بدلاً من تشتتها عبر مواضع غير مرتبطة.
دراسات الاستئصال (Ablation Studies):
- عدد المجموعات ( $K$ ): أظهرت دراسة الاستئصال حول عدد المجموعات اتجاهاً غير رتيب، حيث كان $K=16$ هو الأفضل عند مقياس 0.5 مليار. فعدد المجموعات القليل جداً يقترب من الانتشار غير المهيكل، بينما الكثير منها يؤدي إلى الإفراط في التجزئة.
- تجميع الفضاء الفرعي مقابل تجميع النقطة: أكدت التجارب أن التجميع القائم على النقطة ( $h=1$ ) غير مستقر ويؤدي إلى انهيار المركز، بينما يحافظ تجميع الفضاء الفرعي ( $h=48$ ) على توجيه متوازن وخسارة أقل.
توسيع MoE: أظهر متغير DCDM المتفرق (MoE) تحسينات متسقة مقارنة بالنسخة الكثيفة، مما يشير إلى أن بنية التجزئة الدلالية تتوافق جيداً مع الحوسبة المشروطة.

5. الأهمية والادعاءات

يزعم البحث أن DCDM يمثل تعميماً صارماً للانتشار المنفصل للكتل. فمن خلال استبدال الكتل الموضعية الثابتة بكتل دلالية متعلمة، يكيف النموذج وحدة إزالة الضجيج المتوازية مع محتوى التسلسل.

يؤكد المؤلفون أن هذا النهج يوفر ميزة استقرائية واضحة على إزالة الضجيج المتوازي بدون بنية كتلة (MDLM) وعلى هياكل الكتل الموضعية الجامدة (BDLM). وتشير النتائج إلى أن انتشار الكتل يستفيد بشكل كبير من التفصيل المتكيف مع المحتوى. يحقق هذا الأسلوب هذه المكاسب دون عبء إضافي كبير في المعلمات (بإضافة $Kdh + 2d^2$ فقط) ويحافظ على البنية الحسابية لانتشار الكتل (تخزين KV، وأخذ العينات المتوازي).

يخلص البحث إلى أنه بينما يتعامل DCDM حالياً مع عدد المجموعات $K$ كمعلمة فائقة (hyperparameter) ثابتة، فإن الإطار ينجح في إثبات أن تعلم تقسيم التسلسلات بناءً على المحتوى الدلالي هو بديل ناجح ومتفوق للتقسيم الموضعي لنماذج لغة الانتشار.