🤖 machine learning

When to Commit? Towards Variable-Size Self-Contained Blocks for Discrete Diffusion Language Models

تقترح الورقة البحثية كتلًا ذات أحجام متغيرة ومكتفية ذاتيًا (VSB)، وهي طريقة لنماذج اللغة ذات الانتشار المنفصل تقوم باختيار حدود كتل فك التشفير المثلى عبر قياس التباعد بين التنبؤات التي تتم بوجود السياق المستقبلي وبدونه لضمان الاتساق التنبؤي ومنع الالتزام المبكر بالرموز.

المؤلفون الأصليون: Danny Wang, Ruihong Qiu, Zi Huang

نُشر 2026-04-28

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Danny Wang, Ruihong Qiu, Zi Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مترجم محترف مكلف بترجمة رواية ضخمة ومعقدة من اليابانية إلى الإنجليزية. ومع ذلك، هناك عقبة: يصر رئيسك على أن تعمل بنظام "الكتل". لا يمكنك ترجمة أكثر من 10 صفحات في المرة الواحدة، وبمجرد انتهائك من كتلة ما، يجب عليك "الالتزام" بها—بمعنى أنك تلصق تلك الصفحات في الكتاب النهائي ولا يمكنك تغيير كلمة واحدة، حتى لو أدركت لاحقاً أن جملة في الفصل التالي تغير المعنى الذي كتبته للتو.

تتناول هذه الورقة مشكلة في الذكاء الاصطناعي تُعرف باسم نماذج اللغات ذات الانتشار المنفصل (dLLMs). هذه النماذج تشبه المترجمين الذين يحاولون "رسم" جملة كاملة دفعة واحدة بدلاً من كلمة بكلمة. ولجعلها سريعة، نستخدم "فك التشفير بالكتل" (قاعدة الـ 10 صفحات).

المشكلة: فخ "الالتزام المبكر"

لاحظ الباحثون خللاً كبيراً في كيفية عمل هذه النماذج حالياً. معظم النماذج تستخدم كتلة ثابتة الحجم (دائماً 10 صفحات) أو كتلة قائمة على القواعد الاستدلالية (التوقف عند رؤية نقطة أو فاصلة).

التمثيل التشبيهي:
تخيل أنك تترجم جملة عن كلمة "bank".

نهج الحجم الثابت: تترجم أول 10 كلمات. الكلمة الخامسة هي "bank". تلتزم بترجمتها كـ "مؤسسة مالية". ولكن بعد ذلك، في الكتلة التالية، ترى كلمة "river" (نهر). فجأة، تدرك أن الـ "bank" كانت في الواقع "ضفة نهر"! ولأنك قمت بالفعل بـ "لصق" الكتلة الأولى، أصبحت القصة بأكملها غير منطقية. هذا هو الالتزام المعتمد على المستقبل.

الحل: مبدأ "الاستقلال الذاتي"

يقترح المؤلفون طريقة جديدة تسمى VSB (الكتل المتغيرة الحجم والمستقلة ذاتياً).

بدلاً من اتباع مسطرة بشكل أعمى (حجم ثابت) أو البحث عن علامات الترقيم (القواعد الاستدلالية)، تسأل النماذج نفسها سؤالاً ذكياً جداً قبل لصق الصفحات:

"لو ألقيت نظرة خاطفة على الصفحات القليلة القادمة الآن، هل سأغير الكلمات التي كتبتها للتو؟"

يطلقون على هذا اسم الاستقلال الذاتي (Self-Containedness). تكون الكتلة "مستقلة ذاتياً" إذا كان معناها مستقراً ولا يعتمد على "تنبيهات حرق الأحداث" من المستقبل.

كيف يعمل الأمر: اختبار "النسختين"

للقيام بذلك دون "الغش" فعلياً والنظر إلى المستقبل (الذي لا وجود له أثناء عملية التوليد)، يقوم النموذج بمحاكاة ذهنية. فهو ينشئ نسختين من أفكاره:

نسخة "بلا مستقبل" (NF): "ماذا أعتقد أن تكون الكلمات، بناءً فقط على ما كتبته حتى الآن؟"
نسخة "المدركة للمستقبل" (FA): "إذا تظاهرت بأنني أستطيع رؤية نافذة صغيرة قادمة، كيف ستتغير كلماتي الحالية؟"

ثم يقيس النموذج التباعد (Divergence) (الاختلاف) بين هاتين النسختين.

تباعد عالٍ: "واو، لو رأيت المستقبل، سأغير هذه الكلمة بالتأكيد!" $\leftarrow$ لا تلتزم بعد! اجعل الكتلة أصغر.
تباعد منخفض: "حتى لو رأيت المستقبل، ستظل كلماتي الحالية كما هي." $\leftarrow$ آمن للالتزام!

النتيجة: كتابة ذكية وتكيفية

بدلاً من كونه روبوتاً جامداً، يصبح النموذج كاتباً متكيفاً.

عندما يكتب نثراً بسيطاً وسهلاً، يمكنه الالتزام بكتل كبيرة (مما يسرع العملية).
عندما يكتب معادلات رياضية معقدة أو منطقاً صعباً حيث يمكن لرمز واحد أن يغير كل شيء، فإنه ينتقل تلقائياً إلى كتل صغيرة وحذرة لضمان عدم ارتكاب خطأ.

باخت-اختصار: تنقل هذه الورقة الذكاء الاصطناعي من "الاندفاع الأعمى عبر كتل من النصوص" إلى "إنهاء فكرة كاملة بعناية قبل الانتقال لما بعدها". وهذا يجعل الذكاء الاصطناعي أكثر دقة في الرياضيات، والبرمجة، والاستنتاج المعقد.

ملخص تقني: نحو كتل ذاتية الاحتواء متغيرة الحجم لنماذج اللغة ذات الانتشار المنفصل

1. المشكلة: عدم التطابق بين التدريب والاستنتاج في نماذج اللغة ذات الانتشار المنفصل (dLLMs)

تقدم نماذج اللغة ذات الانتشار المنفصل (dLLMs) بديلاً موازياً للنماذج ذات الترتيب الذاتي (Autoregressive) عبر استخدام الانتباه ثنائي الاتجاه لإزالة الضجيج من الرموز (tokens). ولجعل عملية التوليد عملية، يستخدم الباحثون فك التشفير شبه الترتيبي القائم على الكتل (blockwise semi-autoregressive decoding)، حيث يقوم النموذج بتوليد كتلة من الرموز بالتوازي ثم "يلتزم" بها كسابقة (prefix) ثابتة قبل الانتقال إلى الكتلة التالية.

يحدد المؤلفون عيبين حرجين في فك التشفير الحالي القائم على الكتل:

عدم التطابق بين التدريب والاستنتاج: يتم تدريب نماذج dLLMs عادةً باستخدام سياق ثنائي الاتجاه للتسلسل الكامل (رؤية السابقة واللاحقة معاً). ومع ذلك، أثناء الاستنتاج، بمجرد الالتزام بكتلة ما، يصبح الأمر غير قابل للتراجع. إذا تم الالتزام بكتلة قبل أن يتمكن النموذج من "حل" معناها باستخدام السياق المستقبلي، فإن هذا الالتزام يصبح معتمداً على المستقبل (future-dependent)، مما يؤدي إلى أخطاء تنتشر عبر بقية التسلسل.
الحدود الاستدلالية (Heuristic Boundaries): تستخدم معظم الطرق الحالية أحجام كتل ثابتة (مثل كل 32 رمزاً) أو استدلالات سطحية (مثل علامات الترقيم) لتقرير وقت الالتزام. هذه الطرق غالباً ما تقطع الوحدات الدلالية (مثل معادلة رياضية أو عبارة متعددة الكلمات)، مما يجبر النموذج على اتخاذ قرارات سابقة لأوانها وغير مستقرة.

2. المنهجية: الكتل ذاتية الاحتواء متغيرة الحجم (VSB)

يقترح البحث مبدأ "الاحتواء الذاتي" (self-containedness) كمعيار مبدئي للالتزام بالكتل. تُعتبر الكتلة "ذاتية الاحتواء" إذا ظلت الرموز المتوقعة لها متسقة حتى لو تم الكشف عن السياق المستقبلي.

المكونات الرئيسية لـ VSB:

تباعد الاحتواء الذاتي ( $S$ ): بما أن "المستقبل" غير معروف أثناء الاستنتاج، يقترح المؤلفون مقارنة مضادة للواقع. يقومون بمقارنة توزيعات تنبؤية لكتلة مرشحة:
1. بلا مستقبل (No-Future - NF): تنبؤات مشروطة فقط بالسابقة الحالية والكتلة المرشحة.
2. المدرك للمستقبل (Future-Aware - FA): تنبؤات مشروطة بالسابقة بالإضافة إلى "فرضية" للمستقبل (تقدير النموذج الحالي للرموز القادمة).
  يقيس التباعد (مثل تباعد KL) بين هذين التوزيعين مدى قدرة "المستقبل" على تغيير التنبؤات الحالية. التباعد المنخفض يعني احتواءً ذاتياً عالياً.
اختيار الحدود المدرك للطول ( $SL\text{-}A$ ): لتجنب مشكلة اختيار كتل قصيرة جداً (والتي ستحدث لو تم تقليل التباعد فقط)، قدم المؤلفون هدفاً للمفاضلة:
$SL\text{-}A = \log(b - p) - (b - p)S(p, b)$
هذه الصيغة تكافئ الكتل الأطول (عبر حد اللوغاريتم) ولكنها تعاقب بشدة الكتل التي تكون فيها "كتلة الاعتماد على المستقبل" عالية.
تدريب المحاذاة مع "بلا مستقبل" (NF Alignment Training): لسد الفجوة بين التدريب والاستنتاج، يعدل المؤلفون هدف التدريب. بدلاً من التدريب على تسلسلات كاملة، يتم تدريب النموذج باستخدام القطع بأسلوب "بلا مستقبل" (No-Future truncation). هذا يجبر النموذج على تعلم إزالة الضجيج من الرموز باستخدام السياق المتاح فقط وقت الالتزام، مما يطابق مباشرة توزيع وقت الاستنتاج.
البحث الفعال: لمنع عملية اختيار الحدود من أن تكون مكلفة حاسوبياً، قاموا بتنفيذ استراتيجية بحث من الخشن إلى الناعم (coarse-to-fine search)، والتي تمسح ميزانية الكتلة بخطوات واسعة ثم تقوم بتنقيح البحث محلياً.

3. المساهمات الرئيسية

مبدأ جديد: صياغة "الاحتواء الذاتي" كمعيار رياضي لتحديد حدود الكتل في فك التشفير شبه الترتيبي.
إطار عمل VSB: تقديم إطار عمل موحد للتدريب وفك التشفير يستخدم كتلًا متغيرة الحجم بناءً على الاستقرار الدلالي بدلاً من الاستدلالات.
التبرير النظري: تقديم مبرهنة تربط تباعد الاحتواء الذاتي بالاتساق التنبؤي، مما يثبت أن التباعد المنخفض يحد من الخطأ الناتج عن الكشف عن السياق المستقبلي.
الكفاءة الخوارزمية: تطوير آلية بحث من الخشن إلى الناعم لجعل الاختيار الديناميكي للحدود أمراً قابلاً للتطبيق في الاستنتاج الفوري.

4. النتائج

قيم المؤلفون VSB على عدة اختبارات مرجعية (GSM8K, MATH500, GPQA, HumanEval, MBPP, MMLU, HellaSwag) باستخدام نماذج LLaDA كخلفية (backbones).

أداء متفوق: تفوق VSB باستمرار على النماذج المرجعية ذات الحجم الثابت والقائمة على الاستدلال. ومن الجدير بالذكر أنه أظهر مكاسب كبيرة في توليد الكود البرمجي (بنسبة تصل إلى 10% في HumanEval) والاستدلال الرياضي، حيث يعد الاكتمال الدلالي أمراً حيوياً.
المحاذاة الدلالية: أظهرت الدراسات النوعية (الشكل 4 و8) أن VSB يتجنب طبيعياً قطع المعادلات أو الجمل، بينما يؤدي فك التشفير ذو الحجم الثابت بشكل متكرر إلى كسر التعبيرات الرياضية، مما يؤدي إلى إجابات نهائية خاطئة.
فعالية لاحقة (Post-hoc Efficacy): حتى بدون إعادة التدريب، أدى تطبيق استراتيجية فك تشفير VSB على نموذج مدرب مسبقاً إلى تحسين الدقة، مما يثبت أن آلية اختيار الحدود نفسها فعالة للغاية.

5. الأهمية

ينقل هذا العمل نموذج فك التشفير في نماذج dLLM من الاعتماد على الاستدلال (الأطوال الثابتة/علامات الترقيم) إلى الاعتماد على المحتوى (الاستقرار التنبؤي). ومن خلال مواءمة هدف التدريب مع قيود الالتزام غير القابل للتراجع، يوفر VSB حلاً قوياً لعدم التطابق الجوهري بين التدريب والاستنتاج في نمذجة اللغة القائمة على الانتشار. وهذا يمهد الطريق لتوليد نصوص أكثر كفاءة، وتوازياً، وموثوقية غير ترتيبية.