💬 NLP

Just on Time: Token-Level Early Stopping for Diffusion Language Models

تقدم هذه الورقة طريقة لإيقاف التشغيل المبكر على مستوى الرمز (token) لـنماذج اللغة الانتشارية (diffusion language models) لا تتطلب تدريباً، حيث تحدد وتنهي الرموز المستقرة ديناميكياً بناءً على إشارات تنبؤ خفيفة الوزن، مما يقلل التكاليف الحسابية بشكل كبير مع الحفاظ على جودة التوليد عبر مهام متنوعة.

المؤلفون الأصليون: Zakhar Kohut, Severyn Shykula, Mykola Vysotskyi, Serhii Dmytryshyn, Dmytro Khamula, Michal Zakrzewski, Damian Rynczak, Jacek Małecki, Taras Rumezhak, Volodymyr Karpiv

نُشر 2026-08-04

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zakhar Kohut, Severyn Shykula, Mykola Vysotskyi, Serhii Dmytryshyn, Dmytro Khamula, Michal Zakrzewski, Damian Rynczak, Jacek Małecki, Taras Rumezhak, Volodymyr Karpiv

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل أحجية صور مقطوعة (jigsaw puzzle) عملاقة، ولكن بدلاً من النظر إلى الصورة الموجودة على العلبة، تبدأ بصندوق مليء بمربعات رمادية فارغة. لحلها، عليك أن تخمن ما يجب أن يكون لون كل مربع، ثم تنظر إلى الصورة كاملة، وتدرك أن بعض التخمينات كانت خاطئة، فتعيد طلاءها. تكرر دورة "التخمين والإصلاح" هذه مئات المرات حتى تبدو الصورة صحيحة في النهاية. هذه هي الطريقة التي يكتب بها نوع جديد من الذكاء الاصطناعي يُسمى نموذج لغة الانتشار (Diffusion Language Model). وخلافاً لأنواع الذكاء الاصطناعي القديمة التي تكتب كلمة واحدة في كل مرة مثل الطابع، تبدأ هذه النماذج بصفحة بيضاء ثم تصقل الجملة بأكملة دفعة واحدة، تماماً مثل الرسام الذي يضيف التفاصيل ببطء إلى لوحته.

المشكلة هي أن عملية الرسم هذه بطيئة للغاية. فرغم أن الذكاء الاصطناعي غالباً ما يدرك الأجزاء السهلة من الجملة (مثل "الـ" أو "قطة") بعد بضع ضربات فرشاة فقط، إلا أنه يستمر في إعادة طلاءها على أي حال، لمجرد التأكد. الأمر يشبه طباخاً يتذوق الحساء، ويدرك أنه مثالي، لكنه يستمر في تحريكه وتذوقه لمدة ساعة أخرى قبل تقديمه. هذا يهدر كمية هائلة من قدرة الحاسوب والوقت. السؤال الذي يطرحه العلماء هو: كيف يمكننا إخبار الذكاء الاصطناعي: "مهلاً، لقد أتقنت هذا الجزء، توقف عن العمل عليه وانتقل إلى الأشياء الصعبة"؟

هنا يأتي دور طريقة جديدة تسمى JoT (في الوقت المناسب - Just on Time). فكر في JoT كأنه مشرف ذكي يقف فوق رأس الرسام (الذكاء الاصطناعي). فبدلاً من إخبار الفريق بأكمله بالتوقف عن الرسم في نفس الوقت، يراقب JoT كل كلمة على حدة على اللوحة. وبمجرد أن يصبح الذكاء الاصطناعي واثقاً جداً من أن كلمة معينة صحيحة — لنقل إنه متأكد بنسبة 99% أن الكلمة هي "قطة" — يصرخ JoT: "جمّد هذه الكلمة! لا تلمسها بعد الآن!"، ثم ينقل انتباه الذكاء الاصطناعي إلى الكلمة التالية الضبابية وغير المؤكدة.

لقد وجد الباحثون وراء JoT أن "الإيقاف المبكر على مستوى الرمز" (token-level early stopping) يحقق نتائج مذهلة. لقد اختبروا هذه الطريقة على نموذجين قويين للذكاء الاصطناعي، وهما Dream-7B و LLaDA-8B، عبر أربعة تحديات مختلفة: حل المسائل الرياضية، الإجابة على الأسئلة العامة، إكمال الجمل، وكتابة الأكواد البرمجية. كانت النتائج مذهلة؛ ففي اختبار الاستنتاج الرياضي المسمى GSM8K، جعلت طريقة JoT الذكاء الاصطناعي أسرع بمقدار 5.5 مرة مع انخفاض طفيف جداً في الدرجة (حوالي 2.3 نقطة). أما في تحدي البرمجة HumanEval، فقد كان تسريع السرعة أكثر دراماتيكية، حيث وصل إلى ما يقرب من 20 ضعفاً (19.6×)، مع استمرار الذكاء الاصطناعي في الحصول على جميع الإجابات الصحيحة تقريباً.

تجادل الورقة البحثية ضد نهج "القياس الواحد للجميع" حيث يتوقف الذكاء الاصطناعي عن معالجة جميع الكلمات في وقت واحد. بدلاً من ذلك، تستخدم JoT حيلة ذكية: فهي تخفض سقف الثقة للكلمات المجاورة للكلمات التي أتمها الذكاء الاصطناعي بالفعل. فإذا كان الذكاء الاصطناعي قد أتقن بالفعل بداية الجملة، فيمكنه الوثوق بالكلمة التالية في وقت أبكر قليلاً. وهذا يسم يسمح للذكاء الاصطناعي بتركيز طاقته فقط على الأجزاء التي تسبب ارتباكاً حقيقياً، متجاوزاً العمل المتكرر على الأجزاء السهلة.

ورغم أن هذه الطريقة سريعة للغاية، إلا أن المؤلفين يلاحظون بحذر أنها ليست سحراً. فقد قاسوا أن الذكاء الاصطناعي لا يزال يرتكب بعض الأخطاء، خاصة عندما يعلق في خطوة رياضية صعبة ويقوم بتثبيت الرقم الخاطئ في وقت مبكر جداً. ومع ذلك، فإن هذه الأخطاء نادرة، والتوازن يميل بشدة لصالح السرعة. تشير الورقة البحثية إلى أنه من خلال السماح لكل كلمة بـ "الخروج" من العملية في لحظتها المثالية، يمكننا جعل نماذج الذكاء الاصطناً القوية والبطيئة هذه أكثر عملية للاستخدام اليومي دون الحاجة إلى إعادة تدريبها أو تغيير تصميمها الأساسي. إنه إصلاح بسيط، لا يتطلب إعادة تدريب، يتيح للذكاء الاصطناعي أن يعمل بذكاء أكبر، لا بجهد أكبر.

ملخص تقني: التوقف في الوقت المناسب (JoT) لنماذج اللغات الانتشارية

بيان المشكلة

تقوم نماذج اللغات الانتشارية (DLMs) بتوليد النصوص من خلال تحسين متكرر لتسلسل مغطى بالكامل (fully masked sequence) وصولاً إلى مخرج نظيف. وبينما تتيح هذه الطريقة التنبؤ بالرموز (tokens) بشكل متوازٍ ودمج السياق ثنائي الاتجاه، إلا أنها تعاني من عدم كفاءة فك التشفير. تتطلب نماذج DLMs القياسية عدداً ثابتاً من خطوات التحسين ( $T$ ) للتسلسل بأكره، حتى عندما تصل العديد من الرموز إلى تنبؤات مستقرة وعالية الثقة قبل الخطوة النهائية بوقت طويل. يؤدي هذا إلى هدر حسابي غير ضروري، حيث يستمر النموذج في تحسين الرموز التي استقرت بالفعل. غالباً ما تعتمد طرق التوقف المبكر الحالية على معايير عالمية (global criteria) أو تعتمد على تعديلات خاصة بالمهمة، مما يفشل في معالجة معدلات التقارب المتفاوتة لكل رمز بشكل ديناميكي ضمن عملية توليد واحدة.

المنهجية: JoT (التوقف في الوقت المناسب)

يقترح المؤلفون JoT، وهو آلية توقف مبكر لكل رمز (per-token) لا تتطلب تدريباً، مصممة لتحديد التقارب بشكل مستقل عند كل موضع داخل التسلسل. تسمح JoT للرموز المختلفة بـ "الخروج" من عملية التحسين المتكررة في خطوات مختلفة، مما يركز الحوسبة فقط حيث تشتد الحاجة إليها.

المكونات الأساسية

مقياس الثقة:
تقيس JoT اليقين في التنبؤ عند كل موضع مقنع $i$ باستخدام نسبة أعلى احتمالين متوقعين ( $p_1$ و $p_2$ ):
$r_i = \frac{p_1}{p_2 + \epsilon}$
هذا المقياس مشتق من القيم اللوغاريتمية (logits) غير الموزونة، مما يجعله ثابتاً تجاه درجة أخذ العينات (sampling temperature). تشير النسبة العالية إلى تفضيل حاسم للمرشح الأول، بينما تشير النسبة القريبة من 1 إلى عدم اليقين.
التعديل المكاني (Spatial Modulation):
إدراكاً بأن الرموز المجاورة للسياق الذي تم حله بالفعل (غير المغطى) تستفيد من معلومات محلية أغنى وضجيج فعال أقل، تقدم JoT عتبة تكيفية مكانياً.

يقوم نواة هندسية (geometric kernel) بحساب وزن $w_i$ بناءً على قرب الموضع $i$ من الرموز التي تم حلها ضمن نافذة $D$ .
يتم تطبيع هذا الوزن إلى عامل تليين $\phi_i \in [0, 1]$ .
يتم استكمال عتبة القبول $\tau_i$ بين عتبة قصوى $\tau_{max}$ وعتبة دنيا $\tau_{min}$ :
$\tau_i = \tau_{max} - (\tau_{max} - \tau_{min}) \cdot \phi_i$
تتلقى الرموز القريبة من السياق المحلول عتبات أقل (أسهل في الإنهاء)، بينما تحتفظ الرموز في مركز المناطق المغطاة بعتبات أكثر صرامة.

قرار الخروج المبكر:
في كل خطوة، إذا تجاوزت نسبة ثقة الرمز المغطى $r_i$ عتبتها التكيفية $\tau_i$ ، يتم إنهاء الرمز (عبر argmax أو أخذ العينات) وإزالته من مجموعة المواضع المغطاة. تستمر العملية حتى يتم إنهاء جميع الرموز أو الوصول إلى الحد الأقصى لعدد الخطوات.

التحليل النظري

تقدم الورقة تحليلاً رسمياً (Proposition 1) فيما يتعلق باحتمالية "انعكاسات الزوج الرائد" (leading-pair reversals)—وهي الحالات التي يتم فيها لاحقاً تجاوز رمز تم الالتزام به من قبل مرشح ثانٍ مع ظهور سياق أكثر. تحت افتراض أن تنبؤ النموذج يطابق التوزيع الشرطي الحقيقي (المعايرة/calibration)، فإن احتمال حد Such reversal محكوم بـ $2/(1+\tau)$ . يشير المؤلفون إلى أن الأخطاء المتبقية عند العتبات العالية قد تنبع من فشل المعايرة بدلاً من آلية التوقف نفسها.

المساهمات الرئيسية

إطار عمل JoT: طريقة توقف مبكر لكل رمز لا تتطلب تدريباً، وتتكيف عتبات القبول فيها بناءً على القرب المكاني من السياق المحلول.
تقييم شامل: أُجريت التجارب على نموذجين من أحدث النماذج (Dream-7B و LLaDA-8B) عبر أربعة معايض متنوعة: GSM8K (رياضيات)، MMLU (معرفة)، HellaSwag (منطق عام)، و HumanEval (برمجة).
دراسات الاستئصال (Ablation Studies): تحليل مفصل يعزل آثار اختيار العتبة والتعديل المكاني، مما يوفر إرشادات عملية لتكوين المعلمات الفائقة (hyperparameters).

النتائج التجريبية

قيم المؤلفون JoT مقابل فك التشفير الكامل وبدائل التوقف المبكر الأخرى (Prophet, KLASS, Fast-dLLM).

المفاضلة بين السرعة والجودة:
- Dream-7B: حققت JoT تسريعاً يصل إلى 5.54 ضعفاً في GSM8K و 19.60 ضعفاً في HumanEval. كانت انخفاضات الدقة طفيفة (على سبيل المثال، -2.3 نقطة في GSM8K، و -0.6 في HumanEval)، مع بقاء الأداء ضمن حدود ~3 نقاط مئوية من فك التشفير الكامل في معظم المعايض.
- LLaDA-8B: حافظت JoT على دقة ضمن 3.1 نقطة من فك التشفير الكامل عبر جميع المعايض مع توفير سرعات تنافسية (على سبيل المثال، 3.75 ضعفاً في GSM8K).
المقارنة: تفوقت JoT عموماً على Prophet (الذي عانى من انخفاضات أكبر في الدقة) وقدمت حدود كفاءة (Pareto frontiers) أفضل بين السرعة والدقة مقارنة بـ KLASS و Fast-dLLM في عدة مهام.
القابلية للتركيب (Composability): تم دمج JoT بنجاح مع DualCache الخاص بـ Fast-dLLM (الذي يقلل زمن انتقال الخطوة الواحدة)، مما أثبت أن تقليل الخطوات وتحسين الخطوة الواحدة أمران متعاكسان ويمكن الجمع بينهما.
أنماط الفشل: كشف تحليل 500 عينة من GSM8K أن الأخطاء حدثت أساساً عندما التزم النموذج مبكراً برمز عند فرع استنتاجي حرج (على سبيل المثال، اختيار "× 2" بدلاً من "/ 2"). لم تكن هذه الأخطاء أنماط فشل جديدة، بل حدثت بمعدلات مختلفة مقارنة بفك التشفير الكامل.

الأهمية والادعاءات

تدعي الورقة أن JoT تقدم حلاً مقنعاً لعدم كفاءة فك التشفير في نماذج اللغات الانتشارية دون الحاجة إلى إعادة تدريب أو ضبط دقيق خاص بالمهمة. من خلال إنهاء الرموز ديناميكياً بمجرد إظهار ثقة كافية، تقلل JoT بشكل كبير من إجمالي خطوات الانتشار المطلوبة.

يضع المؤلفون JoT كمنهج يحقق أفضل مقايضة بين السرعة والجودة بين طرق التوقف المبكر المختبرة على Dream-7B ويظل منافساً على LLaDA-8B. ويؤكدون أن الطريقة فعالة بشكل خاص لأنها تسمح للنموذج بتخطي التحسينات الزائدة لرموز السياق "الواضحة" مع الحفاظ على الجهد الحسابي المطلوب لمراحل الاستدلال المعقدة. وتخلص الورقة إلى أنه بينما قد تختلف العتبات المثلى حسب المهمة، فإن متانة الطريقة عبر المعلمات الفائقة تجعلها عملية للنشر عبر تطبيقات متنوعة.