🤖 machine learning

Stopping Computation for Converged Tokens in Masked Diffusion-LM Decoding

تقدم الورقة البحثية SureLock، وهي طريقة لنماذج اللغة ذات الانتشار المقنع (Masked Diffusion-LMs) تقوم بقفل مواضع الرموز المتقاربة ديناميكياً لتخطي الحسابات الزائدة مع تخزين مفاتيحها وقيمها مؤقتاً، مما يقلل من تعقيد كل تكرار من $O(N^2d)$ إلى $O(MNd)$ ويحقق وفراً في العمليات الحسابية بنسبة 30-50% دون المساس بجودة التوليد.

المؤلفون الأصليون: Daisuke Oba, Danushka Bollegala, Masahiro Kaneko, Naoaki Okazaki

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Daisuke Oba, Danushka Bollegala, Masahiro Kaneko, Naoaki Okazaki

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تُخرج مسرحية ضخمة وفوضوية حيث يتم كتابة النص في الوقت الفعلي. لديك طاقم مكون من N من الممثلين (الرموز أو الـ tokens في الجملة)، وفي كل ثانية تمر (كل خطوة من عملية التوليد)، تطلب من كل ممثل بمفرده أن:

يستمع لما يقوله الآخرون.
يفكر في جملته التالية.
يصرخ بجملته الجديدة بصوت عالٍ.

حتى لو كان الممثل قد قرر جملته بالفعل وهو متأكد بنسبة 100% أنه لن يغيرها، فإن المخرج (الذكاء الاصطناعي) لا يزال يجبره على الاستماع، والتفكير، والصراخ مجددًا لمجرد التأكد. هذا أمر مرهق ومضيع للجهد بشكل لا يصدق. هكذا تعمل "نماذج اللغة الانتشارية" (Diffusion Language Models) الحالية؛ فهي تستمر في إعادة الحساب، مرارًا وتكرارًا، حتى للأجزاء التي انتهت بالفعل من القصة.

إليك "SURELOCK": قاعدة "اجلس واصمت".

تقدم الورقة البحثية طريقة ذكية جديدة تسمى SURELOCK. فكر فيها كمخرج ذكي يدرك أنه بمجرد أن يصبح الممثل واثقًا من جملته، لا داعي لاستمرار التدريب.

إليك كيف تعمل، مقسمة إلى تشبيهات بسيطة:

1. الممثل "المستقر" (آلية القفل - The Locking Mechanism)

في منتصف المسرحية، يتحقق المخرج من الممثلين. إذا كان الممثل يقول نفس الشيء لعدة ثوانٍ وكانت ثقته عالية (أي أن "التوزيع اللاحق" أو الـ posterior قد استقر)، يقول المخرج:

"حسنًا، لقد حُسمت جملتك. اجلس. توقف عن التفكير. توقف عن الصراخ. ابقَ مكانك فقط."

هذا هو القفل (Lock). الممثل أصبح "مقفلًا" في مكانه. لقد توقف عن القيام بالعمل الذهني الشاق (العمليات الحسابية الثقيلة التي تسمى "التغذية الأمامية" أو Feed-Forward و"إسقاط الاستعلام" أو Query Projection).

2. الحضور "الشبح" (تخزين الكي والـ V - Caching K/V)

لكن هنا تكمن الخدعة السحرية: على الرغم من أن الممثل جالس ولا يقوم بأي عمل، إلا أنه لا يزال جزءًا من المشهد.

يحتفظ المخرج بـ "تسجيل شبحي" لما قاله ذلك الممثل (مفاتيح وقيم الـ Keys and Values الخاصة به). يمكن للممثلين الآخرين الذين لا يزالون واقفين ويعملون أن ينظروا إلى هذا التسجيل ويقولوا: "أوه، أنا أرى ما قاله ذلك الرجل، لذا سأعدل جملتي بناءً على ذلك."

لذا، الممثلون المقفلون لا يبذلون أي جهد، لكنهم لا يزالون يؤثرون في القصة. الممثلون النشطون لا يزال بإمكانهم "الانتباه" (Attend) إليهم.

3. النتيجة: قوة عاملة تتقلص

مع تقدم المسرحية، يتم قفل المزيد والمزيد من الممثلين.

بداية المسرحية: الجميع واقفون ويعملون. (تكلفة عالية).
منتصف المسرحية: نصف الطاقم جالسون. (تكلفة متوسطة).
نهاية المسرحية: الممثلون القلائل الذين يكتبون الجمل الختامية فقط هم من يقفون. أما البقية فيجلسون بهدوء ويراقبون. (تكلفة منخفضة جدًا).

بما أن عدد الأشخاص الذين يقومون بالعمل فعليًا يتقلص مع انتهاء الجملة، فإن الكمبيوتر يوفر كمية هائلة من الطاقة. تُظهر الورقة البحثية أن هذا يمكن أن يقلل العمل الحسابي بنسبة 30% إلى 50% دون جعل القصة أسوأ.

"شبكة الأمان" (الرياضيات وراء السحر)

قد تقلق قائلاً: "ماذا لو جلس الممثل مبكرًا جدًا ثم أدرك أنه ارتكب خطأً؟"

لقد بنى المؤلفون شبكة أمان. هم لا يقفلون الممثل لمجرد أنه يبدو واثقًا؛ بل يقفلونه فقط عندما تتوقف جملته عن التغير تمامًا. إنهم يستخدمون اختبارًا رياضيًا يسمى تباعد KL (فكر فيه كـ "كاشف للتغيير").

القاعدة: إذا تغيرت جملة الممثل بأقل من مقدار ضئيل جدًا (عتبة تسمى $\epsilon$ )، فنحن نعلم أنها انتهت حقًا.
الضمان: تثبت الورقة رياضيًا أنه إذا انتظرت حتى يصبح التغيير بهذا الصغر، فإن القصة النهائية ستكون مطابقة تقريبًا لتلك التي استمر فيها الجميع في العمل. "الخطأ" سيكون صغيرًا جدًا لدرجة أنه غير مرئي تقريبًا.

لماذا يعد هذا أمرًا مهمًا؟

تخيل أنك تخبز كعكة.

الطريقة القديمة: تستمر في تحريك الخليط، وتذوقه، وتعديل درجة حرارة الفرن في كل دقيقة، حتى بعد أن تُخبز الكعكة وتوضع على الطاولة.
طريقة SURELOCK: بمجرد خبز الكعكة وانطلاق المؤقت، تتوقف عن التحريك. أنت فقط تتركها بينما تنهي تزيين الأجزاء غير المخبوزة من الكعكة.

الملخص

SURELOCK هي تقنية للذكاء الاصطناعي تقول: "بمجرد استقرار الكلمة، توقف عن إهدار الطاقة عليها."

إنها توفر للكمبيوتر عناء القيام بعمليات حسابية غير ضرورية، وتسرع عملية التوليد، وتحافظ على جودة الكتابة بنفس المستوى السابق. إنها تشبه إطفاء الأنوار في الغرف التي لا يستخدمها أحد، مع إبقاء الأنوار مضاءة في المطبخ حيث لا يزال الطبخ مستمرًا.

إليك ملخص تقني مفصل لورقة البحث بعنوان "إيقاف الحوسبة للرموز المتقاربة في فك تشفير نماذج الانتشار المقنعة" (SURELOCK)، المنشورة كأوراق بحثية في مؤتمر ICLR 22026.

1. بيان المشكلة

نماذج اللغة ذات الانتشار المقنع (MDLMs) تولد النصوص من خلال إزالة الضجيج تدريجيًا من تسلسل من الرموز عبر $T$ من الخطوات. وعلى عكس النماذج ذات التوليد الذاتي (Autoregressive)، التي تقوم بطبيعتها بتخزين حالات المفتاح/القيمة (K/V) وتحسب فقط للرمز التالي، فإن عملية أخذ العينات القياسية في MDLM تعيد حساب طبقات الانتباه الذاتي (Self-attention) وطبقات التغذية الأمامية (FFN) لجميع $N$ من مواضع الرموز في كل خطوة.

عنق الزجاجة: حتى عندما يتم "إلغاء قناع" (فك تشفير) العديد من الرموز واستقرار احتمالاتها البعدية، يستمر النموذج في إجراء عمليات حسابية كاملة لـ $O(N^2d)$ في الانتباه و $O(Nd^2)$ في الـ FFN لهذه الرموز الثابتة.
الهدر: يؤدي هذا إلى تكرار حسابي كبير، حيث يعالج النموذج مرارًا وتكرارًا رموزًا قد استقرت فعليًا ("تقاربت") ومن غير المرجح أن تتغير في الخطوات اللاحقة.
قصور الأعمال السابقة: تركز طرق التسريع الحالية على تقليل إجمالي عدد الخطوات ( $T$ ) أو إعادة استخدام ناقلات K/V عبر الخطوات (نهج إعادة الاستخدام). ومع ذلك، لا تقلل هذه الطرق من التعقيد المكاني لكل خطوة؛ فهي لا تزال تحسب الانتباه لجميع مواضع $N$ ، مما يحافظ على تكلفة $O(N^2d)$ حتى النهاية.

2. المنهجية: SURELOCK

يقترح المؤلفون SURELOCK، وهي طريقة تعمل على تعطيل مواضع الرموز ("قفلها") ديناميكيًا وبشكل دائم بمجرد استقرار توزيعاتها البعدية.

الآلية الجوهرية

شرط القفل: يتم قفل موضع الرمز $i$ $i$ عند الخطوة $t^*$ $t^{*}$ إذا استقر توزيعه البعدي المحلي. المعيار الأساسي هو تباعد كولباك-لايبلر (KL divergence) للخطوة بين التوزيع البعدي الحالي $p_t^{(i)}$ $p_{t}^{(i)}$ والتوزيع البعدي السابق $p_{t-1}^{(i)}$ $p_{t - 1}^{(i)}$ .
- الشرط: $D_t^{(i)} = \text{KL}(p_t^{(i)} \| p_{t-1}^{(i)}) \leq \epsilon$ .
- يمكن تطبيق "بوابة ثقة" ثانوية لضمان أن الرمز يتمتع أيضًا بثقة عالية (إنتروبيا منخفضة).
التعطيل الدائم: بمجرد القفل:
- يتم إزالة الموضع من مجموعة الرموز النشطة ( $A_t$ ) لجميع الخطوات المستقبلية.
- يتخطى النموذج عمليات إسقاط الاستعلام (Query projection) وحسابات الشبكة العصبية للتغذية الأمامية (FFN) لهذا الرمز.
- يتم تخزين (Caching) ناقلات المفتاح ( $K$ ) والقيمة ( $V$ ) لهذا الرمز المقفل.
استمرار الانتباه: من الأهمية بمكان أن الرموز النشطة (غير المقفلة) لا تزال قادرة على الانتباه إلى الرموز المقفلة. تستخدم آلية الانتباه ناقلات $K/V$ المخزنة للمواضع المقفلة بينما تحسب $Q/K/V$ حديثة فقط للمجموعة النشطة.

التعقيد الخوارزمي

النموذج المرجعي (Baseline): $O(N^2d)$ للانتباه و $O(Nd^2)$ لـ FFN في كل خطوة.
SURELOCK: إذا كان $M_t$ $M_{t}$ هو عدد الرموز غير المقفلة (النشطة) عند الخطوة $t$ $t$ (حيث $M_t \leq N$ $M_{t} \leq N$ ):
- تكلفة الانتباه: $O(M_t N d)$ (الاستعلامات النشطة تنتبه لجميع المفاتيح/القيم).
- تكلفة FFN: $O(M_t d^2)$ (الرموز النشطة فقط تمر عبر FFN).
- مع تقدم $t$ ، تتناقص $M_t$ بشكل رتيب، مما يؤدي إلى تقليل كبير في الحمل الحسابي.

التبرير النظري

تقدم الورقة برهانًا نظريًا (النظرية 1) يثبت أن الخطأ في الاحتمال اللوغاريتمي النهائي للرمز، الناتج عن قفله مبكرًا، محكوم بالجذر التربيعي لعتبة KL المستخدمة في خطوة القفل:
$\|\log p_T^{(i)} - \log \hat{p}_T^{(i)}\|_\infty \leq C_{tail} \sqrt{\epsilon}$
وهذا يثبت وجود علاقة مغلقة الشكل بين عتبة القفل $\epsilon$ وأقصى انحراف في توزيع المخرجات النهائي، مما يبرر استخدام KL المحلي كمعيار للإيقاف.

3. المساهمات الرئيسية

محور تحسين متعامد: يقدم SURELOCK بُعدًا جديدًا للتحسين (التقليل الرتيب للمواضع النشطة) الذي يكمل طرق تقليل عدد الخطوات وإعادة استخدام K/V.
ضمان نظري: اشتقاق حد خطأ مغلق الشكل يربط تباعد KL المحلي عند خطوة القفل بخطأ الاحتمال اللغاريتمي النهائي.
تنفيذ فعال: آلية لتخزين ناقلات K/V للسماح للرموز النشطة بالانتباه للرموز المقفلة، مما يضمن الحفاظ على السياق العالمي للنموذج دون إعادة حساب الحالات الداخلية للرموز المقفلة.
التحقق التجريبي: تجارب مكثفة على نماذج LLaDA-8B توضح انخفاضات كبيرة في عمليات الفلوبس (FLOPs) دون المساس بجودة التوليد.

4. النتائج التجريبية

قيم المؤلفون SURELOCK على نماذج LLaDA-8B-Base و LLaDA-8B-Instruct باستخدام WikiText-103 (نمذجة اللغة) و MT-Bench (اتباع التعليمات).

الكفاءة الحسابية:
- تقليل FLOPs: قلل SURELOCK العمليات الحسابية (FLOPs) الخوارزمية بنسبة 30% إلى 50% مقارنمًا بالنموذج المرجعي.
- الديناميكيات الزمنية: تنخفض نسبة الرموز النشطة ( $M_t/N$ ) بشكل رتيب مع تقدم عملية أخذ العينات، مما يؤدي إلى وفورات متسارعة في الخطوات المتأخرة (الشكل 2).
- الإنتاجية (Throughput): تحسنت إنتاجية الرموز في الثانية (TPS) بمقدار يصل إلى 1.39x في السيناريوهات المقيدة بالحوسبة (أحجام دفعات كبيرة وتسلسلات طويلة)، رغم أن المكاسب كانت متواضعة في السيناريوهات المقيدة بالذاكرة أو الدفعات الصغيرة بسبب أعباء التنفيذ (الوصول غير المنتظم للذاكرة).
جودة التوليد:
- اتباع التعليمات: في MT-Bench، ظلت درجات "النموذج كحكم" (LLM-as-a-judge) دون تغيير فعلي (الفرق $\leq 0.1$ نقطة) عبر مختلف الإعدادات.
- نمذجة اللغة: أظهر التشتت الناتج (Gen.-PPL) على WikiText-103 تدهورًا طفيفًا جدًا. أظهرت التوليدات الأقصر ( $N_{gen}=64$ ) زيادة طفيفة في PPL، مما يشير إلى أن الطريقة أكثر فعالية في السياقات الأطول.
- توليد الكود: في اختبار HumanEval، حافظ SURELOCK على درجة Pass@1 (18.6% مقابل 18.6-20.3%) مع تقليل التكلفة الحسابية إلى النصف، مما يثبت أن القفل لا يكسر الهياكل النحوية أو المنطقية.

5. الأهمية

القابلية للتوسع للسياقات الطويلة: بما أن نماذج Diffusion LM تعاني مع توليد السياقات الطويلة بسبب التكاليف العالية لكل خطوة، فإن SURELOCK يوفر مسارًا لتوسيع هذه النماذج لتشمل تسلسلات أطول من خلال جعل تكلفة كل خطوة تكيفية ومتناقصة.
استقلالية الأجهزة: تقلل الطريقة من التعقيد الخوارزمي النظري (FLOPs)، وهو مقياس مستقل عن الأجهزة. وبينما تظهر تطبيقات PyTorch الحالية تحسنًا متحفظًا في سرعة التنفيذ الفعلي (wall-clock speedups) بسبب أنماط الوصول إلى الذاكرة، توضح الورقة مسارات واضحة لتحسينات خاصة بالأجهزة (مثل الـ kernels المدمجة، وتنسيقات التخزين المستمرة) لتحقيق مكاسب السرعة الكاملة.
الطبيعة التكاملية: يمكن دمج SURELOCK مع تقنيات تسريع أخرى (مثل إلغاء القناع المتوازي، أو إعادة استخدام K/V، أو التناثر القائم على الاختيار) لتحقيق مكاسب كفاءة ضربية.

باختاً، يعالج SURELOCK بفعالية مشكلة "الحوسبة الضائعة" في فك تشفير الانتشار المقنع من خلال تحديد الرموز المتقاربة بذكاء وتجميد حساباتها مع الحفاظ على مساهمتها في آلية الانتباه العالمية، محققًا مكاسب كفاءة كبيرة مع تأثير ضئيل على جودة المخرجات.