💬 NLP

CreditDecoding: Accelerating Parallel Decoding in Diffusion Large Language Models with Trace Credit

يُعد CreditDecoding طريقة فك تشفير متوازية لا تتطلب تدريباً لنماذج اللغات الكبيرة القائمة على الانتشار، حيث تعمل على تسريع الاستنتاج من خلال إدخال "رصيد الأثر" (Trace Credit) لقياس واستغلال التكرار الزمني في آثار إزالة الضجيج، مما يعزز ثقة الرموز المتوقعة بشكل صحيح ولكنها تفتقر إلى الثقة الكافية لتحقيق تسريع كبير دون التضحية بالدقة.

المؤلفون الأصليون: Kangyu Wang, Zhiyun Jiang, Haibo Feng, Weijia Zhao, Lin Liu, Jianguo Li, Zhenzhong Lan, Weiyao Lin

نُشر 2026-04-21

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kangyu Wang, Zhiyun Jiang, Haibo Feng, Weijia Zhao, Lin Liu, Jianguo Li, Zhenzhong Lan, Weiyao Lin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز معقد، ولكن بدلاً من وضع القطع واحدة تلو الأخرى من اليسار إلى اليمين، تقوم برمي جميع القطع في الهواء وتركها تهبط بشكل عشوائي. ثم تنظر إلى اللوحة، وتختار القطع التي تبدو وكأنها تتناسب تماماً، وتثبتها في مكانها، ثم تعيد رمي البقية في الهواء لتجرب مرة أخرى. تكرر هذه العملية حتى تصبح الصورة كاملة وواضحة.

هذه هي الطريقة التي تعمل بها نماذج اللغة الكبيرة الانتشارية (dLLMs). إنها نوع جديد وقوي من الذكاء الاصطناعي الذي يولد النصوص عن طريق "إزالة الضجيج" (تنظيف) فوضى الكلمات المبعثرة حتى تصبح الجملة منطقية.

ومع ذلك، هناك مشكلة: إنها غير فعالة.

المشكلة: النادل "المفرط في الثقة"

تخيل نادلاً في مطعم مزدحم يحاول تسجيل الطلبات.

الطريقة القديمة: ينظر النادل إلى الطاولة، ويخمن ما يريده الزبون، ولكن لأنه ليس متأكداً بنسبة 100%، فإنه لا يدونه. ينتظر، وينظر مجدداً، ويخمن مجدداً، ولا يزال لا يدون شيئاً. يستمر في تخمين الشيء نفسه مراراً وتكراراً، رغم أنه لم يكتبه إلا بعد أن يتأكد بنسبة 100%.
النتيجة: يضيع النادل وقته في إعادة تخمين نفس الطلب، متجاهلاً حقيقة أنه كان يعرف الإجابة بالفعل قبل ثلاث تخمينات. هذا يبطئ عمل المطعم بأكلى.

من الناحية التقنية، غالباً ما يتوقع الذكاء الاصطناعي الكلمة الصحيحة في مرحلة مبكرة جداً من العملية، ولكن "درجة الثقة" الداخلية لديه تكون منخفضة جداً بحيث لا تسمح له بتثبيتها. لذا، يستمر في تخمين تلك الكلمة الصحيحة نفسها في كل خطوة، مما يهدر الوقت وقوة الحوسبة.

الحل: CreditDecoding

قدم مؤلفو هذه الورقة البحثية، CreditDecoding، قاعدة ذكية جديدة لنادلنا هذا.

بدلاً من مجرد النظر إلى تخمين النادل الحالي، فإنهم يمنحون النادل "درجة ائتمان" (Credit Score) بناءً على تاريخه.

كيف يعمل: إذا خمن النادل كلمة "بيتزا" خمس مرات متتالية، حتى لو كان متردداً قليلاً في المرة الأولى، فإن النظام يقول: "مهلاً، لقد كنت متسقاً! أنت تعرف بوضوح أنها بيتزا".
"ائتمان التتبع" (Trace Credit): هذه درجة تتراكم بمر over الوقت. إذا استمرت كلمة ما في الظهور كخيار أول، فإن النظام يمنحها "ائتماناً".
السحر: يعمل هذا الائتمان كمحفز. فهو يعزز ثقة تلك الكلمة في وقت أبكر من المعتاد. لذا، بدلاً من الانتظار حتى يتأكد النادل بنسبة 100%، يقول النظام: "حسناً، لديك ما يكفي من الائتمان، لنثبت 'بيتزا' الآن!".

التشبيه: شارة "ثق بي"

فكر في "ائتمان التتبع" (Trace Credit) كشارة "ثق بي" على زي العامل.

بدون الشارة: يتعين على المدير (الذكاء الاصطناعي) التحقق من كل قرار يتخذه العامل، حتى لو كان العامل قد أصاب في 10 مرات متتالية.
مع الشارة: يرى المدير الشارة (الائتمان المتراكم) ويقول: "أنا أثق في سجلك. لننتقل إلى المهمة التالية فوراً".

لماذا هذا مهم؟

السرعة: من خلال تثبيت الكلمات الصحيحة في وقت أبكر، يتخطى الذكاء الاصطناعي العديد من الخطوات غير الضرورية. تظهر الورقة البحثية أن هذا يمكن أن يجعل الذكاء الاصطناعي أسرع بـ 5 مرات (تسريع بمقدار 5.48 ضعفاً) دون أن يصبح أقل ذكاءً.
الأذكى: لأن الذكاء الاصطناعي يتوقف عن إضاعة الوقت في إعادة التخمين، فإنه يصبح في الواقع أفضل في أداء المهمة. حيث يتبقى لديه المزيد من "القدرة الذهنية" للتركيز على الأجزاء الصعبة من الجملة.
لا حاجة لإعادة التدريب: هذا هو الجزء الأفضل. لا يتعين عليك إعادة تعليم الذكاء الاصطناعي كيف يفكر. أنت فقط تضيف "نظام الائتمان" هذا فوق النماذج الموجودة. الأمر يشبه تحديث برنامج لجعل سيارتك تسير بشكل أسرع دون تغيير المحرك.

الخلاصة

CreditDecoding يشبه منح الذكاء الاصطناعي ذاكرة لتخميناته الماضية. إنه يمنع الذكاء الاصطناعي من التشكيك في نفسه بشأن أشياء يعرفها بالفعل، مما يسمح له بإنهاء جمله بشكل أسرع وأكثر دقة. إنه يحول عملية مترددة ومتكررة إلى تدفق واثق ومنظم.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "CreditDecoding: تسريع فك الترميز المتوازي في نماذج اللغة الضخمة القائمة على الانتشار باستخدام رصيد التتبع (Trace Credit)."

1. بيان المشكلة

تنتج نماذج اللغة الضخمة القائمة على الانتشار (dLLMs) النصوص من خلال عملية إزالة الضجيج (denoising) المتكررة، مما يوفر مزايا في الاستنتاج والسياق ثنائي الاتجاه مقارنة بالنماذج ذات الترتيب التلقائي (ARMs). ومع ذلك، تشكل كفاءة الاستنتاج عائقًا رئيسيًا بسبب:

الفائض الحسابي: في عملية فك الترميز المتوازي القياسية، غالبًا ما يتم التنبؤ بالرموز (tokens) بشكل صحيح في مراحل مبكرة من عملية إزالة الضجيع، ولكن لا يتم "فك ترميزها" (اعتمادها نهائيًا) حتى تتجاوز الثقة حدًا مرتفعًا. هذا يجبر النموذج على التنبؤ المتكرر بنفس الرموز الصحيحة وإعادة حجبها (remasking)، مما يهدر العمليات الحسابية.
فك الترميز غير المدرك للتاريخ: تعتمد الطرق الحالية فقط على درجات الثقة اللحظية في كل خطوة، وتتجاهل الأدلة التاريخية؛ مما يعني أن التقلبات العابرة أو التنبؤات الخاطئة المؤقتة قد تؤخر فك الترميز أو تسبب انتشار الأخطاء، مما يقوض التقارب (convergence).
غياب ذاكرة التخزين المؤقت (KV Cache): على عكس النماذج ذات الترتيب التلقائي (ARMs)، لا تستطيع نماذج dLLMs عادةً استخدام ذاكرة KV cache خالية من الفقد بسبب الانتباه ثنائي الاتجاه، مما يزيد من زمن التأخير (latency).

2. المنهجية الجوهرية: CreditDecoding

يقترح المؤلفون CreditDecoding، وهو استراتيجية لفك الترميز المتوازي لا تتطلب تدريبًا، تعتمد على رصيد التتبع (Trace Credit) لتسريع الاستنتاج دون تعديل أوزان النموذج.

المفاهيم الرئيسية

رصيد التتبع ( $C_{i,v}^t$ ): درجة على مستوى الرمز تراكم الأدلة التاريخية عبر خطوات إزالة الضجيج. وهي تقيس "إمكانية فك ترميز" الرمز بناءً على اتساقه في مسار التتبع.
الاتساق الزمني: لاحظ المؤلفون أن ثقة الرمز المستهدف النهائي تظهر اتجاهًا متزايدًا ثابتًا مع تقدم عملية إزالة الضجيج. وحتى لو تم حجب الرمز مؤقتًا، فإن مساره التاريخي يشير إلى أنه من المرجح أن يكون هو الرمز الصحيح.

آليات الخوارزمية

تراكم الرصيد:
عند كل خطوة إزالة ضجيج $t$ ، ولكل موضع محجوب $i$ ، يحافظ النموذج على قيمة رصيد $C_{i,v}^t$ لكل رمز مرشح $v$ .
- التعزيز المركّز: إذا تطابق تنبؤ النموذج الحالي (top-1) $\tilde{x}_i^t$ مع الرمز $v$ ، يتم تحديث الرصيد باستخدام قاعدة المتوسط المتحرك الأسي (EMA):
  $C_{i,v}^t = \beta C_{i,v}^{t+1} + (p_{i,v}^t)^\gamma$
  حيث يتحكم $\beta$ في التلاشي (نسيان الأدلة القديمة) و $\gamma$ هو تحويل مقعر يرفع وزن القيم ذات الثقة المنخفضة.
- التلاشي العالمي: إذا لم يكن الرمز هو التنبؤ الحالي (top-1)، يتلاشى رصيده بمقدار $\beta$ . وهذا يعمل على كبح الضجيج الناتج عن الطفرات العابرة.
دمج اللوغاريتمات (Logit Fusion):
يتم دمج الرصيد المتراكم مع اللوغاريتمات الحالية لتعزيز ثقة الرموز المتسقة:
$\hat{l}_{i,v}^t = l_{i,v}^t + \alpha \cdot \log(C_{i,v}^t + 1)$
يعمل هذا فعليًا على تطبيق كسب ضربي على احتمالية الرموز التي أظهرت استقرارًا تاريخيًا، مما يسمح لها بتجاوز عتبة فك الترميز $\tau$ في وقت مبكر.
النسخة الخالية من الضبط (Tuning-Free):
لتجنب ضبط المعلمات الفائقة (hyperparameters)، يقترح المؤلفون جدولًا تكيفيًا حيث يتم ربط قوة الدمج $\alpha$ والتلاشي $\beta$ بنسبة الحجب $\eta_t$ (تقدم إزالة الضجيج). ومع اقتراب العملية من الاكتمال ( $\eta_t \to 0$ )، تزدل قوة الرصيد تلقائيًا.

3. المساهمات الرئيسية

تحديد الفائض: تحدد الورقة "الفجوة الزمنية" بين التنبؤ المبكر الصحيح وفك الترميز المتأخر كمصدر رئيسي لعدم الكفاءة في نماذج dLLM.
آلية رصيد التتبع: تقديم طريقة مبتكرة لا تتطلب تدريبًا لتراكم اللوغاريتمات التاريخية في درجة "رصيد"، تعمل كمرجع (prior) لتثبيت وتسريع فك الترميز.
الاستقلالية (Orthogonality): يعمل CreditDecoding حصريًا على اللوغاريتمات، مما يجعله متوافقًا مع التحسينات الحالية مثل ذاكرة KV cache، ودمج النواة (kernel fusion)، والإيقاف المبكر لـ EOS.
التقييم الشامل: اختبار واسع النطاق عبر بنيات متنوعة من dLLM (Dense, MoE)، ومقاييس مختلفة (الاستنتاج، البرمجة، المعرفة).

4. النتالئج التجريبية

تم تقييم الطريقة على ثمانية معايير (MMLU, SQuAD2.0, GSM8K, MATH, HumanEval, إلخ) باستخدام نماذج مثل LLaDA-8B-Instruct و LLaDA-MoE-Instruct.

التسريع: يحقق CreditDecoding تسريعًا يصل إلى 5.48× (مقاسًا بالرموز لكل تمريرة أمامية، TPF) على LLaDA-8B-Instruct مقارنة بالنموذج المرجعي.
الدقة: خلافًا للمقايضة المعتادة بين السرعة والدقة، تعمل الطريقة على تحسين متوسط الدقة بمقدار +0.48 نقطة على LLaDA-8B-Instruct.
القابلية للتوسع:
- حجم النموذج: فعال عبر نماذج تتراوح من 8 مليار إلى 100 مليار معامل.
- طول السياق: يتوسع الأداء جيدًا مع السياقات الطويلة (حتى 4096 رمزًا)، مع الحفاظ على تسريع ثابت بنحو 7 أضعاف في TPF.
الاستقلالية: عند دمجه مع تقنيات التسريع الأخرى (مثل Fast-dLLM، وKV Cache، وPyTorch Compiler)، يعزز CreditDecoding السرعة بشكل أكبر ويخفف من انخفاض الدقة الناتج عن الضغط الشديد.
المتانة: يتفوق على الطرق الرائدة مثل Fast-dLLM عبر استراتيجيات فك الترميز المتنوعة (Threshold, Top-K, Top-K Margin).

5. الأهمية والأثر

النشر العملي: باعتباره وحدة جاهزة للاستخدام ولا تتطلب تدريبًا، يمكن دمج CreditDecoding مباشرة في خطوط إنتاج الاستنتاج الحالية لنماذج dLLM دون الحاجة لإعادة التدريب.
سد الفجوة: يقلص بفعالية الفجوة بين حد التسريع النظري ("حد فك الترميز المثالي") والأداء الفعلي من خلال تقليل العمليات المتكررة غير الضرورية.
مستقبل dLLMs: من خلال معالجة عدم الكفاءة المتأصل في فك الترميز المتوازي، يجعل هذا العمل نماذج dLLMs أكثر قابلية للتطبيق في التطبيقات الواقعية التي تتطلب زمن استجابة منخفض وإنتاجية عالية، مما قد يسرع من اعتمادها جنبًا إلى جنب مع النماذج ذات الترتيب التلقائي.

باختصار، يحول CreditDecoding عملية إزالة الضجيج من مجرد مقامرة خطوة بخطوة عديمة الذاكرة إلى نظام تراكمي مدرك للتاريخ يعتمد على الرصيد، مما يسرع فك ترميز dLLM بشكل كبير مع تعزيز المتانة.