💬 NLP

EntropyCache: Decoded Token Entropy Guided KV Caching for Diffusion Language Models

تُعد EntropyCache طريقة لتخزين مفاتيح وقيم (KV) لا تتطلب تدريباً لنماذج اللغات الكبيرة القائمة على الانتشار، حيث تستفيد من اعتلاج الرموز (token entropy) الذي تم فك تشفيره كإشارة ذات تكلفة ثابتة لتقرير متى يتم إعادة حساب الحالات المخزنة ديناميكياً، مما يحقق تسريعاً كبيراً في عملية الاستنتاج مع حد أدنى من العبء الإضافي مع الحفاظ على دقة تنافسية.

المؤلفون الأصليون: Minsoo Cheong, Donghyun Son, Woosang Lim, Sungjoo Yoo

نُشر 2026-03-20

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Minsoo Cheong, Donghyun Son, Woosang Lim, Sungjoo Yoo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث EntropyCache، مترجم إلى لغة بسيطة مع استخدام تشبيهات إبداعية.

المشكلة الكبرى: قاعدة "إعادة كتابة كل شيء"

تخيل أنك تكتب قصة مع محرر سحري صارم للغاية.

الكُتّاب العاديون (النماذج ذات التوليد الذاتي - Autoregressive Models): يكتب هؤلاء كلمة بكلمة، من اليسار إلى اليمين. وبمجرد كتابة الكلمة، لا يغيرونها أبداً. إذا احتاجوا لتذكر الكلمة السابقة لكتابة الكلمة التالية، فإنهم ببساطة ينظرون إلى دفتر ملاحظاتهم. هذا الأسلوب سريع وفعال.
كُتّاب الانتشار (نماذج dLLMs): تعمل هذه النماذج بشكل مختلف. يبدأون بصفحة بيضاء مليئة بـ "صناديق غامضة" (أقنعة/Masks). في كل خطوة، يلقون نظرة داخل بعض الصناديق، ويخمنون الكلمات التي يجب أن تكون هناك، ثم يعيدون تقييم القصة بأكملها للتأكد من أن الكلمات الجديدة تتناسب تماماً مع الكلمات القديمة.

عنق الزجاجة: لأن كاتب "الانتشار" ينظر إلى القصة بأكملها في كل مرة يخمن فيها كلمة جديدة، فإنه لا يستطيع مجرد "تذكر" الأجزاء القديمة. عليه إعادة حساب القصة بأكملها من الصفر في كل خطوة. الأمر يشبه محاولة رسم لوحة فنية عبر إعادة رسم اللوحة بأكملة في كل مرة تضيف فيها ضربة فرشاة واحدة. هذا الأمر بطيء للغاية.

الحل القديم: التخمين "الكسول"

لتسريع هذه العملية، حاولت الطرق السابقة أن تكون "كسولة". قالوا: "مهلاً، معظم أجزاء القصة لم تتغير كثيراً، لذا دعونا ننسخ ونلصق الحسابات القديمة (KV Cache) ونعيد حساب الأجزاء الجديدة فقط".

العيب: لمعرفة متى يكون من الآمن أن نكون كسالى، اضطرت هذه الطرق للقيام بـ "فحص صحة" معقد لكل كلمة في القصة. كان عليهم مقارنة النسخة الجديدة من القصة بالنسخة القديمة، طبقة تلو الأخرى.
التكلفة: كان هذا "الفحص الصحي" مكلفاً ومعقداً لدرجة أنه استهلك معظم الوقت الذي تم توفيره. كان الأمر يشبه توظيف فريق من المفتشين لفحص كل طوبة في منزل لمجرد معرفة ما إذا كان بإمكانك تخطي عملية طلاء المنزل بالكامل.

الحل الجديد: EntropyCache (مقياس المفاجأة)

ابتكر مؤلفو هذه الورقة البحثية، EntropyCache، حيلة ذكية وبسيطة. أدركوا أنهم ليسوا بحاجة لفحص المنزل بأكمله. كل ما عليهم فعله هو طرح سؤال واحد: "ما مدى درجة المفاجأة لدى النموذج؟"

إنهم يستخدمون مفهوماً يسمى الاعتلاج (Entropy)، وهو ببساطة مقياس لـ عدم اليقين أو المفاجأة.

القاعدتان الذهبيتان (لحظات الـ "آها!")

القاعدة رقم 1: المفاجأة = التغيير.
- التشبيه: تخيل أنك تخمن الكلمة التالية في جملة.
  - إذا كنت متأكداً بنسبة 100% أن الكلمة التالية هي "الـ" (اعتلاج منخفض)، فأنت لا تتعلم شيئاً جديداً حقاً. القصة لا تتغير كثيراً. يمكنك بأمان تخطي الحسابات الثقيلة.
  - إذا كنت مرتبكاً تماماً والنموذج يخمن بين "قطة"، "كلب"، "سيارة"، أو "بيتزا" (اعتلاج مرتفع)، فهذا يعني أن النموذج يمر بلحظة "وجدتها!". إنه يلتزم بتغيير كبير. عندما يتفاجأ النموذج، يتغير هيكل القصة بالكامل. هذه هي الإشارة للتوقف عن كوننا كسالى وإعادة حساب كل شيء.
- السحر: بدلاً من فحص القصة بأكملها، هم ينظرون فقط إلى "مستوى المفاجأة" للكلمات الجديدة. إنه حساب صغير ورخيص (مثل فحص ميزان الحرارة) يخبرهم بالضبط متى يعملون بجد ومتى يرتاحون.
القاعدة رقم 2: تأثير "الترنح" (The Hangover Effect).
- التشبيه: أحياناً، حتى بعد أن يختار النموذج كلمة، يظل مهتزاً قليلاً. يشبه الأمر شخصاً اتخذ قراراً كبيراً للتو؛ قد يترنح لبضع خطوات قبل أن يستقر مجدداً.
- الإصلاح: الطرق السابقة كانت تعيد حساب الكلمة الجديدة المباشرة فقط. لكن EntropyCache يقول: "لا، دعونا نعيد أيضاً حساب الكلمات القليلة الأخيرة التي قررناها للتو، للتأكد من استقرارها". هذا يمنع القصة من الانحراف عن مسارها لاحقاً.

كيف يعمل الأمر في الواقع

إليك العملية خطوة بخوة، مصورة كنظام إشارات مرور:

التوقف والانطلاق: يقوم النموذج بتوليد بعض الكلمات الجديدة.
الفحص (الإشارة): يقوم النظام بفحص "مقياس المفاجأة" (الاعتلاج) لتلك الكلمات الجديدة.
- الضوء الأخضر (مفاجأة منخفضة): النموذج واثق. "حسناً، نحن بخير". -> تخطَّ العمل الشاق. استخدم الملاحظات القديمة (الذاكرة المخبأة/Cache).
- الضوء الأحمر (مفاجأة مرتفعة): النموذج مرتبك أو يقوم بقفزة كبيرة. "مهلاً، الأشياء تتغير!" -> توقف! قم بإجراء إعادة حساب كاملة للقصة لضمان الدقة.
شبكة الأمان: حتى لو كان الضوء أخضر، يقوم النظام بالتحقق من الكلمات القليلة الأخيرة (الرموز الحديثة) للتأكد من أنها لم تترنح.

لماذا يعد هذا أمراً هاماً؟

السرعة: بما أن "مقياس المفاجأة" رخيص جداً في الحساب (لا يهم طول القصة أو حجم النموذج)، فإن النظام يقضي وقتاً شبه معدوم في اتخاذ القرار.
النتائج: في اختباراتهم، جعلت هذه الطريقة نماذج الانتشار أسرع بـ 15 إلى 26 مرة من الطريقة القياسية، وأسرع بـ 100 مرة في مهام الاستدلال المعقدة (مثل المسائل الرياضية)، دون فقدان الدقة.
البساة: لا يتطلب الأمر إعادة تدريب النموذج. إنه تحديث "جاهز للاستخدام" يعمل كمنظم مرور ذكي، يحافظ على تدفق الحركة بسرعة ولكن يتوقف تماماً عندما يوشك وقوع حادث.

ملخص التشبيه

تخيل أنك تقود سيارة عبر مدينة ضبابية.

الطريقة القديمة: تتوقف كل 10 أقدام، وتخرج من السيارة، وتتفقد الخريطة لترى ما إذا كان الطريق أمامك خالياً. هذا يستغرق وقتاً طويلاً.
EntropyCache: أنت تنظر فقط إلى مساحات الزجاج الأمامي. إذا كانت تتحرك ببطء (مفاجأة منخفضة)، فأنت تعلم أن الطريق واضح ويمكنك القيادة بسرعة. إذا كانت تتمايل بجنون (مفاجأة مرتفعة)، فأنت تعلم أن شيئاً كبيراً يحدث، لذا تبطئ وتتفقد الخريطة بعناية.

EntropyCache هو مساحة الزجاج الذكية التي تسمح لنماذج الانتشار بالقيادة بسرعات الطرق السريعة دون الاصطدام.

إليك ملخص تقني مفصل لورقة البحث بعنوان "EntropyCache: Decoded Token Entropy Guided KV Caching for Diffusion Language Models."

1. بيان المشكلة

تقدم النماذج اللغوية القائمة على الانتشار (dLLMs) بديلاً واعداً للنماذج ذات الترتيب التلقائي (Autoregressive - AR) من خلال تمكين التوليد المتوازي للرموز عبر عملية إزالة الضجيج المتكررة. ومع ذلك، فإنها تواجه عائقاً هيكلياً جوهرياً:

الانتباه ثنائي الاتجاه (Bidirectional Attention): على عكس نماذج AR التي تستخدم الانتباه السببي (الذي يسمح بتخزين مفاتيح وقيم (KV) بدون فقدان)، تستخدم نماد ل dLLM انتباهاً ثنائي الاتجاه. إن كشف قناع (Unmasking) حتى رمز واحد يغير التمثيلات في جميع مواضع التسلسل.
عدم الكفاءة: نتيجة لذلك، تتطلب عملية الاستدلال القياسية لـ dLLM تمريرة أمامية كاملة (Full Forward Pass) على التسلسل بأككامل في كل خطوة من خطوات إزالة الضجيج، مما يؤدي إلى تكلفة تتناسب طردياً مع حاصل ضرب طول التسلسل وعدد الخطوات.
محدودية الحلول الحالية:
- التخزين الثابت (مثل Fast-dLLM): يقوم بتجميد أزواج KV خارج الكتلة الحالية، مما يضحي بالدقة مقابل السرعة.
- التخزين الديناميكي (مثل d2Cache، Elastic-Cache): يقرر ديناميكياً متى يعيد الحساب بناءً على تتبع الانتباه (Attention Rollout) أو الانحراف على مستوى الطبقات. ومع ذلك، تسبب هذه الطرق عبئاً مرتفعاً في اتخاذ القرار يتناسب مع طول السياق ( $L$ )، وعمق النموذج ( $\ell$ )، أو البعد الخفي ( $d$ )، مما يحد من تسريعها العملي.

2. المنهجية: EntropyCache

يقترح المؤلفون EntropyCache، وهو طريقة لتخزين KV لا تتطلب تدريباً، تقلل من عبء اتخاذ القرار مع الحفاظ على الدقة. تعتمد الطريقة على ملاحظتين تجريبيتين:

الملاحظات الرئيسية

الإنتروبيا تتنبأ بانحراف KV: ترتبط الإنتروبيا القصوى لتوزيعات الرموز التي تم فك تشفيرها حديثاً ارتباطاً قوياً بحجم انحراف ذاكرة KV (المقاس بالمسافة الجيبية تماماً لمتجهات القيم). تشير الإنتروبيا العالية إلى عدم يقين عالٍ وتحولات كبيرة في التمثيل، مما يستدي الحاجة إلى إعادة حساب كاملة.
تقلب الميزات يستمر: الرموز التي تم كشف القناع عنها لا تستقر فوراً. غالباً ما يستمر تقلب الميزات لعدة خطوات بعد كشف القناع. لذلك، فإن إعادة حساب رموز الخطوة الحالية فقط أمر غير كافٍ؛ بل يجب تحديث نافذة من الرموز التي تم فك تشفيرها مؤخراً أيضاً.

سير عمل الخوارزمية

يعمل EntropyCache في ثلاث مراحل لكل خطوة إزالة ضجيج $t$ :

التمريرة الأمامية (كاملة أو جزئية):
- إذا كان علم "التخطي" (Skip Flag) نشطاً، يقوم النموذج بـ تمريرة أمامية جزئية، حيث يعيد حساب متجهات K/V فقط لـ:
  - رموز القناع الحالية (التي يتم إزالة الضجيج منها).
  - الـ $k$ من الرموز التي تم فك تشفيرها مؤخراً (بناءً على سجل فك التشفير).
- تعيد جميع المواضع الأخرى استخدام حالات KV المخزنة.
- إذا كان علم التخطي غير نشط، يتم تنفيذ تمريرة أمامية كاملة.
فك التشفير وتقييم الإنتروبيا:
- يتم فك تشفير الرموز الجديدة من لوغيتات (Logits) النموذج.
- يتم حساب الإنتروبيا القصوى ( $E_{t+1}$ ) لتوزيعات الرموز المفككة حديثاً:
  $E_{t+1} = \max_{i \in D_{t+1}} \left( -\sum_{j} p_{ij} \log p_{ij} \right)$
- تكلفة هذه العملية هي $O(V)$ ، حيث $V$ هو حجم المفردات، وهي مستقلة عن طول السياق أو عمق النموذج.
قرار التخطي واختيار الرموز:
- القرار: إذا كانت $E_{t+1} > \tau$ (العتبة)، يتم ضبط علم التخطي على False (مما يؤدي إلى إعادة حساب كاملة في الخطوة التالية). خلاف ذلك، يظل العلم True.
- اختيار الرموز الحديثة: تحافظ الخوارزمية على سجل لزمن فك تشفير الرموز. وتختار أفضل $k$ من الرموز التي تم فك تشفيرها مؤخراً لتضمينها في نافذة إعادة الحساب الجزئية، مما يضمن التقاط الميزات المتقلبة.

3. المساهمات الرئيسية

إشارة قرار بتكلفة ثابتة: تستبدل تتبع الانتباه لكل طبقة أو مقارنات الحالة الخفية المكلفة بإشارة إنتروبيا واحدة بقيمة $O(V)$ . تم فصل عبء اتخاذ القرار عن طول السياق ( $L$ )، وعمق النموذج ( $\ell$ )، والبعد الخفي ( $d$ ).
معالجة تقلب الخطوات المتعددة: تقدم آلية لإعادة حساب الـ $k$ من الرموز التي تم فك تشفيرها مؤخراً، مما يعالج حقيقة أن عدم استقرار الميزات يستمر لما بعد خطوة واحدة.
تكامل لا يتطلب تدريباً: لا تتطلب الطريقة أي ضبط دقيق (Fine-tuning) ويمكن دمجها في مسارات استدلال dLLM الحالية مع تغييرات طفيفة في الكود.

4. النتائج التجريبية

تم تقييم الطريقة على LLaDA-8B-Instruct و Dream-7B-Instruct عبر معايسات قياسية (GSM8K, MATH500, MBPP, HumanEval) ومعايسات سلسلة الأفكار (CoT).

التسريع:
- المعايسات القياسية: حققت تسريعاً يتراوح بين 15.2× – 26.4× مقارنة باستدلال dLLM التقليدي.
- معايسات سلسلة الأفكار (CoT): حققت تسريعاً يتراوح بين 22.4× – 24.1×، متفوقة بشكل كبير على الطرق السابقة (مثل d2Cache، Elastic-Cache) التي عانت مع السياقات الطويلة.
الدقة:
- حافظ EntropyCache على دقة تنافسية، بل وتجاوزت أحياناً الخط المرجعي.
- بشكل ملحوظ، في اختبار HumanEval، كان هو الطريقة الوحيدة التي حققت أداءً مطابقاً للخط المرجعي (Lossless) مع تقديم تسريع يتراوح بين 8.9× و 30.7×.
العبء الإضافي (Overhead):
- يمثل منطق القرار 0.5% فقط من إجمالي وقت الاستدلال.
- في المقابل، تسبب d2Cache و Elastic-Cache عبئاً بنسبة 9.2% و 14.5% على التوالي، بسبب تعقيد القياس الخاص بهما.
الكفاءة: حقق EntropyCache أعلى إنتاجية (Tokens/sec) عبر معظم الإعدادات، خاصة في مهام التوليد الطويل حيث يتم تعظيم إعادة استخدام التخزين المؤقت.

5. الأهمية والأثر

القابلية للتوسع: من خلال فصل عبء اتخاذ القرار عن حجم النموذج وطول السياق، يعد EntropyCache مناسباً بشكل فريد لتوسيع نطاق dLLMs إلى سياقات أطول ونماذج أكبر حيث تصبح طرق التخزين الديناميكي الحالية مكلفة حوسبياً بشكل غير عملي.
النشر العملي: تجعل الطبيعة منخفضة العبء وعدم الحاجة للتدريب من هذه الطريقة قابلة للتطبيق الفوري في بيئات الإنتاج، مما قد يقلل من تكاليف الطاقة والأجهزة اللازمة لنشر النماذج اللغوية القائمة على الانتشار.
فهم ديناميكيات dLLM: يقدم هذا العمل رابطاً نظرياً جديداً بين عدم اليقين التنبئي (الإنتروبيا) وانحراف التمثيل الداخلي، مما يوفر منظوراً جديداً لكيفية تحسين استدلال الانتشار.

في الختام، يجسّر EntropyCache بفعالية الفجوة بين الكفاءة النظرية لنماذج الانتشار والقيود العملية لزمن استجابة الاستدلال، مما يوفر بديلاً قوياً وعالي السرعة للتوليد التلقائي (Autoregressive) لحالات استخدام محددة.