When Hidden States Drift: Can KV Caches Rescue Long-Range Speculative Decoding?

إليك ملخص تقني مفصل للورقة البحثية بعنوان "عندما تنزاح الحالات الخفية: هل يمكن لـ KV Caches إنقاذ فك التشفير التخميني طويل المدى؟"

1. بيان المشكلة

الاضمحلال طويل المدى في فك التشفير التخميني (Speculative Decoding):
يعمل فك التشفير التخميني على تسريع استنتاج النماذج اللغوية الكبيرة (LLM) باستخدام نموذج "مسودة" (drafter) خفيف الوزن لاقتراح عدة رموز (tokens)، والتي يقوم بعد ذلك نموذج "هدف" (target) أكبر بالتحقق منها. تعتمد الأنظمة المتطورة الحالية (مثل EAGLE-3 وMTP) على إعادة استخدام الحالات الخفية (hidden-state reuse)، حيث يتم تغذية الحالات الخفية الداخلية لنموذج الهدف إلى نموذج المسودة.

• المشكلة: تعاني هذه الأنظمة من اضمحلال طويل المدى (long-range decay): حيث تنخفض دقة المسودة تدريجيًا مع زيادة خطوة التخمين $k$.
• التفسير الحالي: يعزو المجتمع ذلك إلى عدم التطابق بين التدريب والاستنتاج (train-inference mismatch) (حيث يشترط نموذج المسودة على حالاته الخفية المنزاحة ذاتيًا أثناء الاستنتاج، على عكس مرحلة التدريب). وبينما يعمل التدريب وقت الاختبار (TTT) على التخفيف من ذلك، إلا أن الاضمحلال يستمر.
• الفجوة: تجادل الورقة بأن عدم التطابق بين التدريب والاستنتاج ليس السبب الوحيد. تكمن المشكلة الجوهرية في الحفاظ على المعلومات السياقية. تعمل الحالات الخفية كـ "ضغط سياقي منحاز" (biased context compression) مُحسَّن للتنبؤ بالرمز التالي المباشر فقط، مما يؤدي إلى التخلص من المعلومات ذات الصلة بخطوات التخمين المستقبلية.

2. الفرضية الجوهرية والتحليل النظري

تقترح الورقة فرضية إعادة استخدام KV (KV-Reuse Hypothesis): إن إعادة استخدام مخزن الـ KV (KV Cache) الخاص بنموذج الهدف (أزواج المفتاح والقيمة) بدلاً من مجرد الحالات الخفية يمكن أن يحافظ على سياق أغنى لعمليات التخمين طويلة المدى.

• إعادة استخدام الحالة الخفية (الضغط المنحاز):
  • الحالات الخفية للهدف هي نتيجة لتجميع الانتباه: $h_t = \sum \alpha_i v_i$.
  • الأوزان $\alpha_i$ مُحسَّنة للتنبؤ بالرمز الحالي $x_{t+1}$.
  • الرموز ذات الصلة الضعيفة بـ $x_{t+1}$ تتلقى أوزانًا تقترب من الصفر ويتم التخلص منها فعليًا في $h_t$.
  • النتيجة: بالنسبة لخطوات التخمين اللاحقة ($x_{t+k}$)، يجب على نموذج المسودة استعادة المعلومات التي تم قمعها بواسطة آلية الانتباه في النموذج الهدف، وهي مشكلة "استعادة معلومات" سيئة التكيّف.
• إعادة استخدام KV (السياق الصريح):
  • يحتفظ مخزن الـ KV بمجموعة كاملة من أزواج $(k_i, v_i)$ قبل عملية التجميع.
  • يمكن لنموذج المسودة إجراء إعادة انتباه (re-attention) باستخدام استعلامات (queries) المستقبل المقدرة الخاصة به مقابل مخزن الـ KV الكامل للبادئة (prefix).
  • النتيجة: لا يتم التخلص من أي معلومات قبل معالجة نموذج المسودة. وتنتقل الصعوبة من "استعادة المعلومات المفقودة" إلى "التقدير الدقيق للاستعلامات المستقبلية" (وهي مسألة تقريب دالة).

3. المنهجية: إطار عمل KVShot

لاختبار هذه الفرضية، قدم المؤلفون إطار التشخيص KVShot الذي يقارن ثلاثة نماذج لإعادة الاستخدام تحت نفس خط أنابيب التدريب التكراري وقت الاختبار (Autoregressive TTT) (المستخدم في EAGLE-3):

1. إعادة الاستخدام للحالة الخفية فقط (Hidden-Only Reuse): نهج EAGLE-3/MTP القياسي (دمج الحالات الخفية للهدف).
2. إعادة الاستخدام لـ KV فقط (KV-Only Reuse): يتلقى نموذج المسودة مخزن الـ KV الخاص بالهدف عبر الانتباه المتقاطع (cross-attention)، مستبدلًا الحالات الخفية تمامًا.
3. إعادة الاستخدام الهجينة (Hybrid Reuse): آلية دمج محكومة ببوابة (gated fusion) حيث توفر الحالة الخفية المرساة الرئيسية، بينما يوفر مخزن الـ KV "تصحيح دلتا محكوم ببوابة" للخطوات طويلة المدى.

الإعداد التجريبي:

• النموذج الهدف: Qwen3-8B.
• مجموعات البيانات: ShareGPT وUltraChat (بمقياس من 70 ألف إلى 280 ألف عينة).
• المقاييس: معدلات القبول خطوة بخطوة ($\alpha_k$)، متوسط الرموز المقبولة (MAT)، ومؤشرات تسريع الوقت من البداية إلى النهاية (E2E).

4. النتائج الرئيسية

أ. التحقق من التوقعات (التحليل المرحلي)

أكدت التجارب ثلاثة توقعات نظرية:

1. ميزة المدى الطويل: إعادة الاستخدام لـ KV فقط تتدهور بشكل أكثر سلاسة من إعادة الاستخدام للحالة الخفية فقط مع زيادة $k$. عند الخطوة $k=6$، تفوق نموذج KV-only المكون من 4 طبقات على خط أساس EAGLE-3 ($\alpha_6 = 0.495$ مقابل $0.469$).
2. عنق زجاجة تقدير الاستعلام: يعتمد أداء KV-Only بشكل كبير على عمق نموذج المسودة. أدى نموذج المسودة ذو الطبقة الواحدة إلى أداء ضعيف (MAT 1.84) لأنه لا يستطيع تقريب استعلامات الهدف المعقدة. أدى رفع العمق إلى طبقتين إلى قفزة هائلة (MAT 2.23)، لكن 4 طبقات قدمت عوائد متناقصة، وظلت خلف خط أساس EAGLE-3 ذي الطبقة الواحدة (MAT 2.37) من حيث الكفاءة الإجمالية.
3. عيب المدى القصير: عند $k=0$ أو $1$، يتفوق إعادة استخدام الحالة الخفية على KV-Only لأن الحالات الخفية تحمل محتوى دلاليًا أغنى من التضمينات الخام المستخدمة في إعادة انتباه الـ KV.

ب. الأداء الهجين

حقق النموذج الهجين (الذي يجمع بين الإشارتين) أفضل النتائج المرحلية:

• MAT: بلغ 2.54 (مقابل 2.37 لخط أساس EAGLE-3).
• الاحتفاظ: تحسن معدل الاحتفاظ طويل المدى من 73.5% إلى 77.3%.
• الآلية: سمحت قاعدة "دلتا المحكومة ببوابة" لمسار الـ KV بتصحيح مسار الحالة الخفية عند الآفاق الأبعد دون تعطيل دقة المدى القصير.

ج. واقع التحقق من البداية إلى النهاية (E2E)

على الرغم من التحسينات المرحلية، كان التسريع من البداية إلى النهاية (E2E) هامشيًا:

• MAT المقاس عبر HF: ارتفع فقط من 5.01 (EAGLE-3) إلى 5.04 (الهجين).
• زمن الاستجابة (Latency): أضاف مسار الانتباه المتقاطع الإضافي 5-10% من زمن استجابة المسودة.
• الاستنتاج: لا يمكن لخط أنابيب TTT التكراري الحالي استغلال إشارة KV بكفاءة للتغلب على التكلفة الحسابية المضافة.

5. الاختناقات الهيكلية المحددة

حددت الورقة ثلاثة أسباب محددة لعدم قدرة الخط الحالي على ترجمة المكاسب المرحلية إلى تسريع E2E:

1. صعوبة تقدير الاستعلام: يتطلب تقدير استعلامات الهدف المستقبلية تكرار التحويلات غير الخطية متعددة الطبقات للنموذج الهدف. تفتقر نماذج المسودة الضحلة (1-2 طبقة) إلى القدرة على تقريب هذه الاستعلامات بدقة.
2. إشارات التدرج المتفرقة: في TTT التكراري، يتم تحديث إسقاطات جانب المسودة ($W_K, W_V$) فقط بواسطة عدد قليل من الرموز المولدة من المسودة (مثلاً 7 رموز) في كل خطوة، بينما يتم نسخ بادئة الـ KV. يؤدي هذا إلى تدرجات متفرقة وغير متوازنة للغاية لمسار الـ KV.
3. تجويع التدرج الناجم عن البوابة: في النموذج الهجين، تميل البوابة التي تتحكم في تصحيح الـ KV إلى الانهيار إلى الصفر تقريبًا في وقت مبكر من التدريب (لأن فرع الـ KV الذي بدأ بتهيئة عشوائية يبدأ كضوضاء). وبمجرد إغلاقها، تمنع البوابة التدرجات من الوصول إلى فرع الـ KV، مما يمنعه من التعلم ليكون مفيدًا. وهذا يخلق "حالة تعزيز ذاتي منخفض الحقن".

6. الأهمية والتوجهات المستقبلية

• التحول المفاهيمي: تعيد الورقة صياغة الاضمحلال طويل المدى ليس فقط كعدم تطابق بين التدريب والاستنتاج، بل كمسألة حفاظ على المعلومات. لقد أثبتت أن الحالات الخفية هي ضغط فاقد للمعلومات (lossy compression) للمهام طويلة الأمد.
• أداة تشخيصية: يوفر KVShot بيئة اختبار أساسية لعزل تأثيرات التمثيل عن عيوب التدريب.
• خارطة طريق للنماذج المعمارية من الجيل القادم: تشير النتائج إلى أن الـ TTT التكراري غير كافٍ لفك التشفير المدرك لـ KV. ولتحقيق إمكانات إعادة استخدام KV، يجب على المجال الانتقال نحو نماذج التدريب القائمة على الكتل (Block-wise Training Paradigms) (مثل DFlash).
  • ينتج التدريب القائم على الكتل العديد من رموز المسودة بالتوازي، مما يوفر إشارات تدرج كثيفة لإسقاطات الـ KV.
  • يسمح ذلك بنماذج مسودة أعمق قادرة على تقدير الاستعلام بدقة دون عقوبات زمن الاستجابة التسلسلية.

الملخص: بينما توفر مخازن الـ KV نظريًا إشارة متفوقة لفك التشفير التخميني طويل المدى من خلال الحفاظ على السياق، فإن خطوط أنابيب التدريب التكرارية الحالية تفشل في الاستفادة من ذلك بسبب حدود تقدير الاستعلام وتجويع التدرج. يكمن الطريق إلى الأمام في بنى تدريب موازية قائمة على الكتل.