ملخص تقني: VeriCache

بيان المشكلة

أدى التوسع السريع في أطوال سياق النماذج اللغوية الكبيرة (LLM) (التي تتجاوز مليون توكن) إلى خلق اختناق شديد في عملية الاستدلال (inference) بسبب حجم ذاكرة المفتاح-القيمة (KV cache). يتجلى هذا الاختناق بطريقتين:

1. الأعباء الإضافية داخل الطلب الواحد: تتطلب خطوات فك التشفير (decoding) قراءة كامل ذاكرة الـ KV من ذاكرة النطاق الترددي العالي (HBM) الخاصة بالمعالج الرسومي (GPU)، مما يخلق اختناقاً في نطاق التردد الترددي للذاكرة يتناسب طردياً مع طول السياق. كما أن الذاكرة المخبئية الضخمة تقلل من حجم الدفعات (batch size) التي يمكن استيعابها في ذاكرة المعالج الرسومي.
2. الأعباء الإضافية عبر الطلبات: تتطلب إعادة استخدام ذاكرات الـ KV المحسوبة مسبقاً للسوابق المشتركة (مثل الأوامر النظامية - system prompts) نقل كميات ضخمة من البيانات من التخزين أو عبر الشبكات، مما يهيمن غالباً على زمن استجابة الطلب (latency).

لمعالجة ذلك، تم اقتراح العديد من طرق ضغط ذاكرة الـ KV (مثل إسقاط التوكنات والكمية - quantization). ومع ذلك، فإن هذه الطرق تعتمد جوهرياً على فقدان البيانات (lossy). وبينما قد تحافظ على مقاييس مستوى التوكن (مثل الـ perplexity أو F1 score) للمخرجات القصيرة، إلا أنها تسبب انحرافاً منهجياً في توزيع التوكن التالي. ومع استمرار عملية التوليد، يتراكم هذا الانحراف، مما يؤدي إلى ابتعاد المخرجات بشكل كبير عن المرجع الأساسي للـ KV الكامل. يؤدي هذا إلى "فشل كارثي" في التطبيقات التي تتطلب دقة وظيفية صارمة، مثل توليد الأكواد (أخطاء في بناء الجملة - syntax errors) واستدعاء الأدوات (Arguments خاطئة)، مما يجعل الضغط التقليدي غير مناسب لهذه المهام الحرجة.

المنهجية: VeriCache

VeriCache هو إطار عمل للاستدلال مصمم لتحقيق فوائد الإنتاجية (throughput) لضغط ذاكرة الـ KV مع ضمان مخرجات غير منقوصة (lossless) مطابقة تماماً لفك تشفير الـ KV الكامل. وهو يعيد توظيف طرق الضغط "الفاقدة للبيانات" كطبقة تنفيذ استباقي (speculative execution) بدلاً من كونها آلية خدمة مباشرة.

الخوارزمية الأساسية

يعمل VeriCache في حلقة "مسودة ثم تحقق" (draft-then-verify):

1. المسودة (Drafting): يقوم النموذج بتوليد تسلسل من التوكنات المرشحة ($x$) باستخدام ذاكرة الـ KV المضغوطة ($KV_{comp}$). هذه الخطوة سريعة وفعالة من حيث استهلاك الذاكرة.
2. التحقق (Verification): يقوم النظام بعملية تمرير أمامي (forward pass) واحدة باستخدام ذاكرة الـ KV الكاملة ($KV_{full}$) للتحقق من التوكنات المسودة بالتوازي.
3. القبول (Acceptance): يتم قبول التوكنات حتى أول عدم تطابق. إذا تطابقت جميع التوكنات المسودة مع تنبؤ الـ KV الكامل، يتم قبول توكن "إضافي" (bonus token). تتكرر العملية من آخر توكن مقبول.

الابتكارات النظامية الرئيسية

لمنع الأعباء الإضافية لعملية التحقق من إلغاء مكاسب الإنتاجية الناتجة عن الضغط، يقدم VeriCache تصميمين نظاميين حاسمين:

1. التداخل عبر الموارد (Cross-Resource Staggering) (P1)
غالباً ما يعمل التشفير الاستباقي التقليدي بنظام الخطوة الواحدة المتزامنة (كل المسودات، ثم كل عمليات التحقق)، مما يسبب تنازعاً في الموارد. يستغل VeriCache حقيقة أن المسودة والتحقق لديهما اختناقات موارد متكاملة:

• المسودة تعاني من اختناق في نطاق التردد الترددي لـ HBM الخاص بالمعالج الرسومي (قراءة الـ KV المضغوط والأوزان).
• التحقق يعاني من اختناق في نطاق التردد الترددي للربط البيني (Interconnect) (تحميل الـ KV الكامل من المعالج المركزي/التخزين) ويعاني من اختناق في الحوسبة.
• الآلية: يقوم المجدول (scheduler) بتوزيع الطلبات بحيث بينما تقوم بعض الطلبات بعملية المسودة (باستخدام HBM)، تقوم طلبات أخرى بعملية التحقق (تحميل الـ KV الكامل عبر PCIe/الشبكة). يسم�يد هذا للنظام تداخل نقل البيانات مع الحوسبة، مما يبقي كلاً من الربط البيني و HBM الخاص بالمعالج الرسومي مستغلين دون توقف.

2. فترة التحقق الممتدة عبر معدلات القبول العالية (P2)
على عكس التشفير الاستباقي التقليدي الذي يستخدم نموذجاً أصغر ومختلفاً كـ "مسود"، مما يؤدي إلى انحراف سريع في التوزيع وفترات قبول قصيرة، يستخدم VeriCache نفس النموذج المستهدف مع ذاكرة KV مضغوطة.

• نظرًا لأن أوزان النموذج وأنماط الانتباه المهيمنة محفوظة، فإن مسود الـ KV المضغوط يحافظ على معدل قبول عالٍ حتى لأطوال مسودة طويلة (مثلاً 25-40 توكن لكل جولة مقابل 2-3 للمسودات ذات النماذج الصغيرة).
• هذا المعدل العالي للقبول يقلل من تكلفة التحقق المكلفة من الـ KV الكامل، مما يسمح للنظام بالتحقق بشكل أقل تكراراً مع الحفاظ على الصحة والدقة.

دعم البنية التحتية

يدعم VeriCache سيناريوهين رئيسيين للنشر:

• فك تشفير السياق الطويل (Long-Context Decoding): توجد ذاكرة الـ KV المضغوطة في ذاكرة HBM الخاصة بالمعالج الرسومي، بينما تُخزن ذاكرة الـ KV الكاملة في ذاكرة المعالج المركزي (CPU). يتضمن التحقق تحميل الـ KV الكامل من المعالج المركزي إلى المعالج الرسومي عبر رابط PCIe.
• تخزين السوابق عن بُعد (Remote Prefix Caching): يتم بث ذاكرة الـ KV المضغوطة عبر رابط شبكة بطيء إلى معالج رسومي بعيد لعملية المسودة. ويتم تحميل ذاكرة الـ KV الكاملة عبر رابط محلي سريع إلى معالج رسومي محلي لعملية التحقق. هذا يفصل عملية النقل البطيء للتخزين عن حوسبة المعالج الرسومي البعيد.

يوفر إطار العمل واجهة ضغط موحدة، مما يسمح له بالتكامل مع مختلف طرق الضغط الموجودة (مثل إسقاط التوكنات والكمية) (مثل KVzip، KIVI، SnapKV) دون تعديل منطق الجدولة أو التحقق.

المساهمات الرئيسية

1. استدلال غير منقوص مع الضغط: VeriCache هو أول إطار عمل يتيح استدلالاً غير منقوص (lossless) لنماذج LLM باستخدام تقنيات ضغط KV التي تعتمد أساساً على فقدان البيانات، مما يضمن تطابق المخرجات مع فك تشفير الـ KV الكامل.
2. تصميم نظام للأعباء الإضافية للتحقق: يقدم التداخل عبر الموارد وفترات التحقق الممتدة لإخفاء زمن تحميل ذاكرات الـ KV الكاملة، مما يحل مشكلة تدهور الإنتاجية المرتبطة عادةً بالتحقق الاستباقي.
3. واجهة موحدة: يوفر واجهة عامة تدعم عائلة واسعة من طرق الضغط (سواء إسقاط التوكنات أو الكمية)، على عكس الأنظمة السابقة التي تدمج ضواغط محددة بشكل صلب.
4. دعم السيناريوهات المزدوجة: يعالج كلاً من فك تشفير السياق الطويل (اختناق HBM) وتخزين السوابق عن بُعد (اختناق الشبكة/التخزين).

النتائج التجريبية

تم التقييم على نماذج تشمل Mistral-24B، وQwen-32B، وLlama-70B عبر مهام متنوعة (توليد الأكواد، استدعاء الأدوات، الاستدلال الرياضي):

• الإنتاجية (Throughput): يحقق VeriCache إنتاجية أعلى بـ 4 أضعاف مقارنة باستدلال الـ KV الكامل في فك تشفير السياق الطويل، وما يصل إلى ضعفين في تخزين السوابق عن بُعد.
• الدقة (Correctness): ينتج مخرجات مطابقة تماماً لاستدلال الـ KV الكامل (تحت فك التشفير الجشع - greedy decoding)، بينما تعاني النماذج المرجعية التي تعتمد على الضغط من انخفاض كبير في الدقة الوظيفية (على سبيل المثال، تنخفض صحة بناء جملة الكود إلى الصفر تقريباً مع ضغط 4 أضعاف في النماذج المرجعية).
• المفاضلة بين الجودة والإنتاجية: بينما تجبر النماذج المرجعية (lossy) المستخدم على مفاضلة حيث يؤدي الضغط الأعلى إلى جودة أقل، يحافظ VeriCache على الجودة الكاملة مع العمل بمستويات إنتاجية الضغط.
• التركيب (Composition): يمكن دمج VeriCache مع التشفير الاستباقي التقليدي (مثل EAGLE)، لتحقيق زيادة سرعة مثالية تصل إلى 4.35 ضعفاً عبر استهداف اختناقات متعامدة (حجم الدفعة عبر الضغط، وسرعة التوكن عبر المسودات ذات النماذج الصغيرة).

الأهمية

تجادل الورقة بأن الثنائية الحالية — الاختيار بين الضغط عالي الإنتاجية والمفقود للبيانات (مخاطرة بالفشل الوظيفي) أو استدلال الـ KV الكامل منخفض الإنتاجية — هي ثنائية غير ضرورية. يثبت VeriCache أن الضغط لا ينبغي أن يحل محل الحوسبة الدقيقة، بل يجب أن يسرعها. من خلال الاستفادة من معدلات القبول العالية للمسودات من نفس النموذج والتداخل المتطور للموارد، يُمكّن VeriCache من نشر نماذج LLM ذات السياق الطويل في التطبيقات الحرجة (البرمجة، سير عمل الوكلاء - agentic workflows) دون التضحية بالدقة الوظيفية المطلوبة لهذه المهام.