PolyKV: A Shared Asymmetrically-Compressed KV Cache Pool for Multi-Agent LLM Inference

إليك ملخص تقني مفصل لورقة البحث بعنوان: "PolyKV: مجمع ذاكرة KV (Key-Value) مشترك ومضغوط بشكل غير متماثل لاستنتاج النماذج اللغوية الكبيرة متعددة الوكلاء."

1. بيان المشكلة

يهيمن عنق الزجاجة في الذاكرة على عملية استنتاج النماذج اللغوية الكبيرة (LLM)، وهو ناتج عن ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache)، التي تخزن حالات الانتباه لكل رمز (token) في السياق. وتتفاقم هذه المشكلة في أنظمة الاستنتاج متعددة الوكلاء (multi-agent inference systems)، حيث تتطلب $N$ من الوكلاء الذين يعالجون نفس سياق المستند المشترك تقليديًا $N$ من ذاكرات KV مستقلة كاملة الدقة. يؤدي هذا إلى توسع خطي في الذاكرة ($O(N)$)، مما يجعل تشغيل وكلاء متعددين على سياقات طويلة أمرًا غير فعال.

تعالج الحلول الحالية هذه المشكلات بشكل منعزل:

• ضغط KV: يقلل الذاكرة لكل ذاكرة تخزين مؤقت عبر التكميم (quantization)، ولكنه يعمل على ذاكرات تخزين مؤقت معزولة لكل طلب.
• المشاركة متعددة الوكلاء: تعيد استخدام البوادئ (prefixes) المشتركة بين الوكلاء، ولكنها عادة ما تستخدم ذاكرات تخزينية كاملة الدقة، مما يفشل في الاستفادة من الضغط.

يهدف PolyKV إلى حل تقاطع هذه المشكلات: إنشاء مجمع ذاكرة KV واحد مشترك ومضغوط بفقدان (lossy-compressed) يمكن الوصول إليه من قبل عدة وكلاء متزامنين في آن واحد.

2. المنهجية

يقدم PolyKV بنية مبتكرة تجمع بين التكميم غير المتماثل، والضغط القائم على التدوير، وتجريد الذاكرة المشتركة.

أ. البنية الأساسية

• SharedKVPool (مجمع KV المشترك): تجريد "يُكتب مرة واحدة، ويُقرأ عدة مرات". يقوم بحساب حالة KV الكاملة لسياق المستند المشترك مرة واحدة، ثم يضغطها ويخزنها ككائن واحد (تعقيد ذاكرة $O(1)$ بالنسبة لعدد الوكلاء).
• PooledAgent (الوكيل المجمع): وكلاء استنتاج فرديون يتلقون مرجعًا إلى SharedKVPool. في وقت الاستنتاج، يقوم كل وكيل بحقن تنسورات KV التي تم فك ضغطها في نسخة DynamicCache الخاصة به طبقة تلو الأخرى، متجاوزًا عملية التراكم القياسية لكل تمريرة أمامية (forward-pass). وهذا يلغي عبء النسخ لكل وكيل.

ب. مخطط الضغط غير المتماثل (TurboQuant MSE)

يستخدم PolyKV استراتيجية تكميم غير متماثلة مصممة خصيصًا لحساسية المفاتيح (Keys - K) والقيم (Values - V):

1. المفاتيح (K): يتم تكميمها إلى int8 (q8_0) باستخدام التكميم الخطي لكل تنسور. يحافظ هذا على استقرار درجات انتباه softmax، وهي شديدة الحساسية للتكميم منخفض البتات.
2. القيم (V): يتم ضغطها باستخدام TurboQuant MSE بدقة 3 بت. يتضمن ذلك:
   • التدوير (Rotation): تطبيق تحويل Walsh-Hadamard السريع (FWHT) لتدوير متجه الإدخال، مما يوزع القيم المتطرفة ويجعل التوزيع يتقارب نحو التوزيع الطبيعي $N(0, 1)$.
   • التكميم (Quantization): رسم الإحداثيات المدورة على مراكز Lloyd-Max المحسوبة مسبقًا (المحسنة لـ $N(0, 1)$).
   • فك التكميم (Dequantization): استعادة قيم المراكز وتطبيق تحويل FWHT العكسي.

نسبة الضغط:
مع وجود المفاتيح عند 8 بت والقيم عند 3 بت (مقارنة بأساس bfloat16 المكون من 16 بت)، فإن نسبة الضغط النظرية هي:
$$\text{Ratio} = \frac{16}{(8 + 3)/2} = \frac{16}{5.5} \approx 2.91\times$$

3. المساهمات الرئيسية

• بنية المجمع المشترك (Shared-Pool Architecture): أول تنفيذ لنموذج ذاكرة KV مضغوط بفقدان وقابل للقراءة من قبل عدة جهات لعدة وكلاء متزامنين، مما يلغي توسع الذاكرة $O(N)$ في أنظمة الوكلاء المتعددة السابقة.
• الكم الكمي غير المتماثل (Asymmetric TurboQuant): مزيج محدد من مفاتيح int8 وقيم 3-بت مدورة بواسطة FWHT يحقق نسبة ضغط مستقرة تبلغ 2.91× عبر مختلف بنيات النماذج.
• التحقق عبر النماذج: أظهر استقرارًا على كل من SmolLM2-1.7B و Llama-3-8B (بما في ذلك بنية GQA)، مما يثبت أن الطريقة مستقلة عن البنية.
• القابلية للتوسع: نجح في التوسع إلى 15 وكيلًا متزامنًا يتشاركون سياقًا واحدًا، حيث تزداد وفورات الذاكرة خطيًا مع عدد الوكلاء (تصل إلى تقليل بنسبة 97.7%).
• اكتشاف انقلاب الـ PPL: اكتشف أن الذاكرة المخبأة المضغوطة يمكن أن تحقق في الواقع ارتباكًا (perplexity) أقل من الأساس كامل الدقة للسياقات المتماسكة والطويلة، مما يشير إلى أن ضوضاء التكميم تعمل كمنظم ضمني (implicit regularization).

4. النتائج التجريبية

تم تقييم النظام عبر نموذجين، وثلاثة أطوال سياق (من 600 إلى 7,194 رمزًا)، وما يصل إلى 15 وكيلًا.

كفاءة الذاكرة

• Llama-3-8B (15 وكيلًا، سياق 4K): قلل ذاكرة KV cache من 19.8 جيجابايت (الدقة الكاملة) إلى 0.45 جيجابايت.
• التقليل: تقليل في الذاكرة بنسبة 97.7% مع الحفاظ على جودة المخرجات العالية.
• التوسع: تظل ذاكرة المجمع ثابتة ($O(1)$) بغض النظر عن عدد الوكلاء (على سبيل المثال، 0.116 جيجابايت لـ 3 وكلاء مقابل 10 وكلاء عند سياق 2K).

مقاييس الجودة

• الارتباك (Perplexity - PPL):
  • الاستقرار: تغير الـ PPL ثابت ولا يتأثر بعدد الوكلاء.
  • اتجاه طول السياق: يتحسن فرق الـ PPL مع زيادة طول السياق.
    • عند 2K رمز: تدهور بنسبة +1.59%.
    • عند 4K رمز: تدهور بنسبة +0.57%.
    • الانقلاب: عند 1,851 رمزًا متماسكًا في SmolLM2-1.7B، حققت الذاكرة المخبأة المضغوطة فرقًا قدره -0.26% في PPL (أفضل من الأساس).
• التشابه الدلالي (BERTScore):
  • تراوحت متوسط درجات F1 من 0.928 إلى 0.970 عبر جميع الإعدادات.
  • كان تداخل الرموز مثاليًا (1.000) في اختبارات SmolLM2.
  • لم يترجم التدهور الطفيف في PPL إلى فقدان دلالي؛ حيث حافظت الاختلافات في الصياغة على التكافؤ الواقعي.

5. الأهمية والفرضية

الأهمية:
يعد PolyKV أول نظام يجمع بين مجمع KV واحد مشترك ومضغوط بفقد ووصول متعدد القراء المتزامن. إنه يغير جذريًا اقتصاديات استنتاج النماذج اللغوية الكبيرة متعددة الوكلاء، مما يسم يسمح بتزامن هائل على السياقات المشتركة بأقل بصمة ذاكرة، مما يجعل تشغيل أسراب الوكلاء المعقدة أمرًا ممكنًا على الأجهزة الاستهلاكية (مثل وحدات معالجة الرسومات Kaggle T4).

فرضية التنظيم (The Regularization Hypothesis):
يفترض المؤلفون أن ضوضاء FWHT في TurboQuant تعمل كـ منظم ضمني (implicit regularization). في المستندات الطويلة والمتماسكة، غالبًا ما تنتبه رؤوس الانتباه إلى ارتباطات زائفة ومتكررة (attention sinks). تعمل ضوضاء التكميم الناتجة عن تدوير FWHT على تعطيل هذه الأنماط الزائفة، مما يؤدي فعليًا إلى "إزالة الضجيج" من آلية الانتباه. وهذا يفسر سبب تحسن (أو تراجع أقل في) الـ PPL مع زيادة طول السياق والتماسك اللغوي.

6. القيود والعمل المستقبلي

• النطاق: اقتصرت التجارب على نماذج 1.7B و 8B؛ ولا تزال سلوكيات النماذج الأكبر مثل 70B+ غير معروفة.
• المقاييس: لم يتم ذكر زمن الوصول لأول رمز (TTFT) أو معدل الإنتاجية (throughput).
• التحقق: تتطلب آلية انقلاب PPL دراسات استبعاد (ablation studies) مضبوطة لتأكيد السببية.
• المستقبل: خطط لاختبار نماذج أكبر (Qwen2.5-7B, 70B)، وتوحيد بروتوكولات تقييم WikiText-2، وقياس زمن الوصول النهائي (end-to-end latency).