SemantiCache: Efficient KV Cache Compression via Semantic Chunking and Clustered Merging

إليك ملخص تقني مفصل لورقة البحث: "SemantiCache: ضغط ذاكرة التخزين المؤقت (KV Cache) بكفاءة عبر التقسيم الدلالي والدمج العنقودي."

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) اختناقات كبيرة أثناء عملية الاستدلال التكراري (autoregressive inference) للسياقات الطويلة بسبب ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache). ومع نمو تسلسل المدخلات، تتوسع ذاكرة الـ KV بشكل خطي، مما يؤدي إلى:

• بصمة ذاكرة باهظة: استنزاف موارد ذاكرة الفيديو الخاصة بالمعالج الرسومي (VRAM).
• زمن استجابة مرتفع للاستدلال: إبطاء مرحلة فك التشفير (decoding).

تندرج طرق الضغط الحالية عموماً ضمن فئتين:

1. القائمة على الاستبعاد (Eviction-based): التخلص من الرموز (tokens) التي تُعتبر "أقل أهمية" (على سبيل المثال، بناءً على درجات الانتباه). يتسبب هذا في فقدان غير قابل للاسترداد للمعلومات.
2. القائمة على الدمج (Merging-based): دمج الرموز لتقليل الحجم.

الخلل الجوهري: تعمل كلتا الطريقتين الحاليتين عادةً على رموز منفصلة أو أجزاء عشوائية غير دلالية. وهذا يتجاهل البنية الهرمية الطبيعية للغة، مما يؤدي إلى التجزئة الدلالية (semantic fragmentation). إن تفكيك الوحدات اللغوية المتماسكة (مثل العبارات، أو الجمل، أو الفقرات) يؤدي إلى تعطيل السلامة الدلالية، مما يسبب فقداناً غير قابل للاسترداد للمعلومات وتدهوراً في أداء النموذج.

2. المنهجية: SemantiCache

يقترح المؤلفون SemantiCache، وهو إطار عمل مبتكر للضغط يربط عملية الضغط بالهيكل الدلالي للغة البشرية. يحاكي الإطار الاستراتيجية المعرفية للقراءة: تقسيم النص إلى وحدات دلالية، واستخلاص المعاني الجوهرية، ثم دمجها.

يتكون مسار العمل من ثلاث مراحل:

أ. التقسيم الدلالي (Semantic Chunking)

بدلاً من النوافذ ذات الحجم الثابت، يتم تقسيم ذاكرة الـ KV باستخدام فواصل اللغة الطبيعية (مثل ., ,, ?, !, \n, \t).

• الآلية: يتم تقسيم التسلسل إلى أجزاء متبادلة من الرموز غير الفاصلة ورموز الفواصل.
• الحفاظ على البنية: يتم الحفاظ على رموز الفواصل (التي غالباً ما تحمل درجات انتباه عالية) كمرتكزات هيكلية دون تعديل.
• الهدف: ضمان حدوث الضغط داخل الوحدات الدلالية المتماسكة (مثل جملة) بدلاً من القطع عبرها.

ب. التجميع بالتشابه (خوارزمية GSC)

داخل كل جزء دلالي، يتم تجميع الرموز بناءً على التشابه الدلالي لتحديد التكرار.

• المقياس: يتم قياس التقارب الدلالي باستخدام متجهات المفاتيح ($k_i$) عبر تشابه جيب التمام (cosine similarity):
  $$\text{Sim}((k_i, v_i), (k_j, v_j)) = \frac{k_i \cdot k_j}{\|k_i\|_2 \|k_j\|_2}$$
• الخوارزمية: تُستخدم خوارزمية التجميع الجشعة القائمة على البذور (GSC).
  • تقوم بجولة واحدة متسلسلة عبر الجزء.
  • يصبح الرمز غير المعين "بذرة" (seed).
  • تمتص البذرة جشعاً جميع الرموز اللاحقة غير المعينة التي يتجاوز تشابهها عتبة معينة $\tau$.
  • ينشئ هذا مجموعات (clusters) منفصلة من الرموز ذات الصلة دلالياً.

ج. الدمج العنقودي والانتباه النسبي (Clustered Merging & Proportional Attention)

يتم دمج الرموز داخل كل مجموعة في جوهر دلالي (Semantic Core) واحد.

• متوسط التجميع (Mean-Pooling): يتم حساب متوسط متجهات المفاتيح والقيم للمجموعة لإنشاء جوهر ممثل $(\hat{k}_t, \hat{v}_t)$.
• آلية الانتباه النسبي: يؤدي دمج الرموز إلى تخفيف مساهمتها في الانتباه. ولمواجهة ذلك، تطبق الطريقة آلية إعادة وزن أثناء حساب الانتباه:
  $$\text{Attention}(Q, K_c, V_c) = \text{softmax}\left(\frac{QK_c^T}{\sqrt{d}} + \log s\right)V_c$$
  • هنا، $s$ هو متجه يحتوي على حجم كل مجموعة ($|S_t|$).
  • إضافة $\log s$ إلى القيم (logits) يكافئ رياضياً ضرب درجات الانتباه في حجم المجموعة بعد عملية الـ softmax، مما يضمن أن تأثير الرمز المدمج يتناسب مع عدد الرموز الأصلية التي يمثلها.

3. المساهمات الرئيسية

1. تحديد التجزئة الدلالية: تسلط الورقة الضوء على أن كسر التماسك اللغوي هو السبب الرئيسي لتدهور الأداء في طرق ضغط ذاكرة الـ KV الحالية.
2. إطار عمل متوافق دلالياً: يقدم مساراً ثلاثي المراحل (التقسيم $\to$ التجميع $\to$ الدمج) يحترم الطبيعة الهرمية للغة، محاكياً استراتيجيات الذاكرة البشرية.
3. خوارزمية GSC فعالة: يقترح خوارزمية تجميع جشعة بسيطة تمر بجولة واحدة، تقوم بتجميع الرموز المتشابهة دلالياً بكفاءة دون عبء حوسبي ثقيل.
4. الانتباه النسبي: يحل مش مسئلہ تخفيف المعلومات الشائع في تقنيات الدمج من خلال إعادة وزن الانتباه ديناميكياً بناءً على حجم المجموعة.

4. النتائج التجريبية

تم تقييم الطريقة على نماذج Llama-3-8B و Mistral-7B عبر اختبارات متنوعة.

• الدقة (LongBench): تفوق SemantiCache باستمرار على النماذج المرجعية المتطورة (StreamingLLM, H2O, SnapKV, CaM, D2O) عبر مختلف ميزانيات ذاكرة الـ KV (20%، 35%، 50%). حقق أعلى متوسط درجات، مما أثبت أن الحفاظ على السلامة الدلالية يخفف من تدهور الأداء حتى عند نسب ضغط عالية.
• الاسترجاع (Needle-in-a-Haystack): في سياقات بطول 8k و 32k، حقق SemapiCache دقة استرجاع فائقة مقارنة بجميع النماذج المرجعية، مما يثبت متانته في سيناريوهات السياق الطويل.
• الكفاءة:
  • السرعة: حقق تسريعًا يصل إلى 2.61 ضعفاً في "الزمن لكل رمز مخرج" (TPOT) مقارنة بالنموذج الكامل.
  • الذاكرة: قلل بصمة الذا "بشكل كبير (على سبيل المثال، 15.94 جيجابايت مقابل 24.27 جيجابايت للنموذج الكامل في اختبارات محددة).
• دراسات الاستئصال (Ablation Studies):
  • استراتيجية التقسيم: تفوق التقسيم الدلالي بشكل كبير على التقسيم ذي الحجم الثابت (64 رمزاً) والتجميع العالمي (بدون تقسيم)، مما أكد ضرورة الحدود اللغوية.
  • العتبة ($\tau$): توجد مقايضة بين نسبة الضغط والدقة؛ قيم $\tau$ الأعلى تحافظ على دقة أكبر ولكنها تقلل من نسبة الضغط.

5. الأهمية

يمثل SemantiCache تحولاً جذرياً في ضغط ذاكرة الـ KV من خلال الانتقال من العمليات على مستوى الرمز (token) أو الكتلة العشوائية إلى العمليات على المستوى الدلالي. ومن خلال الإقرار بأن اللغة هي تسلسل هرمي للمعنى وليست مجرد تدفق مسطح من الكلمات، نجحت هذه الطريقة في حل المقايضة بين كفاءة الذاكرة وأداء النموذج. إنها تمكن النماذج اللغوية الكبيرة من التعامل مع السياقات الطويلة بتكاليف ذاكرة أقل بكثير وسرعات استدلال أعلى دون التضحية بالتماسك المطلوب لإنتاج نصوص عالية الجودة.