ملخص تقني: VECTOR

بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) عقبة حرجة في الاستدلال طويل السياق بسبب النمو الخطي لذاكرة التخزين المؤقت لـ (Key-Value (KV مع طول التسلسل. وتحد هذه التكلفة في الذاكرة من النشر العملي في التطبيقات التي تتطلب نوافذ سياق طويلة، مثل استعلامات الأسئلة والأجوبة القائمة على الاسترجاع، وسير عمل الوكلاء (agents)، والاستنتاج متعدد الخطوات.

تندرج طرق ضغط ذاكرة KV الموجودة عموماً تحت فئتين، كلتاهما تعاني من قيود:

1. الاستبعاد القائم على الأهمية: تقوم أساليب مثل SnapKV وKeyDiff بتسجيل درجات الرموز (tokens) والتخلص نهائياً من المدخلات ذات الدرجات المنخفضة. ورغم كفاءتها، إلا أن هذا القرار الثنائي (الاحتفاظ أو الاستبعاد) غير قابل للتراجع. وتحت ميزانيات الذاكرة الضيقة، يمكن أن يؤدي ذلك إلى تدهور كبير في الأداء بسبب التخلص من الرموز التي قد لا تكون حاسمة للاحتفاظ الدقيق ولكنها لا تزال قابلة لإعادة البناء.
2. تقريب التمثيل: تقوم أساليب مثل AQUA-KV وEliteKV بضغط تمثيلات KV عبر التكميم (quantization) أو الإسقاط (projection). ومع ذلك، يتطلب العديد منها تعديلات هيكلية، أو إعادة تدريب، أو حسابات عبر الإنترنت مكلفة (مثل إعادة البناء القائم على الاسترجاع).

علاوة على ذلك، فإن أساليب تخصيص الحالات المتعددة الموجودة (مثل ARKV وD2O) تحسن عن الاستبعاد الثنائي ولكنها تعتمد فقط على إشارات أهمية الرموز. فهي تفشل في نمذجة قابلية إعادة البناء (reconstructability) بشكل صريح—أي ما إذا كان يمكن استعادة تمثيل KV للرمز بدقة من المعلومات المتاحة الأخرى مع خطأ محدود. بالإضافة إلى ذلك، بينما تشير الأعمال السابقة إلى أن القيم (V) هي عموماً أكثر تسامحاً مع التقريب من المفاتيح (K) بسبب التضخيم غير الخطي للأخطاء في آلية انتباه softmax، فإن معظم طرق ضغط مستوى الرمز لا تستغل هذا التباين في تخصيص الذاكرة بشكل صريح.

المنهجية: VECTOR

يقترح المؤلفون VECTOR (تقدير القيمة عبر التوازي والمسارات المتعامدة ثلاثية الاتجاهات)، وهو تعزيز "plug-and-play" لخطوط أنابيب الاستبعاد. يقدم VECTOR آلية توجيه الرموز ثلاثية الاتجاه: الاحتفاظ (Retention)، التقريب (Approximation)، والاستبعاد (Eviction).

الآليات الجوهرية

1. المعالجة غير المتماثلة (K مقابل V):

   • المفاتيح (K): يتم الاحتفاظ بها بدقة لجميع الرموز في مجموعة المرشحين. هذا يحافظ على سلامة آلية توجيه الانتباه، حيث يتم تضخيم الاضطرابات في المفاتيح بشكل أسي بواسطة دالة softmax.
   • القيم (V): تخضع لقرار ثلاثي الاتجاه:
     • الاحتفاظ: تخزين دقيق للرموز ذات الأهمية العالية أو الصعبة في إعادة البناء.
     • التقريب: يتم التخلص منها وإعادة بنائها فورياً للرموز ذات قابلية إعادة البناء العالية.
     • الاستبعاد: إزالة دائمة للرموز ذات الأهمية المنخفضة.

2. قابلية إعادة البناء عبر OLS:

   • تستفيد الطريقة من الهيكل متدنٍ الرتبة (low-rank structure) المتأصل والمشترك بين K وV (كلاهما عمليات إسقاط خطي لنفس الحالة المخفية).
   • تستخدم نموذج المربعات الصغرى العادية (OLS)، الذي تمت معايرته خارج الإنترنت، للتنبؤ بـ V من K ($V \approx W_{OLS}K$).
   • للتعامل مع تضمين الموضع الدوار (RoPE)، تطبق الطريقة دوراناً عكسياً للمفاتيح قبل إعادة البناء، مما يفصل المعلومات الموضعية للسماح لمصفوفة $W_{OLS}$ ثابتة بالعمل عبر جميع المواضع.

3. خط أنابيب التخصيص ثلاثي الاتجاه:
   بالنظر إلى نسبة ضغط مستهدفة $p_c$ ونسبة تقريب $p_a$:

   • الخطوة 1 (تخفيف الميزانية): تحدد خوارزمية الاستبعاد الأساسية مجموعة مرشحين موسعة بحجم $1 - p_c + p_a$.
   • الخطوة 2 (تقييم المتبقي): لكل رمز في هذه المجموعة، يتم حساب خطأ إعادة البناء $\epsilon_i = \|V_i - W_{OLS}K_i\|^2$.
   • الخطوة 3 (القطع غير المتماثل):
     • يتم الاحتفاظ بمفاتيح جميع الرموز في $1 - p_c + p_a$.
     • الرموز $2p_a$ ذات أدنى أخطاء إعادة البناء يتم التخلص من قيمها وإعادة بنائها عبر $W_{OLS}K$.
     • الرموز المتبقية $1 - p_c - p_a$ تحتفظ بكل من K وV بدقة.
   • يضمن ذلك أن إجمالي بصمة الذاكرة يتطابق مع الميزانية المستهدفة وهي $1 - p_c$ من أزواج KV الكاملة.

المساهمات الرئيسية

1. التخصيص المدرك لقابلية إعادة البناء: تعيد الورقة صياغة ضغط KV كمسألة موحدة للـ (احتفاظ-التقريب-الاستبعاد)، مع مراعاة أهمية الرمز وقابلية إعادة بنائه معاً، بدلاً من قرار ثنائي.
2. إعادة بناء خفيف الوزن من K إلى V: تتيح معايرة OLS لمرة واحدة خارج الإنترنت إعادة بناء القيم عبر الإنترنت مع حد أدنى من التكاليف الحسابية أثناء الاستدلال ودون الحاجة لإعادة تدريب النموذج.
3. تكامل "Plug-and-Play": يمكن إلحاق VECTOR بطرق استبعاد الرموز الموجودة (سواء كانت تعتمد على الاستعلام أو مستقلة عنه) مع حد أدنى من التعديل.
4. التحليل النظري: اشتق المؤلفون الشروط التي تقلل فيها توسعة طبقة التقريب من فقدان المعلومات، وربط جودة تنبؤ OLS المطلوبة ($R^2_{approx}$) مع التواء توزيع درجات الأهمية.

النتائج التجريبية

أُجريت التجارب على LongBench (16 مهمة) وNeedle-in-a-Haystack (NIAH) باستخدام Llama-3.1-8B وQwen3-14B وQwen3-0.6B.

• مكاسب الضغط العالي: يحسن VECTOR باستمرار الأداء في أنظمة الضغط العالي ($p_c \in \{0.75, 0.90\}$).
  • النماذج المرجعية المستقلة عن الاستعلام: لوحظت أكبر المكاسب مع KeyDiff وKVzip. على سبيل المثال، في Qwen3-14B مع KeyDiff، حسن VECTOR متوسط الدرجات بمقدار +7.03 عند $p_c=0.50$، و+9.15 عند $p_c=0.75$، و+9.73 عند $p_c=0.90$.
  • النماذج المرجعية المدركة للاستعلام: كانت التحسينات مع SnapKV وPyramidKV أكثر تواضعاً، خاصة عند الضغط المتوسط، حيث تحتفظ هذه الأساليب بالفعل بأكثر الرموز صلة، مما يترك مساحة أقل للتقريب. ومع ذلك، لوحظت مكاسب ثابتة عند $p_c=0.90$.
• المتانة (NIAH): في اختبارات الضغط NIAH عند $p_c=0.90$، حسن VECTOR باستمرار جودة الاسترجاع. لقد حول أنماط الفشل من مناطق منخفضة الدرجة متصلة كبيرة إلى خلايا صعبة أكثر تمركزاً، مما يشير إلى تحسن المتانة.
• الحساسية: يصل الأداء إلى ذروته عند نسبة تقريب متوسطة ($p_a$). إذا كانت $p_a$ منخفضة جداً، تُفقد المعلومات القابلة للاسترداد؛ وإذا كانت عالية جداً، تتقلص طبقة الاحتفاظ، مما يجبر الرموز الصعبة في إعادة البناء على الدخول في مرحلة التقريب.

الأهمية والادعاءات

يزعم البحث أن VECTOR يمثل اتجاهاً واعداً لأنظمة الاستدلال طويل السياق من خلال الجمع بين الاستبعاد المدرك للأهمية والتقريب المدرك لقابلية إعادة البناء.

• الكفاءة: يستعيد معلومات القيمة المفيدة التي كانت ستفقد نهائياً تحت الاستبعاد الثنائي، مع الحفاظ على متجهات المفاتيح لاستقرار الانتباه.
• العملية: لا يتطلب الطريقة أي تغييرات هيكلية أو إعادة تدريب، مما يجعلها تعزيزاً عملياً للأنظمة الحالية.
• تحسين المقايضة: في ظل ميزانيات الذاكرة الصارمة، يحقق VECTOR مقايضات أفضل بين الجودة والذاكرة، خاصة للأساليب التي تعتمد على التقييم الذاتي للسياق (المستقلة عن الاستعلام) حيث تلتقي الأهمية وقابلية إعادة البناء كأبعاد متعامدة للفائدة.

يقر المؤلفون بالقيود، مشيرين إلى أن نسبة التقريب $p_a$ يتم تحديدها حالياً عبر صيغة تجريبية بدلاً من التحسين الديناميكي، وأن المكاسب فوق النماذج المرجعية المدركة للاستعلام محدودة بسبب الأداء العالي لتلك النماذج. يمكن أن تستكشف الأعمال المستقبلية استراتيجيات التخصيص التكيفي.