💬 NLP

KVzap: Fast, Adaptive, and Faithful KV Cache Pruning

تُعد KVzap طريقة سريعة وتكيفية مع المدخلات لتقليم ذاكرة التخزين المؤقت لـ KV، حيث تحقق ضغطاً فائقاً مع فقدان ضئيل جداً في الدقة عبر مختلف النماذج اللغوية الكبيرة والمهام، مما يعالج عقبة الاستدلال الحرجة الناتجة عن تزايد أطوال السياق.

المؤلفون الأصليون: Simon Jegou, Maximilian Jeblick

نُشر 2026-02-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Simon Jegou, Maximilian Jeblick

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقرأ كتاباً طويلاً جداً، وفي كل مرة تقلب فيها صفحة، يتعين عليك الاحتفاظ بملاحظة ذهنية لكل كلمة قرأتها حتى الآن لتفهم القصة. ومع ازدياد طول الكتاب، يصبح عقلك (أو في هذه الحالة ذاكرة الكمبيوتر) مثقلاً بمحاولة التمسك بكل كلمة قرأتها. هذا هو المشكلة التي تواجهها نماذج الذكاء الاصطناعي الحديثة: فكلما قرأت نصوصاً أطول وأطول، تنفد "المساحة الذهنية" (الذاكرة) المتاحة لها لتتبع الأجزاء المهمة.

تقدم هذه الورقة البحثية أداة جديدة تسمى KVzap، والتي تعمل كأمين مكتبة فائق الكفاءة لنماذج الذكاء الاصطناعي هذه. وإليك كيف تعمل، مقسمة إلى مفاهيم بسيطة:

المشكلة: "الفوضى الذهنية"

عندما يقرأ الذكاء الاصطناعي جملة، فإنه ينشئ زوجاً من "المفتاح والقيمة" (Key-Value أو KV) لكل كلمة. فكر في هذه الأزواج كأنها ملاحظات لاصقة مكتوب عليها الكلمة ومخزنة في كومة ضخمة.

عنق الزجاجة: إذا قرأ الذكاء الاصطناعي مستنداً مكوناً من 100,000 كلمة، فسيكون لديه 100,000 ملاحظة لاصقة. والاحتفاظ بكل هذه الملاحظات يستنزف كمية هائلة من الذاكرة، مما يؤدي إلى إبطاء الذكاء الاصطناعي وجعل تشغيله مكلفاً.
الطريقة القديمة: حاولت الطرق السابقة التخلص من الملاحظات اللاصقة بناءً على قواعد بسيطة (مثل "احتفظ فقط بآخر 100 كلمة" أو "احتفظ بالكلمات التي ظهرت أكثر من غيرها"). لكن هذه القواعد كانت غالباً بدائية للغاية، حيث كانت تتخلص من المعلومات المهمة عن طريق الخطأ، مما يجعل الذكاء الاصطناعي يرتكب الأخطاء.

الحل: KVzap (أمين المكتبة الذكي)

إن KVzap هي طريقة جديدة تقرر أي الملاحظات اللاصقة يجب الاحتفاظ بها وأيها يجب التخلص منها، ولكنها تفعل ذلك بسرعة، بذكاء، وبأمانة (دون فقدان سياق القصة).

إليك تشبيه لكيفية عمل KVzap:

1. مشكلة "التحقق المزدوج" (الطريقة القديمة)
كانت هناك طريقة سابقة رفيعة المستوى تسمى KVzip. وكانت تعمل كالتالي: لتحديد ما إذا كانت الكلمة مهمة، كان على الذكاء الاصطناعي أن يتظاهر بقراءة الكتاب بأكمله مرة أخرى ليرى الكلمات التي أولاها اهتماماً.

العيب: هذا يشبه مطالبة طالب بقراءة فصل، ثم مطالبته بقراءته مرة ثانية فقط ليقرر أي الجمل كانت مهمة. هذا الأمر بطيء جداً ويستهلك الكثير من الطاقة. كما أنه لم يكن بإمكانه العمل أثناء قيام الذكاء الاصطناعي بالكتابة (التوليد/decoding)، بل كان يعمل فقط أثناء القراءة.

2. اختصار KVzap
يحل KVzap هذه المشكلة عبر تدريب "مساعد" صغير فائق السرعة (شبكة عصبية صغيرة) لتخمين الكلمات المهمة دون إعادة قراءة النص.

التشبيه: تخيل أمين مكتبة متمرس قد قرأ آلاف الكتب. بدلاً من إعادة قراءة كتاب جديد للعثور على أجزائه المهمة، يلقي أمين المكتبة نظرة خاطفة على الصفحة ويعرف فوراً: "هذه الفقرة حيوية، احتفظ بها. أما تلك فهي مجرد حشو، تخلص منها".
كيف يتعلم: قام الفريق بتدريب هذا "المساعد" عبر إظهار "الحالات الخفية" (hidden states) الخاصة بالذكاء الاصطناعي له، وطلب منه التنبؤ بما كان سيقوله أسلوب "التحقق المزدوج" البطيء. تعلم المساعد محاكاة الخبير بدقة تامة ولكن في جزء ضئيل من الثانية.

3. شبكة الأمان "النافذة المنزلقة" (Sliding Window)
للتأكد من أن الذكاء الاصطناعي لا ينسى السياق المباشر (مثل آخر بضع جمل كتبها للتو)، يحتفظ KVzap بـ "نافذة منزلقة" تضم آخر 128 كلمة.

التشبيه: حتى لو كنت تلخص رواية كاملة، فإنك تحتفظ دائماً بالصفحات القليلة الأخيرة في يدك حتى لا تفقد مكانك. يحتفظ KVzap بهذه الكلمات الأخيرة آمنة ولا يتخلص منها أبداً.

لماذا يعد هذا أمراً هاماً؟

تدعي الورقة البحثية أن KVzap تُعد تغييراً لقواعد اللعبة لثلاثة أسباب رئيسية:

إنها سريعة: لا تضيف وقتاً إضافياً تقريباً إلى العملية. الأمر يشبه امتلاك أمين مكتبة يقوم بفرز الكتب بينما لا تزال أنت في طريقك للدخول إلى المكتبة.
إنها قابلة للتكيف: لا تستخدم قاعدة ثابتة (مثل "احتفظ بـ 50% من الملاحظات"). بدلاً من ذلك، هي تنظر إلى النص؛ فإذا كان النص معقداً وكثيفاً، فإنها تحتفظ بمزيد من الملاحظات. وإذا كان النص مكرراً، فإنها تتخلص من المزيد. إنها تتكيف تلقائياً.
إنها دقيقة: في الاختبارات المتعلقة بمهام القراءة الطويلة (مثل الإجابة على أسئلة من مستند مكون من 4,000 كلمة) ومهام الاستنتاج (مثل حل المسائل الرياضية)، تمكن KVzap من تقليص استخدام الذاكرة بمقدار 2 إلى 4 مرات مع الحفاظ على دقة الذكاء الاصطناعي لتكون مطابقة تقريباً لما لو كان يحتفظ بجميع الملاحظات.

النتائج

اختبر الباحثون هذا النظام على نماذج ذكاء اصطناي شهيرة (مثل Qwen و Llama). ووجدوا أن:

KVzap تفوق على 15 طريقة موجودة حالياً.
حقق أفضل النتائج في لوحة صدارة المهام ذات السياق الطويل.
يعمل لكل من قراءة المستندات الطويلة (prefilling) وكتابة القصص الطويلة أو حل المشكلات خطوة بخطوة (decoding).

باختصار

KVzap تشبه منح الذكاء الاصطناعي "مرشحاً ذكياً" يعرف فوراً الأجزاء الجوهرية من محادثة طويلة أو مستند طويل، والأجزاء التي ليست سوى ضجيج. إنها تسمح للذكاء الاصطناعي بالتعامل مع نصوص أطول بكثير دون نفاد الذاكرة أو الارتباك، وكل ذلك دون إبطاء العملية. ويعتقد المؤلفون أن هذا يجعلها جاهزة للاستخدام في أنظمة الذكاء الاصطناعي الكبرى في العالم الحقيقي.

ملخص تقني: KVzap - تقليم ذاكرة التخزين المؤقت لـ KV بشكل سريع، وتكيفي، وأمين

1. بيان المشكلة

مع توسع أطوال السياق في النماذج اللغوية القائمة على المحولات (Transformers) لتصل إلى عشرات أو مئات الآلاف من الرموز (Tokens)، أصبحت ذاكرة التخزين المؤقت لـ المفتاح-القيمة (KV cache) عائقًا مهيمنًا أمام كفاءة استنتاج النماذج اللغوية الكبيرة (LLM). تستهلك ذاكرة KV (التي تخزن حالات الانتباه المتوسطة) قدرًا كبيرًا من ذاكرة وحدة معالجة الرسومات (على سبيل المثال، 335 جيجابايت لنموذج بـ 65 مليار معلمة عند طول تسلسل 128 ألف رمز) وتزيد من زمن الوصول لأول رمز (time-to-first-token) بينما تقلل من إنتاجية فك التشفيد (decoding throughput).

بينما عالجت التعديلات المعمارية (مثل Grouped Query Attention و Multi-head Latent Attention) وآليات الانتباه المتناثر (sparse attention) الضغط عبر محاور الرأس ( $H$ )، والبعد ( $D$ )، والطبقة ( $L$ )، إلا أن محور طول التسلسل ( $T$ ) ظل غير معالج إلى حد كبير من قبل الطرق المعتمدة على نطاق واسع. غالبًا ما تفشل طرق التقليم العشوائية الحالية في تلبية أربعة معايير حاسمة للنشر في بيئات الإنتاج:

سريع وخفيف الوزن: عبء حسابي ضئيل.
غير مرتبط بمرحلة معينة (Phase-agnostic): قابل للتطبيق في كل من مرحلة التعبئة المسبقة (prefilling - السياق الطويل) وفك التشفيد (decoding - الاستنتاج).
صديق للتحسين (Optimization-friendly): متوافق مع نوى مثل FlashAttention2 و PagedAttention.
أمين (Faithful): أدنى حد من تدهور الدقة.

تحقق طرق الحالة الراهنة مثل KVzip ضغطًا عاليًا ولكنها تتطلب تمريرة أمامية مزدوجة (double forward pass) مكلفة حسابيًا على المطالبات الممتدة، مما يجعلها غير مناسبة للاستنتاج عبر الإنترنت ومهام فك التشفيد.

2. المنهجية

يقدم المؤلفون KVzap، وهو تقريب سريع وتكيفي للمدخلات لـ KVzip يعمل خلال كل من التعبئة المسبقة وفك التشفيد. تتكون المنهجية من ثلاثة مكونات أساسية:

2.1. سياسة تسجيل النقاط المحسنة (KVzip+)

قام المؤلفون أولاً بتنقيح آلية تسجيل النقاط لـ KVzip. يقوم KVzip بتسجيل نقاط الرموز بناءً على "إعادة بناء السياق"، حيث يقيس أقصى وزن انتباه يتلقاه الرمز عند تكرار المطالبة. قام المؤلفون بتحسين ذلك من خلال دمج حد تطبيع مستوحى من Devoto et al. (2025)، والذي يأخذ في الاعتبار مساهمة متجه القيمة للرمز في التدفق المتبقي (residual stream).
يتم تعريف درجة KVzip+ ( $s^+_i$ ) كالتالي:
$s^+_i = \max_{j \in \text{<prompt>}} \frac{a_{ji}}{\|W_O v_i\| / \|h_j\|}$
حيث أن $a_{ji}$ هو وزن الانتباه، و $W_O$ هي مصفوفة إسقاط المخرجات، و $v_i$ هو متجه القيمة، و $h_j$ هو الحالة الخفية.

2.2. النمذجة البديلة (Surrogate Modeling)

لتجنب التكلفة الباهظة للتمريرة الأمامية المزدوجة لـ KVzip، يقوم KVzap بتدريب نماذج بديلة خفيفة الوزن (إما طبقة خطية أو MLP بطبقتين) للتنبؤ باللوغاريتمات للدرجات ( $\log(s^+)$ ) مباشرة من الحالات الخفية للمدخلات ( $h$ ).

المدخلات: الحالات الخفية $h_t \in \mathbb{R}^{D_h}$ .
المخرجات: درجات لكل رأس KV في $\mathbb{R}^H$ .
التدريب: تم تدريب النماذج على 1.2 مليون زوج من (الحالة الخفية، لوغاريتم الدرجة) المستخرجة من مجموعة بيانات Nemotron-Pretraining-Dataset. يستخدم متغير MLP عرضًا خفيًا قدره $D_h/8$ مع تنشيط GELU.
الأداء: تحقق النماذج البديلة متوسط معامل ارتباط $R^2$ يتراوح بين 0.60 و 0.80 مع نموذج KVzip+ المرجعي (oracle)، مما يثبت إمكانية تقريب الدرجات المكلفة بدقة من الحالات الخفية.

2.3. التقليم والتطهير التكيفي (Adaptive Pruning and Eviction)

على عكس KVzip، الذي يفرض ميزانية ثابتة (مثل الاحتفاظ بـ 50% بالضبط من الرموز)، يستخدم KVzap التقليم القائم على العتبة (threshold-based pruning):

العتبة (Thresholding): يتم التخلص من الرموز التي تقل درجاتها المتوقعة عن عتبة ثابتة $\tau$ . وهذا يسم يسمح لنسبة الضغط بالتكيف ديناميكيًا مع كثافة المعلومات في مطالبة المدخلات.
النافذة المنزلقة (Sliding Window): للحفاظ على السياق المحلي، يتم دائمًا الاحتفاظ بأحدث $w=128$ رمزًا، اتباعًا لمنهج StreamingLLM.
التنفيذ: يحدث التقليم بعد عملية الانتباه. العملية فعالة حسابيًا، حيث تضيف عبئًا ضئيلاً (محدود بـ 1.1% للنماذج MLP و 0.02% للنماذج الخطية).

3. المساهمات الرئيسية

KVzip+: مقياس محسّن لدرجة أهمية ذاكرة KV يتضمن تطبيع الحالة الخفية.
التقريب البديل (Surrogate Approximation): إثبات إمكانية تقريب درجات KVzip+ بفعالية عبر نماذج خفيفة الوزن مدربة على الحالات الخفية، مما يلغي الحاجة إلى التمريرات الأمامية المزدوجة.
KVzap: تقنية تقليم جديدة تطبق هذه النماذج البديلة مع التطهير القائم على العتبة والنوافذ المنزلقة، محققةً أداءً يضاهي أحدث ما توصل إليه العلم (SOTA) مع تلبية جميع المعايير العملية الأربعة (السرعة، عدم الارتباط بمرحلة، سهولة التحسين، والأمانة).

4. النتائج التجريبية

أُجريت التجارب على Qwen3-8B و Llama-3.1-8B-Instruct و Qwen3-32B عبر ثلاث اختبارات مرجعية: RULER (استرجاع/تجميع السياق الطويل)، LongBench (مهام متعددة للسياق الطويل)، و AIME25 (الاستنتاج الرياضي).

الضغط مقابل الدقة: يحقق KVzap ضغطًا لذاكرة KV بمقدار 2 إلى 4 أضعاف مع فقدان ضئيل في الدقة.
- في RULER 4k، يضاهي KVzap أو يتفوق على نموذج KVzip+ المرجعي ويتفوق على 15 طريقة تقليم أخرى (بما في ذلك Expected Attention و Duo Attention).
- في LongBench، يحافظ KVzap على دقة شبه مثالية حتى عند ضغط بمقدار 2 إلى 3 أضعاف.
- في AIME25، يحافظ KVzap-MLP على دقة الاستنتاج حتى عند التخلص من أكثر من 50% من ذاكرة KV.
التكيف (Adaptivity): يقوم النهج القائم على العتبة بتعديل نسب الضغط تلقائيًا بناءً على صعوبة المهمة. على سبيل المثال، يحقق ضغطًا أعلى في بيانات RULER الاصطناعية مقارنة ببيانات LongBench الأكثر كثافة والواقعية.
الكفاءة: تضيف الطريقة عبئًا حسابيًا وذاكرة ضئيلًا للغاية. أثناء فك التشفيد، تستخدم عمليات FLOPs الإضافية دورات وحدة معالجة الرسومات التي كانت ستتوقف لولا ذلك بسبب قيود عرض نطاق الذاكرة (memory bandwidth).

5. الأهمية والادعاءات

يدعي البحث أن KVzap يسد الفجوة بين أبحاث التقليم الأكاديمية ومحركات الاستنتاج في العالم الحقيقي. تكمن أهميته في:

العملية: هو أول طريقة تحقق ضغطًا يضاهي أحدث ما توصل إليه العلم دون التضحية بالسرعة أو طلب تغييرات معمارية، مما يجعله متوافقًا مع محركات الاستنتاج الرئيسية (vLLM, SGLang, TRT-LLM).
الأمانة (Faithfulness): يثبت أن النماذج اللغوية الكبيرة لا تستغل ذاكرة KV بالكامل، وأنه يمكن تحديد أزواج (القيم/المفاتيح) غير المستخدمة عبر الحالات الخفية دون الحاجة لإعادة تدريب النموذج الأساسي بالكامل.
القابلية للتوسع: تم التحقق من النهج عبر نماذج تتراوح من 8B إلى 3B معلمة، وهو مصمم ليكون متوافقًا مع بنيات الانتباه المتناثر المستقبلية.

يقر المؤلفون بالقيود، مشيرين إلى أن KVzap هو إضافة لاحقة (post-hoc) وليس هدفًا مدربًا من البداية للنهاية (end-to-end)، وأن المزيد من الهندسة مطلوبة لترجمة نسب الضغط إلى تسريع في وقت التنفيذ الفعلي عبر نوى محسنة (مثل PagedAttention). ومع ذلك، فإنهم يفترضون أن مزيج KVzap من البساطة، والضغط العالي، والأداء القوي يجعله مرشحًا رئيسيًا للنشر في بيئات الإنتاج.