🤖 machine learning

CompilerKV: Risk-Adaptive KV Compression via Offline Experience Compilation

يقدم CompilerKV سياسة استبقاء لـ KV مُجمّعة في وضع عدم الاتصال تستفيد من الانتظام عبر المطالبات لاستبدال التقدير عبر الإنترنت المليء بالضجيج بعمليات بحث فعالة بتعقيد $O(1)$ ، محققاً أداءً هو الأفضل في فئته وقابلية توسع فائقة تحت قيود الذاكرة القصوى مقارنة بطرق ضغط مرحلة الـ prefill الحالية.

المؤلفون الأصليون: Ning Yang, Chengzhi Wang, Yibo Liu, Baoliang Tian, Haijun Zhang

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ning Yang, Chengzhi Wang, Yibo Liu, Baoliang Tian, Haijun Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تذكر قصة طويلة جداً لكي تتمكن من الإجابة على أسئلة حولها لاحقاً. عقلك (نموذج الذكاء الاصطناعي) لديه مساحة محدودة من "مسودة العمل الذهنية" (تسمى KV Cache) لتخزين الأجزاء الأكثر أهمية من تلك القصة أثناء حديثك عنها.

إذا كانت القصة قصيرة، يمكنك تذكر كل شيء. ولكن إذا كانت القصة بطول 100,000 كلمة، فإن مسودة عملك ستفيض. سيتعين عليك التخلص من بعض الأجزاء لإفساح المجال. المشكلة هي: بمجرد أن تتخلص من شيء ما، لا يمكنك استعادته أبداً. إذا رميت بالخطأ الجزء الذي يكشف فيه الشرير عن خطته السرية، فإن قصتك بأكملها ستنهار.

الطريقة القديمة: التخمين في اللحظة الراهنة

حاولت الطرق السابقة تقرير ما يجب الاحتفاظ به من خلال النظر إلى القصة الآن، في الوقت الفعلي. كانوا يقولون: "هذه الكلمة لديها درجة انتباه عالية، لذا لا بد أنها مهمة!" أو "هذه الجملة تبدو معقدة، فلنحتفظ بها!".

يرى مؤلفو هذه الورقة البحثية أن هذا يشبه محاولة الحكم على فيلم كامل من خلال مشاهدة إطار واحد مشوش. ولأن القصة طويلة جداً والبيانات فوضوية، فإن النظر إلى مطالبة واحدة فقط (قصة واحدة) يؤدي إلى تخمينات سيئة. قد تحتفظ بكلمة براقة ولكنها عديمة الفائدة، وترمي في المقابل دليلاً هادئاً ولكنه حاسم.

الطريقة الجديدة: COMPILERKV (استراتيجية "ما قبل المباراة")

قدم المؤلفون COMPILERKV. بدلاً من التخمين أثناء العمل، يقومون بـ "تجميع" (Compile) استراتيجية مسبقاً، مثل مدرب يدرس لقطات المباراة قبل المباراة الكبرى.

إليك كيف يعمل الأمر، مقسماً إلى ثلاث خطوات بسيطة:

1. "مرشح الضجيج" (المنفعة المستقرة)

تخيل أنك تستمع إلى غرفة مزدحمة. بعض الناس يصرخون (ارتفاعات عابرة)، وبعض الميكروفونات مجرد أعلى صوتاً من غيرها (تحيز المقياس).

الحل: لا يكتفي COMPILERKV بالاستماع إلى من يصرخ بصوت أعلى فحسب. بل يقوم بتنعيم الضجيج وتوحيد مستوى الصوت. إنه يتساءل: "هل هذا الشخص يقول شيئاً مهماً حقاً، أم أنه مجرد صاخب؟" هذا يمنع الذكاء الاصطناعي من الانخداع بالضجيج المؤقت.

2. "خريطة المتخصصين" (جدول تباين الرؤوس)

داخل الذكاء الاصطناعي، هناك العديد من "خلايا الدماغ" المختلفة (تسمى رؤوس الانتباه). بعضها خبراء في العثور على الحقائق (مثل أمين المكتبة)، بينما البعض الآخر مجرد ضجيج ثرثار.

الحل: درس المؤلفون آلاف القصص خارج نطاق التشغيل (offline) وأدركوا: خلايا دماغية معينة تكون دائماً موثوقة، وأخرى تكون دائماً ضوضائية. لقد أنشأوا "خريطة دائمة للمتخصصين".
التشبيه: بدلاً من طلب رأي الفريق بأكله، يعرف النظام: "إذا قالت خلية 'أمين المكتبة' إن كلمة ما مهمة، فسنحتفظ بها، حتى لو قالت خلايا 'الثرثار' إنها مجرد هراء." هذا يمنح الخبراء الموثوقين "حق النقض" (Veto power) لإنقاذ المعلومات الحيوية.

3. "مقياس المخاطر" (العتبة المتكيفة مع المخاطر)

ليست كل القصص متشابهة. بعضها بسيط (وصفة طعام)؛ والبعض الآخر معقد ومربك (رواية غموض).

الحل: يتحقق النظام من مدى "خطورة" القصة الحالية.
- مخاطر منخفضة (قصة بسيطة): "يمكننا أن نكون هجوميين. ارمِ 90% من النص؛ سنكون بخير."
- مخاطر عالية (قصة مربكة): "هذا أمر خطير! كن متحفظاً. احتفظ بـ 95% من النص لمجرد الاحتياط."
التشبيه: الأمر يشبه التجهيز لرحلة. إذا كنت تعلم أن الطقس مثالي، فاحزم أمتعة خفيفة. إذا كان هناك تحذير من عاصفة، فاحزم معدات إضافية. يقوم COMPILERKV تلقائياً بتعديل مقدار ما يحتفظ به بناءً على مدى "عصف" المطالبة الحالية.

لماذا يعد هذا أمراً بالغ الأهمية

تزعم الورقة البحثية أنه من خلال القيام بهذا "الدراسة المسبقة" (التجميع خارج نطاق التشغيل) بدلاً من "التخمين في اللحظة" (الاستدلال أثناء التشغيل)، فإنهم يحصلون على نتائج أفضل بكثير:

إنه قابل للنقل: "خريطة المتخصصين" التي أنشؤوها تعمل عبر نماذج ذكاء اصطناعي مختلفة. إنه مثل كتاب قواعد عالمي ينطبق على أنواع مختلفة من الأدمغة.
إنه يوفر الذاكرة: يمكنهم تشغيل الذكاء الاصطناعي بميزانية ذاكرة ضئيلة (1.5% فقط من النص الأصلي) مع الاستمرار في الإجابة على الأسئلة بشكل صحيح.
إنه يتعامل مع النصوص الطويلة: عند اختباره في سياقات ضخمة (تصل إلى 128,000 كلمة)، ظل COMPILERKV قوياً بينما انهارت الطرق الأخرى. على سبيل المثال، في اختبار "إبرة في كومة قش" (البحث عن حقيقة محددة في نص ضخم)، وجد COMPILERKV الإبرة بنسبة 89% من المرات، بينما وجدت الطريقة التالية الأفضل 42% فقط.

الخلاصة

COMPILERKV يتوقف عن محاولة اتخاذ قرارات مثالية في أجزاء من الثانية. بدلاً من ذلك، يستخدم استراتيجية محسوبة مسبقاً ومدركة للمخاطر لتقرير ما يجب الاحتفاظ به. إنه الفرق بين مقامر يضع رهاناً عشوائياً وبين لاعب شطرنج عظيم قد حسب بالفعل أفضل التحركات بناءً على سنوات من الخبرة. النتيجة هي ذكاء اصطناعي يمكنه تذكر كميات هائلة من النصوص دون نفاد الذاكرة أو نسيان الأجزاء المهمة.

ملخص تقني: COMPILERKV

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) اختناقًا في الذاكرة بسبب النمو الخطي لذاكرة المفتاح-القيمة (KV cache) مع طول السياق. وقد برزت ضغط ذاكرة الـ KV في مرحلة الـ prefill فقط كحل سهل النشر، حيث يتم اختيار مجموعة فرعية من الرموز (tokens) في نهاية مرحلة الـ prefill وتجميدها طوال مرحلة فك التشفير (decoding). يحول هذا النهج استخدام الذاكرة أثناء التشغيل إلى تكلفة ثابتة مع عدم وجود تدخل أثناء عملية فك التشفৰ.

ومع ذلك، تحدد الورقة البحثية عدم تطابق إحصائي جوهري في الأساليب الحالية المعتمدة على الـ prefill فقط (مثل SnapKV وPyramidKV وHeadKV). تحاول هذه الأساليب تقدير الإشارات التصحيحية — وتحديدًا موثوقية كل رأس (per-head reliability) (أي رؤوس الانتباه الضرورية للاسترجاع) وحساسية ضغط مستوى المطالبة (prompt-level compression sensitivity) (مدى إمكانية ضغط مطالبة معينة) — عبر الإنترنت (online)، باستخدام إحصائيات من مطالبة واحدة مشوشة. يجادل المؤلفون بأن هذه هي الوحدة الإحصائية الخاطئة:

E1 (ضجيج المطالبة الواحدة): درجات الانتباه لكل مطالبة ذات ذيول ثقيلة (heavy-tailed) ومنحازة للمقياس؛ فالمقادير الكبيرة لا تضمن الأهمية الدلالية، كما أن أخطاء التقدير الصغيرة تسبب أخطاء اختيار غير قابلة للإصلاح.
E2 (تباين الرؤوس): رؤوس الانتباه متخصصة وظيفيًا. بعضها "حرج للاسترجاع"، بينما البعض الآخر مشوش باستمرار. التجميع الساذج يسمح للرؤوس المشوشة بالهيمنة على الدرجات.
E3 (تباين مخاطر مستوى المطالبة): تمتلك المطالبات المختلفة حدود ضغط مختلفة. تفشل قاعدة الاحتفاظ الثابتة في التعامل مع المطالبات عالية الإنتروبيا أو عالية الارتياب (high-perplexity)، مما يؤدي إلى فقدان كارثي للمعلومات.

تعيد الأساليب الحالية تقدير هذه الإشارات عبر الإنترنت لكل مطالبة، مما يفشل في الاستففادة من حقيقة أن هذه الإشارات تظهر انتظامًا عاليًا عبر المطالبات (cross-prompt regularity) بدلاً من الاستقرار داخل المطالبة الواحدة.

2. المنهجية: COMPILERKV

يقترح المؤلفون COMPILERKV، وهو سياسة احتفاظ بذاكرة الـ KV تقوم بتجميع جداول تصحيحية خارج نطاق التشغيل (offline) من مجموعة معايرة (calibration corpus)، بدلاً من تقديرها عبر الإنترنت. الجوهر هو أن ترتيبات موثوقية الرؤوس والخرائط من ميزات المخاطر إلى العتبات الآمنة هي أولويات معمارية (architectural priors) مستقرة يمكن تعلمها مرة واحدة وإعادة استخدامها.

يتكون الإطار من ثلاثة مكونات مترابطة تعمل خلال مرحلة الـ prefill:

أ. المنفعة المستقرة للرموز (معالجة E1)

لإزالة طفرات الانتباه العابرة وانحياز المقياس بين الرؤوس دون تعلم، تحسب الطريقة درجة منفعة خالية من المعاملات (parameter-free utility score):

تجميع النافذة (Window-aggregated attention): يعمل على تنعيم الطفرات العابرة عن طريق تجميع الانتباه عبر نافذة ملاحظة $\Omega$ عند ذيل المطالبة.
التطبيع النسبي للرأس (Head-relative normalization): يقوم بتطبيع درجات الرموز بالنسبة لمتوسط معيار القيمة للرأس، مما يزيل انحياز المقياس.
الصيغة: $u^{(l,h)}_t = \alpha_t \cdot \rho^{(l,h)}_t$ ، حيث $\alpha_t$ هي كتلة النافذة و $\rho$ هو معيار القيمة الموحد.

ب. جدول تباين الرؤوس (معالجة E2)

بدلاً من معاملة جميع الرؤوس بالتساوي أو إعادة تقدير الأهمية عبر الإنترنت، يقوم COMPILERKV بتجميع جدول مجمد $W_{head}[l, h]$ لأوزان الموثوقية المستمرة.

التجميع خارج نطاق التشغيل (Offline Compilation): يتم تعلمه عبر التعلم القيمي المحافظ (Conservative Q-Learning - CQL) على مجموعة معايرة. الحالة هي $(l, h, B_l)$ ، والإجراء هو وزن موثوقية مجزأ.
الآلية: أثناء الاستدلال، يتم إعادة تحجيم منفعة الرمز بواسطة موثوقية الرأس الخاص به. والأهم من ذلك، أن التجميع يستخدم تجميع الحد الأقصى الموزون (weighted max-pooling) ( $\hat{u}^{(l)}_t = \max_h (u^{(l,h)}_t \cdot W_{head}[l, h])$ ). هذا يمنح "سلطة الفيتو" للرؤوس الحرجة للاسترجاع: إذا ركز رأس واحد حرج بقوة على رمز ما، فسيتم الاحتفاظ به، بغض النظر عن الإجماع من الرؤوس المشوشة.

ج. بوابة العتبة المتكيفة مع المخاطر (معالجة E3)

للتعامل مع المطالبات ذات حدود الضغط المتفاوتة، تقوم بوابة العتبة المتكيفة مع المخاطر برسم خرائط لميزات مخاطر مستوى المطالبة إلى عتبة الاحتفاظ.

إشارات المخاطر: تستخدم إنتروبيا الانتباه (المخاطر الهيكلية) والارتياب المحلي (Local Perplexity) (المخاطر الدلالية) المحسوبة عبر نافذة الملاحظة.
التجميع خارج نطاق التشغيل: يقوم جدول البحث (LUT) برسم خرائط لـ bins المخاطر المجزأة $(b_{ent}, b_{ppl})$ إلى عتبة احتفاظ $\tau^{(l)}$ . يتم أيضًا تجميع هذا عبر CQL.
التحيز المحافظ: يعاقب هدف CQL العتبات الهجومية في الحالات النادرة وعالية المخاطر (الإنتروبيا/الارتياب العالي)، مما يوجه الجدول نحو الاحتفاظ الأكثر أمانًا حيث تفشل الاستدلالات عبر الإنترنت عادةً.
الاختيار المرن: يحتفظ الاختيار النهائي بجميع الرموز التي تتجاوز المنفعة فيها العتبة $\tau^{(l)}$ . إذا تجاوزت مجموعة المرشحين الميزانية $B_l$ ، يتم قصها إلى أفضل $B_l$ من الرموز. وإذا كانت أقل، يتم الاحتفاظ بجميع المرشحين (under-retention مرن).

د. التأصيل النظري

تقدم الورقة تحليلاً رسميًا يوضح أن خطأ التقريب يتم التحكم فيه من خلال كتلة الذيل المستبعدة (Proposition 4.1). وتجادل بأن خطأ المعايرة للجدول المحدود يتم التحكم فيه على مستوى المطالبة (عبر المطالبات المستقلة) بدلاً من افتراض استقلال الصفوف داخل مطالبة واحدة، مما يقلل التباين.

3. المساهمات الرئيسية

إعادة صياغة المشكلة: تحديد أن الوحدة الإحصائية للتصحيح في ضغط الـ prefill-only يجب أن تكون المقياس عبر المطالبات (cross-prompt scale)، وليس المطالبة الواحدة.
التجميع خارج نطاق التشغيل: تقديم طريقة لتجميع موثوقية الرؤوس وعتبات المخاطر المتكيفة خارج نطاق التشغيل، وتحويلها إلى أولويات معمارية قابلة للنقل.
السياسة المزدوجة: اقتراح تحسين مشترك حيث يتم معايرة أوزان موثوقية الرؤوس وعتبات مخاطر المطالبة مقابل نفس المكافأة (reward)، بدلاً من كونها وحدات مستقلة.
القابلية للنقل: إثبات أن الجداول المجمعة تنتقل عبر مجموعات بيانات مختلفة وحتى عبر عائلات نماذج مختلفة (مثل LLaMA إلى Mistral) مع حد أدنى من التدهور في الأداء.

4. النتائج التجريبية

تم تقييم الطريقة على أربعة نماذج أساسية (backbones) بحجم 7B–8B (LLaMA-3, Mistral, Qwen2, InternLM) عبر اختبارات LongBench وRULER وNeedle-in-a-Haystack (NIAH).

LongBench (ميزانية 512 توكن): يحقق COMPILERKV أفضل أداء مضغوط (compressed-SOTA) على جميع النماذج الأربعة، متفوقًا على أقوى الخطوط المرجعية (مثل ChunkKV وHeadKV) بمتوسط +1.67 نقطة (فاصل ثقة 95% [+1.08, +2.37]). في بعض النماذج، يتجاوز قليلاً أداء FullKV، وهو ما يعزبه المؤلفون إلى إزالة الضجيج بدلاً من اكتساب المعلومات.
أنظمة الضغط العالية:
- RULER (سياق 128k): تحت نسبة ذاكرة (cache ratio) ثابتة تبلغ 512/32k، يحافظ COMPILERKV على درجة تقارب ~~73، متفوقًا بشكل كبير على SnapKV (~~38) وKVZip (~~66.5)، مع البقاء تحت مستوى FullKV (~~79).
- NIAH (32k): يحقق دقة 0.89 مقابل 0.42 لـ SnapKV.
- التجميع (Batching): عند 32k مدخلات مع حجم دفعة 16، يظل COMPILERKV ممكنًا، بينما ينفد من الذاكرة (OOM) نموذج FullKV.
القابلية للنقل:
- عبر المجموعات (Cross-Corpus): تظهر ترتيبات موثوقية الرؤوس ارتباط سبيرمان عاليًا ( $\bar{\rho} \approx 0.90$ ) عبر مجموعات معايرة منفصلة.
- عبر النماذج (Cross-Model): نقل الجدول المباشر بين النماذج (مثل LLaMA-3 إلى Mistral) يتسبب في فقدان قدره 0.4–0.8 نقطة فقط في LongBench مقارنة بالمعايرة المخصصة للهدف.
الكفاءة: التكاليف الإضافية عبر الإنترنت ضئيلة: بحث في الجدول بتكلفة $O(1)$ لكل طبقة وعملية فرز واحدة لمجموعة المرشحين. يحقق إنتاجية فك تشفير تصل إلى 2.45 ضعف مقارنة بـ FullKV عند سياق 32k.

5. الأهمية والادعاءات

تدعي الورقة أن COMPILERKV يسد الفجوة مع FullKV عند الميزانيات الثابتة من خلال تصحيح عدم التطابق الإحصائي في كيفية حساب سياسات الاحتفاظ. من خلال نقل حساب الإشارات التصحيحية من التقدير عبر الإنترنت المشوش للمطالبة الواحدة إلى أولوية مجمعة خارج نطاق التشغيل وعبر المطالبات، فإنه يعمل على تثبيت عملية الاختيار ضد الضجيج والتباين.

يؤكد المؤلفون أن الجدة لا تكمن فقط في "الوعي بالرؤوس" (الذي تمتلكه طرق مثل HeadKV)، بل في التجميع المشترك خارج نطاق التشغيل لموثوقية الرؤوس المستمرة وعتبات مخاطر المطالبة. هذا يحول موثوقية الرأس من مجرد خدعة ضبط إلى كائن علمي قابل لإعادة الاستخدام يمكن تجميعه مرة واحدة ونشره عبر النماذج والسياقات بتكلفة $O(1)$ عبر الإنترنت. يشير العمل إلى أنه بالنسبة لضغط الـ prefill-only، فإن "الإشارات الصحيحة" هي خصائص معمارية للنموذج، وليست ميزات عابرة للمطالبة المدخلة.