💬 NLP

KV-CoRE: Benchmarking Data-Dependent Low-Rank Compressibility of KV-Caches in LLMs

تقدم هذه الورقة KV-CoRE، وهو إطار تقييم يعتمد على تفكيك القيم المفردة (SVD) يقيس قابلية انضغاط ذاكرة التخزين المؤقت لـ KV على مستوى الطبقات والاعتماد على البيانات، مما يوفر معياراً واسع النطاق يكشف كيف تؤثر بنية النموذج، وبيانات التدريب، والتنوع اللغوي على كفاءة الانضغاط.

المؤلفون الأصليون: Jian Chen, Zhuoran Wang, Jiayu Qin, Ming Li, Meng Wang, Changyou Chen, Yin Chen, Qizhen Weng, Yirui Liu

نُشر 2026-02-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jian Chen, Zhuoran Wang, Jiayu Qin, Ming Li, Meng Wang, Changyou Chen, Yin Chen, Qizhen Weng, Yirui Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ محترف تعمل في مطعم ضخم وراقٍ. لكي تطبخ بسرعة، تحتفظ بـ "محطة تحضير" (وهذا هو الـ KV-Cache) مليئة بالمكونات المقطعة مسبقاً مثل البصل، والثوم، والأعشاب.

مع ازدياد انشغال المطعم (أي مع نمو طول السياق/context length للذكاء الاصطناعي)، تصبح محطة التحضير الخاصة بك مزدحمة وضخمة للغاية لدرجة أنك تقضي وقتاً في نقل صناديق المكونات الثقيلة أكثر مما تقضيه في الطبخ الفعلي. هذا "الازدحام" يبطئ كل شيء.

لتسريع الأمور، تقرر ضغط مكوناتك — فبدلاً من أن يكون لديك 100 وعاء منفصل من الثوم المفروم، تقوم بهرسها في عجينة ثوم مركزة واحدة. هذا يوفر المساحة ويجعلك أسرع.

المشكلة؟ إذا هرست المكونات الخاطئة، سيكون طعم الطعام سيئاً. إذا حولت الأعشاب الرقيقة إلى عجينة، ستفقد النكهة التي تجعل الطبق مميزاً.

عن ماذا يتحدث هذا البحث؟

ابتكر الباحثون أداة تسمى KV-CoRE. فكر في KV-CoRE كأنه "مُدقق مطبخ ذكي".

بدلاً من مجرد التخمين بشأن أي المكونات يمكن ضغطها، يقوم المُدقق بفحص كل مكون في مطبخك ويسأل: "ما مدى فرادة هذا المكون حقاً، وكم منه مجرد حشو مكرر؟"

المفاهيم الأساسية

1. "ملف النكهة" (القابلية للضغط منخفضة الرتبة/Low-Rank Compressibility)
بعض المكونات "عالية الرتبة" — فهي معقدة وفريدة (مثل توابل نادرة). إذا ضغطتها، يختفي "الطعم" (ذكاء الذكاء الاصطناعي). أما المكونات الأخرى فهي "منخفضة الرتبة" — أي أنها مكررة (مثل جبل من الملح). يمكنك ضغط الملح في مكعب صغير دون أن تفقد جوهره. يقيس KV-CoRE بالضبط مقدار "النكهة" التي ستفقدها إذا قمت بتقليص أجزاء معينة من ذاكرة الذكاء الاصطناعي.

2. مقياس "NER" (درجة الكفاءة)
ابتكر الباحثون درجة تسمى NER (الرتبة الفعالة المعيرة).

NER مرتفع: المكون معقد و"مليء بالنكهة". لا تلمسه!
NER منخفض: المكون مكرر. يمكنك تقليصه بشكل كبير لتوفير المساحة دون أن يلاحظ الطاهي ذلك.

3. الفحص "طبقة تلو الأخرى"
لا ينظر المُدقق إلى المطبخ بأكد بل ينظر إلى كل رف (الـ Layers أو الطبقات في الذكاء الاصطناعي). لقد اكتشفوا أن "الأرفف الوسطى" عادة ما تكون محشوة بمكونات معقدة ومهمة، بينما "الأرفف العلوية والسفلية" غالباً ما تكون مليئة بأشياء يمكن ضغطها بسهولة.

الاكتشافات الكبرى

المفاتيح مقابل القيم (Keys vs. Values): وجدوا أن "المفاتيح" (الملصقات الموجودة على برطمانات المكونات) أسهل بكثير في الضغط من "القيم" (المكونات نفسها). الأمر يشبه إدراك أنه يمكنك استخدام ملصقات أصغر دون فقدان القدرة على العثور على توابلك.
الفجوة اللغوية: لاحظوا أنه بالنسبة لبعض اللغات (مثل العربية أو الفنلندية)، فإن "محطة التحضير" الخاصة بالذكاء الاصطناعي تكون في الواقع مكررة جداً (منخفضة الرتبة). هذه "علامة حمراء" تخبرنا أن الذكاء الاصطناعي لم يتعلم تلك اللغات بعمق كافٍ بعد — إنه فقط يكرر الأنماط الأساسية نفسها.
قاعدة "المقاس الواحد لا يناسب الجميع": معظم الأساليب الحالية تحاول ضغط المطبخ بأكمله بنفس القدر. تثبت هذه الورقة البحثية أن هذا خطأ. يجب عليك ضغط "الملح" بكثافة وترك "الكمأة" وشأنها.

لماذا يهمك هذا؟

في المستقبل القريب، سيساعد هذا البحث في جعل تشغيل الذكاء الاصطناعي أسرع وأرخص بكثير. بدلاً من الحاجة إلى حاسوب فائق ضخم ومكلف للتحدث مع ذكاء اصطناعي، تسمح تقنيات "التدقيق الذكي" هذه بتشغيل الذكاء الاصطناعي على أجهزة أصغر (مثل هاتفك أو حاسوبك المحمول) من خلال تقليص ذاكرته بذكاء دون جعله "غبياً".

ملخص تقني: KV-CoRE: قياس قابلية ضغط ذاكرة التخزين المؤقت لـ KV المعتمدة على البيانات في النماذج اللغوية الكبيرة (LLMs)

1. بيان المشكلة

مع توسع النماذج اللغوية الكبيرة (LLMs) لتشمل أطوال سياق أطول، تصبح ذاكرة التخزين المؤقت لـ KV (مخزن المفتاح والقيمة - KV-cache) عائقاً كبيراً. وبينما تمنع هذه الذاكرة إعادة الحساب غير الضروري أثناء فك التشفير التكراري (autoregressive decoding)، إلا أن حجمها الهائل يستنزف عرض نطاق ذاكرة وحدة معالجة الرسومات (GPU memory bandwidth).

تعاني طرق الضغط الحالية غالباً من مشكلتين رئيسيتين:

التركيز على الأوزان مقابل التركيز على البيانات: تركز معظم النهج على ضغط مصفوفات الإسقاط (الأوزان)، متجاهلة حقيقة أن التنشيطات الفعلية (KV-cache) هي معتمدة على البيانات. فالرتبة الجوهرية (intrinsic rank) لهذه التنشيطات يمكن أن تختلف بشكل كبير بناءً على مجال المدخلات.
النمطية (Uniformity): تطبق معظم الطرق نسبة ضغط ثابتة عبر جميع الطبقات، مما يفشل في مراعاة حقيقة أن الطبقات المختلفة تظهر ملفات تعريف (profiles) متميزة لقابلية الضغط.

2. المنهجية: KV-CoRE

يقترح المؤلفون KV-CoRE (تقييم قابلية ضغط ذاكرة التخزين المؤقت لـ KV عن طريق تقييم الرتبة)، وهو إطار عمل مصمم لقياس قابلية ضغط ذاكرة التخزين المؤقت لـ KV ذات الرتبة المنخفضة والمعتمدة على البيانات.

التحليل القائم على SVD: بدلاً من تقريب الأوزان، يقوم KV-CoRE بإجراء تحليل القيم المفردة (SVD) مباشرة على مصفوفات ميزات المفتاح والقيمة ( $K$ و $V$ ) الناتجة عن مجموعات بيانات حقيقية. وهذا يسمح بحساب التقريب الأمثل للرتبة المنخفضة تحت معيار "نورم فروبينيوس" (Frobenius norm).
خوارزمية SVD التزايدية: لحل مشكلة اختناق الذاكرة عند إجراء SVD على مجموعات بيانات ضخمة (حيث يكون عدد الرموز $l$ كبيراً جداً)، قدم المؤلفون خوارزمية SVD تزايدية. تقوم هذه الطريقة بتحديث مصفوفة التباين ( $C = K^T K$ ) رمزاً تلو الآخر، مما يتطلب ذاكرة قدرها $O(d^2)$ فقط (حيث $d$ هو بُعد الرأس) بدلاً من $O(l \cdot d)$ ، مما يجعلها فعالة للغاية للتقييم على مستوى مجموعة البيانات.
الرتبة الفعالة الموحدة (NER): لتوفير مقياس معياري، قدم المؤلفون NER. وهي مشتقة من "الرتبة الفعالة" (بناءً على إنتروبيا توزيع القيم المفردة) وموحدة بواسطة الرتبة الفعلية للمصفوفة. تعطي NER درجة في النطاق $[1/r, 1]$ ، حيث تشير القيم الأقل إلى قابلية ضغط أعلى (وجود عدد قليل من القيم المفردة المهيمنة).
مصفوفة الضغط المثلى: يوفر إطار العمل طريقة لاشتقاق مصفوفات الإسقاط السفلي والعلوي الأمثل ( $W_K V_k$ و $V_k^T$ ) لتقليل خطأ إعادة البناء أثناء الاستدلال.

3. المساهمات الرئيسية

إطار عمل جديد: تطوير KV-CoRE، وهو طريقة خالية من التدرج (gradient-free)، تزايدية، ومعتمدة على البيانات لتحليل ذاكرة التخزين المؤقت لـ KV على مستوى الطبقة ومستوى مجموعة البيانات.
مقياس جديد: تقديم NER كمؤشر خفيف الوزن لقابلية الضغط، و ND-PPL (الارتباك المتغير الموحد) لقياس المتانة النهائية (end-to-end robustness).
اختبار مرجعي واسع النطاق: إجراء أول دراسة منهجية لقابلية ضغط ذاكرة التخزين المؤقت لـ KV عبر بنيات نماذج متعددة (Qwen, Mistral, Gemma, Phi, LLaMA)، ومجالات إنجليزية متعددة (البرمجة، الطب، التعليمات)، و15 لغة مختلفة.

4. النتائج الرئيسية

عدم التماثل بين K و V: تعد المفاتيح ( $K$ ) أكثر قابلية للضغط باستمرار من القيم ( $V$ ). يشير هذا إلى أنه يمكن تطبيق ضغط مكثف على ذاكرة تخزين المفاتيح (Key cache) مع عقوبة أقل في الأداء مقارنة بذاكرة تخزين القيم (Value cache).
التباين بين الطبقات: قابلية الضغط ليست موحدة. عادة ما تظهر الطبقات الوسطى NER أعلى (أقل قابلية للضغط)، بينما تكون الطبقات المبكرة والمتأخرة أكثر قابلية للضغط. وهذا يبرر الحاجة إلى ضغط مدرك للطبقات وغير موحد.
الحساسية للبيانات واللغة:
- المجال: التحولات في المجال الإنجليزي (مثل البرمجة مقابل الطب) لها تأثير ضئيل نسبياً على NER.
- اللغة: التنوع اللغوي له تأثير هائل. تُظهر اللغات ذات الموارد المنخفضة (مثل العربية، الفنلندية) NER أقل بكثير، مما يشير إلى "انهيار الرتبة" (rank collapse) حيث تستقر التضمينات (embeddings) في فضاء فرعي أصغر بكثير بسبب نقص التدريب.
التحقق من المقياس: أثبت المؤلفون وجود ارتباط قوي بين NER والأداء الفعلي للنموذج (الارتباك Perplexity ودرجات GPT-4o)، مما يثبت أن NER هو مؤشر موثوق لمدى تدهور النموذج تحت الضغط.

5. الأهمية

ينقل KV-CoRE نموذج ضغط ذاكرة التخزين المؤقت لـ KV من تقليم الأوزان الثابت إلى استراتيجيات ديناميكية مدركة للبيانات. من خلال تحديد الطبقات وأنواع البيانات (أو اللغات) الأكثر قابلية للضغط، يمكن للباحثين تصميم خوارزميات ضغط تكيفية تزيد من توفير الذاكرة مع تقليل فقدان الذكاء إلى أدنى حد. علاوة على ذلك، فإن اكتشاف انهيار الرتبة في اللغات ذات الموارد المنخفضة يوفر أداة تشخيصية جديدة لتقييم التغطية اللغوية وجودة التدريب للنماذج اللغوية الكبيرة متعددة اللغات.