💻 computer science

DepthKV: Layer-Dependent KV Cache Pruning for Long-Context LLM Inference

يُعد DepthKV إطار عمل مبتكرًا لتقليم ذاكرة التخزين المؤقت لـ KV يعتمد على الطبقات، حيث يعمل على تحسين استنتاج النماذج اللغوية الكبيرة ذات السياق الطويل من خلال تخصيص ميزانية ذاكرة عالمية ثابتة ديناميكيًا عبر الطبقات بناءً على حساسية التقليم الفردية لكل منها، متفوقًا بذلك على طرق التقليم الموحدة التقليدية.

المؤلفون الأصليون: Zahra Dehghanighobadi, Asja Fischer

نُشر 2026-04-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zahra Dehghanighobadi, Asja Fischer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "DepthKV" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: "حقيبة الظهر المكتظة"

تخيل أن نموذج لغة كبير (LLM) هو طالب عبقري يحاول كتابة قصة طويلة أو تلخيص كتاب ضخم. للقيام بذلك، يحتاج الطالب إلى تذكر كل ما قرأه حتى الآن.

في عالم الكمبيوتر، تُسمى هذه الذاكرة "ذاكرة التخزين المؤقت KV" (KV Cache). فكر في ذاكرة الـ KV كأنها حقيبة ظهر يحملها الطالب. في كل مرة يقرأ فيها الطالب كلمة جديدة، يضع ملاحظة عن تلك الكلمة داخل الحقيبة.

المشكلة: إذا قرأ الطالب كتاباً من 100 صفحة، ستصبح حقيبة الظهر ضخمة. وإذا قرأ كتاباً من 1,000 صفحة، ستصبح الحقيبة ثقيلة وضخمة لدرجة أنها قد تكسر ظهر الطالب (أي تنفد ذاكرة الكمبيوتر).
الحل الحالي: لإبقاء حقيبة الظهر خفيفة، يقوم الطالب برمي بعض الملاحظات. الطريقة الحالية تشبه قاعدة موحدة: "ارمي 60% من الملاحظات من كل صفحة في الكتاب، بغض النظر عن أي شيء".

الاكتشاف: ليست كل الصفحات متساوية

أدرك مؤلفو هذه الورقة أن "القاعدة الموحدة" هي خطأ. لقد اكتشفوا أن ليست كل أجزاء دماغ الطالب (أو طبقات الكمبيوتر) متساوية في الأهمية.

تخيل أن دماغ الطالب عبارة عن مبنى متعدد الطوابق به العديد من الطوابق (الطبقات):

الطابق 1 (الطبقات الأولى): تتعامل مع الأشياء الأساسية مثل التعرف على الكلمات والقواعد.
الطابق 10 (الطبقات الوسطى): تتعامل مع المعنى العميق، والحبكة، والمنطق.
الطابق 20 (الطبقات الأخيرة): تتعامل مع اللمسات النهائية وصياغة الجمل.

اختبر الباحثون ما يحدث إذا رموا الملاحظات من طوابق محددة فقط. ووجدوا ما يلي:

إذا رميت الملاحظات من الطوابق الوسطى، سينسى الطالب القصة تماماً ويبدأ بكتابة كلام غير مفهوم.
إذا رميت الملاحظات من الطوابق العليا أو السفلى، فلا يزال بإمكان الطالب سرد القصة، ربد بلكنة أو أسلوب مختلف قليلاً، لكن المعنى الجوهري يظل كما هو.

التشبيه: الأمر يشبه محاولة توفير مساحة في شاحنة نقل. الطريقة الحالية تشبه رمي 60% من الأثاث من غرفة المعيشة، والمطبخ، وغرفة النوم بالتساوي. الاكتشاف الجديد هو أن المطبخ (الطبقات الوسطى) يحتوي على العناصر الأكثر أهمية (كتب الوصفات والموقد). إذا رميت 60% من محتويات المطبخ، فلن تستطيع الطبخ. ولكن إذا رميت 60% من محتويات غرفة النوم (الطبقات الأقل أهمية)، فلا يزال بإمكانك النوم.

الحل: DepthKV (قائمة التعبئة الذكية)

تقترح الورقة نظاماً جديداً يسمى DepthKV. بدلاً من معاملة كل طابق في المبنى بنفس الطريقة، يعمل DepthKV مثل مدير تعبئة ذكي.

يقيس الأهمية: يتحقق من أي الطوابق "حساسة" (ضرورية للقصة) وأيها "قوية/متينة" (يمكنها تحمل فقدان بعض الملاحظات).
يعيد تخصيص الميزانية: يحافظ على حجم ثابت لإجمالي سعة حقيبة الظهر، ولكنه يوزع المساحة بشكل مختلف:
- الطوابق الحرجة (المطبخ): يحتفظ بكل الملاحظات تقريباً. لا يرمي أي شيء هنا.
- الطوابق الأقل أهمية (غرفة النوم): يرمي الملاحظات بقوة هنا لتوفير المساحة.

كيف يقيس "الأهمية"؟

كيف يعرف الكمبيوتر أي طابق هو "المطبخ"؟ استخدم الباحثون اختباراً رياضياً يسمى InfoNCE.

التشبيه: تخيل أنك تهز حقيبة الظهر.
- إذا سقطت الملاحظات الموجودة في طابق معين ونسي الطالب القصة فوراً، فهذا الطابق هش (أهمية عالية).
- إذا سقطت الملاحظات في طابق آخر ولم يلاحظ الطالب حتى ذلك، فهذا الطابق متين (أهمية منخفضة).
- يستخدم DepthKV "اختبار الهز" هذا ليقرر أين يحافظ على الملاحظات بأمان.

النتائج: تعبئة أكثر ذكاءً

اختبر الباحثون هذا على ثلاثة أنواع مختلفة من الطلاب (نماذج الذكاء الاصطنا_ي: Gemma، LLaMA، و Qwen) ومهام متنوعة (تلخيص الأخبار، الإجابة على الأسئلة، وحل المسائل الرياضية).

الطريقة القديمة (التقليم الموحد): كانت ترمي الملاحظات بالتساوي. غالباً ما كان الطالب يصاب بالارتباك أو يعطي إجابات قصيرة وغير مكتملة.
الطريقة الجديدة (DepthKV): كانت ترمي الملاحظات بشكل استراتيجي.
- النتيجة: كتب الطلاب ملخصات أفضل، وأجابوا على الأسئلة بدقة أكبر، وحلوا المسائل الرياضية بشكل صحيح، وكل ذلك مع حمل حقيبة ظهر بنفس الحجم تماماً.

الملخص

تجادل الورقة بأن "المقاس الواحد لا يناسب الجميع". من خلال إدراك أن أجزاء مختلفة من نموذج الذكاء الاصطنا تؤدي أدواراً مختلفة، يمكننا أن نكون أكثر ذكاءً بشأن ما نحذفه من ذاكرته. DepthKV هي الطريقة التي تحافظ على أهم الذكريات آمنة بينما تقص "الحشو" بلا رحمة، مما يسمح للذكاء الاصطنا_ي بالتعامل مع قصص أطول دون نفاد الذاكرة.

إليك ملخص تقني مفصل لورقة "DepthKV: Layer-Dependent KV Cache Pruning for Long-Context LLM Inference" (تقليم ذاكرة التخزين المؤقت لـ KV المعتمد على الطبقات لاستنتاج النماذج اللغوية الكبيرة ذات السياق الطويل).

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) اختناقًا حرجًا في الذاكرة أثناء استنتاج السياق الطويل. وبينما يعتمد التوليد التلقائي (autoregressive generation) على ذاكرة التخزين المؤقت لـ المفتاح-القيمة (KV cache) لتجنب إعادة حساب الرموز (tokens) الماضية، فإن البصمة الذاكرية لهذه الذاكرة تنمو خطيًا مع طول التسلسل ( $O(L \cdot N \cdot d)$ ، حيث $L$ هو عدد الطبقات، و $N$ هو طول التسلسل، و $d$ هو البعد الخفي).

تستخدم الحلول الحالية ما بعد التدريب بشكل أساسي تقليم ذاكرة KV (KV cache pruning)، والتي تتخلص من الرموز ذات درجات الانتباه المنخفضة لتناسب ميزانية ذاكرة ثابتة. ومع ذلك، فإن هناك قيدًا جوهريًا في الطرق الحالية (مثل H2O وStreamingLLM)، وهو افتراض التقليم الموحد (uniform pruning): فهي تطبق نفس نسبة التقليم عبر جميع طبقات المحول (transformer layers). ويرى المؤلفون أن هذا الأمر غير مثالي لأنه يفترض ضمنيًا أن جميع الطبقات تساهم بالتساوي في أداء النموذج، متجاهلاً الحساسية المتباينة للطبقات المختلفة تجاه إزالة الرموز.

2. المنهجية: DepthKV

يتحدى إطار العمل المقترح، DepthKV، افتراض التقليم الموحد من خلال تقديم تخصيص ذاكرة KV يعتمد على الطبقة. فبدلاً من التخلص من نسبة ثابتة من الرموز لكل طبقة، يقوم DepthKV بإعادة تخصيص ميزانية KV عالمية ثابتة عبر الطبقات بناءً على حساسيتها المحددة للتقليم.

أ. الدراسة التمهيدية: تحليل حساسية الطبقات

قبل تصميم استراتيجية التخصيص، أجرى المؤلفون دراسة استئصال (ablation study) على مستوى الطبقة:

الطريقة: قاموا بتقليم الرموز في طبقة واحدة محددة فقط في كل مرة مع إبقاء الطبقات الأخرى سليمة، وقياس الانخفاض الناتج في الأداء (ROUGE-1).
النتيجة: تدهور الأداء غير موحد للغاية. تسبب بعض الطبقات "الحرجة" انخفاضات هائلة عند تقليمها، بينما تظهر طبقات أخرى تأثيرًا ضئيلاً أو حتى فائضًا.
تضخيم المحتوى (Content Amplification): حددوا "طبقات تضخيم المحتوى". تقليم هذه الطبقات لا يؤدي فقط إلى خفض الدقة، بل يقلل بشكل كبير من طول المخرجات ومدى غناها بالمعلومات (مقاسًا بـ YapScore)، مما يشير إلى أن هذه الطبقات ضرورية لاستدامة التوليد.
التحقق الإحصائي: أكدت اختبارات التبديل (Permutation tests) أن التباين في أهمية الطبقات ذو دلالة إحصائية عبر النماذج المختلفة (Gemma, LLaMA, Qwen) ومجموعات البيانات.

ب. مقاييس التمثيل للأهمية

لأتمتة عملية التخصيص دون الحاجة إلى دراسة استئصال شاملة، حلل المؤلفون خصائص التمثيل لإيجاد مؤشر لأهمية الطبقة.

اختيار المقياس: قيموا ستة مقاييس (Spectral Entropy, Effective Rank, Curvature, DiME, LiDAR, InfoNCE).
النتيجة الرئيسية: أظهر مقياس InfoNCE (وهو فقد تبايني يقيس متانة التمثيل تجاه اضطرابات المدخلات) أقوى ارتباط سلبي مع تدهور الأداء.
- التفسير: الطبقات ذات قيم InfoNCE الأقل (التمثيلات الأكثر متانة) هي الأكثر أهمية. تقليمها يتسبب في انخفاضات أكبر في الأداء.
- الاستخدام: يستخدم DepthKV درجات InfoNCE لترتيب الطبقات وتحديد تخصيص الميزانية.

ج. استراتيجيات التخصيص

يعمل DepthCV تحت نسبة تقليم عالمية ثابتة ( $\rho$ ) ولكنه يوزعها بشكل غير موحد. تم اقتراح ثلاث استراتيجيات:

حماية الطبقة الوسطى (MLP): نهج استدلالي يحافظ على مجموعة ثابتة من الطبقات الوسطى (على سبيل المثال، الطبقات $\lfloor L/2 \rfloor$ و $\lfloor L/2 \rfloor + 1$ ) بينما يتم تقليم الطبقات الأخرى بشكل موحد.
التخصيص الموجه بالمقياس (MGA): وهي الطريقة الأساسية المقترحة. تقوم بحساب درجة الأهمية $s^{(l)}$ بناءً على InfoNCE. الطبقات ذات المتانة الأعلى (InfoNCE أقل) تحصل على ميزانية KV أكبر (نسبة تقليم أقل)، بينما يتم تقليم الطبقات الأقل أهمية بشكل أكثر عدوانية.
تخصيص مقياس الطبقة الوسطى (MLMA): نهج هجين يحمي الطبقات الوسطى هيكليًا مع توزيع الميزانية المتبقية بين الطبقات الأخرى بناءً على درجات InfoNCE.

3. المساهمات الرئيسية

رؤية نظرية: أثبتوا أن طبقات المحول تظهر حساسية غير موحدة ذات دلالة إحصائية تجاه تقليم ذاكرة KV، مما يبطل فرضية التقليم الموحد.
اكتشاف تضخيم المحتوى: تحديد طبقات معينة يؤدي تقليمها إلى كبح توليد المحتوى، وربط متانة التمثيل مباشرة بجودة وطول المخرجات.
اقتراح إطار عمل: تقديم DepthKV، وهو إطار عمل لتخصيص الموارد يعتمد على الطبقة يعيد توزيع ميزانية الذاكرة الثابتة بناءً على أهمية الطبقة (باستخدام InfoNCE تحديدًا).
التحقق التجريبي: أظهر DepthKV تفوقًا مستمرًا على التقليم الموحد عبر مهام ونماذج متنوعة دون الحاجة إلى تدريب إضافي.

4. النتائج التجريبية

قيم المؤلفون DepthKV على ثلاث عائلات من النماذج (Gemma-7B, LLaMA-3.1-8B, Qwen2.5-7B) عبر سبع مجموعات بيانات:

المهام: تلخيص المستندات الطويلة (arXiv, PubMed, GovReport, LegalCase)، والأسئلة والأجوبة المستندة إلى الوثائق (HotpotQA, Qasper)، والاستدلال الرياضي (GSM- $\infty$ ).
الإعداد: تقليل عالمي ثابت لـ KV بنسبة 60% (الاحتفاظ بـ 40%).
الأداء:
- التلخيص: حقق DepthKV (وتحديدًا MGA) تحسنًا ملحوظًا في ROUGE-1 وتشابه SBERT مقارنة بالتقليم الموحد (على سبيل المثال، +3.0 في ROUGE-1 على arXiv لنموذج Gemma).
- الأسئلة والأجوبة والاستدلال: حققت متغيرات DepthKV درجات أعلى في المطابقة التامة (EM) وF1. على سبيل المثال، في Qasper، تفوق MLMA-6L على جميع النماذج المرجعية.
- المتانة: امتدت الفوائد إلى مهام الاستدلال (GSM- $\infty$ )، حيث تفوقت جميع متغيرات DepthKV على التقليم الموحد.
- التقييم بواسطة نموذج لغوي (LLM-as-a-Judge): أكدت التقييمات باستخدام Prometheus أن مخرجات DepthKV كانت أكثر صحة، واكتمالاً، وإيجازًا من نماذج التقليم الموحد.
دراسة الاستئصال: أكدت الدراسة أن كيفية توزيع الميزانية (التخصيص على مستوى الطبقة) أهم من مقدر أهمية الرمز المحدد (مثل H2O مع V أو بدون V).

5. الأهمية والقيود

الأهمية:

الكفاءة: يوفر DepthKV حلاً بسيطًا لما بعد التدريب لمشكلة اختناق ذاكرة السياق الطويل، مما يسمح بنوافذ سياق أطول على الأجهزة الحالية دون الحاجة لإعادة التدريب.
القدرة على التعميم: المنهج مستقل عن البنية (architecture-agnostic) وفعال عبر مختلف عائلات النماذج وأنواع المهام.
تحول في النموذج الفكري: ينقل المجال من التقليم على مستوى "الرمز" (token-level) إلى تخصيص الموارد على مستوى "الطبقة" (layer-level)، مع الاعتراف بالتباين الوظيفي لطبقات المحول.

القيود:

غير مدرك للاستعلام (Non-Query-Aware): يقدر DepthKV أهمية الرمز أثناء مرحلة التعبئة المسبقة (prefill stage) بناءً على الانتباه التاريخي. إنه لا يتكيف ديناميكيًا مع استعلام فك التشفير (decoding query) المحدد، مما قد يؤدي إلى تفويت الرموز التي قد تصبح حرجة لاستعلامات مستقبلية معينة.
دقة مستوى الرأس (Head-Level Granularity): يخصص الإطار الحالي الميزانيات على مستوى الطبقة ولكنه يجمع الانتباه عبر الرؤوس. إنه لا يأخذ في الاعتبار التباين داخل الطبقة حيث قد تكون رؤوس انتباه معينة أكثر أهمية من غيرها.

الخاتمة

يؤكد DepthKV أن ليس كل طبقات المحول متساوية في استنتاج السياق الطويل. ومن خلال إعادة تخصيص ميزانيات الذاكرة للحفاظ على الطبقات الأكثر حساسية ومتانة (التي تم تحديدها عبر InfoNCE)، يحقق هذا النهج مقايضات أفضل في الأداء مقابل الذاكرة مقارنة بالتقليم الموحد، مما يوفر مسارًا عمليًا لتوسيع نوافذ السياق للنماذج اللغوية الكبيرة.