🤖 machine learning

RippleKV: Cross-Layer KV Cache Allocation via Perturbation Propagation

تُعد RippleKV طريقة مبتكرة لتخصيص ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache) عبر الطبقات، تعمل على تحسين استنتاج النماذج اللغوية الكبيرة ذات السياق الطويل من خلال قياس كيفية انتقال الاضطرابات في ذاكرة القيم لكل طبقة إلى المخرجات، مما يؤدي إلى توزيع ميزانية الذاكرة ديناميكيًا على الطبقات الحساسة بدلاً من الاعتماد على مؤشرات ثابتة مثل عمق الطبقة.

المؤلفون الأصليون: Dongjie Xu, Kai Qian, Julius, Weijie Shi, Yuxuan Sun, Minghua Tang, Fenglei Jin, Hanchi Dong, Jiajie Xu

نُشر 2026-08-11

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Dongjie Xu, Kai Qian, Julius, Weijie Shi, Yuxuan Sun, Minghua Tang, Fenglei Jin, Hanchi Dong, Jiajie Xu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل روبوتًا فائق الذكاء يمكنه قراءة مكتبات كاملة في ثوانٍ معدودة، لكن لديه دماغ صغير ولزج لا يمكنه استيعاب سوى بضع صفحات من الملاحظات في المرة الواحدة. هذا الروبوت هو "نموذج لغوي كبير" (LLM)، وتلك "الملاحظات" تسمى KV cache. في كل مرة يفكر فيها الروبوت في كلمة جديدة، يحتاج إلى النظر إلى كل ما قرأه حتى الآن ليفهم سياق القصة. إذا كانت القصة قصيرة، فإن الملاحظات تتسع بسهولة. ولكن إذا كانت القصة رواية كاملة، فإن كومة الملاحظات تصبح ضخمة جدًا لدرجة أن دماغ الروبوت ينفد من المساحة، مما يؤدي إلى تباطؤه أو تعطل عمله.

ولإصلاح ذلك، حاول العلماء اكتشاف كيفية التخلص من الملاحظات "الأقل أهمية" لتوفير المساحة. لفترة طويلة، كانت القاعدة العامة بسيطة: "تخلص من أقدم الملاحظات" أو "تخلص من الملاحظات الموجودة في منتصف الدماغ". كان الأمر يشبه افتراض أن كل صفحة في دفتر الملاحظات لها نفس الأهمية، أو أن الصفحات الأولى هي دائمًا الأكثر حيوية. ولكن ماذا لو كان الروبوت يحتاج بالفعل إلى الملاحظات من منتصف القصة ليفهم النهاية؟ ماذا لو كانت بعض أجزاء الدماغ حساسة للغاية وتحتاج إلى كل ملاحظة، بينما أجزاء أخرى هادئة ويمكنها البقاء بملاحظات قليلة فقط؟ هذا هو اللغز الذي تحاول ورقة بحثية بعنوان RippleKV حله: كيف نقرر بالضبط أي الملاحظات نحتفظ بها وأيها نتخلص منها، دون إفساد قدرة الروبوت على سرد قصة جيدة؟

تأثير التموج: طريقة جديدة لفرز الملاحظات

أدرك الباحثون وراء RippleKV أن القواعد القديمة كانت تشبه التخمين حول أي لاعب في فريق كرة قدم هو الأكثر أهمية بمجرد النظر إلى رقم قميصه. مجرد كون طبقة الذكاء الاصطناعي "عميقة" (مثل لاعب يرتدي الرقم 10) لا يعني أنها هي التي تسجل الأهداف. في الواقع، أظهرت تجاربهم أن "الضرر" الناتج عن حذف الملاحظات كان فوضويًا وغير متوقع. فأحيانًا تكون الطبقات الوسطى هي الأكثر هشاشة، وأحيانًا تكون الطبقات العليا هي التي تنهار. لا يوجد نمط بسيط يعتمد على العمق.

لذا، بدلاً من التخمين، ابتكر الفريق تجربة ذكية. لقد عاملوا الذكاء الاصطناعي كبركة هادئة. أخذوا "حصاة" صغيرة محكومة (دفعة رياضية بسيطة) وألقوا بها في الماء عند طبقة معينة من دماغ الذكاء الاصطناعي. ثم راقبوا التموجات.

إليكم كيف فعلوا ذلك:

الاختبار: أخذوا مجموعة صغيرة من الجمل التدريبية. ولكل طبقة من طبقات الذكاء الاصطناعي، قاموا بتعديل طفيف على ملاحظات "القيمة" (الجزء من الذاكرة الذي يحمل المعنى الفعلي للكلمات) مع ترك كل شيء آخر ثابتًا تمامًا.
التموج: راقبوا مدى تغير الإجابة النهائية للذكاء الاصطناعي. إذا تسببت دفعة صغيرة في الطبقة 3 في جعل الذكاء الاصطناعي يعطي إجابة خاطئة تمامًا في النهاية، فهذه الطبقة كانت "حساسة"، وهي جزء حيوي من السلسلة. أما إذا قاموا بدفع الطبقة 10 ولم يرمش الذكاء الاصطناعي تقريبًا، فقد كانت تلك الطبقة "متسامحة".
الخريطة: من خلال القيام بذلك لكل طبقة، أنشأوا "خريطة حساسية". أظهرت هذه الخريطة بالضبط أي الطبقات تحتاج إلى ذاكرة تخزين مؤقت (cache) كبيرة وآمنة، وأيها يمكنها البقاء بذاكرة تخزين مؤقت صغيرة ومضغوطة.

النتيجة: ميزانية مصممة خصيصًا

باستخدام هذه الخريطة، يعمل RippleKV كمدير ميزانية ذكي. فبدلاً من إعطاء كل طبقة من طبقات الذكاء الاصطناعي نفس القدر من الذاكرة (وهو أمر هدير للموارد) أو اتباع قاعدة صارمة مثل "أعطِ أقل للطبقات العليا" (وهو أمر خاطئ غالبًا)، فإنه يوزع الذاكرة بناءً على التموجات.

الطبقات الحساسة (حيث كانت التموجات كبيرة) تحصل على ميزانية سخية من الذاكرة، حيث تحتفظ بمعظم ملاحظاتها.
الطبقات المتسامحة (حيث كانت التموجات صغيرة) تحصل على ميزانية ضيقة، ويُسمح لها بالتخلص من المزيد من الملاحظات.

اختبرت الورقة البحثية هذا على ثلاثة نماذج ذكاء اصطناعي شهيرة (Llama-3.1، وQwen2.5، وMistral) باستخدام معيار يسمى LongBench، والذي يتضمن مهامًا مثل الإجابة على أسئلة حول وثائق طويلة، وتلخيص القصص، وكتابة الكود البرمجي.

كانت النتائج مبهرة. فعندما تم ضغط الذاكرة الإجمالية إلى 10% فقط من حجمها الأصلي، سجل RippleKV باستمرار درجات أعلى من الطرق الأخرى. على سبيل المثال، في نموذج Llama-3.1، حقق متوسط درجة قدره 35.07 عند ميزانية 10%، متفوقًا على أفضل طريقة تالية بفارق ملحوظ. وحتى عندما تم زيادة الذاكرة إلى 20% أو 30%، فقد حافظ على صدارته.

والأهم من ذلك، وجد الباحثون أن هذه الطريقة لم تبطئ الذكاء الاصطناعي. نظرًا لأنهم أجروا "اختبار التموج" مرة واحدة مسبقًا (خارج نطاق التشغيل الفعلي)، لم يضطر الذكاء الاصطناعي للقيام بأي عمليات حسابية إضافية أثناء التحدث إليك. لقد استخدم فقط الخريطة المعدة مسبقًا لتقرير مقدار الذاكرة التي سيستخدمها. وفي الاختبارات مع طول سياق ضخم يصل إلى 128K، كان RippleKV بنفس سرعة الطرق الأخرى ولكنه أنتج إجابات أفضل بكثير.

لماذا هذا مهم؟

الخلاصة الكبرى هي أن دماغ الذكاء الاصطناعي ليس كتلة موحدة حيث تكون كل الأجزاء متساوية، بل هو نظام بيئي معقد حيث تكون بعض الأجزاء هشة وبعضها قويًا. ومن خلال قياس مدى تأثير تغيير صغير في جزء واحد على النتيجة النهائية، وجد RippleKV طريقة ليكون أكثر كفاءة في استخدام الذاية. وهذا يشير إلى أن أفضل طريقة لضغط ذاكرة الذكاء الاصطناعي ليست اتباع قاعدة جامدة، بل الاستماع إلى كيفية تفاعل النموذج فعليًا عندما يتم إزعاج ذاكرته.

إن المؤلفين واثقون من هذه النتائج لأنهم اختبروها عبر نماذج متعددة وأنواع مختلفة من المهام، وصمدت النتائج في كل مرة. وبينما لم يدّعوا أنهم حلوا كل مشكلات ذاكرة الذكاء الاصطناعي، فقد أظهروا أن النظر إلى "تأثير التموج" هو طريقة أذكى بكثير لإدارة الذاكرة من التخمين بناءً على موقع الطبقة في الهيكل.

ملخص تقني: RippleKV

بيان المشكلة

يواجه الاستنتاج طويل السياق (Long-context inference) في النماذج اللغوية الكبيرة (LLMs) قيودًا بسبب متطلبات الذاكرة وعرض النطاق الترددي لذاكرة الـ KV cache، والتي تنمو خطيًا مع طول السياق وعدد طبقات الـ Transformer. وبينما تعمل طرق ضغط الـ KV cache الحالية على تقليل استخدام الذاكرة عن طريق الاحتفاظ بمجموعات فرعية من الرموز (tokens)، إلا أنها عادةً ما تستخدم ميزانيات موحدة أو محددة مسبقًا عبر جميع طبقات الـ Transformer.

تحاول النهج الحديثة التي تراعي الطبقات (layer-aware) تخصيص ميزانيات غير موحدة بناءً على مؤشرات وسيطة مثل عمق الطبقة، أو إحصائيات الانتباه (attention statistics)، أو تغيرات التمثيل (representation changes). ومع ذلك، يرى المؤلفون أن هذه المؤشرات تفشل في قياس متطلبات الـ cache النسبية لمختلف الطبقات بشكل مباشر تحت ميزانية عالمية ثابتة. وتحديدًا، هي لا تقيس كيف تنتشر الاضطرابات (perturbations) في طبقة معينة لتصل إلى مخرجات النموذج النهائية. وبناءً على ذلك، تخاطر هذه الأساليب بتخصيص موارد أقل من اللازم للطبقات "الحساسة" (مما يسبب تدهورًا كبيرًا في الأداء) بينما تخصص موارد أكثر من اللازم للطبقات "المتحملة" (tolerant). ويكشف التحليل التجريبي في الورقة أن ضرر الضغط غير متجانس للغاية وغير رتيب (non-monotonic) بالنسبة لعمق الطبقة، وغالبًا ما يصل إلى ذروته في الطبقات المتوسطة بدلاً من اتباع نمط ثابت.

المنهجية: RippleKV

إن RippleKV هو إطار عمل لتوزيع ميزانية الـ KV cache عبر الطبقات يعتمد على حساسية المخرجات النهائية (downstream output sensitivity) بدلاً من الأولويات الهيكلية. يعمل هذا الأسلوب في مرحلتين: تحليل الحساسية في مرحلة ما قبل التشغيل (offline sensitivity profiling)، وتخصيص الميزانية أثناء الاستنتاج.

1. تحليل الحساسية في مرحلة ما قبل التشغيل

بدلاً من قياس الإحصائيات المحلية للطبقة، يقدر RippleKV مدى مساهمة ذاكرة القيمة (Value cache) لطبقة معينة في التوزيع التنبئي النهائي.

حقن الاضطراب (Perturbation Injection): بالنسبة لمجموعة معايرة صغيرة، يقوم الأسلوب بالمرور عبر كل طبقة قابلة للضغط $\ell$ . يقوم بحقن اضطرابات متكيفة مع المعيار (norm-adaptive perturbations) في ذاكرة القيمة ( $V_\ell$ ) لتلك الطبقة المحددة، مع إبقاء ذاكرة المفتاح ( $K_\ell$ ) وجميع ذاكرات الطبقات الأخرى دون تغيير.
قياس الاستجابة: يقوم النموذج بتوليد مخرجات للمدخل المضطرب. يتم قياس التأثير عن طريق حساب تباعد كولباك - ليبلر (KL divergence) بين توزيع المخرجات المرجعي (الذاكرة الكاملة) وتوزيع المخرجات المضطرب.
ملف الحساسية (Sensitivity Profile): يتم حساب متوسط تباعد KL عبر مجموعة المعايرة لإنتاج درجة حساسية $s_\ell$ لكل طبقة. تعكس هذه الدرجة التأثير من البداية إلى النهاية (end-to-end) لتعديل ذاكرة طبقة ما على التنبؤ النهائي. وجد المؤلفون أن هذه الإشارة ترتبط بقوة (متوسط معامل سبيرمان $\rho \approx 0.799$ ) مع ضرر الضغط الفعلي، وهو ما يتفوق بشكل كبير على الارتباط بمؤشر الطبقة ( $\rho \approx 0.359$ ).

2. تخصيص الميزانية الموجه بالحساسية

يتم تحويل ملف الحساسية إلى مضاعفات ميزانية خاصة بكل طبقة باستخدام رسم خرائط أسي ثابت المقياس:

التطبيع (Normalization): يتم تطبيع درجات الحساسية لتكون في النطاق $[0, 1]$ .
الرسم الخرائطي الأسي (Exponential Mapping): يتحكم معامل النسبة $r$ في التفاوت في التخصيص. يتم رسم الدرجة المطبعة إلى مضاعف $w_\ell = r^{s_\ell}$ . يزيد $r$ الأعلى من التفاوت في الميزانية بين الطبقات الحساسة والمتحملة.
القص والتطبيع (Clipping and Normalization): يتم قص المضاعفات إلى مجال محدود $[1/\gamma, \gamma]$ وإعادة تحجيمها لضمان أن مجموع ميزانيات الطبقات يساوي الميزانية العالمية $B$ .
الاستنتاج: أثناء الاستنتاج، يتم تطبيق الميزانيات المحسوبة مسبقًا. تظل استراتيجية اختيار الرموز الأساسية (مثل SnapKV) دون تغيير؛ حيث يتم فقط تعديل عدد الرموز التي يتم الاحتفاظ بها لكل طبقة وفقًا للميزانية المخصصة.

المساهمات الرئيسية

رؤية تجريبية: تثبت الورقة أن ضرر الضغط لكل طبقة غير رتيب بالنسبة للعمق، وأن حساسية المخرات النهائية تجاه اضطرابات ذاكرة القيمة المتحكم بها هي إشارة أكثر دقة لتخصيص الميزانية من موقع الطبقة أو الإحصائيات المحلية.
إطار عمل RippleKV: يقدم طريقة تخصص ميزانيات الـ cache بناءً على انتشار الاضطراب. من خلال تقدير حساسية الطبقة عبر تأثير اضطرابات ذاكرة القيمة على المخرج النهائي، يستخلص ميزانيات خاصة بالنموذج تحت قيد عالمي ثابت.
الأداء والكفاءة: تظهر التجارب المكثفة أن RippleKV يحقق أداءً متوسطًا فائقًا عبر عائلات نماذج متعددة وميزانيات cache مختلفة مع الحفاظ على كفاءة وقت التشغيل والذاكرة بما يضاهي طرق الضغط الحالية.

النتائج التجريبية

قام المؤلفون بتقييم RippleKV على LongBench باستخدام ثلاث عائلات من النماذج: Llama-3.1-8B-Instruct، وQwen2.5-7B-Instruct، وMistral-7B-Instruct-v0.3، مع ميزانيات cache بنسبة 10%، و20%، و30%.

الأداء: حقق RippleKV أعلى متوسط أداء عبر جميع الإعدادات التي تم تقييمها. في نموذج Llama-3.1-8B-Instruct مع ميزانية cache بنسبة 10%، سجل 35.07 نقطة، متفوقًا على أقوى خط أساس (PyramidKV) بمقدار 0.83 نقطة. وقد نجح باستمرار في تقليص الفجوة مع خط الأساس للذاكرة الكاملة (Full Cache) مع زيادة الميزانية.
التعميم: تعمم الطريقة بشكل جيد عبر بنيات مختلفة وفئات مهام متنوعة (الإجابة على الأسئلة ذات المستند الواحد/المستندات المتعددة، التلخيص، التعلم من أمثلة قليلة، المهام الاصطناعية، والبرمجة).
الكفاءة: طابق RippleKV أو تفوق قليًا على الخطوط المرجعية في زمن انتقال الاستنتاج والقدرة الإنتاجية (throughput). كما كانت ذروة استخدام الذاكرة مماثلة لطرق الضغط الأخرى (مثل StreamingLLM وSnapKV)، مما يؤكد أن إعادة توزيع السعة لا تزيد من إجمالي عبء الذاء.
دراسة الاستئصال (Ablation): أدى إزالة تخصيص الميزانية لكل طبقة (باستخدام ميزانيات موحدة) أو استبدال إشارة حساسية المخرات النهائية باستجابة محلية للطبقة إلى انخفاض في الأداء، مما يؤكد صحة كل من استراتيجية التخصيص غير الموحدة ومقياس الحساسية المحدد.

الأهمية والادعاءات

تدعي الورقة أن حساسية المخرات النهائية توفر أساسًا أكثر فعالية لتخصيص ميزانية الـ KV cache عبر الطبقات مقارنة بالأولويات الهيكلية أو الإحصائيات المحلية للطبقة. ومن خلال التركيز على كيفية انتشار الاضطرابات إلى المخرج النهائي، يتجنب RippleKV عيوب الجداول الزمنية الثابتة المعتمدة على العمق، والتي قد تخصص موارد بشكل خاطئ للطبقات التي تكون إما حساسة جدًا أو متحملة جدًا.

يؤكد المؤلفون أن RippleKV هو حل جاهز للاستخدام (plug-and-play) لا يتطلب أي تقييمات إضافية للنموذج أثناء الاستنتاج، حيث يتم حساب ملف الحساسية مرة واحدة في مرحلة ما قبل التشغيل. كما أنه يعزل تأثير تخصيص الميزانية عن تسجيل الرموز (token scoring)، مما يسمح له بالتكامل مع استراتيجيات الضغط الحالية. ويشير العمل إلى أن فهم انتشار اضطرابات الـ cache أمر بالغ الأهمية لتحسين استنتاج الـ LLM طويل السياق تحت قيود الذاكرة.