🤖 machine learning

DistillCache: KL-Guided Adaptive KV-Cache Eviction for Memory-Efficient LLM Inference

يقدم DistillCache إطار عمل للتعلم التعزيزي يتعلم سياسة خفيفة الوزن لإقصاء رموز ذاكرة التخزين المؤقت (KV-cache) بشكل تكيفي بناءً على إشارات النموذج الداخلية ومكافآت تباعد كولباك - ليبلير (KL-divergence)، محققاً كفاءة فائقة في الذاكرة والحفاظ على الدقة لاستنتاج النماذج اللغوية الكبيرة ذات السياق الطويل مقارنة بالطرق الاستدلالية والمتزامنة الحالية.

المؤلفون الأصليون: Asaad Althoubi

نُشر 2026-08-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Asaad Althoubi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تذكر قصة طويلة جداً بينما ترويها لصديق لك. ومع استمرار القصة، يزداد عقلك ازدحاماً بكل تفصيل ذكرته حتى الآن، مما يجعل من الصعب التفكير فيما ستقوله لاحقاً. هذه هي بالضبط المشكلة التي تواجه "نماذج اللغات الكبيرة" (LLMs) الحديثة (روبوتات الدردشة بالذكاء الاصطناत्मक). هذه العقول الاصطناعية مذهلة في الكتابة، والبرمجة، وحل الألغاز، لكنها تعمل عبر تذكر كل ما قالته حتى الآن في منطقة ذاكرة خاصة تسمى "ذاكرة KV cache". والمشكلة هي أن هذه الذاكرة تكبر وتكبر كلما طالت المحادثة، مما يؤدي في النهاية إلى ملء ذاكرة الكمبيوتر وإبطاء كل شيء لدرجة الشلل.

ولحل هذه المشكلة، حاول العلماء أن يكونوا مثل أمين مكتبة صارم، يقوم بالتخلص من صفحات القصة القديمة التي تبدو غير مهمة. بعض أمناء المكتبة يتخلصون ببساطة من الصفحات الأقدم، بينما يتخلص آخرون من الصفحات التي لم ينظر إليها أحد كثيراً. لكن هذه القواعد غالباً ما تكون بسيطة للغاية؛ فقد يتخلصون بالخطأ من كلمة صغيرة تحمل مفتاح الخاتمة بأكملها، مما يؤدي إلى نسيان الذكاء الاصطناعي للحبكة أو ابتكاره لهراء غير منطقي. السؤال الكبير هو: كيف يمكننا تعليم الذكاء الاصطناعي أن يكون أمين مكتبة أكثر ذكاءً، يعرف تماماً أي الذكريات يجب الاحتفاظ بها وأيها يجب نسيانه، حتى يتمكن من رواية قصص طويلة دون نفاد مساحة عقله؟

هنا يأتي دور DistillCache، وهي طريقة جديدة تعلم الذكاء الاصطناعي اتخاذ هذه القرارات باستخدام شكل ذكي من التعلم عن طريق التجربة والخطأ. فبدلاً من اتباع كتاب قواعد جامد، يعمل DistillCache كطالب يتعلم لعب لعبة فيديو؛ حيث يجرب استراتيجيات مختلفة للتخلص من الذكريات القديمة ويحصل على "درجة" بناءً على مدى مطابقة تخمين الذكاء الاصطناعي التالي لما كان سيخمنه لو احتفظ بجميع الذكريات. إذا نسي الذكاء الاصطناعي شيئاً مهماً وانحرف تخمينه عن المسار، فإنه يحصل على درجة منخفضة. وإذا احتفظ بالذكريات الصحيحة وبقي على المسار، فإنه يحصل على درجة عالية. ومع مرور الوقت، يتعلم الذكاء الاصطناعي "سياسة" — وهي مجموعة من الغرائز — تخبره بالضبط أي الرموز (القطع الصغيرة من النص) يجب الاحتفاظ بها وأيها يجب إزالتها للبقاء ضمن حد ذاكرة صارم.

اختبر الباحثون ذلك على نموذج ذكاء اصطناعي شهير يسمى Mistral-7B. ووجدوا أنه عندما أجبروا الذكاء الاصطناعي على الاحتفاظ بـ 25% فقط من ذاكرته المعتادة (وهو قطع هائل!)، كان DistillCache لا يزال قادراً على تحقيق 94.2% من دقة ما كان سيحققه مع الذاكرة الكاملة. وهذا أمر كبير لأن الطرق الأخرى التي تستخدم قواعد بسيطة (مثل H2O أو SnapKV) انخفضت دقتها بشكل أكبر بكثير تحت نفس الضغط. وحتى مقارنة بالطرق الذكية الأخرى القائمة على التعلم والتي تم تطويرها في نفس الوقت تقريباً، تفوق DistillCache عليها في العديد من مهام القصص الطويلة، متفوقاً عليها بما يصل إلى 2.7 نقطة في الدقة.

ما يجعل DistilCache مميزاً هو كيفية تعلمه. فبينما قد تنظر الطرق الأخرى إلى عدد مرات ذكر الكلمة في الماضي، ينظر DistilCache إلى "التأثير المستقبلي" للكلمة. فهو يسأل: "إذا رميت هذه الكلمة الآن، هل سيبدو الجملة التالية للذكاء الاصطناعي غريباً؟". يستخدم مقيأً رياضياً يسمى تباعد KL (KL-divergence) للتحقق مما إذا كانت توقعات الذكاء الاصطناعي لا تزال تبدو مثل النسخة الأصلية ذات الذاكرة الكاملة. وتظهر الورقة البحثية أن هذا النهج جيد بشكل خاص في الحفاظ على منطق الذكاء الاصطناعي سليماً، حتى عندما يتم ضغط الذاكرة بشدة.

ومع ذلك، تشير الورقة البحثية بحذر إلى أن هذا ليس عصا سحرية تحل كل شيء. فتدريب أمين المكتبة الذكي هذا يستغرق وقتاً وقوة حوسبة إضافية (حوالي 130 ساعة على بطاقات رسوميات قوية) لأن الذكاء الاصطناعي يجب أن يتدرب مرتين لكل خطوة — مرة بالذاكرة الكاملة ومرة بالذاكرة المختصرة — لتعلم الفرق. أيضاً، بينما يعد DistillCache رائعاً في القصص الطويلة العامة، إلا أن طريقة أخرى تسمى RLKV كانت أفضل قليلاً في ألغاز منطقية محددة عند مستويات ذاكرة متوسطة، رغم أن DistillCache لحق بها عندما تم ضغط الذاكرة بشكل أكبر.

في النهاية، يشير DistillCache إلى أن أفضل طريقة لإدارة ذاكرة الذكاء الاصطناعي ليست بقاعدة ثابتة، بل بحدس متعلم يتحقق باستمرار من: "هل لا زلت أبدو منطقياً؟". ومن خلال القيام بذلك، فإنه يسمح لنماذج الذكاء الاصطناعي بالتعامل مع محادثات ومستندات أطول بكثير دون الحاجة إلى كميات هائلة من ذاكرة الكمبيوتر، مما قد يجعل الذكاء الاصطناعي ذو السياق الطويل أسرع وأكثر سهولة في الوصول للجميع. كما وجد الباحثون أن هذا "المكتب الذكي" الذي تم تدريبه على نوع واحد من نماذج الذكاء الاصطناعي يمكن استخدامه على نموذج مختلف دون أي تدريب إضافي، مما يشير إلى أن غرائز الذاكرة هذه قد تكون عالمية.

ملخص تقني: DistillCache

بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) القائمة على المحولات (Transformers) على مخازن المفتاح-القيمة (KV caches) لتجنب إعادة حساب تمثيلات الرموز (tokens) أثناء عملية فك التشفير التوليدي التكراري (autoregressive decoding). ومع ذلك، ينمو حجم ذاكرة الـ KV cache خطياً مع طول التسلسل، مما يخلق عنق زجاجة حاد في الذاكرة يحد من نافذة السياق والإنتاجية في الاستدلال طويل السياق.

تعتمد الحلول الحالية بشكل أساسي على استراتيجيات طرد قائمة على الحدس (مثل H2O وSnapKV) التي تحتفظ بالرموز بناءً على إحصائيات الانتباه الساكنة أو الإشارات الموضعية. ويجادل المؤلف بأن هذه الأساليب الحدسية غالباً ما تفشل في التقاط التأثير التنبؤي المستقبلي للرمز، لا سيما في السيناريوهات التي تتضمن تبعات طويلة المدى أو استدلالاً مهيكلاً حيث تعتمد أهمية الرمز على عواقب التوليد اللاحقة بدلاً من أنماط الانتباه الماضية.

المنهجية: DistillCache

يقترح البحث إطار عمل DistillCache، وهو إطار تعلم تعزيزي (RL) يصيغ عملية طرد الـ KV-cache كمسألة اتخاذ قرار متسلسل تحت قيود صارمة للميزانية الذاكرية. وخلافاً للطرق الحدسية، يتعلم DistillCache سياسة للاحتفاظ بمجموعة فرعية من الرموز التي تحافظ على توزيع المخرجات لنموذج ذاكرة التخزين الكاملة.

المكونات الأساسية

فضاء الحالة (تمثيل الميزات):
لكل رمز في الذاكرة، تراقب السياسة ناقل ميزات خماسي الأبعاد مشتق من إشارات النموذج الداخلية المتاحة أثناء فك التشفيد:

$\alpha_i$ : متوسط كتلة الانتباه التي يتلقاها الرمز عبر جميع الرؤوس والطبقات.
$\|v_i\|_2$ : المعيار الثاني ( $\ell_2$ norm) لمتجه القيمة الخاص بالرمز.
$\sigma_i$ : تباين كتلة الانتباه المتلقاة عبر الرؤوس.
$H_i$ : متوسط الإنتروبيا المرجح بالانتباه للاستعلامات (queries) الأخيرة التي تتوجه نحو الرمز (لالتقاط الأهمية الحساسة للسياق).
$pos_i$ : الموقع التسلسلي المعياري.

فضاء الإجراءات:
تقوم شبكة سياسة (Policy Network) بسيطة من نوع المدرك متعدد الطبقات (MLP) بتعيين درجة عددية لكل رمز مخزن. أثناء التدريب، يتم استحثاث ترتيب عشوائي عن طريق إضافة ضجيج Gumbel إلى هذه الدرجات، مما يسمح للسياسة بأخذ عينة من مجموعة عليا من $B$ الرموز (حيث $B$ هي الميزانية) من توزيع Plackett–Luce. أما عند الاستدلال، فيتم اختيار أفضل $B$ من الرموز بشكل حتمي.
بنية التدريب (إعداد المعلم-الطالب):
لتدريب السياسة دون وجود تسميات (labels) حقيقية، يستخدم المؤلف نهج تقطير (distillation) من معلم إلى طالب:

ذاكرة المعلم (Teacher Cache): تحتفظ بالتاريخ الكامل وغير المقتطع من الرموز لحساب توزيع الرمز التالي "الذهبي" ( $P_t$ ).
ذاكرة الطالب (Student Cache): تحتفظ بالتاريخ المقتطع وفقاً لقرارات السياسة لحساب التوزيع المقتطع ( $\hat{P}_t$ ).
إشارة المكافأة: تُعرف المكافأة في كل خطوة بأنها سالب تباعد كولباك-لايبلر (KL divergence) بين توزيعي المعلم والطالب: $R_t = -D_{KL}(P_t \parallel \hat{P}_t)$ . يقوم هذا الهدف بالتحسين المباشر لدقة التوزيع عند كل خطوة فك تشفير، بدلاً من الاعتماد على إشارات وسيطة مثل درجات الانتباه.

التحسين:
يتم تحسين السياسة باستخدام خوارزمية REINFORCE مع تنظيم الإنتروبيا (entropy regularization) وقاعدة لتقليل التباين (Leave-One-Out). تتم عملية التدريب خارج الخط (offline)، مما يضاعف بصمة الذاكرة مؤقتاً، ولكن الاستدلال يتطلب تمريرة أمامية واحدة فقط مع عبء ضئيل جداً لاستخراج الميزات وتقييم السياسة.

المساهمات الرئيسية

إطار عمل RL لطرد الذاكرة المخبئية: تقديم DistillCache، وهو إطار عمل تعلم تعزيزي عام الغرض يحسن الاحتفاظ بالرموز من أجل دقة التوزيع اللاحقة تحت قيود الذاكرة، متجاوزاً بذلك نظام تسجيل الإحصائيات الانتباهية الارتجاعي.
هدف الحفاظ على التوزيع: إثبات أن تحسين تباعد KL لكل خطوة يحقق مكاسب ملموسة مقارنة بالبدائل الحدسية والموجهة، وذلك من خلال تعلم المقايضات طويلة الأمد بشكل صريح.
تقييم شامل: تقييم واسع النطاق على نموذج Mistral-7B-Instruct-v0.3 ونقل صفري (zero-shot transfer) إلى Llama-3-8B-Instruct عبر اختبارات LongBench، واختبارات الاستدلال (GSM8K, BBH)، ومقاييس الإنتاجية.

النتائج التجريبية

تم التقييم على Mistral-7B-Instruct-v0.3 بميزانية 25% لـ KV-cache:

أداء LongBench: يحتفظ DistillCache بـ 94.2% من دقة الذاكرة الكاملة، متفوقاً على أقوى النماذج الحدسية (H2O, SnapKV) بما يصل إلى 2.7 نقطة مطلقة وعلى الطرق المعتمدة على RL المتزامنة (ForesightKV, RLKV) بما يصل إلى 1.4 نقطة.
مهام الاستدلال: في اختبارات الاستدلال، ينافس DistillCache أفضل الطرق المتزامنة ويتفوق عليها تحت الضغط الشديد (ميزانية 12.5%).
النقل بين النماذج: السياسة المدربة على Mistral-7B تنتقل بصفة صفرية (zero-shot) إلى Llama-3-8B-Instruct، محتفظة بالتنافسية مع النماذج الحدسية دون الحاجة لإعادة تدريب لكل نموذج (وهو مطلب ضروري للنماذج RL المتزامنة).
الكفاءة: يوفر الأسلوب إنتاجية تصل إلى 2.1 ضعف إنتاجية الذاكرة الكاملة. ورغم أنه يضيف عبئاً طفيفاً (~1.4 مللي ثانية/رمز) لاستخراج الميزات وتقييم السياسة، إلا أنه يظل مقارباً للطرق المتعلمة الأخرى وأسرع بكثير من الاستدلال بالذاكرة الكاملة.
تحليل الخطأ: يظهر DistillCache أدنى معدلات الأخطاء التكرارية والإجابات غير الصحيحة مقارنة بالنماذج الحدسية وطرق RL الأخرى، مما يشير إلى قدرة فائقة على الحفاظ على تماسك التسلسل والدقة الواقعية.

الأهمية والادعاءات

يفترض البحث أن DistellCache يثبت فعالية السياسات المتعلمة والمدركة للتوزيع من أجل استدلال فعال في الذاكرة لنماذج LLM ذات السياق الطويل. ومن خلال تحسين قرارات الاحتفاظ بالرموز مقابل دقة التوزيع المستقبلية بدلاً من إحصائيات الانتباه الارتجاعية، يتعلم إطار العمل سياسات مقيدة بالميزانية تأخذ في الاعتبار عواقب التوليد اللاحقة.

يؤكد المؤلف أن DistillCache ليس مجرد وكيل متعلم لمقاييس حدسية، بل هو نهج متميز يعمل مباشرة على تحسين الحفاظ على توزيع مخرجات النموذج. وبينما يقر ببعض القيود مثل تكاليف التدريب (حوالي 130 ساعة GPU)، وفجوة أداء طفيفة مع RLKV في مهام الاستدلال عند الميزانيات المتوسطة، يخلص البحث إلى أن الطرد التكيفي المعتمد على الحفاظ على التوزيع هو اتجاه واعد لتمكين الاستدلال طويل السياق على الأجهزة محدودة الموارد. ويشير العمل إلى أن الجمع بين الدقة التوزيعية على مستوى الرمز واستراتيجيات البوابات على مستوى الرأس (كما هو مستكشف في التجارب الهجينة) يوفر مساراً مكملاً للتحسين المستقبلي.