Trust the Mass: Forced Weights in KV-Cache Eviction

تعتمد النماذج اللغوية الكبيرة، وهي المحركات الكامنة وراء الذكاء الاصطناعي الحديث، على ذاكرة داخلية هائلة للاحتفاظ بسياق المحادثة أثناء توليد النصوص. فبينما يقرأ النموذج مستنداً طويلاً أو محادثة متعددة الأدوار، فإنه يخزن تمثيلاً لكل كلمة رآها حتى الآن. هذا التخزين، المعروف باسم "ذاكرة المفتاح والقيمة" (key-value cache)، يعمل مثل دفتر ملاحظات عمل يسمح للنموذج باسترجاع التفاصيل السابقة عند تكوين جمل جديدة. ومع ذلك، مع ازدياد طول المحادثات، يمكن لهذا الدفتر أن يصبح كبيراً جداً لدرجة أنه يرهق ذاكرة الكمبيوتر، مما يؤدي إلى إبطاء النظام أو تسببه في انهياره. وللحفاظ على تشغيل هذه النماذج بسلاسة، طور المهندسون قواعد لحذف المدخلات الأقدم أو الأقل أهمية من هذا الدفتر، مع الاحتفاظ بمجموعة فرعية فقط من البيانات لتوفير المساحة. وقد كان التحدي المركزي دائماً هو تحديد قطع المعلومات التي يجب التخلص منها دون فقدان القدرة على فهم النص.

لقد أخذ فريق من الباحثين في جامعة ستانفورد نظرة جديدة على هذه المشكلة، متحدين الافتراض القائل بأن القواعد المعقدة والمصممة خصيصاً ضرورية لجعل عمليات الحذف هذه فعالة. فقد استقصوا ما إذا كان النهج الأكثر بساطة — وهو ببساطة الاحتفاظ بالمدخلات التي يعتبرها النموذج حالياً الأكثر أهمية والتخلص من الباقي — كان بالفعل قريباً جداً من أي طريقة متطورة يمكن أن تكون ممكنة. ومن خلال اختبار هذه الفكرة عبر خمسة نماذج لغوية كبيرة مختلفة وتحليل مئات الآلاف من الحالات المحددة لكيفية معالجة النماذج للمعلومات، وجدوا أن الاستراتيجية البسيطة المتمثلة في الاحتفاظ بأقوى الإشارات هي بالفعل قريبة بشكل ملحوظ من النتيجة المثالية النظرية. وأظهرت قياساتهم أنه حتى الطريقة المثالية رياضياً والكاملة لاختيار العناصر التي يجب الاحتفاظ بها لن تحسن النتيجة إلا بهامش ضئيل، حيث لم تغلق سوى ما يتراوح بين اثنين إلى خمسة بالمائة فقط من الفجوة المتبقية بين النسخة المضغوطة والذاكرة الكاملة غير المضغوطة.

اكتشف الباحثون أن المزايا المتصورة للعديد من الأساليب الموجودة في هذا المجال لم تكن ناتجة في الواقع عن تحسين اختيار المعلومات. بدلاً من ذلك، كانت هذه الأساليب غالباً ما تحتفظ بمزيد من البيانات عما تدعيه. ففي مسارات الاختبار القياسية المستخدمة في المجتمع العلمي، كانت بعض التقنيات المتقدمة تخزن خياراتها كقائمة من التعليمات فوق كتلة ذاكرة كاملة وغير مختزلة، بدلاً من حذف البيانات فعلياً. وهذا يعني أنها كانت تحتفظ فعلياً بالدفتر بأكمله بينما تتظاهر بتوفير المساحة. وعندما أجبر الباحثون هذه الأساليب على حذف البيانات والالتزام بحد صارم للذاكرة، انخفض أداؤها بشكل كبير، وأحياناً بمقدار ستين نقطة في المعايير القياسية. وقد كشف هذا أن الفارق الحقيقي لم يكن في ذكاء قاعدة الاختيار، بل في كمية الذاكرة الفعلية التي يُسمح للنظام باستخدامها.

ولمعالجة ذلك، قدم الفريق طريقة جديدة مجانية الاستخدام تسمى "ContourKV". لا يتطلب هذا النهج أي تدريب إضافي أو حسابات معقدة، بل يستخدم قاعدة فيزيائية بسيطة لتحديد مقدار الذاكرة التي يجب الاحتفاظ بها في أجزاء مختلفة من النظام، مما يضمن فرض ميزانية الذاكرة فعلياً. وعند اختباره ضد الأساليب الرائدة في هذا المجال، فاز "ContourKV" في غالبية المقارنات مع استخدام نفس حدود الذاكرة الصارمة. لقد كان أداؤه يضاهي أقوى الأساليب الموجودة التي تفرض أيضاً حدود ذاكرة خاصة بها، مما يؤكد أن الفجوة بين النهج المختلفة أصغر بكما كان يُعتقد سابقاً. وتشير الدراسة إلى أن مستقبل معالجة السياق الطويل لا يكمن في ابتكار خوارزميات اختيار معقدة جديدة بقدر ما يكمن في بناء أنظمة يمكنها إدارة تخزين الذاكرة مادياً بشكل أكثر مرونة، مما يسمح لأجزاء مختلفة من النموذج بالاحتفاظ بكميات مختلفة من البيانات حسب الحاجة.

كما سلط العمل الضوء على خلل حرج في كيفية تقييم بعض هذه الأنظمة. ففي حالات عديدة، تم حساب ترتيب المعلومات التي يجب الاحتفاظ بها بينما كان النموذج لا يزال يقرأ السؤال أو المطالبة، مما منحه ميزة غير عادلة. وعندما أعاد الباحثون إجراء الاختبارات بحيث كان يجب اتخاذ قرار حذف المعلومات قبل ظهور السؤال بالكامل، انخفض أداء أفضل الأساليب بشكل كبير. ويؤكد هذا الاكتشاف أن الاختبار الحقيقي لقاعدة توفير الذاكرة هو قدرتها على العمل دون "استراق النظر إلى المستقبل"، وهو شرط تفشل فيه العديد من الطرق الحالية عندما تكون الذاكرة محدودة بصرامة. وخلص الباحثون إلى أن المسار الأكثر فعالية للمضي قدماً هو التركيز على الإدارة المادية للذاكرة وضمان أن تكون المقارنات بين الأساليب عادلة، من خلال قياس البايتات المخزنة فعلياً بدلاً من الإمكانات النظرية لقواعد الاختيار.