Every Cache Entry Earns Its Place: Global Allocation of Resolution and Coverage for KV Cache Compression

تخيل أنك تحاول تذكر رواية ضخمة مكونة من 100,000 صفحة للإجابة على سؤال واحد حول شخصية ذُكرت في الصفحة 42,000. عقلك هو حاسوب خارق، لكن لديك مكتب صغير وباهظ الثمن حيث يمكنك فقط إبقاء بضع صفحات مفتوحة في المرة الواحدة. في كل مرة تقلب فيها صفحة لقراءة الجملة التالية، يتعين عليك إعادة ترتيب مكتبك، ورمي الصفحات القديمة على الأرض لتوفير مساحة للصفحات الجديدة. هذا هو بالضبط كيف تعمل "نماذج اللغات الكبيرة" (LLMs) الحديثة عندما تقرأ قصصاً أو مستندات طويلة. فهي تحتفظ بـ "ذاكرة مفتاح-قيمة" (مكتب ذاكرة متطور) لكل ما قرأته حتى الآن لتجنب إعادة الحساب. ولكن مع ازدياد طول القصة، يصبح هذا المكتب مزدحماً جداً، مما يؤدي إلى إبطاء الكمبيوتر وملء ذاكرته. لقد حاول العلماء حل هذه المشكلة إما عن طريق رمي الصفحات "الأقل أهمية" (طرد الرموز - token eviction) أو لصق الصفحات المتشابهة معاً في ورقة ملخص واحدة (دمج مفتاح-قيمة - KV merging). ومع ذلك، فإن هذه الطرق القديمة تشبه القواعد الجامدة: فهي تقرر مسبقاً أي الصفحات ستحتفظ بها أو كيف ستلصقها، دون النظر إلى السؤال المحدد الذي تطرحه. لا يمكنها بسهولة نقل الموارد للتركيز على الأجزاء الأكثر حيوية من القصة عندما تتغير القصة.

يقدم هذا البحث طريقة أذكى لإدارة مكتب الذاكرة هذا تسمى GraceKV. بدلاً من اتباع كتاب قواعد جامد، تعامل GraceKV الذاكرة كأنها ميزانية مرنة يمكن إنفاقها في أي مكان تشتد الحاجة إليها. تخيل أن لديك عدداً محدوداً من "رموز الذاكرة" (مثل العملات المعدنية) لشراء مساحة تخزين. قد تقول الطرق القديمة: "يجب أن نحتفظ بـ 10% من كل فصل"، أو "يجب أن ندمج كل 10 صفحات معاً". أما GraceKV، فتسأل: "أين هي المعلومة الأكثر قيمة لهذا السؤال المحدد؟" إنها تبني خريطة تشبه الشجرة لكل جزء من القصة. في قمة الشجرة، تغطي "عملة ملخص" واحدة كتلة ضخمة من النص (تغطية واسعة). إذا أصبح الجزء من القصة مثيراً للاهتمام أو مربكاً في نقطة معينة، يمكن لـ GraceKV "تقسيم" عملة الملخص تلك لشراء عملات أكثر تفصيلاً وعالية الدقة لذلك القسم الصغير فقط (دقة محلية). إنها تقارن باستمرار بين قيمة الاحتفاظ بملخص واسع وبين قطعة تفصيلية عبر القصة بأكملة، طبقة تلو الأخرى، وتُنفق ميزانيتها على المزيج الذي يعطي أفضل إجابة. يوضح البحث أنه من خلال السماح للذاكرة بـ "التدفق" بحرية إلى حيث تكمن الأهمية، يمكن لـ GraceKV ضغط الذاكرة بما يصل إلى 128 ضعفاً مع الاستمرار في الإجابة على الأسئلة بدقة، وغالباً ما تتفوق على الطرق الأخرى التي تستخدم قواعد ثابتة. إن الأمر يشبه وجود أمين مكتبة لا يكتفي فقط باتباع قائمة بالكتب التي يجب الاحتفاظ بها، بل يعيد ترتيب المكتبة بأكملها في الوقت الفعلي لضمان أن الكتاب الذي تحتاجه موجود أمامك مباشرة، حتى لو تطلب ذلك نقل كل شيء آخر.

المشكلة: معضلة "الطول الزائد عن حد التذكر"

نماذج اللغات الكبيرة تشبه الطلاب العباقرة الذين يمكنهم قراءة أي شيء تقريباً، لكن لديهم مشكلة في الذاكرة قصيرة المدى. فعندما يقرأ النموذج مستنداً طويلاً للإجابة على سؤال، فإنه يحتاج لتذكر "المفتاح" و"القيمة" (من، ماذا، أين، ولماذا) لكل كلمة رآها. هذه الذاكرة، المسماة مخزن مفتاح-قيمة (KV cache)، تنمو خطياً مع طول النص. إذا غذيت النموذج برواية مكونة من 100,000 كلمة، فإن الذاكرة المطلوبة لحمل كل تلك المفاتيح والقيم تصبح ضخمة، مما يملأ ذاكرة الوصول العشوائي (RAM) للحاسوب ويبطئ عملية توليد الكلمة التالية.

لإصلاح ذلك، جرب الباحثون حيلتين رئيسيتين:

1. طرد الرموز (Token Eviction): رمي الكلمات "المملة" والاحتفاظ فقط بالكلمات "المهمة". الأمر يشبه حذف صفحات من كتاب لا تبدو ذات صلة.
2. دمج مفتاح-قيمة (KV Merging): لصق الكلمات المتشابهة معاً في مدخل "ملخص" واحد. الأمر يشبه أخذ عشر صفحات من قصة واستبدالها بفقرة واحدة تلخص الجوهر.

المشكلة في هذه الحيل القديمة هي أنها جامدة. فهي عادة ما تتبع قاعدة محددة مسبقاً، مثل "احتفظ بآخر 100 كلمة" أو "ادمج كل 5 كلمات". وهي لا تتكيف جيداً مع السؤال المحدد الذي تطرحه. أحياناً، قد تكون الكلمة التي تبدو مملة هي مفتاح الإجابة، وأحياناً قد يكون جزء كبير من النص غير ذي صلة. تعاني الطرق القديمة في الموازنة بين التغطية (تذكر القصة بأكملها) والدقة (تذكر التفاصيل الصغيرة) لأنها لا تستطيع نقل ميزانية الذاكرة بحرية.

الحل: "الميزانية العالمية" لـ GraceKV

يقترح المؤلفون GraceKV، وهو نظام يعامل ضغط الذاكرة ليس كلعبة اتباع قواعد، بل كـ مشكلة تخصيص موارد عالمية. فكر في الأمر كمخطط مدينة ذكي يدير ميزانية محدودة من الكهرباء؛ فبدلاً من إعطاء كل حي نفس القدر من الطاقة، ينظر المخطط إلى حيث تشتد الحاجة للطاقة الآن.

تعمل GraceKV عبر ثلاث خطوات رئيسية:

1. بناء خريطة الشجرة:
   أولاً، تقوم GraceKV بتقسيم القصة الطويلة إلى "فتحات" (كتل نصية) بناءً على كيفية تغير المعنى، وليس مجرد قطع عشوائي. لكل طبقة من طبقات عقل الذكاء الاصطنا الاصطناعي ولكل رأس انتباه، تبني النظام شجرة نموذجية.

• الجذر في الشجرة هو ملخص واحد عام لكتلة ضخمة من النص.
• الأغصان يمكنها تقسيم تلك الكتلة إلى قطع أصغر وأكثر تفصيلاً.
• الأوراق هي الكلمات الأصلية والدقيقة.
  تسمح هذه الشجرة للنظام بتمثيل نفس النص بمستويات مختلفة من التفصيل، من نظرة عامة واسعة إلى كلمة واحدة دقيقة.

2. تدفق القيمة (البحث عن الكنز):
   يكتشف النظام أي أجزاء من النص مفيدة حقاً للسؤال الحالي. هو لا ينظر فقط إلى السؤال مباشرة؛ بل يتتبع أيضاً كيفية تدفق المعلومات عبر النص (مثل محقق يتبع أثر الأدلة). إذا ذُكرت كلمة في السؤال، أو إذا كانت ترتبط بكلمات مهمة أخرى، فإنها تحصل على "درجة قيمة" عالية. هذه الدرجة تخبر النظام مقدار "الكنز" المخفي في ذلك الجزء من القصة.

3. تدفق الميزانية (إنفاق العملات):
   الآن يأتي السحر. تمتلك GraceKV ميزانية ثابتة من فتحات الذاكرة (العملات المعدنية). هي تنظر إلى جميع الإجراءات الممكنة عبر القصة بأكملها:

• الإضافة (Add): إنفاق عملة لتغطية كتلة نصية جديدة غير مغطاة بملخص عام (توسيع التغطية).
• التقسيم (Split): إنفاق عملة لتقسيم ملخص عام إلى قطع أصغر وأكثر تفصيلاً (تحسين الدقة).

كل إجراء محتمل من "الإضافة" أو "التقسيم" يتنافس في طابور عالمي واحد. يحسب النظام "المنفعة" (القيمة مقابل كل عملة) لكل إجراء. إذا كانت كلمة صغيرة ومحددة حاسمة للإجابة، فإن "تقسيم" ملخص تلك الكلمة قد يعطي منفعة هائلة. وإذا كان هناك فقرة كاملة مملة، فإن "إضافة" ملخص عام لها قد يكون أفضل استخدام للعملة. يختار النظام بشكل جشع أعلى الإجراءات قيمة حتى تنفد الميزانية.

هناك أيضاً شبكة أمان تسمى أرضية السينجلتون (Singleton Floor). أحياناً، قد يفوّت الخوار_زم الجشع كلمة مهمة للغاية لأن الخطوات للوصول إليها مكلفة جداً واحدة تلو الأخرى. لذا، تخصص GraceKV جزءاً صغيراً من الميزانية لضمان الاحتفاظ ببضع كلمات عالية القيمة كما هي تماماً، مما يضمن عدم فقدان أي تفصيل حاسم.

ماذا وجدوا؟

اختبر المؤلفون GraceKV في مجموعة متنوعة من المهام، بما في ذلك الإجابة على أسئلة من مستندات طويلة، وتلخيص القصص، واسترجاع حقائق محددة من مجموعات بيانات ضخمة. وقارنوها بأفضل الطرق الموجودة حالياً (مثل H2O وSnapKV وPyramidKV) عبر مستويات ضغط مختلفة، من 4 أضعاف إلى 128 ضعفاً.

• الأداء: تفوقت GraceKV في 24 من أصل 32 إعداداً مختلفاً. لقد تصدرت باستمرار المركز الأول أو الثاني، حتى عندما كانت ميزانية الذاكرة ضيقة للغاية (ضغط 128 ضعفاً).
• المتانة: على عكس الطرق الأخرى التي قد تعمل بشكل رائع لنوع واحد من المهام ولكنها تفشل في مهام أخرى، ظلت GraceKV قوية عبر جميع المهام. لقد تعاملت مع مهام "التغطية الواسعة" (مثل التلخيص) ومهام "الاسترجاع الدقيق" (مثل البحث عن اسم محدد) بنفس الكفاءة.
• الكفاءة: من خلال ضغط الذاكرة، قللت GraceKV بشكل كبير من الذاكرة المطلوبة (بنسبة تصل إلى 92% أقل من الذاكرة الكاملة) وجعلت الحاسوب أسرع في توليد النصوص، خاصة للسياقات الطويلة جداً.
• لا حاجة لإعادة التدريب: أحد أروع الأجزاء هو أن GraceKV لا تحتاج لإعادة تدريب. فهي تعمل من خلال تحليل النص والسؤال أثناء العملية، مما يجعلها حلاً جاهزاً للاستخدام (plug-and-play) لأي نموذج موجود.

لماذا يهم هذا؟

يشير البحث إلى أن مستقبل الذكاء الاصطناعي ذي السياق الطويل لا يتعلق بإيجاد قاعدة واحدة "مثالية" لما يجب الاحتفاظ به أو التخلص منه. بدلاً من ذلك، يتعلق الأمر بـ المرونة. من خلال التعامل مع الذاكرة كمورد عالمي مشترك يمكن تخصيصه ديناميكياً للموازنة بين التغطية الواسعة والتفاصيل الدقيقة، يمكننا جعل نماذج الذكاء الاصطناعي أكثر كفاءة دون فقدان قدرتها على فهم القصص الطويلة والمعقدة. تثبت GraceKV أن نهجاً ذكياً ومتكيفاً لإدارة الذاكرة يمكن أن يتفوق على القواعد الجامدة والمحددة مسبقاً، مما يمهد الطريق للذكاء الاصطناعي الذي يمكنه قراءة مكتبات كاملة دون أن يشعر بالإرهاق.