QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding
يُعد QEvict نظاماً مبتكراً لإدارة ذاكرة التخزين المؤقت للمفاتيح والقيم (KV-cache) يستبدل عملية طرد الرموز غير القابلة للاسترداد بنهج ثلاثي المستويات قابل للاسترداد باستخدام التكميم لاستعادة الرموز التي تم التخلص منها سابقاً ديناميكياً عندما تزداد أهميتها، مما يعزز المتانة ضد انحراف الانتباه والأداء في فك تشفير النماذج اللغوية الكبيرة ذات السياق الطويل.
تخيل أنك تحاول تذكر قصة ضخمة مكونة من 100 صفحة أثناء كتابة فصل جديد. في كل مرة تكتب فيها جملة، يتعين عليك العودة لقراءة القصة بأكملها للتأكد من أن كلماتك الجديدة تتناسب مع الحبكة. في عالم الذكاء الاصطناعي، هذه "القصص" هي المحادثات أو المستندات التي يقرأها نموذج الكمبيوتر، وعملية "العودة للقراءة" تحدث في منطقة ذاكرة خاصة تسمى مخزن الـ KV (أو KV cache). فكر في هذا المخزن كأنه سبورة بيضاء ضخمة يكتب فيها الذكاء الاصطناعي الأجزاء الأكثر أهمية من القصة حتى لا يضطر لإعادة قراءة الكتاب بأكمله في كل مرة يتحدث فيها.
المشكلة هي أنه كلما طالت القصة، أصبحت هذه السبورة ضخمة. يمكنها أن تملأ ذاكرة حاسوبك بشكل أسرع من "عقل" الذكاء الاصطناعي نفسه، مما يجبر الكمبيوتر على التباطؤ أو التوقف عن العمل في المهام الطويلة. ولحل هذه المشكلة، حاول العلماء استخدام حيلتين: الإقصاء (Eviction) (رمي الأجزاء التي يعتقدون أنها مملة) والكمية (Quantization) (كتابة القصة بخط يد أصغر وأقل وضوحاً لتوف توفير المساحة). لكن هناك عقبة: إذا رميت صفحة ما، فلن تتمكن من استعادتها أبداً. وإذا كتبتها بخط يد مهتز، فقد يصعب قراءتها لاحقاً. السؤال الكبير هو: كيف نحافظ على صغر حجم الذاكرة دون أن نحذف بالخطأ أهم تحولات الحبكة التي قد تظهر فقط في نهاية القصة؟
هنا يأتي دور طريقة جديدة تسمى QEvict، والتي تعمل مثل مكتبة ذكية مكونة من ثلاثة طوابق لذاكرة الذكاء الاصطناعي. وجد الباحثون أن الطريقة القديمة في تحديد ما يجب رميه كانت جامدة للغاية؛ فقد اكتشفوا أن صفحة من القصة قد تبدو عديمة الفائدة الآن، ولكنها قد تصبح أهم دليل بعد خمس دقائق. إذا قام الذكاء الاصطناعي برميها، فستضيع للأبد. يحل QEvict هذه المشكلة عبر تقديم حل وسط "قابل للاسترداد". فبدلاً من مجرد "احتفظ" أو "احذف"، يستخدم النظام ثلاثة مستويات:
قسم كبار الشخصيات (الدقة الكاملة): الأجزاء الأكثر أهمية وذات الثقة العالية من القصة تبقى في ذاكرة عالية الدقة وواضحة تماماً.
الأرشيف (مستوى الكمية/الضغط): الأجزاء التي تبدو مملة حالياً ولكنها قد تصبح مهمة لاحقاً، يتم نقلها إلى "أرشيف مضغوط". يتم كتابتها بتنسيق أصغر وأقل جودة (مثل رسم تخطيطي بدلاً من صورة فوتوغرافية)، لكنها ليست ملقاة؛ فهي لا تزال موجودة وتنتظر.
سلة المهملات (المُقصاة): الأجزاء التي هي حقاً وغير مفيدة بالتأكيد هي فقط التي يتم حذفها.
تحدث المعجزة عندما يكتب الذكاء الاصطناعي فصله الجديد. إذا احتاج فجأة إلى معلومة كانت موجودة في "الأرشيف"، يقوم النظام فوراً بترقية ذلك الرسم التخطيطي إلى صورة عالية الدقة وينقله إلى قسم كبار الشخصيات. الأمر يشبه وجود أمين مكتبة يمكنه سحب كتاب مغبر ومضغوط من الرف، واستعادته إلى حالته المثالية، وتقديمه لك في اللحظة التي تطلبه فيها.
تظهر الورقة البحثية أن هذا النهج أكثر ذكاءً من طرق "الحذف أو الاحتفاظ" القديمة. فمن خلال اختبار الذكاء الاصطناعي على مهام فهم القراءة الطويلة، والمسائل الرياضية المعقدة، وعمليات البحث عن "إبرة في كومة قش" (إيجاد حقيقة صغيرة وسط نص ضخم)، تفوق QEvict باستمرار. لقد نجح في الحفاظ على انخفاض استخدام الذاكرة مع تذكر المزيد من القصة. وقد قاس الباحثون أن هذه الطريقة قللت من كمية المعلومات المهمة التي "فقدها" الذكاء الاصطناعي بفارق كبير مقارنة بالطرق الأخرى. كما وجدوا أن مستوى "الأرشيف" يعمل بشكل جيد لدرجة أنه حتى عندما يُجبر الذكاء الاصطناعي على استخدام مساحة ذاكرة ضئيلة جداً (تصل إلى 5% من الحجم الكامل)، فإنه لا يزال يفهم القصة بشكل أفضل بكثير من ذي قبل.
باختصار، يقترح QEvict أنه لا ينبغي معاملة الذاكرة كطريق اتجاه واحد حيث تكون الأشياء إما مثالية أو مفقودة للأبد. فمن خلال إضافة خطوة وسطى حيث يمكن تخزين المعلومات بتكلفة منخفضة ولكن مع إمكانية استرجاعها عند الحاجة، يمكن لنماذج الذكاء الاصطناعي التعامل مع مهام أطول وأكثر تعقيداً دون نفاد المساحة. وتشير النتائج، التي تم قياسها عبر عدة نماذج ومعايير للذكاء الاصطناعي، إلى أن هذا "الإقصاء القابل للاسترداد" هو وسيلة عملية وفعالة لجعل الذكاء الاصطناعي ذو السياق الطويل أكثر ذكاءً وكفاءة.
ملخص تقني: QEvict
بيان المشكلة
يواجه الاستنتاج التلقائي (Autoregressive inference) في النماذج اللغوية الكبيرة (LLMs) قيوداً متزايدة بسبب البصمة الذاكرية لـ "مخزن المفتاح-القيمة" (KV cache)، والذي ينمو خطياً مع طول التسلسل وحجم الدفعة (batch size). وبينما تعالج الحلول الحالية هذه المشكلة من خلال الاستبعاد (eviction) -أي الإزالة الدائمة للرموز (tokens) التي تُعتبر غير مهمة- أو التكميم (quantization) -أي تخزين الحالات بدقة أقل- فإن كلا النهجين يعانيان من قيود جوهرية:
عدم قابلية الاستبعاد للرجوع (Irreversibility of Eviction): تتخذ سياسات الاستبعاد القياسية قرارات ثنائية وغير قابلة للتراجع. وهي تفترض أن أهمية الرمز ثابتة؛ ومع ذلك، يوضح البحث أن أهمية الرموز والنوافذ (windows) "تتذبذب" أثناء عملية فك التشفيد (decoding). فالرمز الذي يُستبعد باعتباره غير مهم في ظل استعلام حالي قد يصبح حاسماً لاحقاً لحل مراجع أو دفع مسارات الاستدلال. وبمجرد استبعاده، تُفقد هذه المعلومات بشكل دائم.
تجزئة السياق (Fragmentation of Context): يمكن لاستبعاد الرموز على مستوى الرمز الواحد أن يؤدي إلى تجزئة الأدلة المتماسكة محلياً، وذلك عبر الاحتفاظ برموز عالية النقاط بشكل منعزل مع التخلص من الرموز المجاورة الضرورية لتفسيرها.
الدقة الثابتة (Static Precision): لا تدير طرق التكميم الحالية بدقة عملية بقاء الحالة في الذاكرة والتدقيق الرقمي بشكل مشترك. فهي تفتقر إلى آلية لنقل الحالات التاريخية ديناميكياً بين التنفيذ بدقة كاملة، والتخزين المضغوط القابل للاسترداد، والإزالة الدائمة.
التحدي الجوهري المعالج هو كيفية ضغط مخزن (KV cache) بقوة مع الحفاظ على المناطق التاريخية المتماسكة التي قد تظهر أهميتها فقط في مراحل لاحقة من عملية التوليد.
المنهجية: QEvict
يقترح المؤلفون QEvict، وهو نظام إدارة لمخزن (KV-cache) ثلاثي المستويات وقابل للاسترداد، يعمل على نوافذ متصلة بدلاً من الرموز الفردية. يقوم النظام بتوجيه النوافذ ديناميكياً بين ثلاث حالات ضمن ميزانية ذاكرة ثابتة:
مستوى الدقة الكاملة (Full-Precision Tier): يتم الاحتفاظ بالنوافذ عالية الثقة بدقة كاملة.
مستوى التكميم القابل للاسترداد (Recoverable Quantized Tier): تُخزن النوافذ متوسطة الأهمية بتنسيق مضغوط ومنخفض البت (تحديداً INT2 في التجارب). تظل هذه النوافذ متاحة لآلية الانتباه ويمكن "ترقيتها" مرة أخرى إلى الدقة الكاملة إذا زادت أهميتها.
المستوى المستبعد (Evicted Tier): يتم حذف النوافذ ذات الثقة الأدنى فقط بشكل دائم.
الآليات الرئيسية
التوجيه على مستوى النافذة (Window-Level Routing): بدلاً من القرارات على مستوى الرمز، يقوم QEvict بتقسيم المخزن التاريخي إلى نوافذ متصلة. هذا يثبت قرارات الاختيار ويحافظ على السياق المحلي.
التقييم التراكمي (Cumulative Scoring):# يتم تحديد أهمية النافذة من خلال تجميع درجات الانتباه بمرور الوقت. يسمح هذا للنظام بتتبع "كتلة المستقبل المفقودة" (future missed mass) -وهي الانتباه الذي كان سيُخصص للحالات المستبعدة- وتحديد النوافذ التي تستعيد أهميتها.
الخفض (Demotion): عندما تنخفض أهمية نافذة ذات دقة كاملة، يتم نقلها إلى مستوى التكميم.
الترقية (Promotion): إذا ارتفع التقييم التراكمي لنافذة مكممة، يتم إلغاء تكميمها وترقيتها إلى مستوى الدقة الكاملة.
سجل التكميم لمرة واحدة (Write-Once Quantization Ledger): لمنع تراكم الأخطاء أثناء الانتقالات المتكررة بين المستويات، يقوم QEvict بتكميم النافذة مرة واحدة فقط عند أول عملية خفض لها. ويتم تخزين التمثيل منخفض البت الناتج في سجل مستمر واستخدامه لجميع عمليات الترقية والخفض اللاحقة، مما يتجنب تراكم أخطاء التقريب.
التنفيذ (Implementation): يدعم النظام "الانتباه متعدد الرؤوس المجموعاتي" (GQA) و"FlashAttention-2". ويقوم بتجسيد انتباه SDPA بشكل انتقائي أثناء أحداث التوجيه لحساب التقييمات التراكمية، بينما يستخدم مسارات فك التشفيد القياسية في المسارات الأخرى.
كتلة المستقبل المفقودة (FMM): تقيس كسر الانتباه المستقبلي المخصص للحالات التي استبعدتها سياسة ما بالفعل.
إعادة تنشيط الأهمية الكامنة العالمية (Global LIR): تقيس عدد المرات التي تعود فيها النوافذ غير النشطة تاريخياً إلى المجموعة النشطة.
تقلب الاختيار (Selection Churn): يقيس عدم استقرار تخصيصات المخزن بين خطوات التوجيه المتتالية.
النتائج: تكشف هذه التشخيصات أنه بينما تتركز الأهمية، إلا أنها غير مستقرة زمنياً؛ حيث يترك جزء غير مهمل من النوافذ المجموعة النشطة ويعود إليها لاحقاً، مما يبرر وجود مستوى قابل للاسترداد.
إطار عمل QEvict: هيكل هرمي مبتكر مقيد بالبايت، يستبدل الاستبعاد الثنائي بعملية ديناميكية من الخفض، والاسترداد، والترقية. وهو يجمع بين الاحتفاظ الانتقائي لطرق الاستبعاد والتغطية الواسعة لطرق التكميم.
التقييم المكثف: تم تقييم الطريقة عبر ثلاثة اختبارات مرجعية (LongBench, RULER, GSM8K) وثلاث عائلات من النماذج اللغوية الضخمة المضبوطة للتعليمات (Llama-3.1-8B, Mistral-7B, Qwen2.5-7B) تحت ميزانيات ذاكرة صارمة (من 5% إلى 20% من مخزن KV الكامل).
النتائج
يحسن QEvict باستمرار المقايضة بين الجودة والذاكرة مقارنة بالنماذج المرجعية للاستبعاد والتكميم:
فهم السياق الطويل (LongBench): عبر 12 مهمة وميزانيات ذاكرة متعددة، يحقق QEvict أعلى درجات المتوسط العام. عند ميزانية ذاكرة بنسبة 20%، يتفوق على أقوى نموذج مرجعي للاستبعاد بفارق كبير. وعند الميزانيات الضيقة بنسبة 5%، تكون المكاسب أكثر وضوحاً، مما يبرز قيمة الاحتفاظ منخفض البت القابل للاسترداد.
الاسترجاع بعيد المدى (RULER): في مهام طول السياق 32K، يحقق QEvict متوسطاً عاماً قدره 87.6، متجاوزاً أقوى نموذج استبعاد مطابق في الذاكرة (Layer-DefensiveKV) بمقدار 1.2 نقطة، ومتفوقاً على نماذج التكميم المماثلة بمقدار 8.6 نقطة. ويظل ضمن نطاق 2.4 نقطة من مرجع Full-KV غير المضغوط.
الاستدلال (GSM8K): يحافظ QEvict على جودة التوليد متعدد الخطوات بشكل أفضل من النماذج المرجعية مع انخفاض ميزانية المخزن، محافظاً على دقة أعلى عبر نماذج Llama وQwen وMistral.
الكفاءة:
مع خلفيات Eager/SDPA، يقلل QEvict من "الوقت لكل رمز مخرج" (TPOT) بنسبة 9.3% ويحسن الإنتاجية بنسبة 9.8% مقارنة بـ Full-KV، حيث يعوض صغر حجم مخزن الدقة الكاملة تكاليف الإدارة.
مع FlashAttention-2، يقلل QEvict من ذروة ذاكرة وحدة معالجة الرسومات بنسبة 29.7% (من 29.54 جيجابايت إلى 20.78 جيجابايت)، رغم أن الإنتاجية الحالية محدودة بالحاجة إلى إلغاء التكميم وإعادة بناء المخازن قبل عملية الانتباه.
الأهمية والادعاءات
يزعم البحث أن الاحتفاظ منخفض البت القابل للاسترداد هو بديل عملي ومتفوق للاستبعاد الدائم في عمليات الاستنتاج طويلة السياق للنماذج اللغوية الكبيرة. ومن خلال التعامل مع إدارة المخزن كعملية هرمية ديناميكية بدلاً من قرار لمرة واحدة، يعالج QEvict هشاشة افتراض ثبات أهمية الرموز.
يؤكد المؤلفون أن نهجهم:
يحافظ على سياق تاريخي أوسع دون تخصيص ذاكرة بدقة كاملة لجميع الحالات.
يثبت اختيار المخزن من خلال التجميع على مستوى النافذة، مما يقلل من الحساسية للتقلبات العابرة على مستوى الرمز.
يدعم "إعادة تنشيط" المناطق غير النشطة تاريخياً، وهي ظاهرة لوحظ حدوثها بشكل متكرر أثناء فك التشفيد ولكن يتم تجاهلها من قبل الطرق الحالية المتطورة.
يشير العمل إلى أن الأنظمة المستقبلية يجب أن تتجاوز سياسات "الاحتفاظ أو الحذف" الثنائية نحو هياكل تخزين ديناميكية وقابلة للاسترداد للتعامل مع الطبيعة المتطورة للانتباه في عمليات التوليد طويلة السياق.