ملخص تقني: ForesightKV

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs)، وخاصة نماذج الاستدلال، قدرات استثنائية في توليد مسارات استدلال طويلة. ومع ذلك، مع زيادة طول التسلسل، يتوسع مخزن المفتاح-القيمة (KV cache) بشكل خطي، مما يؤدي إلى عبء ذاكرة كبير وزيادة في زمن التأخير بسبب عمليات فك التشفير المرتبطة بحدود الذاكرة (memory-bound decoding). بينما تحاول طرق استبعاد مخزن KV الحالية التخفيف من ذلك عن طريق التخلص من أزواج KV الأقل أهمية بناءً على قواعد استدلالية (مثل درجات الانتباه، أو المواقع، أو الميزات)، إلا أنها غالبًا ما تفشل في التقاط التبعيات المعقدة والديناميكية عبر رؤوس الانتباه المختلفة. وتحديدًا، تعاني هذه الطرق التي لا تتطلب تدريبًا (training-free) من صعوبة في التعامل مع الأنماط "المعتمدة على الدلالة" (semantic-dependent) حيث تتغير أهمية زوج KV ديناميكيًا بناءً على السياق المتطور. علاوة على ذلك، فإن استبعاد أزواج KV الحرجة يمكن أن يسبب زيادات حادة في الخسارة (loss) للرموز ذات الإنتروبيا المنخفضة (الأجزاء الحتمية من عملية الاستدلال)، مما يؤدي إلى أخطاء واقعية تشوه خطوات الاستدلال اللاحقة.

المنهجية

يقترح المؤلفون ForesightKV، وهو إطار عمل يعتمد على التدريب مصمم لتعلم المساهمة طويلة المدى لأزواج KV واستبعاد الأقل أهمية منها بشكل تكيفي أثناء التوليد. يعمل إطار العمل بميزانية ذاكرة ثابتة ويستخدم نموذج تدريب ثنائي المرحلة لتحسين نموذج تسجيل خفيف الوزن ($\pi_\theta$) يتنبأ بأهمية كل زوج KV. ومن الأهمية بمكان أن معاملات النموذج اللغوي الكبير (LLM) تظل ثابتة طوال العملية؛ حيث يتم تحديث نموذج التسجيل فقط.

1. عملية الاستبعاد الديناميكي

يتم تحفيز الاستبعاد بشكل دوري (كل $L$ من الرموز). عندما يصل حجم المخزن إلى $B + L$ (حيث $B$ هي الميزانية المستهدفة)، يحتفظ النظام بأحدث $L$ من الرموز ويستخدم نموذج التسجيل لتقليص بقية المخزن إلى $B - L$. يأخذ نموذج التسجيل كمدخلات دمج المفتاح ($k_n$) والقيمة ($v_n$) وميزات الانتباه ($a_n$) للتنبؤ بدرجة الأهمية ($\phi_n$). تُتخذ قرارات الاستبعاد عبر استراتيجية "Top-K" متبوعة بأخذ عينات متعدد الحدود (multinomial sampling) لإدخال العشوائية.

2. المرحلة الأولى: التعلم الخاضع للإشراف باستخدام "الاستبعاد الذهبي" (Golden Eviction)

لتدريب نموذج التسجيل، قدم المؤلفون خوارزمية الاستبعاد الذهبي لبناء تسميات الإشراف.

• الآلية: لمسار استدلال كامل، يتم تقسيم مصفوفة الانتباه إلى كتل (blocks). تقوم الخوارونة بحساب "درجات الكتل" عن طريق تجميع درجات الانتباه داخل الكتل وعبر رؤوس الانتباه.
• الوعي بالمستقبل: لكل خطوة استبعاد، تحدد الخوارزمية أقصى درجة كتلة عبر جميع الخطوات المستقبلية لكل زوج KV. تمثل هذه "الدرجة المستقبلية" استراتيجية الاحتفاظ المثلى التي تقلل من التأثير على حسابات الانتباه المستقبلية.
• التدريب: يتم تدريب نموذج التسجيل باستخدام خسارة الترتيب الزوجي (Pairwise Ranking Loss) لضمان توافق الدرجات المتوقدة لأي زوجين من KV مع ترتيب درجاتهما المستقبلية المستمدة من خوارزمية الاستبعاد الذهبي.

3. المرحلة الثانية: التعلم التعزيزي (RL)

التدريب الخاضع للإشراف وحده قد لا يأخذ في الاعتبار انزياح التوزيع الناتج عن الاستبعاد أثناء الاستدلال. لسد هذه الفجوة، صاغ المؤلفون عملية استبعاد مخزن KV كعملية اتخاذ قرار ماركوف (MDP) وطبقوا خوارزمية GRPO (تحسين السياسة النسبي للمجموعات).

• الحالة (State): مخزن KV المتبقي الحالي.
• الإجراء (Action): اختيار مجموعة فرعية من أزواج KV للاحتفاظ بها.
• المكافأة (Reward): تم تصميم دالة المكافأة للتخفيف من تدهور الأداء في الرموز ذات الإنتروبيا المنخفضة. وتحديدًا، تركز على الرموز التي كانت في الأصل ذات إنتروبيا منخفضة ولكنها شهدت زيادة كبيرة في الخسارة بعد الاستبعاد. تُعرف المكافأة بأنها سالب متوسط مربع الخطأ (MSE) لزيادات الخسارة لهذه المجموعة المحددة من الرموز.
• التحسين: يتم تحسين نموذج السياسة لتعظيم المكافأة التراكمية عبر التسلسل، مما يتعلم فعليًا الحفاظ على السياق الحرج اللازم لخطوات الاستدلال الحتمية.

المساهمات الرئيسية

1. إطار عمل ForesightKV: طريقة تدريب جديدة ثنائية المرحلة (تعلم خاضع للإشراف + RL) تتعلم التنبؤ بالمساهمة طويلة المدى لأزواج KV، متجاوزة القواعد الاستدلالية الثابتة.
2. خوارزمية الاستبعاد الذهبي: طريقة لتوليد مسارات استبعاد مثالية باستخدام معلومات الانتباه المستقبلية، والتي تعمل كإشراف عالي الجودة لنموذج التسجيل.
3. صياغة الاستبعاد كـ MDP: نمذجة عملية الاستبعاد كعملية اتخاذ قرار ماركوف واستخدام GRPO لاستهداف التخفيف من طفرات الخسارة في الرموز ذات الإنتروبيا المنخفضة، وهي بالغة الأهمية لدقة الاستدلال.
4. الكفاءة: يقوم إطار العمل بتدريب نموذج تسجيل خفيف الوزن فقط دون الحاجة إلى عمليات عكسية (backward operations) أو تحديث معاملات النموذج اللغوي الكبير الأساسي.

النتائج التجريبية

قيم المؤلفون ForesightKV على ثلاثة نماذج استدلال (Qwen3-1.7B، وQwen3-4B، وDeepSeek-R1-Distill-Qwen-7B) باستخدام اختبارات AIME2024 وAIME2025 الرياضية.

• الأداء: تفوق ForesithKV باستمرار على النماذج المرجعية الحالية (SnapKV، وH2O، وR-KV). والجدير بالذكر أنه حقق أداءً مماثلاً أو متفوقًا على نماذج المخزن الكامل (full-cache) مع استخدام نصف ميزانية مخزن KV فقط. على سبيل المثال، في AIME2024 مع Qwen3-4B، تفوق ForesightKV بميزانية 1K على R-KV بميزانية 2K (54.5 مقابل 44.8 في Pass@1).
• الإنتاجية (Throughput): حسنت الطريقة الإنتاجية بشكل كبير. فمع ميزانية 1K في تسلسل بطول 32K، حقق ForesightKV زيادة في الإنتاجية تصل إلى 9.79 ضعفًا مقارنة بمخزن KV الكامل.
• التعميم: رغم تدريبها أساسًا على المهام الرياضية، أظهرت ForesithKV قدرة قوية على التعميم في اختبارات GPQA (العلوم) وLiveCodeBench (البرمجة)، متفوقة على النماذج المرجعية بنصف ميزانية المخزن.
• دراسات الاستئصال (Ablation Studies): أكدت النتائج أن كل من مرحلة التدريب الخاضع للإشراف (التي توفر القدرة التنبؤية الأولية) ومرحلة التعلم التعزيزي (التي تصقل السياسة للحفاظ على الرموز ذات الإنتروبيا المنخفضة) ضرورية للنجاح. وقد وُجد أن تصميم المكافأة المحدد الذي يركز على الرموز ذات الإنتروبيا المنخفضة مع زيادات كبيرة في الخسارة هو الأكثر فعالية.

الأهمية والادعاءات

يزعم البحث أن ForesithKV يقدم اتجاهًا واعدًا جديدًا لإدارة مخزن KV التكيفية في سياقات الاستدلال الطويلة. ومن خلال الانتقال من القواعد الاستدلالية إلى نهج يعتمد على التعلم والذي ينمذج صراحةً المساهمة طويلة المدى لأزواج KV ويستهدف الحفاظ على الرموز ذات الإنتروبيا المنخفضة، يحقق الأسلوب توازنًا متفوقًا بين كفاءة الذاكرة وجودة التوليد. ويؤكد المؤلفون أن نهجهم يلتقط الأهمية الجوهرية لمدخلات مخزن KV بدلاً من الإفراط في التكيف مع قيود ميزانية معينة، مما يسمح له بالتعميم بشكل جيد عبر إعدادات الميزانية ومجالات المهام المختلفة.