ملخص تقني: NestedKV

بيان المشكلة

تواجه نماذج اللغات ذات السياق الطويل عقبة حرجة في النشر العملي: ينمو مخزن (KV) المؤقت (Key-Value Cache) خطياً مع طول السياق وحجم الدفعة (batch size)، مما يهيمن على تكاليف ذاكرة الاستدلال حتى عندما تكون أوزان النموذج ثابتة. وبينما توجد طرق لضغط مخزن KV دون الحاجة للتدريب، إلا أنها تعتمد عادةً على إشارة "مرتكز" (anchor) واحدة لتصنيف أهمية الرموز (tokens)—مثل كتلة الانتباه السابقة، أو الحداثة، أو التخصيص على مستوى الطبقة، أو تميز المفاتيح (key distinctiveness).

تجادل الورقة بأن هذه النهج أحادية الرؤية تصبح هشة تحت ظروف الضغط الشديد أو السياقات الطويلة. فعلى سبيل المثال، غالباً ما تركز الطرق القائمة على الانتباه الكتلة على ذيل المطالبة (prompt tail) أو "بالوعات الانتباه" (attention sinks)، مما يؤدي إلى طرد الرموز التي تحمل الإجابات والتي توجد في مناطق ذات انتباه منخفض. وبالمثل، قد يغفل المتوسط العالمي عن التحولات المحلية العرضية، بينما قد تفرط القاعدة المحلية في ملاءمة الكتل المتكررة. المشكلة الجوهرية هي أن السياق المفيد يمكن أن يكون متميزاً عالمياً، أو عرضياً محلياً، أو ذا صلة فورية، مما يتطلب نهجاً أكثر دقة وتعدداً في المقاييس لصيانة الذاكرة.

المنهجية: NestedKV

إن NestedKV هو طريقة لضغط مخزن KV (للمفاتيح فقط) دون الحاجة للتدريب، مستوحاة من نظام الذاكرة المستمرة (Continuum Memory System) من التعلم المتداخل (Nested Learning). بدلاً من تصنيف الرموز بناءً على مقياس واحد، فإنه يعامل عملية الطرد كصيانة ذاكرة مقيدة أثناء اختبار الوقت باستخدام بنية ثلاثية المستويات:

1. حالة الذاكرة المستمرة (المتعلمين الداخليين)

يحافظ NestedKV على ثلاثة مرتكزات ذاكرة متميزة عبر تدفق المفاتيح المخزن لكل رمز $i$:

• الذاكرة المستقرة ($\mu_s$): متوسط عالمي لجميع المفاتيح المعيرة، مما يلتقط الانتظامات على مستوى المستند.
• الذاكرة العرضية ($\mu_e(i)$): متوسط كتلة محلية (حجم الكتلة $b \approx N/32$)، مما يلتقط البنية على مستوى الفقرة أو الدور (turn).
• الذاكرة الحالية ($\mu_c(i)$): متوسط نافذة منزلقة (حجم النافذة $W=64$)، مما يلتقط الاستمرارية قصيرة المدى والتكرار الفوري.

لكل رمز، تحسب الطريقة درجات الشذوذ لـ جيب التمام (cosine anomaly scores) مقابل هذه المقاييس الثلاثة: $a_k(i) = -\cos(\hat{k}_i, \mu_k)$. تشير الدرجة العالية إلى أن الرمز شاذ (متميز) بالنسبة لمقياس الذاكرة المحدد ذاك.

2. المتعلم الخارجي: المزج التكيفي وتوجيه المفاجأة

تجمع الطريقة بين تصنيفات الشذوذ الثلاثة هذه من خلال متعلم خارجي لا يحتاج للتدريب يعمل على محورين:

• المزج المتكيف مع الرؤوس (Head-Adaptive Blend): تتخصص رؤوس انتباه مختلفة في أدوار زمنية مختلفة. يقيس NestedKV القدرة التمييزية لكل مقياس لكل رأس (الفجوة بين أعلى وأدنى الرموز) ويستخدم دالة softmax مع أولوية لوغاريتمية ثابتة لوزن المقاييس. هذا يخلق درجة مزج $a_{blend}(i)$.
• توجيه بوابة المفاجأة (Surprise-Gated Routing): تحسب الطريقة "المفاجأة الناجمة عن الضغط" باعتبارها الانحراف المعياري لدرجات الشذوذ الثلاث.
  • المفاجأة المنخفضة: تتفق المقاييس الثلاثة؛ يحتفظ الرمز بالدرجة المزجة.
  • المفاجأة العالية: تختلف المقاييس (على سبيل المثال، الرمز نموذجي عالمياً ولكنه شاذ محلياً). في هذه الحالة، توجه الطريقة الدرجة إلى أقوى ذاكرة فردية ($a_{win}(i) = \max(a_s, a_e, a_c)$) لتجنب تلاشي الإشارات الحرجة بسبب المتوسط.

3. تخصيص الذاكرة على مستوى الرأس

بدلاً من تخصيص الذاكرة بشكل موحد عبر الرؤوس، ينفذ NestedKV آلية ميزانية تنافسية. فهو يختار أزواج (الرمز-الرأس) ذات البواقي العالمية الأعلى عبر الطبقة، مع مراعاة ضمانة لكل رأس (لضمان احتفاظ كل رأس بحد أدنى من الحالة). هذا يوزع ميزانية الطبقة وفقاً لمكان كون إشارات الذاكرة المستمرة أكثر مفاجأة.

المساهمات الرئيسية

1. إعادة صياغة الضغط: يعيد المؤلفون صياغة ضغط مخزن KV دون تدريب كعملية كشف عن شذوذ الذاكرة المستمرة عبر تدفق المفاتيح، مما يوفر تفسيراً للتعلم المتداخل لطرد الرموز كصيانة ذاكرة مقيدة أثناء اختبار الوقت.
2. خوارزمية NestedKV: تقديم طريقة تستخدم إحصائيات المفاتيح لثلاثة مقاييس زمنية (مستقرة، عرضية، حالية) كمتعلمين داخليين، يتم دمجها عبر متعلم خارجي لا يحتاج للتدريب يتكيف مع كل رأس ويوجه بناءً على المفاجأة الناجمة عن الضغط.
3. التحقق التجريبي: تقييم واسع النطاق عبر ستة معايير (RULER, LongBench, LooGLE, LongBench-E, InfiniteBench, MMLU-Pro) على نماذج Qwen3 و Llama-3.2، مما يثبت أن التصنيف متعدد المقاييس الزمنية مفيد بشكل خاص تحت الضغط الشديد.

النتائج التجريبية

يركز التقييم على نماذج Qwen3-4B و Llama-3.2-3B-Instruct عبر أطوال سياق متنوعة (4k–32k) ونسب استبقاء ($r \in \{0.25, 0.50, 0.75, 0.85, 0.95\}$).

• الأداء تحت الضغط الشديد: يظهر NestedKV أقوى ميزة له عندما يكون المخزن المحتفظ به صغيراً. في RULER (سياق 4k، $r=0.75$)، يحسن NestedKV الأداء عن خط الأساس القوي KeyDiff بمقدار 19.10 نقطة على Qwen3-4B.
• LongBench: عند $r=0.75$، يحقق NestedKV متوسط درجة قدره 50.06 على Qwen3-4B، متفوقاً بشكل كبير على KeyDiff (30.77). عند الضغط الشديد ($r=0.95$)، يحتفظ NestedKV بـ 37.32 نقطة، بينما ينخفض KeyDiff إلى 17.55.
• المتانة: تحافظ الطريقة على أداء يقارب الأداء الكامل لـ KV في معايير المعرفة ذات السياق القصير (MMLU-Pro) حتى عند نسب ضغط عالية، مما يشير إلى أنها لا تضر بالقدرة على التعامل مع المطالبات القصيرة.
• دراسات الاستئصال (Ablation Studies): يؤدي إزالة إما حالة الذاكرة المستمرة أو التخصيص التكيفي على مستوى الرأس إلى انخفاض كبير في الأداء (حوالي 8 نقاط لكل منهما). إزالة كليهما يؤدي إلى انخفاض قدره ~19 نقطة، مما يشير إلى أن المكونات تآزرية.
• الكفاءة: تضيف الطة عبئاً ضئيلاً، حيث يظل زمن انتقال التعبئة (prefill latency) ضمن حدود 0.5% من خطوط الأساس أحادية المرتكز مثل KeyDiff، بينما يظل زمن انتقال فك التشفيد (decoding latency) وذروة الذاكرة متطابقين تقريباً مع الطرق المضغوطة الأخرى.

الأهمية والادعاءات

تدعي الورقة أن NestedKV يعالج القصور الهيكلي لطرق الضغط أحادية المرتكز. ومن خلال نقل درجة الضغط من مساحة الانتباه إلى تدفق المفاتيح باستخدام رؤية الذاكرة المستمرة، تنجح الطريقة في الاحتفاظ بالرموز التي تكون متميزة على المقاييس العالمية أو المحلية أو الفورية.

يؤكد المؤلفون أن الفائدة الرئيسية لـ NestedKV ليست بالضرورة ذروة الأداء عند نسب الضغط المنخفضة، بل هي التدهور التدريجي السلس (graceful degradation) مع تقلص ميزانية الذاكرة. يسمح التصنيف متعدد المقاييس الزمنية للنموذج بالحفاظ على رموز داعمة متنوعة قد تقوم طرق الإشارة الواحدة (التي تعتمد على الانتباه أو التميز العالمي وحده) بطردها عن طريق الخطأ. لا تتطلب الطريقة أي تدريب، ولا تعديل للنموذج اللغوي الكبير الأساسي، وهي متوافقة مع نوى الانتباه المحسنة.

القيود التي لاحظها المؤلفون:

• افتراض أن التكرار بالنسبة للإحصائيات المستقرة/العرضية/الحالية هو إشارة مفيدة قد يكون أضعف في مهام إكمال الكود (code-completion) حيث يكون النمط المراد الحفاظ عليه هو التكرار المحلي.
• الطريقة محدودة بالنماذج مفتوحة الأوزان المجمدة ولا تتعلم معاملات خاصة بالمهمة أو تعدل نوى فك التشفيد.