ملخص تقني: HeadQ: التشويه المرئي للنموذج وتصحيح فضاء الدرجات لتقنيات تكميم ذاكرة التخزين المؤقت (KV-Cache)

1. بيان المشكلة

تعتمد طرق تكميم ذاكرة التخزين المؤقت (KV-cache) الحالية بشكل أساسل على تحسين إعادة بناء مساحة التخزين، وعادةً ما تقلل من متوسط مربع الخطأ (MSE) بين المفاتيح والقيم الأصلية والمكممة. ومع ذلك، يرى المؤلفون أن هذا الهدف لا يتوافق مع كيفية استهلاك آليات الانتباه لبيانات الذاكرة المخبئية.

• المفاتيح (Keys) تُقرأ من خلال الدرجات (logits) (درجات استعلام-مفتاح)، مما يعني أن إسقاطات خطية محددة فقط للمفاتيح هي التي تؤثر على توزيع الانتباه.
• القيم (Values) تُقرأ من خلال القراءة الموزونة بالانتباه ($\sum p_j v_j$).

يفترض البحث أن خطأ الذاكرة المخبئية المستمر يجب أن يُقاس في إحداثيات مرئية للنموذج بدلاً من إحداثيات التخزين الإقليدية الخام. يمكن أن يكون للاضطراب تأثير كبير في MSE التخزيني، لكنه يكون صفري التأثير على الانتباه (إذا وقع في اتجاه "صفري بالنسبة لـ softmax")، أو قد يكون له MSE تخزيني صغير ولكن ضرر كارثي على الانتباه (إذا أثر على الاتجاه "المرئي للدرجة"). هذا عدم التطابق يؤدي إلى استراتيجيات تكميم دون المستوى، حيث تهدر البتات على مكونات غير ذات ص relevance بينما تفشل في حماية المكونات الحرجة سلوكياً.

2. الأساس النظري: الهندسة المرئية للنموذج

يضع البحث إطاراً هندسياً يميز بين خطأ التخزين والخطأ السلوكي:

2.1 فضاء درجة المفتاح (هندسة فيشر)

بالنسبة لاستعلام ثابت $q$، فإن اضطراب المفتاح $\delta k_j$ يستحث اضطراباً في الدرجة $\delta s_j = q^\top \delta k_j / \sqrt{d}$.

• الاتجاهات الصفرية لـ Softmax: الإزاحة المشتركة بين الرموز (إضافة متجه ثابت $\mu$ إلى جميع المفاتيح) تضيف مقداراً ثابتاً إلى جميع الدرجات. وبما أن الـ softmax ثابتة تجاه الإزاحات الثابتة، فإن هذا الاضطراب يكون صفرياً بالنسبة لـ softmax ويسبب ضرراً صفرياً للانتباه، رغم أنه قد يسبب MSE تخزينياً كبيراً.
• الفضاء المرئي للدرجة: يعتمد الانتباه فقط على المعاملات النشطة المركزية لاضطراب المفتاح بالنسبة للاستعلام.
• معلومات فيشر (Fisher Information): يتم التقاط الهندسة المحلية من الدرجة الثانية لتوزيع softmax عبر مصفوفة معلومات فيشر. ويستنتج البحث أن تباعد KL بين توزيعات الانتباه الأصلية والمضطربة يتناسب محلياً مع التباين الموزون بفيشر لأخطاء الدرجة (المعادلة 6)، وليس MSE المفتاح الخام.

2.2 هندسة قراءة القيم

تُستهلك القيم عبر مجموع موزون. بالنسبة لأوزان انتباه ثابتة $p$، يكون خطأ القراءة $\Delta o = \sum p_j \Delta v_j$.

• يقترح البحث تشويه الرمز الموزون بـ $A^2$ كبديل مناسب لخطأ القيمة. وخلافاً لـ MSE القيمة الخام، يقوم هذا المقياس بوزن تشويه كل رمز بناءً على مربع احتمال الانتباه الخاص به ($p_j^2$)، مما يعكس حقيقة أن الأخطاء في الرموز ذات الانتباه العالي تساهم بشكل أكبر في خطأ المخرجات.

3. المنهجية: HeadQ

HeadQ هي طريقة تكميم لجانب المفتاح مصممة للحفاظ على المتبقي "المرئي للدرجة" بدلاً من متجه المفتاح الخام.

نظرة عامة على الخوارزمية

1. المعايرة (Calibration): لكل طبقة ورأس (head)، يتم تعلم أساس منخفض الرتبة $U_h$ (رتبة $r$) عبر تحليل المكونات الرئيسية (PCA) من استعلامات المعايرة (بعد تطبيق RoPE).
2. كتابة الذاكرة المخبئية (Cache Write):
   • يقوم مكمم منخفض البتات قياسي $B_b$ بإنشاء مفتاح أساسي $\hat{k}^{base}_j$.
   • يتم حساب المتبقي $e_j = k_j - \hat{k}^{base}_j$.
   • يتم إسقاط المتبقي على الأساس المتعلم: $z_j = Q_q(U_h^\top e_j)$، حيث $Q_q$ هو مكمم جانبي منخفض البتات.
   • تخزن الذاكرة المخبئية المفتاح الأساسي والرمز الجانبي $z_j$.
3. قراءة الذاكرة المخبئية (Cache Read - الاستدلال):
   • يُستخدم الاستعلام الحالي $q$ لفك تشفير الرمز الجانبي.
   • يتم تطبيق تصحيح لوجيت إضافي:
     $$\hat{s}_j = \frac{q^\top \hat{k}^{base}_j}{\sqrt{d}} + \frac{q^\top U_h \hat{z}_j}{\sqrt{d}}$$
   • يستهدف هذا التصحيح مباشرة خطأ الدرجة، متجاوزاً الحاجة إلى إعادة بناء متجه المفتاح الكامل.

التمييز الجوهري: لا تقوم HeadQ بتخزين الاستعلام الحالي؛ بل تخزن رمزاً متبقياً في أساس متعلم من المعايرة يمكن للاستعلام أثناء وقت التشغيل فك تشفيره إلى تصحيح للدرجة (logit correction).

4. المساهمات الرئيسية

1. صياغة التشويه المرئي للنموذج: حدد البحث تشويه المفتاح كـ "خطأ مرئي للدرجة modulo الإزاحات الثابتة" وتشويه القيمة كـ "خطأ مرئي للقراءة مع بديل قطري $A^2$". وهذا يفسر لماذا يعد MSE الخام مقياساً سيئاً للأداء السلوكي.
2. خوارزمية HeadQ: خوارزمية عملية للكتابة/القراءة من الذاكرة المخبئية تقوم بتخزين رمز متبقي منخفض الرتبة في أساس مستخلص من الاستعلام وتطبقه كتصحيح لوجيت إضافي.
3. سلسلة أدلة قابلة للتفنيد:
   • تفوق المقياس: يتنبأ خطأ فيشر/فضاء الدرجة بتباعد KL للانتباه بشكل أفضل بكثير (زيادة في معامل سبيرمان $\rho \approx 0.62\text{--}0.69$) مقارنة بـ MSE المفتاح الخام عبر ستة نماذج.
   • الأمثلة المضادة: أظهرت التجارب المقترنة أن المكمم الذي يمتلك MSE تخزين أقل يمكن أن يسبب KL انتباه وخطأ مخرجات أعلى، مما يثبت أن MSE التخزيني ليس بديلاً كافياً.
   • تدخلات الفضاء الصفري: أدى استعادة مكون المتوسط "الصفري لـ softmax" (الذي يتجاهله الانتباه الكثيف) إلى زيادة حادة في ضرر فيشر للمكممات ذات الشبكة الثابتة غير المتوافقة، مما يثر أن هدر الإحداثيات التخزينية يكسر الأداء الس سلوكي.
   • القابلية للنشر: نجحت قواعد PCA الخاصة بالاستعلامات المتعلمة من بيانات المعايرة في تقريب المتبقي النشط، بينما فشلت القواعد العشوائية ذات الميزانية نفسها.
   • الاتجاهية: عكس إشارة تصحيح HeadQ (التحكم بـ "الإشارة الخاطئة") تسبب في فشل كارثي، مما يؤكد أن الطريقة تعمل من خلال تصحيح كائن الدرجة المحدد في الاتجاه الصحيح.

5. النتائج التجريبية

أجريت التجارب على WikiText-103 باستخدام ستة نماذج (GPT-2, Pythia, Qwen2, Qwen2.5, TinyLlama, Mistral).

• تجارب المفتاح فقط (القيم الكثيفة):
  • في أكثر الصفوف تضرراً عند 2-بت، تزيل HeadQ (رتبة 4) ما يقرب من 84-94% من الإرباك الزائد (Pelles) مقارنة بخط أساس شبيه بـ KIVI لنماذج مثل Qwen2 وPythia وGPT-2.
  • تظهر TinyLlama تحسناً ملموساً؛ بينما تقترب Mistral بالفعل من أداء النموذج الكثيف في هذا البروتوكول.
• تركيبة KV الكاملة (2-بت):
  • دمج HeadQ (جانب المفتاح) مع سياسة القيمة الموزونة بـ $A^2$ يحسن الأداء عبر جميع النماذج الستة عند دقة 2-بت.
• تحليل الشذوذ:
  • أظهر نموذج Pythia-160M ارتباطاً أضعف بين فيشر وKL في أنظمة "قلب المسار" (route-flip) منخفضة الإنتروبيا (حيث تقلب الاضطرابات الصغيرة الرمز الأول)، وهذا الشذوذ كان محصوراً في حدود عائلية محددة وضعف في نسخ Pythia الأكبر (410M, 1B).

6. الأهمية والادعاءات

يدعي البحث أن مطابقة المشغل (operator matching) هي الدرس التصميمي الحرج لتكميم ذاكرة التخزين المؤقت (KV-cache):

• المفاتيح هي أجسام درجات؛ لذا يجب أن يحافظ الضغط على المتبقيات المرئية للاستعلام ويتجنب هدر الدقة في إزاحات softmax-null.
• القيم هي أجسام قراءة؛ لذا يجب أن يعطي الضغط الأولوية للخطأ الموزون بـ $A^2$.

يؤكد المؤلفون صراحة أن هذا العمل آلي وتشخيصي، وليس ادعاءً بنظام خدمة جاهز للإنتاج. هم لا يدعون تحسين النواة (kernels) المعبأة، أو زمن الوصول، أو الإنتاجية. تكمن الأهمية في:

1. تصحيح الهدف النظري لتكميم KV-cache من إعادة بناء التخزين إلى التشويه المرئي للنموذج.
2. توفير طريقة قابلة للنشر (HeadQ) تحقق استعادة كبيرة للارتباك (PPL) في الأنظمة منخفضة البت عبر استهداف الهندسة الصحيحة للخطأ.
3. إثبات أن مقاييس التخزين القياسية (MSE) يمكن أن تكون مضللة سلوكياً، مما يستوجب التحول نحو بدائل فضاء الدرجة.

يخلص البحث إلى أن الخطوة التالية هي توسيع هذه الرؤية المتوافقة مع المشغل لتصبح ترميزاً (codec) كاملاً لـ KV-cache، بدلاً من معاملة MSE التخزين كهدف افتراضي.