ملخص تقني: SAKI (الفهرسة منخفضة الرتبة المعتمدة على الدرجة)

بيان المشكلة

في عمليات فك التشفير ذات السياق الطويل (مثل 1 مليون توكن)، تستهلك ذاكرة التخزين المؤقت لـ KV (الـ KV cache) لنموذج بـ 8 مليارات بارامتر مساحة كبيرة من الذاكرة (~130 جيجابايت بتنسيق bf16)، مما يجعل عملية الاسترجاع عنق زجاجة حرجاً. تندرج استراتيجيات الفهرسة منخفضة الرتبة الحالية لـ KV cache ضمن فئتين، كلتاهما تفشل في تحسين المقياس الفعلي المستخدم في آليات الانتباه (Attention):

1. التقليص من جانب الأوزان (Weight-side truncation): الطرق التي تقلص مصفوفات الإسقاط (مثل Weight-SVD) تحسن هندسة العامل (operator geometry) ولكنها تتجاهل توزيع البيانات، مما يؤدي إلى ضعف في دقة الاستدعاء (0.366 عند الرتبة $r=32$).
2. إعادة البناء المعتمدة على البيانات (Data-aware reconstruction): طرق مثل Key-PCA تحافظ على تباين المفاتيح (keys) تحت توزيع التنشيط. ومع ذلك، تُحسب درجات الانتباه كـ $s = q^\top k$. قد لا يتم قراءة اتجاه ذي تباين عالٍ في المفتاح أبداً من قبل الاستعلام (query)، بينما قد يهيمن اتجاه ذو تباين متوسط ولكن يتم تضخيمه بواسطة إسقاط الاستعلام ($W_Q$) على الدرجة.

المشكلة الجوهرية هي أن أيتا فئة لا تحسن ترتيب درجات الانتباه (attention score ranking)، وهو الهدف الحقيقي لاسترجاع KV.

المنهجية: SAKI

يشتق البحث التشويه المتوقع لدرجات الانتباه الناتج عن ضغط المفاتيح من الرتبة $r$ ويقترح SAKI (الفهرسة منخفضة الرتبة المعتمدة على الدرجة)، وهي طريقة فهرسة خالية من التدريب (training-free) تعمل على تحسين هذا التشويه مباشرة.

1. الاشتقاق النظري

يعرّف المؤلف التشويه المتوقع للدرجة $L(P)$ لخريطة خطية من الرتبة $r$ تُطبق على المفاتيح. في ظل نموذج استعلام/مفتاح مستقل مع العزوم الثانية $\Sigma_q$ و $\Sigma_k$، وعامل الانتباه $A = W_Q^\top W_K$:
$$L(P) = \mathbb{E}[(q^\top A (I-P) k)^2] = \|\Sigma_q^{1/2} A (I-P) \Sigma_k^{1/2}\|_F^2$$
يكشف هذا الصياغة أن الفهرس الأمثل هو تقريب منخفض الرتبة ثنائي الجانب وموزون بالتباين (two-sided covariance-weighted low-rank approximation). بخلاف PCA، الذي يستخدم وزناً أحادي الجانب ($\Sigma_k$)، يقوم SAKI بوزن التقريب بكل من إحصائيات الاستعلام ($\Sigma_q$) وإحصائيات المفتاح ($\Sigma_k$)، بوساطة عامل تسجيل النموذج $A$.

2. الحل الدقيق

يثبت البحث أن الرتبة $r$ المثلى لـ $L(P)$ ليست مسقطاً (projector) كما في PCA، بل هي تحليل ثنائي الخطية (bilinear factorization) غير متماثل منخفض الرتبة.

• ليكن $C = \Sigma_q^{1/2} \Sigma_k^{1/2}$ (في إحداثيات الرأس حيث يتم استيعاب $A$).
• الخريطة المثلى $M_r$ مشتقة من تحليل SVD المبتور لـ $C$: $C_r = U_r \Lambda_r V_r^\top$.
• الحل هو $M_r = \Sigma_q^{-1/2} C_r \Sigma_k^{-1/2}$.
• التمييز الجوهري: $M_r$ ليس متماثلاً بشكل عام ($M_r^2 \neq M_r$). إنه خريطة درجة خطية مثلى، وليس مسقطاً مائلاً (oblique projector). وهذا يسمح له بالتقاط الاتجاهات التي لا تستطيع الطرق القائمة على الفضاءات (span-based methods) -بما في ذلك PCA- التعبير عنها.

3. الخوارزمية (SAKI)

الطريقة خالية من التدريب وتتطلب تمريرة معايرة واحدة فقط:

1. حساب التغاير لكل رأس $\Sigma_q$ (العزم الثاني غير المركزي للاستعلامات قبل RoPE) و $\Sigma_k$ (المفاتيح المركزية).
2. حساب المصفوفة $C = \Sigma_q^{1/2} \Sigma_k^{1/2}$.
3. إجراء SVD على $C$ للحصول على $U_r, \Lambda_r, V_r$.
4. بناء مصفوفات الضغط $B_k$ و $B_q$ لتخزين المفاتيح كرموز $c_j = B_k^\top (k_j - \mu)$ وإعادة بناء الدرجات عبر $(B_q^\top q)^\top c_j$.
5. يمكن طي هذه الخرائط (fold) خارجياً (offline) في أوزان $W_Q$ و $W_K$ الخاصة بالنموذج.

المساهمات الرئيسية

1. صياغة المشكلة: تحديد التشويه المتوقع لدرجة الانتباه كهدف صحيح لاسترجاع KV، مما أدى إلى مشكلة تقريب موزونة بالتباين ثنائية الجانب.
2. الحل الدقيق: اشتقاق حل ثنائي الخطية غير متماثل من الرتبة $r$ يتفوق تماماً على أي طريقة مقيدة بالفضاء (projector-based).
3. التحقق التجريبي: إثبات أن فرضية الاستقلال النظرية (المستخدمة لاشتقاق الشكل المغلق) تتحقق بدقة شبه كاملة ($r=0.997$ معامل ارتباط بيرسون بين التنبؤ وتقليل خطأ MSE الفعلي للدرجة).
4. تشخيص هندسة العامل: تحليل يظهر أن عوامل درجات الانتباه غير طبيعية (non-normal) للغاية (متوسط انحراف Henrici هو 0.95–0.98) وتمتلك أطيافاً ذات ذيول ثقيلة. وهذا يفسر لماذا يفشل الاختزال المقتصر على الأوزان (بإهمال الاتجاهات النشطة) ولماذا تفشل طرق الفضاء الثابت (بقطع الارتباطات بين الفضاءات الفرعية التي تشبه شكل "المركز" أو الـ hub).

النتائج التجريبية

قام المؤلف بتقييم SAKI على أربعة نماذج (LLaMA-3.1-8B, Qwen2.5-7B, Mistral-7B-v0.1, Llama-3.2-3B) باستخدام بروتوكول نص طبيعي بطول 4,096 توكن واستعلامات دقيقة، مع قياس استدعاء أفضل 64 نتيجة (top-64 recall).

• الأداء: يتفوق SAKI على Key-PCA عند كل رتبة ($r=16, 32, 64$) وعلى كل نموذج.
  • عند $r=32$، يزيل SAKI ما يعادل 13–30% من خطأ الاستدعاء المتبقي الذي تركه PCA.
  • مثال (LLaMA-3.1-8B): يتحسن الاستدعاء من 0.748 (PCA) إلى 0.799 (SAKI).
  • مثال (Qwen2.5-7B): يتحسن الاستدعاء من 0.786 (PCA) إلى 0.850 (SAKI).
• التحسن على مستوى الرؤوس: تظهر 68–89% من رؤوس الانتباه تحسناً في كل نموذج.
• التوزيع على مستوى الطبقات: تتركز المكاسب في الطبقات العميقة (مثل الطبقات 16–31)، حيث تتباعد هندسة الاستعلام والمفتاح بشكل أكبر.
• الدراسة الاستقصائية (Ablation): عزل المؤلف مصدر المكسب. النسخة التي تستخدم "الفضاء الموزون" (SAP-map) تؤدي بشكل أفضل من الفضاء الخام (PCA)، ولكن الحل غير المتماثل الدقيق (SAKI-opt) هو الأفضل قطعياً. وهذا يؤكد أن المكسب يأتي من دالة الهدف والتحليل ثنائي الخطية غير المتماثل، وليس مجرد إدخال مصفوفات التباين.

الأهمية والادعاءات

يدعي البحث أن النهج السابقة في المجال (سواء من جانب الأوزان أو إعادة بناء البيانات) تفشل لأنها تحسن الكمية الخاطئة. يعتمد الانتباه على التفاعل بين إحصائيات الاستعلام والمفتاح، وليس فقط تباين المفتاح.

• الصلاحية النظرية: الحل ذو الشكل المغلق المشتق ليس مجرد تجربة تقريبية؛ بل هو الحل الأمثل الدقيق لهدف تشويه الدرجة.
• الأثر العملي: يوفر SAKI بديلاً جاهزاً (drop-in replacement) وخالياً من التدريب للفهارس الحالية، مما يحسن دقة الاسترجاع بشكل كبير، خاصة في الطبقات العميقة حيث يكون الاسترجاع أكثر صعوبة.
• القيود: يشير المؤلف إلى أنه بينما يحسن SAKI الاستدعاء، فإنه لا يصل بعد إلى استدعاء 0.95 عند $r \le 32$. جودة التوليد من البداية إلى النهاية (end-to-end) والأداء في السياقات الأطول (أبعد من 4K) أو المجالات المختلفة لا تزال بحاجة إلى تحقق كامل. فرضية الاستقلال، رغم التحقق منها تجريبياً، هي تقريب فيما يتعلق بتدويرات RoPE.

يخلص البحث إلى أن الفهرسة المستقبلية يجب أن تحافظ على "هندسة العامل" (operator geometry) المحددة لآلية الانتباه، وتحديداً الارتباطات غير الطبيعية بين الفضاءات الفرعية (cross-subspace couplings) التي صُمم SAKI لالتقاطها.