ملخص تقني: RATEQUANT

بيان المشكلة

تتطلب النماذج اللغوية الكبيرة (LLMs) تخزين جميع أزواج (المفتاح-القيمة) [key-value KV] التي تم حسابها مسبقًا أثناء عملية التوليد، مما يخلق عنق زجاجة في الذاكرة يتوسع خطيًا مع طول التسلسل، وحجم الدفعة، وعمق النموذج. وبينما يقلل تكميم ذاكرة التخزين المؤقت لـ KV من هذا الأثر، فإن الطرق الحالية تخصص عرض البت نفسه لكل رأس انتباه (attention head) بشكل موحد. ويتجاهل هذا النهج التباين الموثق جيدًا في أهمية الرؤوس.

تعتمد المحاولات الأخيرة لتخصيص الدقة المختلطة على مستوى الطبقة أو القناة على قواعد تجريبية مرتبطة بمكممات محددة، وهي تفتقر إلى الضمانات النظرية والقابلية للنقل. وقد حدد المؤلفون عقبة أعمق لم تُدرك سابقًا، وهي: عدم تطابق نموذج التشوه (distortion model mismatch). تتبع المكممات المختلفة منحنيات تشوه-معدل (distortion-rate curves) متميزة، تُنمذج كـ $D(b) = \alpha \beta^{-b}$. ويختلف معدل الاضمحلال $\beta$ بشكل كبير بين التصميمات (على سبيل المثال، من 3.6 في TURBOQUANT إلى 5.3 في QuaRot). إن التطبيق الساذج لاستراتيجية تخصيص الدقة المختلطة المستمدة من نموذج تشوه مكمم واحد على مكمم آخر يؤدي إلى عكس ترتيب المكاسب الهامشية لرؤوس الانتباه، مما يؤدي غالبًا إلى أداء أسوأ من التكميم الموحد.

المنهجية

يعالج RATEQUANT هذه التحديات من خلال صياغة تخصيص بتات ذاكرة التخزين المؤقت لـ KV لكل رأس كمسألة تحسين معدل-تشوه (rate-distortion optimization). تتكون الإطار العملي من أربع مراحل:

1. صياغة المشكلة والتخصيص الأمثل

يصيغ المؤلفون متوسط مربع الخطأ (MSE) لتكميم كل رأس كدالة أسية لعرض البت: $D(b) = \alpha \beta^{-b}$. والهدف هو تقليل مجموع التشوهات الموزونة عبر $N$ من مجموعات التكميم (الرؤوس) مع إجمالي ميزانية بتات $B$:
$$\min_{b} \sum_{i=1}^{N} w_i \cdot D(b_i) \quad \text{subject to} \quad \sum b_i = B$$
حيث تمثل $w_i$ حساسية الرأس $i$.

باستخدام ثبات لاغرانج (Lagrangian stationarity)، استنتج المؤلفون حلاً مغلق الصيغة عبر طريقة ملء المياه العكسي (reverse waterfilling):
$$b^*_i = \bar{b} + \frac{\ln w_i - \ln \bar{w}}{\ln \beta}$$
حيث $\bar{b}$ هو متوسط عرض البت و $\bar{w}$ هو المتوسط الهندسي للحساسيات. يخصص هذا الحل بتات أكثر للرؤوس ذات الحساسية الأعلى. نظريًا، يتم تقييد خفض التشوهات القابل للتحقيق بنسبة المتوسط الحسابي إلى المتوسط الهندسي (AM/GM) لحساسيات الرؤوس.

2. تقدير الحساسية

لتحديد الأوزان $w_i$، يستخدم RATEQUANT الحساسية القائمة على التدرج (gradient-based sensitivity). حيث يحسب معيار مربعات التدرجات لمخرجات إسقاط KV بالنسبة لخسارة نمذجة اللغة السببية:
$$w_{l,h} = \mathbb{E}_{x \sim \mathcal{D}} \left[ \frac{1}{T} \sum_{t=1}^{T} \left\| \frac{\partial \mathcal{L}}{\partial K_{l,h,t}} \right\|^2 \right]$$
أثبت المؤلفون أن المقاييس القائمة على التدرج تتفوق على المقاييس القائمة على التنشيط (مثل حجم القناة)، والتي تقيس تضخيم الخطأ بدلاً من تأثير الخسارة المباشر. تكشف الحساسية القائمة على التدرج عن نمط أهمية على شكل حرف U (حساسية عالية في الطبقات المبكرة والمتأخرة)، بينما تظهر المقاييس القائمة على التنشيط زيادة أحادية الاتجاه مع العمق.

3. التخصيص الصحيح والامتدادات

بما أن عرض البت يجب أن يكون أعدادًا صحيحة، يتم تنقيح الحل المستمر باستخدام خوارزمية الربح الهامشي الجشعة (greedy marginal gain algorithm) (الخوارزمية 1). تقوم هذه الخوارزمية بتخصيص البتات بشكل تكراري للرأس الذي يقدم أعلى تقليل في التشوه الموزون حتى استنفاد الميزانية.

هناك امتدادان حاسمان يجعلان RATEQUANT غير مرتبط بمكمم معين:

• معايرة التشوه: بدلًا من افتراض $\beta$ عالمي، يقوم RATEQUANT بملاءمة نموذج تشوه ($\alpha, \beta$) لكل مكمم باستخدام مجموعة معايرة صغيرة (16 تسلسلاً). هذا يمنع نمط الفشل المتمثل في "عدم تطابق نموذج التشوه".
• الفصل بين K و V: إدراكًا لأن المفاتيح (keys) والقيم (values) غالبًا ما تستخدم مخططات تكميم مختلفة (على سبيل المثال، متماثل لكل قناة للمفاتفات مقابل غير متماثل لكل رمز للقيم في KIVI)، يعامل الإطار العملي كل منهما كـ $2N$ من المكونات المستقلة ذات منحنيات تشوه متميزة. يسمح هذا للخوارزمية باكتشاف ميزانيات بتات غير متماثلة (على سبيل المثال، تخصيص بتات أكثر للمفاتيح مقارنة بالقيم).

4. خط الإنتاج (Pipeline)

تتضمن العملية تكاليف غير متكررة (offline):

1. معايرة الحساسية: تمريرات أمامية وخلفية على مجموعة بيانات صغيرة (~1.6 ثانية لنموذج 8B).
2. نمذجة التشوه: ملاءمة $\alpha$ و $\beta$ عند 5 عروض بت (<0.1 ثانية).
3. التخصيص: تشغيل الخوارزمية الجشعة (<0.01 ثانية).
4. الاستدلال: تطبيق عرض البتات الثابت مع صفر من التكاليف وقت التشغيل.

النتائج الرئيسية

أُجريت التجارب على نماذج Qwen3 (4B, 8B, 32B) باستخدام إدراك النص (perplexity - PPL) لـ WikiText-2 والمهام النهائية (ARC-Challenge, HellaSwag, إلخ).

• حل عدم التطابق: تطبيق نموذج تشوه غير متطابق (على سبيل المثال، استخدام $\beta$ الخاص بـ TURBOQUANT لـ KIVI) أدى إلى تدهور PPL الخاص بـ KIVI من 49.3 إلى 87.0 عند 2.5 متوسط بت. نجح RATEQUANT المعاير في حل ذلك، مما قلل PPL إلى 14.9 (انخفاض بنسبة 70%).
• مكاسب الأداء:
  • KIVI (2.5 بت): حسن RATEQUANT قيمة PPL من 49.3 إلى 14.9.
  • QuaRot (2.5 بت): حسن PPL بمقدار 6.6 نقطة.
  • TURBOQUANT (4.0 بت): استعاد 66% من التدهور الناتج عن التكميم لنموذج Qwen3-8B.
• الفصل بين K/V: بالنسبة لـ KIVI عند 2.5 بت، كان التخصيص الأمثل الذي اكتشفه RATEQUANT هو 2.85 بت للمفاتيح و 2.15 بت للقيم، وهو ما تفوق بشكل كبير على التخصيص المشترك.
• الكفاءة: لا تضيف الطريقة أي عبء على وقت التشغيل. تستغرق المعايرة أقل من ثانيتين على وحدة معالجة رسومات واحدة.
• دقة المهام النهائية: عند 4.0 بت، حقق RATEQUANT متوسط دقة 64.2% في المهام النهائية، وهو ما يقارب تقريبًا خط الأساس FP16 (64.4%) واستعاد 89.8% من فجوة الدقة.

الأهمية والادعاءات

يزعم البحث أن RATEQUANT هو أول إطار عمل يطبق نظرية المعدل-التشوه (rate-distortion theory) على تكميم ذاكرة التخزين المؤقت لـ KV على مستوى الرأس الواحد (per-head granularity) مع معالجة الاختلافات الهيكلية بين المفاتيح والقيم.

النتيجة المركزية هي أن عدم تطابق نموذج التشوه هو نمط فشل حرج في تخصيص الدقة المختلطة. بدون معايرة منحنى التشوه ($\beta$) لمكمم القاعدة المحدد، يمكن أن تكون استراتيجيات الدقة المختلطة ضارة. من خلال الجمع بين:

1. الحساسية القائمة على التدرج (المتفوقة على مقاييس التنشيط)،
2. معايرة التشوه التجريبية (للمطابقة مع المكمم)، و
3. الفصل بين K/V (للتعامل مع خصائص الخطأ غير المتماثلة)،

يحول RATEQUANT تخصيص الدقة المختلة لـ KV إلى طبقة تخصيص عامة وغير مرتبطة بمكمم معين. يرى المؤلفون أن نسبة AM/GM لحساسيات الرؤوس تعمل كمؤشر عملي لمعرفة متى سيؤدي تخصيص الدقة المختلطة إلى مكاسب كبيرة. يشير العمل إلى أن منظور المعدل-التشوه يمكن أن يتعمم على تخصيص الموارد في مكونات الشبكة العصبية غير المتجانسة الأخرى بخلاف ذاكرة التخزين المؤقت لـ KV.