🤖 machine learning

OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization

يُعد OSCAR طريقةً قابلة للنشر لتقنيات تكميم ذاكرة التخزين المؤقت (KV cache) بدقة بتّين (2-bit)، والتي تستفيد من تقدير التباين الطيفي غير المتصل (offline spectral covariance estimation) لاستخلاص تدويرات محاذية للانتباه وعتبات قصّ (clipping thresholds)، مما يُمكّن من تحقيق دقة تقارب عدم الفقد في مهام الاستدلال ذات السياق الطويل، مع تقليل استهلاك الذاكرة بشكل كبير وتحسين إنتاجية الاستدلال في أطر عمل خدمة النماذج اللغوية الكبيرة الحديثة.

المؤلفون الأصليون: Zhongzhu Zhou, Donglin Zhuang, Jisen Li, Ziyan Chen, Shuaiwen Leon Song, Ben Athiwaratkun, Xiaoxia Wu

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhongzhu Zhou, Donglin Zhuang, Jisen Li, Ziyan Chen, Shuaiwen Leon Song, Ben Athiwaratkun, Xiaoxia Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث OSCAR، مترجم إلى لغة يومية مع استخدام تشبيهات إبداعية.

المشكلة الكبيرة: "المُكنز المنسي"

تخيل نموذج لغة كبير (LLM) كأنه أمين مكتبة عبقري ولكنه كثير النسيان. عندما تطرح عليه سؤالاً طويلاً، يتعين عليه الاحتفاظ بقائمة مستمرة لكل ما قلته حتى الآن (ما يسمى بـ "KV Cache") لفهم السياق.

ومع طول المحادثة (التي قد تصل إلى 32,000 كلمة أو أكثر)، تصبح هذه القائمة ضخمة جداً. ولتخزينها، يحتاج أمين المكتبة إلى كمية هائلة من الذاكرة باهظة الثمن (مثل مستودع ضخم وعالي السرعة). وإذا امتلأ المستودع، سيضطر أمين المكتبة للتوقف عن العمل أو التباطؤ بشكل حاد.

هدف هذه الورقة البحثية هو تقليص حجم ذلك المستودع بمقدار 8 مرات دون أن ينسى أمين المكتبة أي شيء مهم. إنهم يريدون ضغط الملاحظات من "الدقة العالية" (BF16) إلى حجم "الرسم التخطيطي الصغير" (2-bit).

الطريقة القديمة: "خلط هادامارد"

في السابق، حاول الباحثون تقليص هذه الملاحظات ببساطة عن طريق إعادة ترتيب الكلمات. استخدموا خدعة رياضية تسمى دوران هادامارد (Hadamard rotation).

التشبيه: تخيل أن لديك غرفة فوضوية بها بعض الأرائك الضخمة والمزعجة (القيم المتطرفة/Outliers) والكثير من الكراسي الصغيرة. لا يمكنك وضعها جميعاً في صندوق صغير. كانت الطريقة القديمة هي أخذ خلاط عملاق وتدوير الغرفة حول نفسها. هذا يؤدي إلى توزيع الأرائـا الضخمة بحيث تبدو مثل كراسي أكبر قليلاً، مما يجعل من السهل تعبئتها.
العيب: هذا الخلط هو عملية "عمياء". فهي لا تعرف أي أجزاء من الغرفة هي المهمة فعلياً لعمل أمين المكتبة. عندما تضغط كل شيء إلى رسم تخطيطي صغير (2-bit)، فإن هذا الخلط الأعمى يتسبب بالخطأ في طمس التفاصيل الأكثر أهمية، مما يجعل أمين المكتبة يبدأ في "الهلوسة" أو تقديم إجابات خاطئة. الأمر يشبه محاولة تعبئة مزهرية رقيقة وحجر معاً في صندوق واحد؛ إذا قمت بهز الصندوق فقط، ستتحطم المزهرية.

الحل الجديد: OSCAR (المهندس المعماري الذكي)

يقترح المؤلفون نظام OSCAR (الدوران المدرك للتباين الطيفي خارج الخط - Offline Spectral Covariance-Aware Rotation). بدلاً من هز الغرفة بشكل عشوائي، يعمل OSCAR كمهندس معماري ذكي يدرس بالضبط كيف يعمل أمين المكتبة قبل بدء عملية التعبئة.

1. "المعايرة خارج الخط" (مرحلة الدراسة)

قبل أن يبدأ أمين المكتبة في خدمة العملاء، يأخذ OSCAR عينة صغيرة من المحادثات ويسأل: "أي أجزاء من الذاكرة يستخدمها أمين المكتبة فعلياً لاتخاذ القرارات؟"

التشبيه: تخيل أن أمين المكتبة عليه اختيار كتاب بناءً على سؤال محدد. يدرك OSCAR أن أمين المكتبة يهتم بشدة بـ لون غلاف الكتاب (الاستعلام/Query) لكنه لا يهتم كثيراً بـ سُمك الصفحات (القيمة/Value).
النتيجة: ينشئ OSCAR خريطة مخصصة (مصفوفة دوران) توائم تخزين الذاكرة مع هذه الاحتياجات المحددة. يضمن ذلك أن الأجزاء التي يهتم بها أمين المكتبة أكثر من غيرها يتم الحفاظ عليها بدقة عالية، بينما يتم ضغط الأجزاء الأقل أهمية بشكل أكثر عدوانية.

2. "التعبئة الذكية" (الدوران)

يستخدم OSCAR هذه الخريطة لتدوير البيانات إلى شكل مثالي لعملية الضغط.

التشبيه: بدلاً من مجرد تدوير الغرفة عشوائياً، يقوم OSCAR بإعادة ترتيب الأثاث بحيث تصطف جميع القطع الهشة بطريقة تناسب تماماً الصندوق الصغير. إنه يفصل "الاتجاهات المهمة" عن "الضجيج".
السحر: من خلال القيام بذلك، يمكنهم ضغط البيانات لتصل إلى 2 بت (صغيرة جداً) ومع ذلك يحافظون على دقة أمين المكتبة لتكون مطابقة تقريباً للنسخة الأصلية عالية الدقة.

3. "المستودع الهجين" (النظام)

لا يقوم OSCAR بضغط كل شيء دفعة واحدة. بل يستخدم نظاماً هجيناً ذكياً:

رموز "المصب" و"الأحدث" (Sink and Recent Tokens): الكلمات القليلة الأولى في بداية القصة، والكلمات القليلة الأخيرة (ما قلته للتو)، يتم الاحتفاظ بهما بدقة عالية. هذه هي الركائز الأكثر أهمية.
رموز "التاريخ" (History Tokens): الجزء الأوسط من المحادثة (التاريخ الطويل) هو الجزء الذي يتم ضغطه إلى الرسم التخطيطي الصغير (2-bit) باستخدام دوران OSCAR الذكي.

لماذا هذا مهم (النتائج)

اختبرت الورقة البحثية هذا النظام على بعض أذكى نماذج الذكاء الاصطنا الـمتاحة (مثل Qwen و GLM) مع سياقات طويلة جداً.

الدقة: عندما حاولت الطرق الأخرى الضغط إلى 2 بت، فقدت النماذج قدرتها على التفكير (انخفضت الدقة إلى ما يقرب من الصفر). أما OSCAR فقد حافظ على ذكاء النماذج ليكون مطابقاً تقريباً للنسخة الأصلية عالية الدقة.
السرعة والذاكرة: لأن البيانات أصغر بمقدار 8 مرات، يمكن للمستودع استيعاب 8 أضعاف المحادثات. وهذا يعني أن النظام يمكنه التعامل مع 7 أضعاف عدد المستخدمين في وقت واحد دون نفاد الذاكرة.
جاهز للاستخدام الواقعي: لم يكتفِ المؤلفون بكتابة نظرية فحسب؛ بل بنوا نظاماً يعمل بالفعل ويتناسب مع خوادم الذكاء الاصطنا الحديثة (SGLang و vLLM). الأمر يشبه أنهم لم يصمموا صندوقاً أفضل فحسب، بل بنوا شاحنة جديدة تستخدم هذا الصندوق وتتحرك بشكل أسرع.

الملخص

OSCAR هو وسيلة تمنع نماذج الذكاء الاصطناعي من "النسيان" عندما تحاول توفير الذاكرة. بدلاً من سحق البيانات بشكل عشوائي، يقوم أولاً بدراسة ما يهتم به الذكاء الاصطناعي فعلياً، ثم يعيد ترتيب البيانات لتناسب تلك الاحتياجات، ومن ثم يضغطها. يتيح ذلك للذكاء الاصطناعي تذكر كميات هائلة من المعلومات (مثل كتاب كامل) باستخدام جزء ضئيل من الذاكرة، دون فقدان ذكائه.

ملخص تقني: OSCAR - تدوير التباين الطيفي المعتمد على التغاير خارج الخط (Offline Spectral Covariance-Aware Rotation) لتقنين ذاكرة التخزين المؤقت KV بـ 2-بت

1. بيان المشكلة

تتعرض عملية الاستنتاج طويل السياق في النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لعنق زجاجة يتمثل في البصمة الذاكرية لذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache). ومع نمو طول السياق، وحجم الدفعة (batch size)، وعمق النموذج، تستهلك هذه الذاكرة مساحة كبيرة من ذاكرة وحدة معالجة الرسومات (GPU)، مما يحد من الإنتاجية والقابلية للتوسع. وبينما يوفر ضغط ذاكرة الـ KV إلى دقة منخفضة للغاية (مثل INT2) تقليصاً في الذاكرة بمقدار 8 أضعاف، إلا أنه يواجه تحدياً حرجاً في الدقة: تحتوي تنشيطات الـ KV على قيم شاذة (outliers) شديدة في القنوات (channel-wise).

تحت التقنين منخفض البت، تهيمن هذه القيم الشاذة على مقياس التقنين (quantization scale)، مما يجبر معظم القيم "الطبيعية" على الانحصار في عدد قليل من مستويات التقنين الفعالة، ويؤدي إلى تدهور شديد في جودة الانتباه (attention quality). تحاول الطرق الحالية القائمة على التدوير (مثل تحويلات هادامارد - Hadamard transforms) تنعيم هذه القيم الشاذة عن طريق إعادة توزيع الطاقة عبر القنوات. ومع ذلك، فإن هذه الطرق تفتقر إلى معرفة البيانات (data-oblivious)؛ فهي تعمل على تنعيم توزيع الـ cache الخام ولكنها تفشل في التوافق مع الاتجاهات المحددة التي تستهلكها آليات الانتباه اللاحقة. عند مستوى INT2، حيث لا توجد سوى أربعة مستويات تقنين، يتسبب هذا عدم التوافق في انهيار طرق التدوير الساذجة، مما يؤدي إلى دقة تقترب من الصفر في مهام الاستدلال.

2. المنهجية: OSCAR

يقترح المؤلفون OSCAR (تدوير التباين الطيفي المعتمد على التغاير خارج الخط)، وهي طريقة تقدّر هياكل التغاير المرتبطة بالانتباه خارج الخط لاستخلاص تدويرات ثابتة وعتبات قص (clipping thresholds) ثابتة. بخلاف الأعمال السابقة التي تقلل خطأ إعادة البناء الإقليدي الخام ( $\|K - \hat{K}\|_F$ )، يعمل OSCAR على تقليل التشوه في درجات الانتباه والمخرجات.

2.1 الدافع النظري

يجادل البحث بأن هدف التدوير الأمثل يجب أن يُشتق من إحصائيات عملية حساب الانتباه نفسها:

بالنسبة للمفاتيح (Keys - $K$ ): يتم التحكم في التشوه في لوجيتات الانتباه (attention logits) بواسطة تغاير الاستعلام $Q^\top Q$ ، وليس فقط تغاير المفتاح $K^\top K$ .
بالنسبة للقيم (Values - $V$ ): يتم وزن التشوه في مخرجات الانتباه بواسطة درجات الانتباه $S$ ، مما يؤدي إلى تغاير مستهدف هو $V^\top S^\top S V$ .

2.2 تصميم الخوارزمية

يعمل OSCAR في مرحلتين:

أ. مرحلة المعايرة خارج الخط (Offline Calibration Phase):

تقدير التغاير: باستخدام مجموعة بيانات معايرة صغيرة، تقوم الطريقة بحساب التغايرات المستهدفة التجريبية:
- $C_Q = \frac{1}{N} \sum q_n^\top q_n$ (مستهدف المفتاح المرتبط بالاستعلام).
- $C_S = \frac{1}{N} V^\top S^\top S V$ (مستهدف القيمة المرتبط بالدرجات).
اشتقاق التدوير: تقوم الطريقة بإجراء تحليل القيم الذاتية (eigen-decomposition) على هذه المصفوفات لإيجاد القواعد الذاتية المثلى ( $U_Q$ و $U_S$ ).
بناء التدوير المركب: يتم بناء مصفوفات التدوير النهائية ( $R_K, R_V$ $R_{K}, R_{V}$ ) كحاصل ضرب ثلاثة مكونات:
- $U_Q/U_S$ : القاعدة الذاتية المرتبطة بالانتباه والتي توائم القنوات مع اتجاهات الأهمية.
- $H_{Had}$ : تحويل هادامارد الذي يوحد مقياس الأهمية عبر القنوات ويوزع طاقة القيم الشاذة.
- $P_{br}$ : تبديل عكس البت (bit-reversal permutation) الذي يداخل القنوات ذات التباين العالي والمنخفض لضمان نطاقات ديناميكية متوازنة داخل مجموعات التقنين.
- الصيغة: $R_K = U_Q H_{Had} P_{br}$ و $R_V = U_S H_{Had} P_{br}$ .
عتبات القص (Clipping Thresholds): يتم تقدير عتبات القص لكل طبقة من تنشيطات المعايرة المدورة للتحكم في القيم الشاذة.

ب. مرحلة الخدمة عبر الإنترنت (Online Serving Phase):

تخطيط الدقة المختلطة (Mixed-Precision Layout): يحافظ النظام على ذاكرة KV cache بنظام الصفحات (paged) حيث يتم الاحتفاظ بالرموز "الغارقة" (sink tokens - الأولية) والرموز "الأخيرة" بدقة BF16 كاملة. أما السياق الأوسط التاريخي، فيُخزن بتنسيق INT2 بعد تطبيق تدوير OSCAR الثابت والقص.
تكامل النواة (Kernel Integration): طور المؤلفون نواة Triton مدمجة ومخصصة لإطار عمل SGLang. تتعامل هذه النواة مع فك الحزم (unpacking)، وإلغاء التقنين، والتدوير العكسي، وحساب الانتباه لـ INT2 التاريخي، مما يضمن التوافق مع الـ paged attention و الـ prefix caching دون إدخال حركة مرور إضافية في الذاكرة.

3. المساهمات الرئيسية

تحديد الهدف المفقود: حدد البحث أن التدويرات العامة تشتت القيم الشاذة ولكنها تفشل عند مستوى INT2 لأنها لا تتوافق مع عمليات الانتباه اللاحقة. يجب أن يكون هدف التدوير مستحثاً من إحصائيات الانتباه ( $Q^\top Q$ و $V^\top S^\top S V$ )، وليس مجرد إعادة بناء الـ cache الخام.
إطار عمل OSCAR: نظام متكامل لتقنين ذاكرة الـ KV بـ 2-بت يستخدم المعايرة خارج الخط للاشتقاق التدويرات المرتبطة بالانتباه. تُظهر التحليلات النظرية أن هذه الأهداف مثالية تحت فرضية الخطأ البديل المجمد.
نظام جاهز للإنتاج: نواة انتباه مخصصة لـ INT2 مدمجة في إطار عمل SGLang تدعم تخطيطات paged KV-cache و prefix caching. يحقق النظام تكاملاً سلسًا مع أطر العمل الحديثة (SGLang, vLLM) مع الحفاظ على إنتاجية عالية.

4. النتائج التجريبية

قيم المؤلفون OSCAR على نماذج الاستدلال (Qwen3-4B, Qwen3-8B, Qwen3-32B) ونموذج رائد (GLM-4.7، بـ 358 مليار معلمة) عبر خمسة اختبارات مرجعية (AIME25, GPQA, HumanEval, LiveCodeBench, MATH500) واسترجاع السياق الطويل (RULER-NIAH حتى 128k).

الحفاظ على الدقة:
- في Qwen3-4B-Thinking و Qwen3-8B، يقلص OSCAR فجوة الدقة مقارنة بـ BF16 إلى 3.78 و 1.42 نقطة على التوالي. في المقابل، تنهار دقة التدوير الساذئ INT2 إلى ما يقرب من الصفر.
- في Qwen3-32B و GLM-4.7، يظل OSCAR متوافقاً فعلياً مع BF16 (ضمن نطاق 0.02–0.27 نقطة)، بينما تعاني بقية نماذج INT2 المرجعية من تدهور كبير.
- في استرجاع السياق الطويل (RULER-NIAH)، يحافظ OSCAR على أداء قوي حتى 128 ألف رمز، بينما تنهار طرق INT2 الساذجة وطرق Hadamard-only عند أطوال أقصر بكثير (مثل 16k).
أداء النظام:
- الذاكرة: يقلل بصمة ذاكرة KV-cache بنحو 8 أضعاف مقارنة بـ BF16.
- الإنتاجية (Throughput): يحسن الإنتاجية بما يصل إلى 7 أضعاف عند أحجام الدفعات الكبيرة تحت نفس ميزانية الذاكرة.
- الكمون (Latency): يسرع فك التشفير بحجم دفعة-1 بمقدار يصل إلى 3 أضعاف مقارنة بـ BF16 بسبب تقليل عبء عرض نطاق الذاكرة (memory bandwidth).
- القابلية للتوسع: أظهر القدرة على التعامل مع ما يصل إلى 28 طلباً متزامناً بمدخلات 100 ألف رمز على وحدة H100 واحدة، وهو وضع تنفد فيه ذاكرة BF16 ونماذج INT4.

5. الأهمية والادعاءات

يدعي البحث أن OSCAR ينجح في سد الفجوة بين الوعد النظري لتقنين ذاكرة الـ KV فائق انخفاض البت (INT2) والقدرة على النشر العملي. من خلال نقل هدف التدوير من إعادة بناء البيانات الخام إلى التغاير المرتبط بالانتباه، يستعيد OSCAR الدقة المفقودة بسبب التقنين الساذج مع الاحتفاظ بفوائد الذاكرة والإنتاجية الهائلة لتخزين 2-بت.

يؤكد المؤلفون أن نهجهم ليس مجرد تحسين خوارزمي بل هو حل على مستوى النظام. من خلال توفير نواة مخصصة تتكامل مع paged attention و prefix caching، يثبتون أن تقنين INT2 يمكن استخدامه في أطر عمل الخدمة الحديثة (مثل SGLang) دون التضحية بميزات الكفاءة (مثل إعادة استخدام البادئة/prefix reuse) التي يعتمد عليها تشغيل النماذج اللغوية الكبيرة الحديثة. يشير العمل إلى أنه بالنسبة للاستدلال طويل السياق، فإن مفتاح النجاح في التقنين يكمن في مواءمة استراتيجية الضغط مع المتطلبات الإحصائية المحددة لآلية الانتباه.