🤖 machine learning

Hurwitz Quaternion Multiplicative Quantization for KV Cache Compression

تقدم الورقة البحثية طريقة التكميم الضرب لـ "هيرويتز كواترنيون" (HQMQ)، وهي طريقة خالية من المعايرة تعمل على ضغط ذاكرة التخزين المؤقت لـ KV عبر تمثيل كتل مكونة من 4 عناصر كـ "كواترنيونات" مكممة عبر حاصل ضرب مجموعة "هيرويتز" ثابتة وكتب رموز ثانوية عشوائية، مما يحقق دقة تقارب دقة fp16 مع ضغط يصل إلى 5.05 ضعفاً عبر نماذج اللغات الكبيرة الحديثة المتنوعة مع إلغاء الحاجة إلى المعايرة.

المؤلفون الأصليون: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

نُشر 2026-05-28

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "Hurwitz Quaternion Multiplicative Quantization for KV Cache Compression" (HQMQ) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: "المُكنز الذاكرة" (The Memory Hoarder)

تخيل نموذج لغوي كبير (LLM) كأنه أمين مكتبة عبقري ولكنه كثير النسيان. عندما تسأله سؤالاً طويلاً، يجب عليه تذكر كل كلمة قلتها حتى الآن ليجيب بشكل صحيح. في لغة الكمبيوتر، تُسمى هذه الذاكرة بـ KV Cache.

في المحادثات الطويلة جداً، تصبح ذاكرة التخزين المؤقت هذه ضخمة. إذا حاول أمين المكتبة تذكر كل تفصيل بدقة عالية (مثل فيلم بدقة 4K)، فسيملأ ذاكرة الوصول العشوائي (RAM) للكمبيوتر فوراً. هذا يجبر الكمبيوتر على استخدام وحدات تخزين أبطأ أو يتسبب في توقف النظام، مما يؤدي لقطع المحادثة.

لحل هذه المشكلة، يحاول المهندسون "ضغط" الذاكرة، مثل تحويل فيلم بدقة 4K إلى ملف MP4 أصغر حجماً. ومع ذلك، كانت طرق الضغط السابقة تشبه استخدام "سكين ثلمة": إذا قمت بتقليل حجم الملف كثيراً (أقل من 4 بت)، يصبح الفيلم غير قابل للمشاهدة (يبدأ الذكاء الاصطناعي في قول كلام غير منطقي). وإذا كان لدى نموذج الذكاء الاصطناعي "قيم متطرفة" (outliers) -أي أرقام غريبة وفائقة الضخامة- فإن الضغط التقليدي ينهار تماماً، مما يجعل الذكاء الاصطناعي يهذي بشكل عشوائي.

الحل: HQMQ (نظام "البوصلة الذكية")

يقترح المؤلفون طريقة جديدة تسمى HQMQ. بدلاً من مجرد تصغير الأرقام، هم يعاملون مجموعات البيانات كـ quaternions (نوع من البوصلات الرياضية رباعية الأبعاد).

إليك كيف يعمل الأمر، مقسماً إلى ثلاث خطوات بسيطة:

1. "النجمة ذات الـ 24 نقطة" (الرمز الأساسي - Primary Codebook)

تخيل أن الاتجاه الذي يشير إليه جزء من البيانات يشبه إبرة البوصلة. بدلاً من محاولة تخزين الزاوية الدقيقة (التي تستهلك مساحة كبيرة)، يستخدم المؤلفون "نجمة" خاصة جاهزة مكونة من 24 نقطة (تسمى مجموعة هيرويتز - Hurwitz group).

التشبيه: فكر في هذا كطقم قياسي من 24 اتجاهاً ثابتاً (شمال، شمال شرق، إلخ، ولكن في أربعة أبعاد). بغض النظر عن مكان نقاط البيانات، فأنت تقوم فقط بجعلها "تستقر" عند أقرب اتجاه من هذه الـ 24 اتجاهاً "المثالية".
السحر: لأن هذه النقاط الـ 24 مثالية رياضياً وموزعة بالتساوي، فأنت لا تحتاج لتدريب الذكاء الاصطناعي لتعلمها. إنها مجرد قواعد "مدمجة برمجياً"، مثل الحروف على لوحة المفاتيح.

2. "الدوران العشوائي" (الرمز الثانوي - Secondary Codebook)

النقاط الـ 24 ليست كافية لتغطية كل التفاصيل الدقيقة. لذا، يضيف المؤلفون طبقة ثانية: "دوران" عشوائي صغير لكل جزء محدد من الذكاء الاصطناعي.

التشبيه: تخيل أن لديك كرة أرضية مرسوم عليها النقاط الـ 24. الآن، تخيل أنه يمكنك تدوير هذه الكرة الأرضية بشكل عشوائي لكل جملة يعالجها الذكاء الاصطناعي.
النتيجة: عندما تدمج النقاط الـ 24 الثابتة مع دوران عشوائي، ستحصل على آلاف الاتجاهات الفريدة ( $24 \times \text{الدورات العشوائية}$ ).
لماذا هو رائع؟ يزعم البحث أنك لا تحتاج لتدريب هذا الدوران العشوائي. بفضل الرياضيات وراءه، أي دوران عشوائي يعمل بنفس كفاءة الدوران المدرب. الأمر يشبه قول: "لا تحتاج للتدرب على رمي السهام؛ فقط ارمِها عشوائياً، والرياضيات ستضمن لك إصابة اللوحة". هذا يوفر الوقت والبيانات.

3. "شبكة الأمان للقيم المتطرفة" (Med3×)

تمتلك بعض نماذج الذكاء الاصطناعي (مثل Qwen) "قيمًا متطرفة" (outliers) — وهي نقاط بيانات أكبر بـ 100 أو 200 مرة من المعتاد. الضغط التقليدي يحاول عصر هذه الأرقام الضخمة لتناسب الحجم المطلوب، مما يدمر البيانات.

التشبيه: تخيل أنك تحزم حقيبة سفر. معظم الملابس ذات أحجام عادية، لكن لديك دب قطني ضخم وغريب الشكل. إذا حاولت حشر الدب في صندوق صغير، فسيقوم بتمزيق الصندوق.
الحل: لدى HQMQ قاعدة تقول: "إذا كان الرقم كبيراً جداً (أكثر من 3 أضعاف المتوسط)، فلا تضغطه. فقط احتفظ به في شكله الأصلي عالي الجودة (fp16) وضع عليه علامة صغيرة".
النتيجة: حوالي 1-3% فقط من البيانات تحصل على هذا التعامل الخاص، لذا تظل توفيرات الذاكرة هائلة، لكن "الدببة القطنية الضخمة" لا تكسر النظام.

ماذا أثبتوا؟

اختبر المؤلفون هذا على خمسة نماذج مختلفة من الذكاء الاصطناعي الحديث (Mistral, Llama, Qwen, إلخ). إليكم أهم النتائج:

يعمل بدون تدريب: على عكس الطرق الأخرى التي تحتاج إلى مرحلة "معايرة" (حيث يدرس الذكاء الاصطناعي البيانات ليتعلم كيفية الضغط)، يعمل HQMQ فوراً بإعدادات عشوائية.
يوفر مساحة هائلة: تمكنوا من تقليص ذاكرة التخزين المؤقت بمقدار 5 مرات. على سبيل المثال، ذاكرة بسياق 128 ألف (128k-context) لنموذج بـ 70 مليار بارامتر (والتي تستهلك عادة 43 جيجابايت) تم تقليصها إلى 8.5 جيجابايت. هذا يعني أنه يمكنك تشغيل ذكاء اصطناعي ضخم على بطاقة رسوميات واحدة للمستهلكين بدلاً من سوبر كمبيوتر.
يتعامل مع "البيانات السيئة": في النماذج ذات القيم المتطرفة الشديدة (مثل Qwen)، فشل الضغط التقليدي تماماً (انفجر معدل الخطأ في الذكاء الاصطناعي). نجحت HQMQ مع "شبكة الأمان" في حل هذه المشكلة، مما أعاد أداء الذكاء الاصطناعي إلى مستويات قريبة من المثالية.
السرعة: قاموا ببناء محرك "مدمج" (fused engine) خاص يقرأ البيانات المضغوطة ويفك تشفيرها فوراً أثناء تفكير الذكاء الاصطناعي. هذا يعني أن الذكاء الاصطناعي لن يصبح بطيئاً؛ بل سيستخدم ذاكرة أقل فقط.

الخلاصة

HQMQ هو بمثابة مجموعة أدوات ضغط عالمية وجاهزة لذاكرة الذكاء الاصطناعي. يستخدم خدعة رياضية ذكية (ضرب نجمة ثابتة ذات 24 نقطة في دوران عشوائي) لتخزين الاتجاهات بكفاءة دون الحاجة لتعلم أي شيء مسبقاً. كما يحتوي أيضاً على مفتاح أمان للتعامل مع طفرات البيانات الغريبة.

النتيجة؟ يمكنك إجراء محادثات أطول وأذكى باستخدام أجهزة كمبيوتر أصغر، دون أن يفقد الذكاء الاصطناعي صوابه.

ملخص تقني: التكميم الضربي لـ كواتيرنيون هيرتز لتخفيف ذاكرة التخزين المؤقت لـ KV

بيان المشكلة

غالبًا ما تهيمن تكلفة الذاكرة لـ ذاكرة التخزين المؤقت لمفاتيح-القيم (KV cache) أثناء الاستدلال طويل السياق في النماذج اللغوية الكبيرة (LLMs) على التكاليف الحسابية. إن تخزين متجهات K و V بتنسيق FP16 قد يستهلك عشرات الجيجابايت عند تجاوز أطوال التسلسل لـ 32 ألفًا. وبينما يقلل التكميم القياسي (مثل int8، int4) من هذه التكلفة، إلا أن الأداء يتدهور بشكل كبير تحت 4 بت، وعادة ما يؤدي int2 إلى تعطل النموذج. علاوة على ذلك، تُظهر البنى الحديثة (تحديدًا تلك التي تستخدم انتباه الاستعلام المجموع، مثل Qwen2.5 و Qwen3) أنماط انتباه "ثقيلة بالقيم المتطرفة" (outlier-heavy)، حيث تمتلك نسبة صغيرة من كتل K قيمًا مطلقة (magnitudes) قصوى. يفشل التكميم القياسي كارثيًا في هذه السيناريوهات، مما يؤدي إلى طفرات في الارتباك (Perplexity - PPL) تزيد عن 10,000 نقطة. وتتطلب طرق التكميم الشعاعي الموجودة غالبًا بيانات معايرة أو تفشل في التعامل مع هذه القيم المتطرفة بفعالية.

المنهجية: التكميم الضربي لكواتيرنيون هيرتز (HQMQ)

يقترح المؤلفون HQMQ، وهي طريقة خالية من المعايرة، تتعامل مع كل كتلة مكونة من 4 عناصر من متجهات K أو V ككواتيرنيون $x \in \mathbb{H}$ . تقوم الطريقة بتفكيك المتجه إلى نصف قطر $r = \|x\|$ واتجاه وحدة $u = x/r$ على الكرة ثلاثية الأبعاد $S^3$ .

1. تكوين كتاب الشفرات الضربي (Multiplicative Codebook Composition)

بدلاً من تعلم كتاب شفرات واحد كبير أو استخدام التركيب الجمعي، يبني HQMQ كتاب شفرات مشترك عبر الضرب الضربي لمكونين:

كتاب الشفرات الأساسي ( $P$ ): مجموعة ثابتة من 24 كواتيرنيون هيرتز للوحدة، تقابل رؤوس الشكل ذي الـ 24 وجهًا (24-cell) على $S^3$ (المجموعة التتراهيدرية الثنائية $2T$ ). هذه الرؤوس متباعدة فيما بينها بمقدار $60^\circ$ وتشكل مجموعة ضربية مغلقة.
كتاب الشفرات الثانوي ( $S$ ): مجموعة $S$ من كواتيرنيونات الوحدة العشوائية، يتم تهيئتها لكل (طبقة، رأس، دور) دون معايرة.

كتاب الشفرات الفعال هو مجموعة $C = \{q_p \cdot q_s \mid q_p \in P, q_s \in S\}$ . وهذا ينتج $24S$ من الكلمات الرمزية (codewords) الفعلية بينما يتم تخزين $S$ فقط من المعلمات. يتم تكميم الاتجاه $u$ إلى الكلمة الرمزية $c \in C$ التي تعظم حاصل الضرب الداخلي $\langle u, c \rangle$ .

2. التبرير النظري للتهيئة العشوائية

يجادل البحث بأن المعايرة غير ضرورية لأن الضرب في كواتيرنيون للوحدة من جهة اليسار هو عملية متماثلة (isometry) على $S^3$ . إن الاختيار العشوائي لـ $S$ يقوم فعليًا بتدوير مجموعة $2T$ الثابتة، مما يخلق $S$ من النسخ المتماثلة المنفصلة التي تملأ $S^3$ بشكل شبه منتظم. يثبت الاقتراح 3.1 أن هذا التعبئة الضربية العشوائية تحقق معدل تغطية أمثل قدره $O((24S)^{-1/3})$ على $S^3$ ، وهو ما يطابق الحد النظري لتعبئة الكرات المثلى حتى الثوابت.

3. استخراج القيم المتطرفة بضرب الوسيط (Med3×)

لمعالجة البنى "الثقيلة بالقيم المتطرفة" (حيث تختلف أطوال الكتل بمقدار 80-280 ضعفًا)، يقدم المؤلفون خطوة استخراج القيم المتطرفة لكل دفعة (per-batch):

حساب وسيط طول الكتلة $r_{med}$ عبر الدفعة الحالية.
تحديد الكتل التي يكون فيها $r > C \cdot r_{med}$ (مع ثابت ثابت $C=3$ ).
تخزين هذه القيم المتطرفة بتنسيق FP16 الكامل (مع علامة 1-بت) وتكميم بقية كتل "الكتلة الرئيسية" (bulk) باستخدام HQMQ.
هذه الخطوة لا تتطلب أي بيانات معايرة وهي مستقرة عبر البنى المختلفة.

المساهمات الرئيسية

قاعدة جديدة لتكوين كتاب الشفرات: نظام تكميم ضربي يعتمد على مجموعة هيرتز المحدودة $2T$ ، ويختلف عن التكميم الشعاعي الجمعي (CommVQ) أو التكميم الشعاعي المتعلم المسطح (VPTQ).
نشر خالٍ من المعايرة: تعتمد الطريقة على الخصائص الهندسية لتدويرات هير (Haar-random rotations) لـ 24-cell، مما يلغي الحاجة إلى عمليات معايرة لكل نموذج. أظهرت النتائج التجريبية تباينًا في ارتباك المهمة النهائية (end-task perplexity) بأقل من $0.14\%$ عبر البذور العشوائية.
التعامل القوي مع القيم المتطرفة: تمكن آلية استخراج Med3× من استخدام التكميم منخفض البتات في النماذج الثقيلة بالقيم المتطرفة (مثل Qwen2.5/3) حيث يفشل التكميم int4 الساذج تمامًا.
التحقق التجريبي: التقييم عبر خمسة نماذج متنوعة (Mistral-7B, Llama-3-8B, Qwen2.5-7B, Qwen3-8B, gpt-oss-20b) يظهر هيمنة باريتو (Pareto dominance) على المعايير القياسية الصحيحة (naive integer baselines).

النتائج التجريبية

الارتباك والجودة

Mistral-7B & Llama-3-8B: يحقق HQMQ ضغطًا يقترب من عدم الفقدان (near-lossless) عند $\sim5$ بت، مطابقةً ارتباك FP16 ضمن 0.02–0.03 نقطة. وعند 3.79 بت، يطابق دقة Zero-shot في المهام النهائية (PIQA, HellaSwag, ARC-Easy).
Qwen2.5-7B & Qwen3-8B (الثقيلة بالقيم المتطرفة): ينهار int4 الساذج إلى مستويات PPL تصل إلى 17,000–18,000. يستعيد HQMQ + Med3× جودة FP16 (PPL $\approx$ 9.0–9.7) عند $\sim5$ بت، مما يمثل تحسنًا في الجودة بمقدار $\sim1,900\times$ مقارنة بـ int4 الساذج بعدد بتات أقل.
gpt-oss-20b (MoE المشتت): يتفوق HQMQ على المعيار الساذج بهيمنة باريتو بمقدار 3–3.5× عند تساوي عدد البتات.

المقارنة مع المعايير المرجعية

مقابل Naive Int: يتفوق HQMQ على int4 الساذج بمقدار 3–1,900× في PPL عبر جميع النماذج عند نفس معدلات البتات.
مقابل KIVI (معيار معايرة): عند 3.79 بت، يطابق HQMQ نموذج KIVI-4 المعاير (الذي يستخدم $\sim4.5$ بت) ضمن $\sim1$ نقطة في CoQA و 2.3 نقطة في GSM8K، باستخدام 16% بتات أقل وبدون معايرة.
مقابل التكميم الشعاعي/الخطي: يتفوق HQMQ على المعايير الشعاعية (مثل أسلوب TurboQuant) ومعايير التكميم الشعاعي الجمعي ذات كتب الشفرات العشوائية.

الذاكرة وزمن الاستجابة (Latency)

الضغط: يوفر HQMQ ضغطًا لذاكرة التخزين المؤقت لـ KV يصل إلى 5.05×. بالنسبة لنموذج Llama-3-70B بسياق 128 ألفًا، تتقلص الذاكرة من 43 جيجابايت (FP16) إلى 8.5 جيجابايت، مما يسمح بالاستدلال على بطاقة رسوميات مستهلك واحدة بسعة 24 جيجابايت.
زمن الاستجابة: يقوم نواة Triton المدمجة (fused Triton kernel) بفك تشفير K/V مباشرة داخل حلقة الانتباه. في بيئة عمل استدلال إنتاجية، تحافظ النواة المدمجة على زمن استجابة ثابت قدره $\sim0.033$ مللي ثانية بغض النظر عن طول السياق، مما يوفر تسريعًا يتراوح من 7.4× إلى 82.9× مقارنة بمسار "التكميم الزائف" (fake-quant) الذي يفك تشفير الذاكرة بالكامل في كل خطوة.

الأهمية والادعاءات

يدعي البحث أن HQMQ يوفر "وصفة جبرية نظيفة" لتكميم ذاكرة التخزين المؤقت لـ KV تجسر الفجوة بين التكميم الشعاعي النظري والنشر العملي. تكمن أهميته الأساسية في:

تمكين التكميم منخفض البتات للنماذج الثقيلة بالقيم المتطرفة: إنه أول طريقة تجعل التكميم بأقل من 5 بت ممكنًا في بنى مثل Qwen2.5/3، حيث تفشل الطرق القياسية.
إلغاء عبء المعايرة: من خلال الاستفيد من الخصائص الهندسية لمجموعة هيرتز، فإنه يلغي الحاجة إلى المعايرة المعتمدة على البيانات، مما يجعله مناسبًا للنماذج المملوكة أو سريعة الانتشار.
الكفاءة العملية: الجمع بين نسب ضغط عالية (تصل إلى 5×) ونواة مدمجة تتجنب اختناقات عرض نطاق الذاكرة يجعل الاستدلال طويل السياق أمرًا واقعيًا على الأجهزة الاستهلاكية.

يشير المؤلفون إلى بعض القيود، وتحديدًا أن HQMQ لا ينافس كتب الشفرات المدربة (مثل CommVQ) في نطاق أقل من 3 بت، وأن أدائه في السياقات الطويلة للغاية (تتجاوز 128 ألفًا) أو البنى المحددة مثل Multi-head Latvel Attention (MLA) يتطلب مزيدًا من البحث. ومع ذلك، ضمن نطاق 3–5 بت، فإنه يضع معيارًا جديدًا للأداء العالي (SOTA) للتكميم الخالي من المعايرة والمقاوم للقيم المتطرفة.