💬 NLP

LogQuant: Log-Distributed 2-Bit Quantization of KV Cache with Superior Accuracy Preservation

تقدم LogQuant تقنية تكميم ببتين موزعة لوغاريتميًا (log-distributed 2-bit quantization) لمخازن KV cache، مما يحسن بشكل كبير من إنتاجية الاستدلال، وحجم الدفعة، ودقة المهام للنماذج اللغوية الكبيرة مع الحفاظ على بصمة ذاكرة دنيا.

المؤلفون الأصليون: Han Chen, Zicong Jiang, Zining Zhang, Bingsheng He, Pingyi Luo, Mian Lu, Yuqiang Chen

نُشر 2026-05-19

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Han Chen, Zicong Jiang, Zining Zhang, Bingsheng He, Pingyi Luo, Mian Lu, Yuqiang Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تذكر قصة طويلة جداً لترويها في نهاية نكتة. للقيام بذلك، يقوم عقلك (نموذج الذكاء الاصطناعي) بالاحتفاظ بـ "مسودة" (ذاكرة الـ KV Cache) حيث يدون كل كلمة وجملة سمعها حتى الآن.

المشكلة هي أنه كلما طالت القصة، أصبحت هذه المسودة ضخمة. إنها تستهلك مساحة كبيرة لدرجة أنك لا تستطيع سرد الكثير من النكات في وقت واحد، أو أن القصة تستغرق وقتاً طويلاً جداً للمعالجة.

الطريقة القديمة: رمي الأشياء أو التخمين
حاولت الطرق السابقة حل هذه المشكلة بطريقتين:

نهج "سلة المهملات": كانوا ينظرون إلى القصة ويخمنون أي الأجزاء غير مهمة، ثم يرمونها تماماً. المشكلة؟ غالباً ما كانوا يرمون الأشياء الخاطئة، أو يفوتهم تفصيل حاسم مخبأ في أعماق الماضي.
نهج "الصورة الضبابية": حاولوا الاحتفاظ بكل شيء ولكن بكتابته بطريقة أقل دقة وأكثر ضبابية (الكمية - quantization). لكن إذا جعلوا كل شيء ضبابياً للغاية، فستفقد القصة معناها.

الطريقة الجديدة: LogQuant (المكتبة اللوغاريتمية)
أدرك مؤلفو هذه الورقة البحثية، LogQuant، أمراً ذكياً للغاية حول كيفية انتباه عقولنا (والذكاء الاصطناعي) للأمور.

الرؤية: النمط "اللوغاريتمي"
اكتشفوا أنه عندما ينظر الذكاء الاصطناعي إلى الوراء في القصة، فإنه لا ينظر إلى كل الكلمات بالتساوي.

ينظر بدقة شديدة إلى الكلمات الأخيرة (الجمل القليلة الأخيرة).
ينظر بدقة أقل إلى الكلمات التي مرت عليها فترة من الوقت.
ينظر بشكل متفرق جداً إلى الكلمات من بداية القصة تماماً.

هذا النمط ليس عشوائياً؛ بل يتبع منحنى رياضياً محدداً يسمى اللوغاريتم. فكر في الأمر كأنه مكتبة حيث تكون الكتب على الرفوف الأمامية (الأحداث الأخيرة) متراصة بإحكام، ولكن كلما توغلت في المكتبة، تصبح الرفوف أكثر اتساعاً وتتباعد الكتب عن بعضها البعض.

كيف يعمل LogQuant
بدلاً من التخمين فيما يجب الاحتفاظ به أو رميه، يستخدم LogQuant هذا النمط "المتباعد" لضغط الذاكرة:

منطقة "الأحداث الأخيرة": يحتفظ بالجزء الأخير من القصة بدقة عالية (دقة كاملة) لأن هذا هو مكان الحدث.
المنطقة "الوسطى": كلما رجعت إلى الوراء، يبدأ في تخطي الكلمات. يحتفظ بكلمة، يتخطى واحدة، يحتفظ بكلمة، يتخطى واحدة.
المنطقة "العميقة": أبعد من ذلك، يتخطى المزيد. يحتفظ بكلمة، يتخطى ثلاثاً، يحتفظ بكلمة، يتخطى ثلاثاً.

من خلال القيام بذلك، يمكنه تقليص الذاكرة إلى 2 بت فقط (كمية ضئيلة جداً من المساحة، مثل تحويل فيلم عالي الدقة إلى ملف نصي صغير جداً) دون فقدان نقاط الحبكة المهمة. ولأنه يتبع الطريقة "اللوغاريتمية" الطبيعية لانتباه الذكاء الاصطناعي، فإنه لا يحتاج إلى التخمين بشأن الأجزاء المهمة؛ فالرياضيات تخبره بالضبط أين ينظر.

النتائج: نكات أكثر، ذاكرة أفضل
تدعي الورقة البحثية أنه باستخدام هذه الطريقة:

السرعة: يمكن للذكاء الاصطناعي معالجة المعلومات أسرع بنسبة 25%.
السعة: يمكنك تشغيل 60% أكثر من المحادثات في نفس الوقت على نفس الكمبيوتر لأن بصمة الذاكرة أصغر بكثير.
الدقة: بالنسبة للمهام الصعبة مثل حل المسائل الرياضية أو كتابة الأكواد البرمجية، فإن LogQuant أكثر دقة بنسبة 40% إلى 200% من طرق الضغط الأخرى. الأمر يشبه الحفاظ على القصة واضحة بما يكفي لحل لغز، حتى عندما تكون الذاكرة ضئيلة جداً.

لماذا هو أفضل من "رمي الأشياء"
أثبت المؤلفون أيضاً أن "رمي الأشياء" (الإقصاء - eviction) أمر سيء لانتباه الذكاء الاصطناعي. إذا حذفت كلمة، فعليه إعادة حساب كيفية ارتباط الكلمات المتبقية ببعضها البعض، مما يشوه القصة. يحافظ LogQuant على جميع الكلمات ولكنه يكتبها بتنسيق أصغر ومضغوط. إنه يشبه الاحتفاظ بكل صفحات الكتاب ولكن بطباعتها بخط أصغر، بدلاً من تمزيق نصف الصفحات.

باختصاف
LogQuant هو طريقة ذكية لتقليص ذاكرة الذكاء الاصطناعي من خلال إدراك أن الذكاء الاصطناعي ينتبه طبيعياً للأحداث الأخيرة بكثافة وللأحداث القديمة بمرونة. ومن خلال ضغط الذاكرة ليتناسب مع هذا النمط الطبيعي، فإنه يوفر كميات هائلة من المساحة والسرعة دون جعل الذكاء الاصطناعي "ينسى" الأجزاء المهمة من القصة.

ملخص تقني: LogQuant

بيان المشكلة

أدى التوسع السريع في نوافذ السياق (Context Windows) في النماذج اللغوية الكبيرة (LLMs)، والتي تتراوح من 4 آلاف إلى 128 ألف توكن، إلى خلق اختناق حرج في إدارة ذاكرة التخزين المؤقت للمفاتيح والقيم (KV Cache). تشير الدراسات الحديثة إلى أن استخدام ذاكرة الـ KV cache ينمو خطيًا مع طول السياق، وغالبًا ما يتجاوز البصمة الذاكرية لأوزان النموذج نفسه أثناء الاستدلال طويل السياق ومعالجة الدفعات (Batch Processing).

تنقسم استراتيجيات الضغط الحالية عمومًا إلى فئتين:

طرق الاستبعاد (Eviction-based methods) (مثل H2O، وKeyformer، وSnapKV): تقوم هذه الطرق بإزالة التوكنات التي تُعتبر غير مهمة بشكل انتقائي. ومع ذلك، فهي تعتمد على أنماط الانتباه التاريخية أو نوافذ ثابتة، مما يؤدي إلى تنبؤات خاطئة متكررة وفقدان التوكنات البعيدة ولكن الحاسمة.
طرق التكميم (Quantization-based methods) (مثل QAQ، وKiVi): تعمل هذه الطرق على تقليل دقة التوكنات الأقل أهمية. وبينما تحتفظ ببيانات أكثر، إلا أنها تواجه صعوبة في تحديد التوكنات الحاسمة بدقة للحفاظ على الأداء، خاصة عند نسب ضغط قوية مثل 2-bit.

تواجه النهج الحالية مقايضة بين كفاءة الذاكرة والحفاظ على الدقة، وغالبًا ما تعاني من اختناقات في الأداء أو تدهور كبير في الدقة في المهام المعقدة مثل الرياضيات وإكمال الأكواد البرمجية.

المنهجية

يقدم LogQuant تقنية تكميم جديدة بمعدل 2-bit لـ KV Cache تستفيد من ملاحظة محددة تتعلق بتوزيع درجات الانتباه (Attention Scores).

1. طفرات الانتباه الموزعة لوغاريتميًا (Log-Distributed Attention Spikes)

من خلال تحليل نماذج متنوعة (مثل Llama3، وQwen) ومهام مختلفة، لاحظ المؤلفون أن مواقع طفرات الانتباه العالية تتبع توزيعًا لوغاريتميًا. فكلما ابتعدت التوكنات عن الموضع الحالي، انخفضت كثافة التوكنات المهمة لوغاريتميًا. وهذا يتناقض مع الافتراض بأن الأهمية هي أمر محلي بحت أو يمكن التنبؤ به عبر الدرجات التاريخية.

2. استراتيجية التصفية القائمة على اللوغاريتم (Log-Based Filtering Strategy)

بدلاً من التنبؤ بالأهمية أو استخدام نوافذ ثابتة، يطبق LogQuant آلية تصفية قائمة على اللوغاريتم لضغط الـ KV cache عبر السياق بأكمله:

تكوين النافذة (Window Configuration): يتم تحديد حجم نافذة أساسي $W$ .
مخطط الاختيار (Selection Scheme): تحتفظ الطريقة بأحدث $2W$ من التوكنات بدقة كاملة. بعد ذلك، تختار الطريقة التوكنات في النوافذ اللاحقة بكثافة متناقصة: نافذة بحجم $W/2$ تختار التوكنات بتباعد توكن واحد، و $W/4$ تختار بتباعد أكبر، وهكذا.
احتياطي الدقة الكاملة (Full Precision Reserve): يتم حجز نافذة أخيرة بحجم $3W$ بالدقة الكاملة.
التعديل الديناميكي (Dynamic Adjustment): مع وصول توكنات جديدة والوصول إلى حد الطول، يتم تقليل الكثافة في النوافذ السابقة إلى النصف (الاحتفاظ بالتوكنات على فترات منتظمة)، مما يقلل فعليًا عدد التوكنات المحتفظ بها بدقة كاملة من $2W$ إلى $W$ قبل إضافة التوكنات الجديدة لاستعادة حجم النافذة. هذا يخلق اختيارًا ذا تباعد لوغاريتمي مستقر.

3. التكميم مقابل الاستبعاد (Quantization vs. Eviction)

تُظهر الورقة أن التكميم (Quantization) يتفوق على الاستبعاد (Eviction) في هذه الاستراتيجية. فالاستبعاد يزيل التوكنات تمامًا، مما يغير عملية تطبيع Softmax ويسبب انحرافات أكبر في توزيع الانتباه. أما التكميم فيحتفظ بجميع التوكنات بدقة عددية منخفضة، مما يحافظ على شكل توزيع الانتباه بشكل أكثر فعالية. وتظهر النتائج التجريبية أن طرق الاستبعاد تنتج ضعف خطأ الانتباه مقارنة بالتكميم.

4. التحسين المستقل عن الموضع (Position-Agnostic Optimization)

يتم تحقيق مكسب كفاءة رئيسي من خلال إدراك أن الترتيب المحدد للتوكنات في مصفوفات المفتاح (Key) والقيمة (Value) لا يؤثر على مخرجات الانتباه النهائية ( $A \cdot V = A_P \cdot V_P$ ). يتجاهل LogQuant المواضع المطلقة لإدخالات KV cache أثناء مرحلة فك التشفير (Decoding)، مما يسمح للنظام بدمج التوكنات عالية الدقة والمكممة بشكل تعسفي. هذا يعزز موضعية الذاكرة (Memory Locality) ويسرع عملية التكميم وإلغاء التكميم دون التأثير على الدقة.

5. التنفيذ (Implementation)

تم تنفيذ LogQuant كفئة مشتقة من فئة Cache في مكتبة transformers التابعة لـ Hugging Face، مما يضمن التكامل السلس مع خطوط الاستدلال الحالية. وهي تستخدم خلفية Quanto للتكميم بمعدل 2-bit مع استراتيجية "مفتاح لكل قناة" (Key-per-channel).

المساهمات الرئيسية

ملاحظة الانتباه الموزع لوغاريتميًا: تحدد الورقة أن مواقع طفرات الانتباه العالية تتبع توزيعًا لوغاريتميًا، حيث تصبح أكثر تباعدًا مع المسافة من التوكن الحالي. وتُشكل هذه الملاحظة أساسًا لتقدير أهمية التوكن.
تصميم LogQuant: تقنية تكميم بمعدل 2-bit تستخدم هذا التوزيع اللوغاريتمي لضغط الـ KV cache بشكل انتقائي. وهي تتفوق على الطرق الحالية (مثل KiVi وH2O) من خلال الحفاظ على التوكنات المهمة بشكل أفضل.
تحسين الإنتاجية (Throughput Optimization): من خلال تجاهل المواضع المطلقة، تحسن الطريقة سرعة عملية التكميم، محققة مكاسب كبيرة في الإنتاجية.

النتائج التجريبية

قيم المؤلفون LogQuant مقابل KiVi والخط المرجعي 16-bit عبر عائلات نماذج متعددة (Llama3/3.1، Qwen1.5/2، Phi-3) ومجموعات بيانات (GSM8K، LongBench).

الحفاظ على الدقة:
- في المهام المعقدة مثل الرياضيات (GSM8K) وإكمال الأكواد (Code Completion)، يحسن LogQuant الدقة بنسبة 40% إلى 200% مقارنة بـ KiVi عند نفس نسبة الضغط (2-bit).
- على سبيل المثال، في مجموعة بيانات GSM8K مع نموذج Llama3.1-8B، حقق LogQuant (2-bit) دقة قدرها 40.41 مقارنة بـ 18.04 لـ KiVi.
- النماذج الأصغر (مثل Phi-3-mini، وQwen2-7B) تعاني عادةً من انخفاض حاد في الدقة مع التكميم بمعدل 2-bit؛ يوفر LogQuant تحسنًا ملحوظًا لهذه البنى المعمارية.
مكاسب الكفاءة:
- الإنتاجية (Throughput): يحقق LogQuant زيادة بنسبة 25% في الإنتاجية مقارنة بالخط المرجعي.
- حجم الدفعة (Batch Size): يدعم زيادة بنسبة 60% في حجم الدفعة ضمن نفس قيود الذاكرة (تم الاختبار على NVIDIA H100).
- الذاكرة: يقدم توفيرات كبيرة في الذاكرة مع الحفاظ على أداء متفوق مقارنة بطرق 2-bit الحالية.

الأهمية والادعاءات

تدعي الورقة أن LogQuant يقدم نهجًا "ثوريًا" لإدارة KV cache من خلال تغيير النموذج من التنبؤ بأهمية التوكن إلى الاستفادة من التوزيع اللوغاريتمي المتأصل لطفرات الانتباه.

دقة متفوقة: تدعي الطريقة الحفاظ على "أداء متفوق" و"دقة متفوقة" مقارنة بالنماذج السابقة، خاصة في مهام الاستدلال الصعبة حيث فشلت طرق 2-bit السابقة.
تكامل سلس: يؤكد المؤلفون أن LogQuant يتكامل بسهولة مع أطر الاستدلال الشهيرة (تحديدًا مكتبة transformers في بايثون)، مما يجعله قابلًا للتطبيق الفوري للاستدلال الفعال للنماذج اللغوية الكبيرة.
كفاءة الموارد: تمكن التقنية من نشر النماذج اللغوية الكبيرة في البيئات محدودة الموارد من خلال تقليل البصمة الذاكرية بشكل كبير وزيادة قدرات معالجة الدفعات دون المساس بجودة المخرجات.

يخلص المؤلفون إلى أنه بينما يحقق LogQuant حاليًا مكاسب كبيرة، فإن العمل المستقبلي سيركز على صقل نهج التكميم واستكشاف دمج العمليات (Operator Fusion) لتعظيم الكفاءة والسرعة بشكل أكبر.