🤖 machine learning

InfoQuant: Shaping Activation Distributions for Low-Bit LLM Quantization

تُعد InfoQuant طريقةً للكمّ ما بعد التدريب لا تتطلب تدريباً، حيث توظف تحويل ذروة الكبت المتعامد (PSOT) واختيار الرموز الشاذة التكيفي لإعادة تشكيل توزيعات التنشيط إلى شكل مدمج ومشتت جيداً، مما يقلل بشكل كبير من خطأ الكمّ ويتفوق على النماذج المرجعية الحالية لنشر النماذج اللغوية الكبيرة منخفضة البت.

المؤلفون الأصليون: Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة INFOQUANT البحثية، مترجمة إلى لغة بسيطة مع استخدام تشبيهات إبداعية.

المشكلة الكبيرة: الصندوق "الطويل جداً"

تخيل أن لديك كومة فوضوية وعملاقة من الرمال (هذا يمثل البيانات داخل النموذج اللغوي الكبير، أو LLM). تريد تعبئة هذه الرمال في صندوق صغير ومرتب لتوفير المساحة وتسهيل حملها (هذا هو التكميم/Quantization—أي تصغير حجم النموذج ليعمل بشكل أسرع ويستهلك ذاكرة أقل).

عادةً، تكون معظم الرمال بارتفاع طبيعي يمكن التحكم فيه. ولكن، هناك بعض النتوءات العملاقة من الرمال التي تبرز عالياً في السماء (تسمى هذه النتوءات القيم المتطرفة/Outliers).

بسبب هذه النتوءات العملاقة القليلة، أنت مضطر لاستخدام صندوق ضخم لاستيعاب كل شيء. وبمجرد وضع الرمال في ذلك الصندوق الضخم، يتم ضغط الرمال "العادية" الموجودة في الأسفل لتصبح طبقة رقيقة جداً ومسطحة. وعندما تحاول إخراج الرمال لاحقاً، لا يمكنك التمييز بين الطبقات المختلفة للرمال العادية لأنها جميعاً قد سُحقت في نفس المكان. وهذا يجعل النموذج يفقد قدرته على "التفكير" بوضوح.

الحلول القديمة: تسطيح النتوءات

حاولت الطرق السابقة حل هذه المشكلة عن طريق:

تحطيم النتوءات: محاولة قطع قمم أكوام الرمال العملاقة.
نقل النتوءات: نقل الرمال الثقيلة من مكان إلى آخر.

المشكلة هي أنه حتى لو قطعت القمم، فقد تظل الرمال المتبقية متكتلة بطريقة لا تتناسب جيداً مع الصندوق الصغير. قد تحصل على صندوق أصغر، لكن الرمال ستظل متجمعة بطريقة تجعل من الصعب التمييز بين الحبيبات المختلفة.

الفكرة الجديدة: INFOQUANT

أدرك مؤلفو هذه الورقة، INFOQUANT، أن الهدف ليس مجرد جعل الرمال "أصغر". الهدف هو جعل الرمال تبدو وكأنها صُممت خصيصاً لهذا الصندوق.

لقد طرحوا سؤالاً جديداً: "كيف تبدو كومة الرمال التي تناسب تماماً صندوقاً صغيراً؟"

إجابتهم هي: يجب أن تكون قصيرة (لتناسب الصندوق) ولكن أيضاً موزعة بالتساوي (حتى تتمكن من رؤية كل حبة رمل).

كيف يعمل INFOQUANT (وصفة الخطوات الثلاث)

1. "الدوران والانتشار" (التحويل المتعامد لكبح القمم - Peak Suppression Orthogonal Transformation)
تخيل أن الرمال موجودة داخل "نحلة" (لعبة دوارة). يستخدم المؤلفون خدعة رياضية خاصة (وهي الدوران المتعامد/Orthogonal Rotation) لتدوير الرمال.

ما يفعله: يأخذ تلك النتوءات العملاقة وينشر طاقتها عبر كومة الرمال بأكملها.
النتيجة: تختفي النتوءات العملاقة، وتصبح الرمال عبارة عن تلة ناعمة وعريضة. والأهم من ذلك، أن التلة الآن أصبحت أقصر (تناسب الصندوق) ولكنها أعرض (الرمال منتشرة بحيث يمكنك تمييز الطبقات).

2. "الكشاف الذكي" (الاختيار التكيفي لرموز القيم المتطرفة - Adaptive Outlier-Token Selection)
أحياناً، تحتوي كومة الرمال على بعض البقع الغريبة والمزعجة التي تبدو مثل النتوءات ولكنها ليست مهمة حقاً. إذا حاولت إصلاح تلك البقع، فقد تفسد الأجزاء الجيدة.

ما يفعله: يمتلك INFOQUANT "كشافاً" ينظر إلى الرمال ويقول: "حسناً، هذا النتوء هناك حقيقي وخطير، دعنا نصلحه. لكن هذا البروز الصغير هناك؟ تجاهله."
النتيجة: يركز النموذج طاقته على إصلاح المشكلات الحقيقية، مما يجعل العملية أكثر قوة وأقل عرضة للارتباك بسبب الضجيج.

3. "قص التعديل الدقيق" (القص القابل للتعلم - Learnable Activation Clipping)
بعد تدوير ونشر الرمال، يقوم المؤلفون بفحص أخير. يقومون بضبط الحجم الدقيق للصندوق للتأكد من أن الرمال تناسبه تماماً دون وجود أي فجوات أو سحق.

النتيجة: يتم تحسين الحزمة النهائية لتناسب حجم الصندوق المحدد، مما يضمن عدم فقدان أي معلومات في الزوايا.

لماذا هذا مهم؟

اختبرت الورقة هذا على نماذج ذكاء اصطناعي شهيرة (مثل LLaMA-2 و LLaMA-3).

النتيجة: عندما قاموا بتصغير النماذج إلى 4-بت (حجم صغير جداً، مثل تصغير كتاب من 100 صفحة إلى بطاقة بريدية)، حافظ INFOQUANT على 97% من الذكاء الأصلي.
المقارنة: فقدت الطرق السابقة الكثير من الذكاء عند التصغير إلى هذا الحجم. استطاع INFOQUANT الحفاظ على "البطاقة البريدية" مقروءة ومفيدة، بينما حولتها الطرق الأخرى إلى خربشة مشوشة.

الخلا الخلاصة

فكر في INFOQUANT كخبير في التعبئة والتغليف. بدلاً من مجرد محاولة إجبار كومة رمال فوضوية وشائكة على دخول صندوق صغير (مما يؤدي لسحق التفاصيل)، يقوم أولاً بإعادة تشكيل الكومة لتناسب الصندوق بشكل طبيعي ومثالي. إنه يجعل الكومة قصيرة بما يكفي لتناسب الصندوق، ولكن واسعة بما يكفي للحفاظ على جميع التفاصيل مرئية.

هذا يسمح لنا بتشغيل نماذج ذكاء اصطناعي ضخمة وقوية على أجهزة كمبيوتر أصغر وأرخص دون فقدان "قدراتها الذهنية".

ملخص تقني: INFOQUANT

بيان المشكلة

لا يزال تكميم التنشيط (Activation Quantization) منخفض البت عائقًا حرجًا أمام النشر الفعال للنماذج اللغوية الكبيرة (LLMs). وبينما تكون الأوزان في النماذج اللغوية الكبيرة عادةً مسطحة وموزعة بانتظام، غالبًا ما تحتوي التنشيطات على عدد قليل من الإحداثيات المهيمنة (القيم المتطرفة/Outliers) التي تعمل على توسيع نطاق التكميم. وهذا يجبر عملية التكميم القائمة على "التقريب لأقرب قيمة" (round-to-nearest) على رسم العديد من القيم العادية لتقع ضمن عدد قليل من المستويات المنفصلة، مما يؤدي إلى فقدان كبير في المعلومات.

تحاول طرق التكميم بعد التدريب (PTQ) الحالية التخفيف من حدة ذلك عبر كبح القيم المتطرفة، أو موازنة القنوات، أو تقليل خطأ إعادة البناء (مثل MSE). ومع ذلك، تجادل الورقة البحثية بأن هذه النهج تفشل في تحديد ماهية توزيع التنشيط "الصديق للتكميم" بشكل صريح. قد تقلل هذه الطرق من القمم المرئية أو تخفض الخطأ العددي دون تحسين "قابلية التجزئة" (discretizability) الجوهرية للتوزيع، مما يترك نطاق التكميم واسعًا جدًا أو يتسبب في انهيار القيم بالقرب من المتوسط.

المنهجية: INFOQUANT

يقترح المؤلفون INFOQUANT، وهو إطار عمل للـ PTQ لا يتطلب تدريبًا، يعيد صياغة تحويل التنشيط كعملية "تصميم توزيع مواجه للمكمم". الفلسفة الجوهرية مستمدة من تحليل معلوماتي يُظهر أن خطأ التكميم المنخفض يتطلب خاصيتين متكاملتين:

نطاق عددي أصغر (لتقليل حجم خطوة التكميم).
تشتت كافٍ ضمن هذا النطاق (لاستخدام مستويات التكميم المتاحة بفعالية).

يحقق INFOQUANT ذلك من خلال ثلاثة مكونات رئيسية:

1. التحويل المتعامد لكبح القمم (PSOT)

يتعلم PSOT مصفوفة دوران متعامدة لإعادة تشكيل توزيعات التنشيط. بخلاف الدورانات الثابتة (مثل Hadamard)، يقوم PSOT بتحسين مصفوفة متعامدة قطرية كتلية $R$ لتقليل دالة خسارة محددة:
$\ell_{ps}(x; R) = \|\pi_T(y) \odot y\|^2$
حيث $y = xRP_\perp$ (التنشيط المدور والمركز)، و $\pi_T$ هو وزن "softmax" بناءً على المقدار. هذا الهدف يعاقب صراحةً الإحداثيات ذات المقدار العالي (القمم). ومن خلال كبح أكبر إحداثي ممركز مع الحفاظ على إجمالي طاقة الرمز (بسبب التعامد)، يجبر PSOT الطاقة المتبقية على الانتشار عبر المزيد من الأبعاد. هذا يقلل في الوقت نفسه من مقياس القطع (تضييق النطاق) ويزيد من التشتت المعياري ( $b_n$ ).

2. الاختيار التكيفي لرموز القيم المتطرفة (ASOT)

لضمان التحسين القوي، لا يعامل INFOQUANT جميع رموز المعايرة بالتساوي. فهو يحدد الرموز التي تحتوي على "هياكل قيم متطرفة حساسة للتكميم" ويعيد وزنها أثناء تحسين الدوران.

يحدد الرموز التي تحتوي على إحداثي واحد على الأقل ذو خصائص إحصائية متطرفة.
يستخدم آلية اختيار العتبة لضمان تنوع مواضع القيم المتطرفة المختارة عبر العينات (لتجنب الإفراط في التخصيص لأنماط المطالبات الثابتة أو عيوب المعايرة).
يتم رفع وزن هذه الرموز المختارة ( $\gamma > 1$ ) في دالة الخسارة، بينما تعمل الرموز العادية كمنظمات (regularizers).

3. قطع التنشيط القابل للتعلم (LAC)

بعد إعادة تشكيل التوزيع بواسطة PSOT، تطبق الطريقة خطوة معايرة نهائية باستخدام معاملات قطع قابلة للتعلم ( $\alpha, \beta$ ). تقوم هذه المعاملات بتنقيح حجم خطوة التنشيط لتتطابق مع مخرج الكتلة المكممة مع مخرج الدقة الكاملة، مما يقلل خطأ إعادة البناء خصيصًا للتوزيع المعاد تشكيله.

المساهمات الرئيسية

إطار عمل معلوماتي: تؤسس الورقة رابطًا نظريًا بين خطأ التكميم وخصائص توزيع التنشيط. وتثبت أن تقليل خطأ التكميم يكافئ تقليل حد الخطأ المقطوع المعياري، مما يتطلب نطاقًا عدديًا أصغر وتشتتًا أعلى.
خوارزمية INFOQUANT: طريقة فعالة من حيث الأجهزة ولا تتطلب تدريبًا، تتعلم التحويلات المتعامدة لتشكيل التنشيطات إلى توزيعات صديقة للتكميم، مدعومة باختيار الرموز التكيفي والقطع القابل للتعلم.
التحقق التجريبي: تجارب واسعة النطاق عبر عائلات LLaMA-2 و LLaMA-3 (من 7B إلى 70B) ونماذج Qwen2.5.

النتائج التجريبية

تم تقييم الطريقة تحت تكوينات مختلفة من عرض البت، بما في ذلك الإعداد الصعب W4A4KV4 (أوزان 4-بت، تنشيطات 4-بت، وذاكرة KV 4-بت).

الحفاظ على الدقة: في إعداد W4A4KV4، يحافظ INFOQUANT على متوسط 97% من دقة الفاصلة العائمة الأصلية عبر نماذج LLaMA-2 و LLaMA-3.
أداء رائد (SOTA): يقلل من فجوة الأداء لنموذج LLaMA-2 13B بنسبة 42% مقارنة بأفضل النتائج السابقة (SpinQuant) تحت ظروف W4A4KV4.
المقارنة مع النماذج المرجعية: يتفوق INFOQUANT باستمرار على الطرق القائمة على الدوران (QuaRot, SpinQuant) وطرق إعادة بناء الأوزان (GPTQ, AWK). كما يتفوق على طريقة OSTQuant القائمة على التقطير (distillation) في عدة نماذج (مثل LLaMA-3 8B, LLaMA-2 13B) دون الحاجة إلى إشراف الدقة الكاملة.
الكفاءة: تمكن الطريقة من تكميم نموذج LLaMA-2 70B باستخدام 24 جيجابايت فقط من ذاكرة وحدة معالجة الرسومات (GPU). كما يحافظ على مسار استدلال خفيف الوزن متوافق مع نوى (kernels) البت المنخفض الموجودة، متجنبًا عبء العمليات الحسابية (FLOP) العالي المرتبط بالتحويلات الديناميكية أثناء الاستدلال (على عكس FlatQuant).

الأهمية والادعاءات

تزعم الورقة أن القيد الأساسي لتكميم التنشيط منخفض البت الحالي ليس مجرد وجود القيم المتطرفة، بل عدم التطابق بين توزيع التنشيط وقدرات المكمم الموحد منخفض البت. ومن خلال نقل التركيز من "كبح القيم المتطرفة" إلى "تشكيل التوزيع"، يثبت INFOQUANT أن تعلم تحويلات متعامدة محددة يمكن أن يحسن بشكل كبير من قابلية التجزئة.

يؤكد المؤلفون أن نهجهم لا يتطلب تدريبًا وفعال من حيث الأجهزة، مما يجعله عمليًا للنشر على الأجهزة الاستهلاكية. ويشيرون إلى أنه بينما تعتمد طريقتهم على بيانات المعايرة وخيارات تنفيذ محددة (مثل المصفوفات القطرية الكتلية)، إلا أنها تقدم بديلًا قويًا لعمليات الضبط الدقيق الخاضعة للإشراف أو عمليات التقطير الثقيلة. وتخلص الورقة إلى أن العمل المستقبلي يجب أن يوسع هذا التحليل إلى ما وراء افتراضات التنشيط ذات الشكل الجرسي ليشمل أنظمة توزيعية أوسع.