🤖 machine learning

QAM-W: Joint 2D Codebook Quantization for LLM Weights via Hadamard Rotation and Activation-Aware Scaling

يقدم QAM-W طريقة تكميم كتاب رموز ثنائي الأبعاد مشترك لأوزان النماذج اللغوية الكبيرة تستخدم دوران هادامارد والتحجيم الواعي للتنشيط للحفاظ على هياكل الإحداثيات الزوجية، محققاً تقاربًا مع مستويات إرباك (perplexity) تنسيق BF16 عند حوالي 5.5 بت لكل وزن، مع التفوق على الترميز القطبي ومضاهاة جودة SmoothQuant بعدد أقل بكثير من بتات الأوزان.

المؤلفون الأصليون: Preetam Sharma, Kacper Dobek

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Preetam Sharma, Kacper Dobek

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من الكتب (نموذج لغوي كبير، أو LLM) وهي ذكية للغاية ولكنها تشغل مساحة هائلة. ولجعل من السهل حملها، تريد تقليص حجم هذه الكتب. تسمى هذه العملية "التكميم" (Quantization).

معظم الطرق الحالية لتقليص هذه الكتب تشبه أخذ قاموس واستبدال كل كلمة فيه برمز رقمي قصير، كلمة تلو الأخرى. إنها طريقة بسيطة، لكنها تتجاهل حقيقة أن الكلمات غالباً ما تأتي في أزواج أو مجموعات تربطها علاقة محددة ببعضها البعض. إذا تعاملت معها كأفراد منعزلين، فستفقد بعضاً من تفاصيل القصة ودقتها.

تقدم هذه الورقة البحثية طريقة جديدة تسمى QAM-W (تعديل سعة التربيع للموازين). فكر في الأمر كطريقة أكثر ذكاءً وكفاءة لتعبئة تلك الكتب.

إليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: "الراقص المنفرد" مقابل "الثنائي"

تخيل أن الأوزان (weights) في نموذج الذكاء الاصطناعي هي راقصون.

الطريقة القديمة (التكميم القياسي - Scalar Quantization): الطريقة القديمة تعامل كل راقص كما لو كان يؤدي رقصة منفردة. فهي تنظر إلى كل راقص بشكل فردي وتقول: "أنت '3'، أنت '7'". إنها تتجاهل حقيقة أن اثنين من الراقصين قد يكونان ممسكين بأيدي بعضهما أو يتحركان في تناغم.
رؤية QAM-W: أدرك المؤلفون أنه ضمن صف من البيانات، هؤلاء "الراقصون" هم في الواقع يرقصون في ثنائيات. إنهم مترابطون. وبدلاً من ترميزهم كفردين منفصلين، يعاملهم QAM-W كـ ثنائي.

2. الحل: "الدوران السحري" و"الاقتران"

يستخدم QAM-W عملية من ثلاث خطوات لتقليص النموذج دون فقدان القصة:

الخطوة أ: الدوران السحري (دوران هادامارد - Hadamard Rotation):
تخيل الراقصين وهم يقفون في غرفة مزدحمة وفوضوية. يقوم QAM-W بتطبيق "دوران سحري" (دوران رياضي) يعيد ترتيبهم. فجأة، الراقصون الذين كانوا يتحركون بشكل عشوائي أصبحوا الآن مقترنين ببعضهم البعض بشكل مثالي، ويتحركون في نمط دائري سلس. هذا يجعل وصفهم رياضياً أسهل بكثير.
الخطوة ب: "كتاب الرموز" للثنائي (The "Duet" Codebook):
بدلاً من إعطاء كل راقص رقماً منفصلاً، ينظر QAM-W إلى الزوج كنقطة واحدة على الخريطة. إنه يستخدم "خريطة" جاهزة (كتاب رموز) تم تدريبها على كيفية سلوك هذه الأزواج عادةً. الأمر يشبه امتلاك مكتبة من حركات الرقص القياسية للثنائيات. بدلاً من وصف خطوتين منفصلتين، تقول فقط: "لقد قاما بحركة 'الفالس رقم 42'". هذا يلتقط العلاقة بين الرقمين، مما يوفر المساحة.
الخطوة ج: "مقبض التحكم في الصوت" (التحجيم المدرك للتنشيط - Activation-Aware Scaling):
أحياناً تكون بعض أجزاء النموذج صاخبة جداً (نشطة للغاية) وأجزاء أخرى هادئة. إذا قللت حجم الأجزاء الصاخبة أكثر من اللازم، فستتشوه الموسيقى. يستمع QAM-W إلى "مستوى الصوت" لكل قناة قبل التقليص. إنه يخفض مستوى صوت القنوات الصاخبة قليلاً لتناسب المساحة الصغيرة بشكل أفضل، مما يضمن عدم سحق المعلومات الأكثر أهمية.

3. النتائج: حجم أصغر، نفس الجودة

اختبرت الورقة هذه الطة الجديدة على خمسة نماذج مختلفة للذكاء الاصطناائي (تتراوح من الصغيرة إلى المتوسطة والكبيرة).

"النقطة المثالية": عند مستوى ضغط معين (حوالي 5.5 بت لكل وزن)، حقق QAM-W نتائج مطابقة تقرياً للنموذج الأصلي غير المضغوط.
المقارنة: احتاجت طريقة منافسة شهيرة تسمى SmoothQuant إلى استخدام حوالي 8.1 بت للحصول على نفس الجودة. حقق QAM-W نفس النتيجة باستخدام 32% أقل من البتات.
- تشبيه: الأمر يشبه حزم حقيبة سفر. تحتاج SmoothQuant إلى حقيبة كبيرة لتتسع لملابسك بشكل مرتب. أما QAM-W فيقوم بطي الملابس بكفاءة عالية بحيث يمكنك وضع نفس الكمية في حقيبة أصغر بكثير.

4. ما لا تفعله (الحدود)

الورقة محددة جداً فيما لا تدعي القيام به:

ليست الأصغر: إذا حاولت تقليص النموذج أكثر (حتى يصل إلى 4 بت)، فإن طريقة أخرى تسمى QTIP تؤدي بشكل أفضل. QAM-W هو البطل في نطاق "المتوسط-الصغير" (5-6 بت)، وليس في النطاق "الصغير جداً".
التخزين مقابل السرعة: تقيس الورقة مقدار المساحة التي يشغلها النموذج على القرص الصلب أو في الذاكرة. هي لا تدعي بعد أنها تجعل النموذج يعمل بسرعة أكبر على شريحة الكمبيوتر، لأن البرمجيات اللازمة لاستخدام هذه الأرقام المضغوطة في الوقت الفعلي لا تزال قيد البناء.

ملخص

QAM-W هو "تقنية حزم" جديدة لنماذج الذكاء الاصطناعي. من خلال إدراك أن البيانات تأتي في أزواج، وتدويرها إلى شكل أفضل، والتكيف مع مستوى الصوت، يمكنه تقليص نماذج الذكاء الاصطناعي بنحو الثلث دون جعلها أقل ذكاءً. إنها أداة متخصصة تعمل بشكل أفضل في نطاق حجم معين، وتوفر توفيراً كبيراً في مساحة التخزين مقارنة بالطرق الحالية.

ملخص تقني: QAM-W

بيان المشكلة

تعتمد طرق التكميم (Quantization) الحالية لما بعد التدريب لنماذج اللغات الكبيرة (LLMs) بشكل أساسي على التكميم العددي (Scalar)، حيث تقوم بخرائط كل وزن بشكل مستقل إلى مؤشر صحيح. ورغم بساطة هذا الأسلوب، إلا أن التشفير العددي يتجاهل بنية الإحداثيات الزوجية المتأصلة داخل صفوف الأوزان. ويجادل المؤلفون بأنه ضمن صف الوزن الواحد، تكون الإحداثيات مترابطة عادةً؛ فبعد إجراء دوران متعامد (Orthogonal rotation)، تقترب هذه الإحداثيات من توزيع غاوسي دائري ثنائي الأبعاد (2D circular Gaussian distribution). وتفشل أكواد التشفير العددية في استغلال هذه البنية، مما يترك "فائضاً في معدل التشوه" (Rate-distortion slack) يمكن استرداده عبر تكميم الأزواج معاً كنقاط في مستوى، بدلاً من كونها أعداداً عددية مستقلة.

تعالج المنهجيات الحالية جزءاً من هذه المشكلة: فالطرق القائمة على الدوران (مثل QuIP وQuIP#) تعمل على تجانس مقادير الإحداثيات لكنها تعتمد غالباً على التشفير العددي أو تشفير الشبكة (Lattice coding)؛ أما الطرق التي تراعي التنشيط (مثل AWQ) فتقوم بتغيير حجم القنوات بناءً على مقدار التنشيط، لكنها تترك بنية الإحداثيات المشتركة دون مساس. ويفترض البحث أن نظام ترميز يجمع بين الدوران، والتشفير الثنائي المشترك، وتغيير الحجم المراعي للتنشيط، يمكنه تحقيق جودة أعلى بمعدلات بت أقل.

المنهجية: ترميز QAM-W

يقدم المؤلفون QAM-W (تعديل السعة التربيعي للأوزان - Quadrature Amplitude Modulation for Weights)، وهو نظام ترميز يعالج مصفوفات الأوزان صفاً بصف من خلال المسار التالي:

فصل الحجم والاتجاه: يتم تسجيل معيار الصف ( $r = \|w\|_2$ ) كبيانات وصفية (Metadata). ثم يتم تطبيع الصف إلى متجه وحدة $u$ .
الدوران الحتمي: يتم تطبيق دوران "هادامارد" كتلي (Block-Hadamard rotation) مقنع بالإشارة على الصف الموحد ( $y = R_{fwd} u$ ). هذا الدوران هو تحويل متساوي القياس (Isometry) دقيق في الحسابات الحقيقية، مما يعني أنه لا يسبب أي تشوه رياضي، ولكنه يعيد توزيع الطاقة لتقليل تماسك الإحداثيات.
الاقتران والمعايرة: يتم تجميع الإحداثيات المدورة المتجاورة في قيم مركبة ( $z_k = y_{2k} + i y_{2k+1}$ ). ويتم تغيير حجم كل زوج بواسطة عامل معايرة $\sigma_k$ ، يتم تقديره تجريبياً من متوسط سعة الأزواج، مع نمذجتها كتوزيع غاوسي دائري.
التكميم المشترك ثنائي الأبعاد: بدلاً من تكميم السعة والطور بشكل مستقل (التشفير القطبي)، يقوم QAM-W برسم كل زوج موحد إلى أقرب مركز في كود كتاب (Codebook) "لويد-ماكس" (Lloyd-Max) ثنائي الأبعاد تم تدريبه على التوزيع الغاوسي الدائري الموحد.
تغيير الحجم المراعي للتنشيط: لمواءمة خطأ الترميز مع حساسية مخرجات الطبقة، تطبق الطريقة عوامل تغيير حجم لكل قناة ( $s_j \propto r_j^\alpha$ ) قبل التكميم، حيث $r_j$ هو جذر متوسط مربعات (RMS) تنشيطات القناة المدخلة. وهذا يقلل من مساهمة القنوات ذات الـ RMS العالي، اتباعاً لمنطق AWQ.
فك الترميز: يعكس فك الترميز العملية: استخراج المؤشرات، البحث عن المراكز، إعادة تغيير الحجم بواسطة $\sigma_k$ ، تطبيق الدوران العكسي، ثم الضرب في معيار الصف المخزن.

يحلل المؤلفون النظام من خلال سلسلة حدود مركبة: الدوران هو تحويل متساوي القياس؛ التشفير الثنائي المشترك يقلل التشوه بشكل أفضل من التشفير القطبي عند معدلات ثابتة؛ والخطأ في مخرجات الطبقة محكوم بهوية الأثر (Trace identity) ( $\|X\Delta W^\top\|_F^2 = \text{Tr}(\Delta W \hat{M}_x \Delta W^\top)$ )، مما يحفز تغيير الحجم المراعي للتنشيط.

المساهمات الرئيسية

تصميم نظام الترميز: نظام ترميز "لويد-ماكس" ثنائي الأبعاد مشترك، مدور بـ "هادامارد" كتلي، ومقسم بمعيار الصف، مع تغيير حجم مراعي للتنشيط لأوزان LLM.
التحليل النظري: حد مركب أحادي الميل يربط بين تشوه الترميز (تشوه لويد $D_B$ ) وبين تباعد كولباك - ليبلر (KL) بين نماذج BF16 والنماذج المكممة. يشير الحد إلى أن KL المحقق يجب أن يرتب الطرق بشكل مشابه لتشوه الترميز.
دراسة تجريبية عابرة للنماذج: التقييم عبر خمسة نماذج LLM من أربع عائلات (1.1B–13B باراميتر) وثماني تكوينات مكممة.
اكتشاف الارتباط الرتبي: يوضح البحث أنه عبر 37 تكويناً من (الطريقة، النموذج)، فإن تباعد KL المقترن ونسبة التغير في الإدراك (ΔPPL%) مرتبطان رتبياً بمعامل سبيرمان $\rho = 0.99$ ، مما يؤكد استخدام KL كأداية تشخيص لجودة التكميم.

النتائج

يركز التقييم على ثلاثة نماذج مضبوطة التعليمات (TinyLlama-1.1B, Qwen2.5-3B, Mistral-7B) ومقارنة حدودية مع Llama-2-7B.

الجودة عند ~5.5 بت لكل وزن (bpw): نسخة QAM-W المراعية للتنشيط (QAM-W-5.5) تبقى ضمن نطاق ±0.4% من إدراك (Perplexity) نموذج BF16 في جميع النماذج المختبرة. وهذا يطابق جودة SmoothQuant W8A8 (الذي يعمل عند ~8.1 bpw) ولكنه يحقق ذلك باستخدام 32% أقل من بتات الأوزان.
التشفير الثنائي المشترك مقابل القطبي: عند معدل بت متساوٍ (~4 bpw)، يتفوق التشفير الثنائي المشترك (QAM-W-4) على الخط المرجعي القطبي (QAM-W-polar) بمقدار 1-3 نقاط مئوية (pp) في $\Delta$ PPL في النماذج المتحملة للتكميم (TinyLlama, Mistral) وبمقدار 14.6 نقطة مئوية في النموذج الحساس Qwen2.5.
المقارنة مع QTIP: عند حد صارم قدره 4 bpw، تتفوق طريقة QTIP (التي تستخدم شبكات E8 lattice trellises) على QAM-W. ويذكر المؤلفون صراحة أن مساهمة QAM-W هي في نطاق الـ 5–6 bpw الحافظ للجودة، وليس في حدود الـ 4 bpw الصارمة.
نسخة البت المنخفض: نسخة 3.5 bpw (QAM-W-3.5) تنافسية في البنى المعمارية المتحملة للتكميم (مثل Mistral 7B، مع +1.98% $\Delta$ PPL) ولكنها تؤدي بشكل أقل من GPTQ في النماذج الحساسة (مثل Qwen 2.5، مع +7.5% $\Delta$ PPL).
المهام اللاحقة: يحافظ نظام الترميز على الأداء في ست مهام لاحقة (PIQA, HellaSwag, إلخ) وMMLU، حيث يطابق QAM-W-5.5 نموذج BF16 ضمن 0.2 نقطة مئوية في MMLU عبر جميع النماذج.

الأهمية والادعاءات

يزعم البحث أن QAM-W-5.5 يمثل خياراً حافظاً للجودة لضغط LLM، حيث يوفر تقليلاً كبيراً في تخزين الأوزان وعرض نطاق الذاكرة (32% أقل من البتات) مقارنة بالوضع الراهن SmoothQuant W8A8، دون التضحية بالإدراك (Perplexity) أو دقة المهام اللاحقة.

يتسم المؤلفون بالتواضع بشأن نطاق ادعاءاتهم:

هم لا يدعون التفوق عند 4 bpw صارمة، مقرين بتفوق QTIP في ذلك النطاق.
يشيرون إلى أن المسار الحالي يقوم بفك تكميم الأوزان إلى BF16 قبل عملية ضرب المصفوفات؛ وبالتالي، فإن توفير بتات الوزن (bpw) المبلغ عنه ينطبق على التخزين وعرض نطاق الذاكرة، وليس على زمن استجابة الاستدلال (Inference latency)، حتى يتم تنفيذ نواة مدمجة (Fused kernel).
تقتصر الدراسة على نماذج Transformer كثيفة (Dense decoder-only) مع انتباه قياسي؛ وتُترك التوسعات للبنى المعمارية المعاصرة (مثل Gemma 2, Llama 3) أو المقاييس الضخمة (70B+ باراميتر) للعمل المستقبلي.
تم تدريب كود الكتاب (Codebook) على توزيع غاوسي دائري موحد اصطناعي بدلاً من التوزيعات التجريبية لكل نقطة تفتيش (Checkpoint)، وإن كان المؤلفون يقترحون أن استخدام كود كتاب متعلم قد يحقق مكاسب إضافية.

باختصار، يثبت QAM-W أن استعادة بنية الإحداثيات الزوجية للأوزان عبر التشفير الثنائي المشترك، جنباً إلى جنب مع الدوران وتغيير الحجم المراعي للتنشيط، يسمح بتكميم عالي الدقة في نطاق 5–6 bpw، مما يسد الفجوة بين كفاءة طرق الـ 4-بت وجودة طرق الـ 8-بت.