🤖 machine learning

AAAC: Activation-Aware Adaptive Codebooks for 4-bit LLM Weight Quantization

تقدم الورقة البحثية AAAC، وهي طريقة كمية ما بعد التدريب خفيفة الوزن تحقق ضغطاً فائقاً لأوزان النماذج اللغوية الكبيرة (LLMs) بدقة 4 بت عبر استخدام كتب رموز تكيفية مدركة للتنشيط لتقليل خطأ إعادة البناء مع عبء تخزين مهمل ووقت كمي أسرع بكثير مقارنة بالأساليب القائمة على التدرج.

المؤلفون الأصليون: Beshr IslamBouli, David Jin

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Beshr IslamBouli, David Jin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من الكتب (نموذج لغوي كبير) وتريد حملها في جيبك. بما أن هذه الكتب ضخمة جدًا، فقد قررت تقليص حجمها لتناسب الجيب. تسمى هذه العملية الكمية (Quantization).

في الوقت الحالي، يقوم معظم الناس بتقليص هذه الكتب عبر إجبار كل كلمة على الانضواء تحت شبكة صلبة ومعدة مسبقًا من الفتحات بسعة 4 بت. تخيل الأمر كأنك تحاول وضع صخور غير منتظمة الشكل داخل صندوق من قطع "ليغو" المربعة المثالية؛ سيتعين عليك تقطيع الصخور أو ضغطها لتناسب الصندوق، مما يؤدي لفقدان بعض التفاصيل ويجعل القصة ضبابية بعض الشيء.

تحاول الطرق الموجودة إصلاح ذلك عن طريق تدوير الصخور أو زيادة مساحة الصندوق، لكنها لا تزال مضطرة لاستخدام نفس شبكة "الليغو" الصلبة.

يقترح نظام AAAC (أكواد التشفير التكيفية الواعية بالتنشيط) طريقة أذكى لتقليص حجم الكتب. وإليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: الشبكة "الموحدة للجميع"

في عملية الكمية القياسية بسعة 4 بت، تُجبر كل مجموعة من الأرقام (الأوزان) على الالتزام بنفس المجموعة الثابتة من القيم (مثل قائمة طعام ثابتة تحتوي على 16 عنصرًا). إذا لم يتطابق الرقم تمامًا، يتم تقريبه إلى أقرب خيار متاح، مما يؤدي لفقدان الدقة.

2. حل AAAC: حقيبتان للأدوات مخصصتان

بدلاً من استخدام قائمة طعام واحدة ثابتة لكل طبقة، يقوم AAAC بإنشاء حقيبتين صغيرتين للأدوات المخصصة (تسمى أكواد التشفير - codebooks) لكل طبقة في النموذج.

حجم ضئيل: هذه الحقائب صغيرة للغاية، حيث تبلغ مساحتها حوالي 64 بايت فقط لكل طبقة. وهذا يعادل تقريبًا حجم "إيموجي" واحد في رسالة نصية.
مصنوعة خصيصًا: بدلاً من أن تكون ثابتة، يتم "تعلم" هذه الحقائب من عينة صغيرة من نشاط النموذج. فهي مصممة خصيصًا لتناسب أشكال الصخور (الأوزان) في تلك الطبقة المحددة.

3. كيف يختار: خدعة "بت الإشارة"

لكل مجموعة من الأرقام، يقرر AAAC أي من حقيبتي الأدوات المخصصتين هي الأنسب.

القرار: يختار الحقيبة التي تقلل الخطأ إلى أدنى حد، مع التركيز بشكل خاص على الأرقام "المهمة" بناءً على كيفية "تفكير" النموذج حاليًا (التنشيطات).
سحر التخزين: هذا هو الجزء الذكي. يقوم النموذج بالفعل بتخزين "بت الإشارة" (مؤشر الموجب أو السالب) لأرقام المقياس الخاصة به. ومع ذلك، نظرًا لأن أرقام المقياس هذه تكون دائمًا موجبة، فإن بت الإشارة هذا يكون عادةً فارغًا (مساحة ضائعة). يقوم AAAC بإخفاء اختيار حقيبة الأدوات (0 أو 1) داخل بت الإشارة غير المستخدم هذا.
النتيجة: تحصل على ملاءمة مخصصة وأكثر ذكاءً دون أي تكلفة إضافية في مساحة التخزين.

4. السرعة والكفاءة: النهج "خفيف الوزن"

تتطلب العديد من الطرق الأخرى التي تحاول تحسين الدقة مجهودًا شاقًا:

الطرق القائمة على التدرج (Gradient-based): تشبه محاولة حل لغز بينما تركض في ماراثون؛ فهي تحتاج لساعات من الوقت وكميات هائلة من ذاكرة الوصول العشوائي (RAM) لحساب الرياضيات المعقدة بشكل عكسي.
AAAC: يشبه حل اللغز باستخدام طريقة استدلالية (heuristic) بسيطة وسريعة. فهو لا يحتاج للعمل بشكل عكسي أو استخدام ذاكرة ثقيلة. إنه يكتفي بالنظر إلى البيانات مرة واحدة، ويقوم بعملية "تجميع" (clustering) سريعة، ثم يختار أفضل حقائب الأدوات.
الوقت: ينتهي العمل في غض- 3 إلى 30 دقيقة على بطاقة رسوميات واحدة، بينما قد تستغرق الطرق عالية الجودة الأخرى ساعات.

5. النتائج

اختبرت الورقة البحثية نظام AAAC مقابل العديد من الطرق الشائعة الأخرى (مثل AWQ و GPTQ و OmniQuant) عبر أحجام مختلفة من النماذج (من النماذج الصغيرة بسعة 1 مليار معلمة إلى النماذج الكبيرة بسعة 27 مليار معلمة).

الدقة: أنتج AAAC باستمرار نتائج أكثر وضوحًا ودقة من الطرق "خفيفة الوزن" الأخرى.
المنافسة: بل إنه طابق أو تفوق على الطرق "الثقيلة" التي تستغرق ساعات، لكنه فعل ذلك في دقائق معدودة.
الدمج: عند دمجه مع طريقة أخرى تسمى AWQ، استعاد أكثر من 70% من الجودة المفقودة أثناء الضغط، مقتربًا جدًا من جودة النموذج الأصلي كامل الحجم.

ملخص

AAAC هو طريقة سريعة ولا تستهلك مساحة إضافية لتقليص أحجام نماذج الذكاء الاصطناعي. فبدلاً من إجبار البيانات على الانضواء تحت شبكة صلبة ومعدة مسبقًا، يقوم ببناء شبكتين مخصصتين وصغيرتين لكل طبقة، ويخفي اختيار الشبكة داخل بت من المساحة المهدرة. يحقق دقة عالية في دقائق، دون الحاجة إلى قوة الحوسبة الهائلة التي تتطلبها الطرق الأقدم والأكثر تعقيدًا.

ملخص تقني: AAAC (أكواد مخصصة متكيفة مع التنشيط)

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) قيودًا كبيرة في الذاكرة والحوسبة، مما يجعل عملية تكميم الأوزان فقط بعد التدريب إلى 4 بتات (W4A16/W4A8) استراتيجية نشر حاسمة. تعمل طرق التكميم بعد التدريب (PTQ) الحالية عمومًا تحت افتراض الشبكة الثابتة. فهي تحاول تحسين الدقة من خلال تحسين كيفية رسم خرائط الأوزان على شبكة قياسية (scalar grid) ثابتة محددة مسبقًا (مثل تنسيقات INT4 أو NVFP4 القياسية) عبر تقنيات مثل قياس القنوات (AWQ)، أو القص (clipping)، أو تعويض الخطأ (GPTQ).

يجادل المؤلفون بأن هذا النهج يترك إمكانات جودة غير مستغلة. فبينما يحدد تنسيق الـ 4 بت عدد الأكواد المخزنة وهيكل القياس لكل مجموعة، إلا أن هذا لا يستلزم بالضرورة أن تكون شبكة إعادة البناء القياسية نفسها ثابتة. القيم التي يتم استردادها (dequantized values)، والتي تحدد الأوزان الفعلية المستخدمة أثناء الاستدلال، مقيدة بهذا الجدول الثابت. الطرق الحالية تحسن عملية الرسم إلى الجدول، لكنها لا تكيف الجدول نفسه ليتناسب مع توزيع الأوزان وإحصائيات التنشيط لطبقة معينة.

2. المنهجية: AAAC

يقترح البحث AAAC (أكواد مخصصة متكيفة مع التنشيط)، وهي طريقة خفيفة الوزن وخالية من التدرجات (gradient-free)، تستبدل جدول القياس الفردي الثابت $T$ بـ كودين مخصصين (codebooks) للقياس ( $T_0$ و $T_1$ ) لكل طبقة.

الآلية الجوهرية

الأكواد المخصصة المتكيفة: بدلاً من شبكة ثابتة واحدة، تتعلم AAAC كودين صغيرين للقياس لكل طبقة. تمتلك هذه الأكواد نفس عدد عناصر تنسيق الـ 4 بت الأساسي (على سبيل المثال، 15 مدخلًا لتنسيق NVFP4، و16 لـ INT4)، ولكن يتم تحسين قيمها من بيانات المعايرة بدلاً من تحديدها بواسطة مواصفات التنسيق.
الاختيار المتكيف مع التنشيط: لكل مجموعة من الأوزان، تختار الطريقة الكود ( $T_0$ أو $T_1$ ) الذي يقلل من خطأ إعادة البناء المرجح بالتنشيط. يتم تحديد أهمية كل وزن من خلال طاقة التنشيد المربعة للعمود المقابل له في مجموعة المعايرة ( $I_k = \sum X_{t,k}^2$ ).
تخزين صفري التكلفة:
- حجم الكود: يحتوي كل كود على حوالي 15-16 قيمة بتنسيق BF16، بإجمالي حوالي 64 بايت لكل طبقة. بالنسبة لنموذج بـ 7 مليارات بارامتر، يضيف هذا حوالي 14 كيلوبايت فقط، وهو أمر ضئيل للغاية.
- بت الاختيار: يتم تشفير اختيار الكود لكل مجموعة في بت الإشارة غير المستخدم لمعامل المجموعة الموجب (بما أن المعاملات دائمًا موجبة). وهذا يسمح بالاختيار لكل مجموعة بـ تكلفة تخزين إضافية صفرية عندما يتطابق حجم مجموعة الاختيار ( $S$ ) مع حجم مجموعة القياس ( $g$ ).
خوارزمية التعلم:
- التهيئة: يتم تهيئة $T_0$ و $T_1$ باستخدام شرائح (quantiles) موزعة بانتظام من توزيع الأوزان الطبيعي، مع إزاحة $T_1$ بنصف خطوة لتوفير نقاط بداية متميزة.
- التحسين التبادلي: تقوم الخوارزمية بالتبديل بين:
  - التعيين (Assignment): تخصيص كل مجموعة أوزان للكود الذي يقلل من الخطأ المرجح بالتنشيط.
  - التحسين (Refinement): تحديث مدخلات الكود باستخدام k-means المرجح بالتنشيط (حساب المركز المرجح لخلية Voronoi لكل مدخل).
- الكفاءة: لا تتطلب العملية انتشارًا عكسيًا (backpropagation)، ولا حساب هسيان (Hessian)، ولا تدرجات كاملة للنموذج. فهي تعالج الطبقات بشكل مستقل باستخدام تنشيطات التمرير الأمامي فقط.

3. المساهمات الرئيسية

إعادة تعريف هدف التكميم بعد التدريب (PTQ): تنقل AAAC التركيز من رسم خرائط الأوزان إلى شبكة ثابتة إلى تعلم الشبكة نفسها، مما يقدم درجة جديدة من الحرية في التكميم.
تحسين خفيف الوزن خالٍ من التدرجات: على عكس الطرق المعتمدة على التدرج (مثل OmniQuant و SqueezeLLM) التي تتطلب ساعات من الانتشار العكسي وحمل ذاكرة هائل (2-4 أضعاف حجم النموذج)، تتعلم AAAC عبر عملية k-means بسيطة على تنشيطات التمرير الأمامي.
تخزين صفري التكلفة: من خلال استغلال بت الإشارة غير المستخدم لمعامل القياس، تحقق AAAC اختيار الأكواد المتكيفة دون زيادة بصمة ذاكرة النموذج.
السرعة: تكتمل عملية التكميم في 3 إلى 30 دقيقة على وحدة معالجة رسومات واحدة، وهي أسرع بمراحل من النماذج المرجعية التي تعتمد على التدرج.

4. النتائج التجريبية

قيم المؤلفون AAAC عبر عائلات نماذج Llama (1B–13B) و Qwen (0.5B–32B) باستخدام تخطيطات NVFP4 ( $g=16$ ) و INT4 ( $g=128$ ).

مقابل الطرق الخالية من التدرجات: تتفوق AAAC باستمرار على RTN و IF4 و AWQ و GPTQ.
- في WikiText-2، حققت AAAC استردادًا للفجوة بنسبة 59.2% (مقابل RTN) في المتوسط لتنسيق NVFP4، متجاوزة AWQ (28.1%) و IF4 (12.3%) بشكل كبير.
- في إعدادات INT4 ( $g=128$ )، تفوقت AAAC ذات التكلفة الصفرية ( $S=128$ ) بالفعل على AWQ في معظم النماذج؛ كما أدى إضافة 0.0625 bpw ضئيلة ( $S=16$ ) إلى تحسين الأداء بشكل أكبر.
مقابل الطرق المعتمدة على التدرج: تضاهي AAAC أو تتفوق على الطرق التي تتطلب ساعات من التحسين وذاكرة عالية.
- حققت AAAC استردادًا للفجوة بمتوسط 60.0%، وهو ما يطابق QuIP# مع الضبط الدقيق (60.0%) ويتفوق على OmniQuant (55.0%) و SqueezeLLM (55.0%) و GPTVQ (25.0%).
- والأهم من ذلك، تحقق AACC هذه النتالية مع ذروة ذاكرة لا تزيد عن حجم النموذج الأصلي وفي دقائق بدلاً من ساعات.
المهام النهائية (Downstream Tasks): في 8 مهام نهائية (الاستنتاج، المعرفة، المنطق العام، الرياضيات) باستخدام نماذج Qwen3.5، حققت AAAC أعلى متوسط دقة (64.21%) بين جميع طرق التكميم، مستردة 49.3% من الفجوة إلى خط الأساس BF16.
الجمع مع AWQ: عند الجمع مع AWQ (قياس الأوزان قبل التكميم)، تستعيد AAAC 70.5% من فجوة التكميم في المتوسط، مما يثبت التوافق مع تقنيات PTQ الأخرى.

5. الأهمية والادعاءات

يدعي البحث أن AAAC تتحدى الافتراض السائد بأن التدرجات ضرورية لسد فجوة الجودة بين النماذج المكممة بـ 4 بت ونماذج خط الأساس ذات الدقة الكاملة. ومن خلال إثبات أن طريقة خفيفة الوزن وخالية من التدرجات يمكنها مضاهاة أو حتى تجاوز أداء الخوارزميات المعقدة المعتمدة على التدرج، يشير المؤلفون إلى أن الأكواد المخصصة المتعلمة بمقياس ضئيل تمثل اتجاهًا عمليًا وفعالًا لتكميم LLM بـ 4 بت.

تكمن الأهمية في المقايضة: توفر AAAC دقة تقارب أحدث ما توصل إليه العلم (تضاهي الطرق التي تتطلب 100 ساعة من معالجة الرسوميات) مع تكلفة حوسبية دنيا (دقائق) وتكلفة تخزين صفرية، مما يجعل التكميم عالي الجودة بـ 4 بت متاحًا لمجموعة أوسع من سيناريوهات النشر.

القيود التي لاحظها المؤلفون:

التقييم محدود بالنماذج التي تصل إلى 32 مليار بارامتر؛ لم يتم اختبار ديناميكيات 70 مليار فأكثر.
المقارنات مع الطرق المعتمدة على التدرج تقتصر على LLaMA 7B/13B بسبب اتساق البروتوكول في الأدبيات السابقة.
تستهدف الطريقة تكميم الأوزان فقط (W4A16/W4A8) ولا تعالج التكميم المشترك للأوزان والتنشيط (W4A4).