🤖 machine learning

ADMM-Q: An Improved Hessian-based Weight Quantizer for Post-Training Quantization of Large Language Models

تُعد ADMM-Q خوارزمية مبتكرة وتركيبية لتكميم أوزان ما بعد التدريب، تعتمد على متغير توافقي من طريقة "ألتيرنيتنج دايركشن ميثود أوف مالتي بلايرز" (ADMM)، تعمل على تحسين فائدة النماذج اللغوية الكبيرة بشكل كبير عند مستويات التكميم الهجومية التي تقل عن 4 بت، وذلك من خلال تقليل خطأ إعادة البناء لكل طبقة مع فرض قيود التكميم.

المؤلفون الأصليون: Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة ADMM-Q باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الصورة الكبيرة: تقليص الأدمغة العملاقة

تخيل النماذج اللغوية الكبيرة (LLMs) مثل Qwen أو LLaMA كمكتبات ضخمة ومفصلة للغاية. تحتوي هذه المكتبات على مليارات الكتب (المعلمات/Parameters) التي تسمح للذكاء الاصطناعي بالكتابة، والتفكير، والدردشة. ومع ذلك، ولأن هذه المكتبات ضخمة جدًا، فمن الصعب حملها (استهلاك عالٍ للذاكرة) وتستغرق وقتًا طويلاً في القراءة (حوسبة بطيئة).

التكميم (Quantization) هو عملية تقليص حجم هذه المكتبات. بدلًا من الاحتفاظ بكل كتاب مكتوب بحبر عالي الدقة وملون (دقة 32 بت أو 16 بت)، نحاول إعادة كتابتها باستخدام ألوان أقل أو رموز أبسط (4 بت أو حتى 2 بت). الهدف هو جعل المكتبة صغيرة بما يكفي لتتسع في حقيبة ظهر دون فقدان القصة.

المشكلة: "الجشعين" في التقليص

الأساليب الحالية لتقليص هذه النماذج، مثل GPTQ (المعيار السائد حاليًا)، تعمل مثل محرر جشع.

كيف تعمل: ينظر المحرر إلى الجملة الأولى، يقلصها، ثم ينتقل لما بعدها. ثم ينظر إلى الجملة الثانية، يقلصها، ثم يمضي قدمًا.
العيب: عندما يقلص المحرر الجملة الأولى، قد يرتكب خطأً صغيرًا. ولأنه ينتقل فورًا لما بعدها، فإنه لا يعود أبدًا لإصلاح هذا الخطأ. وبحلول الوقت الذي يصل فيه إلى نهاية الكتاب، تكون تلك الأخطاء الصغيرة قد تراكمت، مما يجعل القصة مربكة أو غير منطقية. وهذا الأمر سيء للغاية عندما نحاول تقليص الكتب بشكل عدواني للغاية (حتى 2 أو 3 بت).

الحل: ADMM-Q (نهج "اجتماع الفريق")

يقترح المؤلفون طريقة جديدة تسمى ADMM-Q. بدلًا من وجود محرر جشع يعمل بمفرده، تخيل فريقًا من المحررين يعقدون اجتماعًا حول طاولة مستديرة لكل فصل.

اجتماع الفريق (التحسين المشترك):
بدلًا من إصلاح جملة واحدة في كل مرة، ينظر الفريق إلى الفصل بأكمله دفعة واحدة. يتساءلون: "إذا غيرنا هذه الكلمة هنا، كيف سيؤثر ذلك على تلك الكلمة هناك؟" يقومون بتعديل جميع الكلمات في آن واحد للعثور على أفضل تركيبة ممكنة تحافظ على وضوح القصة، حتى عند استخدام عدد قليل جدًا من الألوان.
الرقصة بين "النعومة" و"الكتل" (ADMM):
الرياضيات وراء هذا تسمى ADMM (طريقة المضاعفات المتبادلة للاتجاه). فكر فيها كرقصة بين خطوتين:

الخطوة أ (الانزلاق الناعم): يقوم الفريق بإجراء تعديلات صغيرة ومستمرة على الكلمات لتحسين تدفق القصة.
الخطوة ب (الالتقاط بالشبكة): فجأة، يتعين عليهم جعل تلك الكلمات تلتصق بقيم محددة ومسموح بها (مثل تركيب قطعة "ليجو" في مكانها).
يستمرون في التناوب بين الانزلاق والالتقاط. مع مرور الوقت، تجبر هذه العملية الكلمات على الاستقرار في أفضل "مواضع الليجو" الممكنة دون كسر القصة.

مشكلة "القيم المتطرفة" (التحجيم القطري):
في هذه النماذج، هناك كلمات "عالية الصوت" (متطرفة) وكلمات "هادئة". إذا حاولت تقليصها جميعًا في وقت واحد، فإن الكلمات العالية ستطغى على المحادثة، وتضيع الكلمات الهادئة.

حل ADMM-Q: يستخدمون تقنية تسمى التحجيم القطري (Diagonal Scaling). تخيل إعطاء الكلمات الهادئة ميكروفونًا وخفض مستوى صوت الكلمات العالية فقط خلال جلسة التحرير. يضمن هذا حصول كل كلمة على فرصة عادلة للتحسين، مما يؤدي إلى قصة نهائية أكثر وضوحًا.

اللمسة النهائية (البحث المحلي):
بمجرد انتهاء الفريق من اجتماعهم، يقومون بـ "فحص سريع". يبحثون عن أزواج من الكلمات التي ربما تم تبديلها بالخطأ ويرون ما إذا كان استعادة ترتيبها يحسن القصة. هذه لمسة نهائية سريعة للإمساك بأي أخطاء في اللحظة الأخيرة.

لماذا يهم هذا الأمر: النتائج

اختبرت الورقة هذه الطالة الجديدة على عدة نماذج (Qwen و LLaMA) ووجدت أن:

قصص أفضل: عندما قاموا بتقليص النماذج إلى أحجام صغيرة جدًا (مثل 3 بت أو 2 بت)، أنتجت الأساليب "الجشعة" القديمة (GPTQ) كلامًا غير مفهوم أو إجابات مربكة للغاية. أما ADMM-Q فقد حافظ على ذكاء وتماسك النماذج.
- مثال: في اختبار يسمى "WikiText-2"، سجلت الطريقة القديمة 12.85 (كلما زاد الرقم كان أسوأ)، بينما خفضتها ADMM-Q إلى 10.06. هذا تحسن هائل في الوضوح.
يعمل مع الأدوات الأخرى: ADMM-Q ليس بديلًا لكل شيء؛ بل هو بديل جاهز لجزء "المقلص" فقط. فهو يعمل بشكل مثالي جنبًا إلى جنب مع الحيل الأخرى التي يستخدمها الناس، مثل تدوير البيانات أو تغيير حجمها.
نفس السرعة: بمجرد تقليص النموذج، فإنه يعمل بنفس سرعة الأساليب القديمة. الوقت الإضافي الذي تستغرقه ADMM-Q يكون فقط أثناء عملية التقليص "خارج الخط" (مثل تحرير كتاب قبل نشره)، وليس أثناء استخدامك الفعلي للذكاء الاصطناعي.

العيات (القيود)

يستغرق وقتًا أطول في التحرير: لأن ADMM-Q يقوم بـ "اجتماع فريق" معقد لكل طبقة، فإنه يستغرق وقتًا أطول من حيث حوسبة الكم لتقليص النموذج مقارنة بالأساليب الجشعة البسيطة. ومع ذلك، يقول المؤلفون إن هذا الانتظار لمرة واحدة يستحق العناء من أجل جودة أفضل بكثير.
يحتاج إلى عينة: مثل كل هذه الأساليب، يحتاج إلى عينة صغيرة من النصوص (بيانات المعايرة) لفهم ما يحاول النموذج قوله قبل البدء في التقليص.

الملخص

ADMM-Q هو طريقة أذكى لضغط نماذج الذكاء الاصطناعي. بدلًا من التسرع في عملية الضغط خطوة بخضوة وارتكاب الأخطاء في الطريق، فإنه يتخذ نهجًا شموليًا رياضيًا لضبط جميع أجزاء النموذج معًا. النتيجة هي ذكاء اصطناعي أصغر حجمًا ولكنه لا يزال يتذكر كيف يفكر بوضوح، حتى عندما يتم ضغطه في مساحة ضيقة للغاية.

ملخص تقني: ADMM-Q للكمية بعد التدريب (Post-Training Quantization) للنماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) تحديات كبيرة في النشر بسبب متطلباتها الحسابية والذاكرة العالية. وتعد عملية التكميم (Quantization)، وتحديداً "التكميم بعد التدريب" (PTQ)، استراتيجية أساسية لضغط هذه النماذج عن طريق تقليل دقة الأوزان (على سبيل المثال، من 16 بت إلى 4 بت أو أقل) دون الحاجة لإعادة التدريب.

تظهر طرق تكميم الأوزان القياسية الحالية، مثل "التقريب لأقرب قيمة" (RTN) و"التكميم الجشع لكل عمود" (GPTQ)، قيوداً، لا سيما عند عرض النطاق الترددي المنخفض (أقل من 4 بت):

RTN: يقوم بتقريب الأوزان بشكل مستقل، متجاهلاً الاعتمادات المتبادلة بين الأوزان وهيكل مساحة خطأ إعادة البناء.
GPTQ: يدمج معلومات "هسيان" (Hessian) للتعويض عن الأخطاء، ولكنه يعالج الأوزات بطريقة جشعة عموداً تلو الآخر. هذا النهج التسلسلي حساس لترتيب المعالجة ويراكم الأخطاء عبر الأعمدة.

التحدي الجوهري يكمن في صياغة تكميم الطبقات كمسألة تحسين مقيدة تقلل من خطأ إعادة البناء مع احترام قيود التكميم المنفصلة، وهي مسألة تزداد صعوبة مع انخفاض عدد البتات.

المنهجية: ADMM-Q

يقترح المؤلفون ADMM-Q، وهو خوارزمية مبتكرة لتكميم الأوزان تعتمد على "طريقة المتعددات المجموعية لـ ADMM" (Alternating Direction Method of Multipliers). وخلافاً لنهج GPTQ الجشع لكل عمود، يعامل ADMM-Q تكميم الطبقة كمسألة تحسين مشتركة.

1. صياغة المسألة

تصيغ الخوارزمية تكميم طبقة ذات أوزان مدربة مسبقاً $\hat{W}$ ومدخلات نشطة $X$ كمسألة تحسين مقيدة بوزن "هسيان":
$\min_{W} \frac{1}{2} \text{Tr}\left((W - \hat{W})^\top H (W - \hat{W})\right) \quad \text{s.t.} \quad W \in \mathcal{Q}$
حيث أن $H = X^\top X + \lambda I$ هي مصفوفة هسيان، و $\mathcal{Q}$ هي مجموعة مصفوفات الأوزان المكممة.

2. المكونات الخوارزمية الرئيسية

لحل هذه المسألة غير المحدبة بكفاءة في مقاييس النماذج اللغوية الكبيرة، يدمج ADMM-Q عدة تحسينات:

التحجيم القطري للاستقرار العددي: غالباً ما تحتوي تنشيطات النماذج اللغوية الكبيرة على "قيم متطرفة في القنوات" (أبعاد ذات قيم ضخمة غير متناسبة)، مما يؤدي إلى مصفوفة هسيان ضعيفة التكييف. يطبق ADMM-Q مصفوفة تحجيم قطرية $\Sigma = \text{Diag}(H)^{-1/2}$ لتوحيد المسألة، مما يضمن مساهمة جميع القنوات بشكل متساوٍ في التحديثات. هذا الأمر حيوي؛ حيث تظهر دراسات الاستئصال (ablation studies) أن إزالة هذا التحجيم يؤدي إلى تدهور الأداء بشكل كبير (مثل زيادة الارتياب/perplexity من 10.06 إلى 14.68 في W3A16 لنموذج Qwen3-8B).
تقسيم ADMM: تقدم الخوارماجية متغيراً مساعداً $D$ $D$ لفصل هدف "هسيان" المستمر عن قيد التكميم المنفصل. وهي تتناوب بين:
1. تحديث W: تحديث مستمر يقلل المسافة الموزونة بهسيان، ويُحل بكفاءة عبر التفكيك الذاتي للقيم (eigendecomposition) لـ $H$ .
2. تحديث D: إسقاط منفصل على شبكة التكميم (يعادل RTN ولكن مع مراعاة التحجيم).
3. التحديث المزدوج: تعديل مضاعف لاجرانج لفرض الاتساق.
تحديث الشبكة (Grid Refresh): على عكس GPTQ، الذي يثبت شبكة التكميم أثناء التحسين، يقوم ADMM-Q بتعديل معلمات الشبكة ديناميكياً (المقياس ونقطة الصفر) بناءً على المتغير المستمر الحالي. هذا يسمح للإسقاط بالبقاء متوافقاً مع الهدف المتحرك، مما يتجنب تقادم الشبكة الثابتة.
تحسين البحث المحلي: لمعالجة الحلول المنفصلة دون المثالية الناتجة عن التقريب المترابط، تقوم خطوة ما بعد المعالجة بإجراء بحث محلي فعال لتبديل الأزواج. تقيم هذه الخطوة الحركات المنفصلة (تبديل القيم بين الصفوف) التي تقلل مباشرة من خطأ إعادة البناء، مع الاستفادة من التوازي في وحدات معالجة الرسومات (GPU) للسرعة.
ضمانات التقارب: وسع المؤلفون براهين تقارب ADMM الموجودة (التي تم إثباتها سابقاً لقيود التشتت/sparsity) لتناسب سياق التكميم، مما يثبت أن المتغيرات المستمرة والمنفصلة تتقارب إلى نفس نقطة النهاية تحت جدول عقوبة محدد ( $\rho_t = \rho_0 \cdot \gamma^t$ ).

3. الوحدات والتكامل

صُمم ADMM-Q ليكون بديلاً جاهزاً للاستخدام (drop-in replacement) لـ RTN أو GPTQ ضمن مسارات تكميم (PTQ) الحالية. وهو متوافق تماماً مع:

تحويلات التحجيم (مثل SmoothQuant و AWQ).
تحويلات الدوران (مثل SpinQuant و QuaRot).
استدلالات القص (Clipping heuristics) (مثل البحث عن الشبكة بناءً على متوسط مربع الخطأ MSE).

النتائج التجريبية

قيم المؤلفون ADMM-Q عبر ثلاثة إعدادات: تكميم الأوزان فقط، تكميم الأوزان والتنشيط مع SpinQuant، وتكميم الأوزان والتنشيط مع SmoothQuant.

1. تكميم الأوزان فقط (عائلة Qwen3)

عبر نماذج Qwen3 (من 1.7B إلى 32B)، تفوق ADMM-Q باستمرار على GPTQ و AWQ في الارتياب (perplexity) ودقة الاختبار الصفري (zero-shot accuracy)، مع زيادة الفوارق عند عرض النطاق الترددي المنخفض:

W3A16 (Qwen3-8B): تحسن الارتياب (WikiText-2) من 12.85 (GPTQ) إلى 10.06 (ADMM-Q).
W2A16 (Qwen3-8B): تحسن الارتياب (WikiText-2) من 32.88 (GPTQ) إلى 17.69 (ADMM-Q).
التحليل على مستوى الطبقات: قلل ADMM-Q من خطأ إعادة البناء عبر جميع طبقات فك الترميز (decoder layers)، محققاً ما يصل إلى 10% فقط من خطأ GPTQ في الطبقات الأولى.

2. تكميم الأوزان والتنشيط

SpinQuant (WbA4KV4): في نماذج LLaMA-3 و Qwen3، أدى استبدال GPTQ بـ ADMM-Q إلى تحسينات ثابتة. على سبيل المثال، في LLaMA-3 8B عند W2A4KV4، انخفض الارتياب من 50.27 (GPTQ) إلى 15.65 (ADMM-Q).
SmoothQuant (WbA8): في Qwen3-8B، حسن ADMM-Q الارتياب في W3A8 من 16.00 إلى 12.21.

3. أداء الاستنتاج

عند دمجه في بنية الاستنتاج vLLM، أنتج ADMM-Q مصفوفات أوزان بنفس تنسيق GPTQ. وبناءً على ذلك، حقق نفس سرعة الاستنتاج وفوائد الذاكرة. على سبيل المثال، في Qwen3-32B مع SpinQuant W8A8، حقق كلا الطريقتين تسريعاً قدره ~1.52× مقارنة بالنموذج الأساسي الكثيف (dense baseline).

4. التكلفة الحسابية

عملية التكميم خارج نطاق التشغيل (offline) لـ ADMM-Q أكثر كثافة حسابياً من GPTQ بسبب التحسين التكراري. ومع ذلك، يشير المؤلفون إلى أن التكميم خطوة تُنفذ لمرة واحدة، وأن وقت التشغيل يظل عملياً (على سبيل المثال، أقل من ساعتين لنموذج 32B على وحدة GPU واحدة). استخدام ذروة ذاكرة الـ GPU أعلى قليلاً (حوالي 6%) من GPTQ.

الأهمية والادعاءات

يزعم البحث أن ADMM-Q يمثل تحولاً جوهرياً من التكميم المتسلسل الجشع إلى التحسين المشترك المقيد للنماذج اللغوية الكبيرة. وتتمثل مساهماته الرئيسية في:

الابتكار الخوارزمي: نجح في تطويع ADMM لمواجهة مشكلة التجميع المعقدة لتكميم الأوزان، مع تقديم الاستقرارات اللازمة (التحجيم القطري) والتحسينات (تحديث الشبكة، البحث المحلي) لمقاييس النماذج اللغوية الكبيرة.
مكاسب الأداء: أظهر تحسينات ملموسة في فائدة النموذج (الارتياب والدقة)، خاصة في الأنظمة ذات عدد البتات المنخفض جداً (W3 و W2) حيث تواجه الطرق السابقة صعوبات.
تعدد الاستخدامات: يعمل كمكون نمطي يمكن دمجه لتعزيز المسارات الحالية (بما في ذلك تلك التي تستخدم الدورات والتحجيم) دون تغيير تنسيق الاستنتاج النهائي أو سرعته.

يقر المؤلفون بوجود قيود، مشيرين إلى أن ADMM-Q يتطلب تكاليف تكميم أعلى خارج نطاق التشغيل ويعتمد على مدى تمثيل مجموعة المعايرة (calibration set). علاوة على ذلك، فإن التقييم الحالي محدود بالنماذج اللغوية الكبيرة ذات فك الترميز التلقائي (decoder-only) الكثيفة، وأن التكيف مع نماذج Mixture-of-Experts أو نماذج الانتشار (diffusion models) سيتطلب مزيداً من العمل.