🤖 machine learning

MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization

تقترح هذه الورقة البحثية طريقة MARR، وهي طريقة إعادة بناء المتبقي المتكيفة مع الوحدات (module-adaptive residual reconstruction) للكمية بعد التدريب منخفضة البت، والتي تستخدم استراتيجية قائمة على نظام التحكم التناسبي التكاملي التفاضلي (PID) لتعيين معاملات قياس خاصة بكل وحدة ديناميكيًا، مما يوازن بفعالية بين تصحيح الخطأ المتراكم وانحياز تقريب هسيان (Hessian-approximation bias) لتحسين الأداء بشكل كبير في النماذج اللغوية الكبيرة (LLMs) ونماذج المحولات الرؤيوية (ViTs).

المؤلفون الأصليون: Le Su, Xing Luo, Zhi Jin

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Le Su, Xing Luo, Zhi Jin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization" باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: تقليص عملاق دون فقدان عقله

تخيل أن لديك مكتبة ضخمة وذكية للغاية (نموذج لغوي كبير أو ذكاء اصطناعي) تشغل مساحة كتلة سكنية كاملة. تريد تصغير حجمها لتناسب حقيبة ظهر صغيرة حتى تتمكن من حملها معك بسهولة. تسمى هذه العملية الكمية (Quantization).

لجعل المكتبة أصغر، عليك إعادة كتابة جميع الكتب باستخدام عدد أقل من الحروف (دقة أقل). عادةً، تحاول الإبقاء على الكتب بـ 8 أحرف لكل كلمة. ولكن لتوفم مساحة أكبر، تريد تقليصها إلى مجرد حرفين أو 4 أحرف لكل كلمة (الكمية منخفضة البت - Low-Bit Quantization).

المشكلة؟ عندما تصغر الكلمات كثيراً، تفقد التفاصيل. تبدأ المكتبة في ارتكاب الأخطاء. إذا صغرت كتاباً واحداً، فقد يرتبك الكتاب التالي لأنه كان يتوقع النسخة الأصلية المفصلة. هذه الأخطاء الصغيرة تتراكم، مثل لعبة "الهاتف المكسور" (الهمس)، حتى تصبح القصة غير مفهومة في النهاية.

الحل السابق: إصلاح "المتبقي" (Residual)

حاول الباحثون سابقاً إصلاح ذلك عن طريق إضافة "ملاحظة تصحيحية" (تسمى المتبقي - Residual) بين الكتب.

كيف عمل ذلك: إذا تعرض الكتاب (أ) للتقليص وفقد تفصيلاً ما، فإن الملاحظة التصحيحية تقول: "مهلاً، يا كتاب (ب)، تذكر هذا التفصيل المفقود من الكتاب (أ)".
النتيجة: ساعد هذا كثيراً، حيث منع الأخطاء من التراكم.

المشكلة الجديدة: انحياز "الإفراط في التصحيح"

اكتشف مؤلفو هذه الورقة وجود فخ. بينما تساعد هذه الملاحظات التصحيحية، إلا أنها قد تكون قوية جداً.

تخيل ميكانيكياً يحاول إصلاح محرك سيارة.

المشكلة: الميكانيكي (الذكاء الاصطناعي) يفترض أن المحرك يعمل بسلاسة تامة (افتراض رياضي يسمى Hessian-Approximation).
الأثر الجانبي: عندما يضيف الميكانيكي "ملاحظة تصحيحية" ضخمة لإصلاح صوت طقطقة صغير، فقد يتسبب دون قصد في حدوث اهتزاز جديد وأكبر لأن افتراضه حول المحرك لم يكن دقيقاً بنسبة 100%.
التشبيه: الأمر يشبه محاولة موازنة ميزان. إذا أضفت وزناً كبيراً إلى أحد الجانبين لإصلاح ميلان، فقد تقلب الميزان للجهة الأخرى لأنك لم تأخذ في الاعتبار الشكل الدقيق للوزن الذي أضفته.

من الناحية التقنية، تُدخل "الملاحظات التصحيحية" (المتبقيات) نوعاً جديداً من الخطأ يسمى انحياز HA (HA Bias). إذا كان التصحيح قوياً جداً، يصاب الذكاء الاصطناعي بالارتباك. وإذا كان ضعيفاً جداً، تتراكم الأخطاء الأصلية.

الحل: MARR (المنظم الذكي للذكاء الاصطناعي)

يقترح المؤلفون طريقة جديدة تسمى MARR (إعادة بناء المتبقي المتكيف مع الوحدات - Module-Adaptive Residual Reconstruction).

1. مبدأ "مقاس واحد يناسب الجميع" لا يعمل

سابقاً، استخدم الباحثون قاعدة واحدة للمكتبة بأكملة: "أضف ملاحظة تصحيحية بقوة 1.0 لكل كتاب".

الخلل: بعض الكتب حساسة، والبعض الآخر متينة. التصحيح الذي يساعد كتاباً متيناً قد يفسد كتاباً حساساً. توضح الورقة أن أجزاء مختلفة من الذكاء الاصطناعي (تسمى الوحدات - modules) تحتاج إلى قدر مختلف من التصحيح.

2. النهج "المتكيف مع الوحدات"

يمنح MARR كل كتاب (وحدة) مقبض تحكم في الصوت شخصي خاص به.

بدلاً من "صوت عالمي 1.0"، قد يحصل الكتاب (أ) على "صوت 0.5"، والكتاب (ب) على "صوت 1.2".
يسمح هذا للذكاء الاصطناعي بإيجاد التوازن المثالي لكل جزء محدد: تصحيح كافٍ لإصلاح الأخطاء، ولكن ليس كثيراً بحيث يخلق أخطاء جديدة.

3. استراتيجية "PID" (المنظم الذكي)

كيف يعرف الذكاء الاصطناعي ما هو مستوى الصوت المناسب لكل كتاب دون تجربة كل رقم (والذي سيستغرق وقتاً طويلاً جداً)؟

يستخدمون استراتيجية مستعارة من الهندسة تسمى التحكم بـ PID (التناسبي-التكاملي-التفاضلي). فكر في هذا مثل المنظم الذكي (Thermostat) في منزلك:

الهدف: الحفاظ على درجة حرارة الغرفة المثالية (أقل خطأ).
المستشعر: يتحقق المنظم من درجة الحرارة الحالية (خطأ إعادة البناء).
التعديل:
- إذا كان الجو بارداً جداً، يرفع الحرارة.
- إذا كان الجو حاراً جداً، يخفض الحرارة.
- PID مميز لأنه لا ينظر فقط إلى الآن؛ بل ينظر إلى الاتجاه (هل ترتفع الحرارة بسرعة؟) وإلى التاريخ (هل كان الجو بارداً لفترة طويلة؟). هذا يمنع السخان من العمل والتوقف بشكل عشوائي وعنيف.

في MARR، يستخدم الذكاء الاصطناعي منطق "المنظم" هذا لضبط مقبض الصوت لكل وحدة تلقائياً. يقوم بإجراء تعديلات صغيرة، ويتحقق مما إذا كان الخطأ قد تحسن، ثم يستقر على الإعداد المثالي بسرعة كبيرة.

النتائج: حقيبة ظهر أصغر، ولكن بنفس العقل

اختبر المؤلفون هذه الطريقة على نماذج ذكاء اصطناعي شهيرة (مثل Llama) ونماذج صور (مثل ViT).

الاختبار: حاولوا تقليص النماذج إلى أحجام صغيرة جداً (2 بت أو 4 بت).
النتيجة: حافظ MARR على ذكاء النماذج بشكل أفضل بكثير من الطرق السابقة.
- بالنسبة لنماذج النصوص، حسن الأداء بنسبة تصل إلى 20%.
- بالنسبة لنماذج الصور، حسن الأداء بنسبة تصل إلى 4.6%.
التكلفة: يستغرق الأمر وقتاً أطول قليلاً لـ "ضبط" النموذج قبل استخدامه (أطول بمرتين إلى 3 مرات من أفضل طريقة سابقة)، ولكن بمجرد ضبطه، يعمل بنفس السرعة ويناسب نفس حقيبة الظهر الصغيرة.

الملخص

تحل هذه الورقة مشكلة حيث يؤدي إصلاح أخطاء الذكاء الاصطناعي باستخدام "ملاحظات تصحيحية" إلى خلق مشاكل جديدة عن طريق الخطأ. حلهم، MARR، يعمل مثل منظم ذكي لكل جزء من أجزاء الذكاء الاصطناعي، حيث يجد تلقائياً القدر المثالي من التصحيح لكل قطعة. يتيح لنا هذا تقليص نماذج الذكاء الاصطناعي إلى أحجام صغيرة جداً دون فقدان ذكائها.

ملخص تقني: MARR (إعادة البناء المتبقي المتكيف مع الوحدات)

بيان المشكلة
تعد عملية التكميم بعد التدريب (PTQ) منخفضة البت أمراً بالغ الأهمية لنشر النماذج اللغوية الكبيرة (LLMs) ومحولات الرؤية (ViTs) في ظل قيود صارمة على الذاكرة وعرض النطاق الترددي. وبينما تنجح طرق التكميم بعد التدريب القائمة على إعادة البناء (مثل GPTQ) في تقليل أخطاء التكميم المحلية بفعالية، إلا أنها غالباً ما تفشل في مراعاة الأخطاء المتراكمة من الطبقات السابقة في إعدادات البت المنخفضة. وتتناول النهج الحديثة، مثل GPTAQ وResComp، هذه المشكلة عبر إدخال حدود متبقية عابرة للطبقات لتصحيح عدم التطابق المتراكم في التنشيط. ومع ذلك، حدد المؤلفون قصوراً حرجاً في هذه الطرق: وهو الاعتماد على فرضية تقريب الهيسيان (Hessian-Approximation - HA).

تحت فرضية HA، يختصر هدف إعادة البناء "هيسيان خسارة المهمة" إلى مصفوفة قطرية. ويوضح المؤلفون أنه بينما تقلل الحدود المتبقية من الأخطاء المتراكمة بفعالية، فإنها تؤدي في الوقت نفسه إلى إدخال تحيز إضافي لتقريب الهيسيان (HA bias). ينشأ هذا التحيز لأن الحد المتبقي يتفاعل مع فجوة التقريب بين "هيسيان خسارة المهمة" الحقيقي ومقياس متوسط مربع الخطأ (MSE) المحلي المبسط. وبناءً على ذلك، فإن قوة المتبقي التي تكون قوية جداً يمكن أن تضخم هذا التحيز، مما يؤدي إلى أداء تكميم دون المستوى الأمثل. علاوة على ذلك، فإن التوازن الأمثل بين تصحيح الخطأ وتحيز HA يعتمد على الوحدة (module-dependent)؛ حيث إن معامل قياس المتبقي العالمي الواحد غير كافٍ للتعامل مع التباين عبر الوحدات المختلفة في الشبكة.

المنهجية
لمعالجة المقايضة بين تصحيح الخطأ المتراكم وتحيز HA المرتبط بالمتبقي، يقترح البحث إعادة البناء المتبقي المتكيف مع الوحدات (MARR). تتكون المنهجية الأساسية من ثلاثة مكونات:

إعادة بناء المتبقي المقيّس (Scaled Residual Reconstruction):
قدم المؤلفون معامل قياس، $\alpha$ ، لتعديل الحد المتبقي $r$ في هدف إعادة البناء. تمت صياغة دالة الهدف لتقليل $\|\Delta w \hat{X} - \alpha r\|_F^2$ . يسمح هذا للطريقة بالتحكم الصريح في قوة المعلومات العابرة للطبقات التي يتم حقنها في كل وحدة. ويظهر التحليل النظري (المعادلة 6) أن تحيز HA يحتوي على حدود تعتمد على المتبقي $r$ ؛ وبالتالي فإن تغيير $\alpha$ يعدل مباشرة حجم هذا التحيز بالنسبة لفائدة تصحيح الخطأ.
القياس الخاص بكل وحدة (Module-Specific Scaling):
إدراكاً بأن $\alpha$ المثلى تختلف عبر الوحدات بسبب الاختلافات في إحصائيات التنشيط وحجم المتبقي المنتشر، يقوم MARR بتعيين معامل قياس فريد $\alpha_m$ لكل وحدة $m$ . وهذا يستبدل المعامل العالمي المستخدم في الأعمال السابقة (مثل GPTAQ حيث $\alpha=1$ ).
التقدير المتكيف القائم على PID:
لتحديد $\alpha_m$ المثلى دون البحث الشامل المكلف، صمم المؤلفون استراتيجية تحديث متكيفة قائمة على نظام التحكم التناسبي التكاملي التفاضلي (PID).

إشارة التغذية الراجعة: يعمل خطأ إعادة البناء على مستوى الوحدة (MSE) كإشارة تغذية راجعة. ونظراً لأن عملية التكميم غير سلسة ومنفصلة، فإن التحسين القائم على التدرج غير ممكن. بدلاً من ذلك، تستخدم الطريقة نهج التغذية الراجعة من الدرجة صفر.
آلية التحديث: تعامل الخوارزمية $\alpha_m$ كمتغير قابل للتعديل. تقوم بحساب إشارة انحراف بناءً على اتجاه الفرق المحدود لخطأ إعادة البناء. تتم معالجة هذه الإشارة عبر متحكم PID (بمكونات تناسبية وتكاملية وتفاضلية) لتوليد تحديث تدريجي لـ $\alpha_m$ .
الاستقرار: يتضمن التحديث إشارة انحراف محصورة بدالة $\tanh$ لمنع التجاوز (overshoot) ومعيار توقف مبكر يعتمد على التغير النسبي لدالة الهدف. ومن الناحية العملية، يتقارب المعامل خلال عدد قليل من التكرارات (عادة $T=3$ ).

المساهمات الرئيسية

الرؤية النظرية: حدد البحث وحلل "الأثر ثنائي الجوانب" لإعادة بناء المتبقي: فبينما يقلل من الأخطاء المتراكمة، فإنه يسبب تحيزاً مرتبطاً بـ HA. وهذا يفسر لماذا يمكن للمتبقيات الثابتة والقوية أن تضعف الأداء.
إطار عمل MARR: اقتراح إطار عمل متكيف مع الوحدات يقوم بتعيين معاملات قياس محددة للمتبقيات، مما يسمح لكل وحدة بموازنة تصحيح الخطأ وتحيز التقريب بشكل مستقل.
التحسين الفعال: تصميم استراتيجية تحديث متكيفة قائمة على PID لتقدير المعاملات الخاصة بكل وحدة بكفاءة باستخدام تغذية راجعة من خطأ إعادة البناء، مما يتجنب التكلفة الحسابية للبحث الشامل.
التحقق التجريبي: تجارب مكثفة تثبت أن MARR يتفوق باستمرار على أساليب إعادة بناء المتبقي الرائدة (مثل GPTAQ وResComp) تحت ظروف التكميم منخفضة البت (W2A4, W3A3، إلخ) عبر نماذج مختلفة من LLMs (مثل Llama2, Llama3) وViTs (مثل DeiT).

النتائج التجريبية
قيم المؤلفون MARR على عدة نماذج تحت إعدادات تكميم الوزن/التنشيط (W/A) والوزن فقط (W):

النماذج اللغوية الكبيرة (W2A4): حقق MARR تخفيضات كبيرة في الـ Perplexity على مجموعات بيانات WikiText2 وC4. على سبيل المثال، في Llama2-7b، قلل MARR من الـ Perplexity بنسبة 14.94% مقارنة بـ GPTAQ. وفي Llama3-8b، بلغت نسبة التخفيض 9.82%. ومن حيث دقة المهام النهائية، أظهر MARR تحسينات مستمرة، مع مكاسب تصل إلى 2.54% في المتوسط في دقة Zero-shot لنموذج Llama2-7b.
محولات الرؤية (ViTs): على ImageNet، حسن MARR دقة Top-1 عبر نماذج DeiT-T وDeiT-S وDeiT-B. والجدير بالذكر أنه في نموذج DeiT-S تحت تكميم W3A3، حقق MARR مكسباً نسبياً قدره 4.61% فوق خط الأساس GPTAQ.
تكميم الوزن فقط (Weight-Only): حتى عندما تظل التنشيطات بدقة عالية (مثل W2A16)، أظهر MARS تحسينات، وإن كانت أحياناً تعتمد أكثر على المهمة، مما يؤكد أن آلية التحكم في المتبقي تظل مفيدة حتى عند تقليل عدم التطابق في التنشيط.
الكفاءة: يضيف التحديث القائم على PID عبئاً إضافياً لمرة واحدة في مرحلة الـ PTQ يبلغ حوالي 2.1–2.7 ضعف مقارنة بطريقة GPTAQ الأساسية. ويشير المؤلفون إلى أن هذا مقبول نظراً لمكاسب الأداء ولأنها تظل أسرع بكثير من طرق إعادة البناء القائمة على الانتشار العكسي (Back-propagation).

الأهمية والادعاءات
يدعي البحث أن MARR يوفر حلاً مبدئياً للأداء دون المستوى لأساليب إعادة بناء المتبقي الحالية في التكميم منخفض البت (PTQ). ومن خلال نمذجة المقايضة بين تصحيح الخطأ المتراكم وتحيز HA صراحةً، ومن خلال تكييف هذا التوازن على مستوى الوحدة، يحقق MARR دقة تكميم فائقة دون الحاجة إلى إعادة التدريب. ويؤكد المؤلفون على عمومية نهجهم، مشيرين إلى فعاليته عبر كل من LLMs وViTs، مما يشير إلى أن التحكم في مساهمة المتبقي هو مطلب أساسي لدفع حدود التكميم إلى ما دون 4 بت. ويخلص العمل إلى أنه بينما تضيف استراتيجية PID عبئاً حسابياً، إلا أنها آلية ضرورية وفعالة لتجنب الأداء دون المستوى الناتج عن استخدام قوة متبقي "مقاس واحد يناسب الجميع".