ملخص تقني: التعويض ثنائي القطب غير الخطي (NBC) للكمية ما بعد التدريب

1. بيان المشكلة

تعد كمية الشبكات (Network quantization) تقنية بالغة الأهمية لضغط الشبكات العصبية العميقة عبر تحويل الأرقام ذات الفاصلة العائمة إلى تمثيلات منخفضة البتات، مما يقلل من استهلاك الذاكرة والحوسبة. وبينما توفر طرق الكمية ما بعد التدريب (PTQ) بديلاً عملياً للتدريب مع مراعاة الكمية (QAT) عبر تجنب إعادة التدريب، إلا أن طرق PTQ الحالية تواجه مقايضة كبيرة بين الدقة والكفاءة، لا سيما في ظل الكمية منخفضة البتات (مثل 4 بت).

تحاول الطرق الحديثة القائمة على التعويض التخفيف من أخطاء الكمية عن طريق إدخال طبقات خطية خفيفة الوزن في الشبكة المكممة. ومع ذلك، حدد المؤلفون عقبتين أساسيتين في هذه النهج الحالية:

1. قدرة تعويض محدودة: إن فقدان الكمية في الشبكات العصبية العميقة هو بطبيعته غير خطي للغاية. لذا فإن التحويلات الخطية البسيطة غير كافية لاستعادة المعلومات المفقودة أثناء عملية الكمية بشكل كامل.
2. حساسية عالية للقيم المتطرفة (Outliers): تحتوي البنى الحديثة، مثل المحولات الرؤية (ViT) والنماذج اللغوية الكبيرة (LLMs)، غالباً على قيم تنشيط متطرفة تتجاوز بشكل كبير نطاق القيم الطبيعية. إن وحدات التعويض الخطي، التي يتم تهيئتها عادةً عبر طريقة المربعات الصغرى العادية (OLS)، عرضة بنيوياً لأن يتم "سحبها" بواسطة هذه القيم المتطرفة. فحل الـ OLS يقلل من الخطأ التربيعي للقيم القصوى، مما يؤدي إلى جعل خط الانحدار يميل بشكل مفرط نحو القيم المتطرفة ويضحي بالملاءمة المثلى لمعظم البيانات.

2. المنهجية: التعويض غير الخطي ثنائي القطب (NBC)

لمعالجة هذه القيود، يقترح البحث التعويض غير الخطي ثنائي القطب (Nonlinear Bipolar Compensation - NBC)، وهو نهج للكمية ما بعد التدريب يُدخل اللاخطية للتعامل مع خسائر الكمية المعقدة والقيم المتطرفة مع الحفاظ على كفاءة الحلول ذات الصيغة المغلقة.

الإطار الجوهري

يعمل منهج NBC عن طريق رسم خرائط للمدخل المكمم ($x_q$) وخطأ الكمية ($y - y_q$) إلى فضاء محول، وإجراء تعويض خطي داخل ذلك الفضاء، ثم رسم النتيجة مرة أخرى إلى الفضاء الأصلي. تتم صياغة العملية كما يلي:
$$y_{nbc} = y_q + f^{-1}(W f(x_q) + b)$$
حيث أن:

• $f(x)$ هي دالة التحويل غير الخطي.
• $f^{-1}(x)$ هي دالتها العكسية.
• $W$ و $b$ هما مصفوفة الأوزان ومتجه الانحياز للطبقة الخطية خفيفة الوزن.
• والأهم من ذلك، يتم الحصول على المعلمات $W$ و $b$ عبر حل ذي صيغة مغلقة (انحدار خطي) على البيانات المحولة ($f(x_q)$ و $f(y - y_q)$)، مما يتجنب الحاجة إلى الانتشار العكسي أو التدريب التكراري.

التحويل اللوغاريتمي ثنائي القطب (BLT)

التنفيذ المحدد لدالة التحويل غير الخطي $f(x)$ هو التحويل اللوغاريتمي ثنائي القطب (Bipolar Logarithmic Transformation - BLT). التحويلات اللوغاريتمية القياسية غير مناسبة لأن أخطاء الكمية والمدخلات يمكن أن تكون سالبة. يقوم BLT بتقسيم نطاق المدخلات إلى ثلاث مناطق بناءً على عتبة المقدار ($2^{-N}$):

1. المنطقة الخطية: بالنسبة للمقادير الصغيرة ($|x| \le 2^{-N}$)، تطبق الدالة تحويلاً خطياً للحفاظ على الدقة بالقرب من الصفر.
2. المنطقة اللوغاريتمية الموجبة: بالنسبة للقيم الموجبة الكبيرة ($x > 2^{-N}$)، تطبق تحويلاً لوغاريتمياً مع إزاحة (offset).
3. المنطقة اللوغاريتمية السالبة: بالنسبة للقيم السالبة الكبيرة ($x < -2^{-N}$)، تطبق تحويلاً لوغاريتمياً سالباً مع إزاحة مقابلة.

هذا التصميم يضغط القيم المتطرفة بفعالية (الموجبة والسالبة على حد سواء) مع الحفاظ على العلاقة الخطية للتنشيطات الطبيعية.

اختيار المعلمات الفائقة (Hyperparameter Selection)

يتم اختيار معلمة العتبة $N$ باستخدام خوارزمية البحث المحلي القائم على فقدان الميزة (Feature Loss based Local Search - FLS). تقوم هذه الخوارمة بإجراء بحث محلي منفصل حول قيمة أولية تجريبية، وتقييم مسافة L2 التربيعية بين ميزات النموذج كامل الدقة وميزات النموذج المكمم لإيجاد القيمة المثلى لـ $N$ التي تقلل فقدان الميزة.

3. المساهمات الرئيسية

يقدم البحث المساهمات المحددة التالية:

• تحليل القيود: حدد وأثبت رسمياً أن طرق PTQ القائمة على التعويض الحالية تفشل بسبب عدم قدرتها على نمذجة خسارة الكمية غير الخطية وحساسيتها البنيوية للقيم المتطرفة في تحسين OLS الخطي.
• إطار عمل NBC: اقترح التعويض غير الخطي ثنائي القطب، وهو منهج يُدخل اللاخطية لتحسين الدقة مع الاحتفاظ ببساطة وكفاءة حساب المعلمات بالصيغة المغلقة.
• تصميم BLT: قدم التحويل اللوغاريتمي ثنائي القطب، الذي يتغلب على قيود التحويلات اللوغاريتمية القياسية فيما يتعلق بالقيم السالبة، مما يسمح بضغط فعال للقيم المتطرفة في نطاقات التنشيط الموجبة والسالبة.
• التحقق الشامل: تم التحقق من المنهج عبر مهام متنوعة (رؤية، لغة، متعدد الوسائط)، ونماذج مختلفة (ViT, DeiT, Swin, LLaMA2, DiT)، ومعايير PTQ مرجعية (RepQ-ViT, AdaLog, Q-DiT, DuQuant).

4. النتائج التجريبية

تُظهر التجارب المكثفة فعالية وكفاءة ومتانة NBC:

• تصنيف الصور (ImageNet):

  • عند استخدام 4-بت مكممة لنموذج ViT-B باستخدام RepQ-ViT، يحقق NBC دقة Top-1 بنسبة 77.6%، وهو تحسن كبير عن Baseline RepQ-ViT (69.1%) وطريقة التعويض الخطي QwT (76.6%).
  • عبر مختلف الهياكل (DeiT-T, ViT-B, Swin-S)، يتفوق NBC باستمرار على QwT، بمتوسط مكاسب قدره 2.4% عن المرجع وما يصل إلى 4.6% في سيناريوهات 4-بت.
  • يمكن كمية معلمات NBC إلى INT8 مع فقدان ضئيل جداً في الدقة (<0.2%)، مما يقلل من عبء التخزين بشكل أكبر.

• توليد الصور (DiT):

  • على نموذج DiT-XL/2، يحسن NBC نموذج Q-DiT بمقدار 0.33 FID و 5.4 IS في إعدادات 8-بت، ويستعيد الأداء بشكل كبير في إعدادات 4-بت (على سبيل المثال، ينخفض FID من 6.75 إلى 6.12).

• التعرف متعدد الوسائط (CLIP):

  • عند كمية كل من مشفرات الصور والنصوص (6-بت)، يحسن NBC دقة zero-shot Top-1 بنسبة 16.4% عن المرجع RepQ-ViT (44.3% مقابل 29.8%).

• النماذج اللغوية الكبيرة (LLaMA2-7B):

  • عند دمجه مع DuQuant، يحسن NBC متوسط الدقة في مهام الأسئلة الشائعة (commonsense QA) من 60.57% إلى 61.47% ويقلل من الارتياب (perplexity) في WikiText2 و C4.

• الكفاءة والمتانة:

  • المعايرة (Calibration): تكتمل عملية المعايرة بأكملها (بما في ذلك بحث FLS) خلال 1 إلى 3 دقائق على وحدة معالجة رسومات واحدة.
  • العبء (Overhead): تضيف وحدة التعويض حوالي 4% فقط إلى حجم النموذج وحوالي 2.2 مللي ثانية من زمن استجافة الاستدلال في إعدادات W8A8، مما يستعيد معظم فقدان الدقة مقارنة بالدقة الكاملة.
  • المتانة: تظهر الطريقة مكاسب ثابتة عبر بذور عشوائية مختلفة لمجموعة بيانات المعايرة.

5. الأهمية والادعاءات

يزعم المؤلفون أن NBC يوفر حلاً عاماً، وفعالاً، وعملياً للكمية منخفضة البتات. وتكمن أهميته في:

1. كسر الحاجز الخطي: من خلال إدخال اللاخطية دون الحاجة إلى تدريب، يتجاوز NBC سقف الدقة لطرق التعويض الخطي.
2. التعامل مع القيم المتطرفة: يعالج BLT تحديداً مشكلة "سحب القيم المتطرفة"، وهي وضع فشل حرج في نماذج Transformer الحديثة.
3. الجاهزية للنشر: على عكس الطرق القائمة على التحسين التي تتطلب ساعات من إعادة البناء لكل كتلة، يحافظ NBC على كفاءة "المعايرة فقط" لـ PTQ، مما يجعله مناسباً للنشر في العالم الحقيقي.

يقر البحث بالقيود، مشيراً إلى أن الأداء يعتمد على إطار عمل PTQ الأساسي وأن نشر W4A4 من طرف إلى طرف لـ Vision Transformers لا يزال يعوقه حالياً نقص في أطر الاستدلال الناضجة (مثل TensorRT, TVM) التي تدعم نوى GEMM لـ 4-بت للنماذج الرؤيوية. ومع ذلك، تُقدم الطريقة كخطوة قوية نحو استدلال عالي الدقة ومنخفض البتات.