ملخص تقني: SignRoundV2

بيان المشكلة

يعيق استهلاك الذاكرة الهائل وزمن الاستجولة (latency) المرتبط بالنماذج ذات الدقة الكاملة نشر النماذج اللغوية الكبيرة (LLMs) في البيئات محدودة الموارد. توفر عملية التكميم ما بعد التدريب (PTQ) حلاً عملياً عبر ضغط الأوزان والتنشيطات دون الحاجة لإعادة التدريب. ومع ذلك، فإن دفع التكميم إلى مستويات منخفضة للغاية من عدد البتات (على سبيل المثال، أوزان بـ 2 بت أو دقة مختلطة بـ 4 بت) يؤدي عادةً إلى تدهور شديد في الأداء. تواجه الطرق الحالية ثلاثة تحديات رئيسية:

1. انهيار الدقة: غالباً ما يفشل التكميم منخفض البتات الموحد في استعادة قدرات الاستنتاج للنماذج ذات الدقة الكاملة، لا سيما في سيناريوهات "الأوزان فقط" (weight-only).
2. مقاييس الحساسية غير الفعالة: تعتمد استراتيجيات الدقة المختلطة التكيفية التقليدية على معلومات الدرجة الثانية (Hessian) أو تشويه المخرجات التجريبي، وهي إما مكلفة حاسوبياً للنماذج الضخمة أو تفشل في عكس التأثير الحقيقي للتكميم على خسارة المهمة (task loss).
3. عدم استقرار التحسين: في أنظمة البتات المنخفضة للغاية، تكون بيئة التحسين (optimization landscape) غير مستقرة. حيث يمكن أن يؤدي سوء تهيئة معلمات التكميم ووجود قيم متطرفة في الخسارة (loss outliers) أثناء الضبط إلى عدم الوصول إلى التقارب الأمثل.

المنهجية

SignRoundV2 هو إطار عمل مطور لـ PTQ مصمم لسد الفجوة في الأداء بين النماذج المكممة ونماذج الدقة الكاملة تحت الضغط الشديد. وهو يبني على أساس SignRound ويقدم ابتكارين جوهريين:

1. مقياس حساسية DeltaLoss وتخصيص البتات التكيفي

لمعالجة قيود المقاييس القائمة على Hessian، يقدم SignRoundV2 مقياس DeltaLoss، وهو مقياس حساسية من الدرجة الأولى.

• الآلية: يقوم بتقدير زيادة الخسارة ($\Delta L$) الناجمة عن التكميم باستخدام مفكوك تايلور من الدرجة الأولى حول نقطة التكميم. يجمع المقياس بين مقدار اضطرابات التكميم وحساسية المهمة (task-aware gradient sensitivity):
  $$\text{DeltaLoss} = \|g_{aq} \odot (A_q - A_f)\|_1 + \|g_{wq} \odot (W_q - W_f)\|_1$$
  حيث تمثل $g$ التدرجات المحسوبة على مجموعة معايرة صغيرة، و $\odot$ يشير إلى الضرب العنصري.
• التخصيص: يوجه هذا المقياس استراتيجية الدقة المختلطة التكيفية على مستوى الطبقات. يتم صياغة مشكلة تخصيص البتات كمسألة تحسين منفصلة لتقليل إجمالي DeltaLoss تحت قيد متوسط عرض البت المستهدف. يتم حل هذه المسألة بكفاءة باستخدام البرمجة الديناميكية، مما يسمح للنموذ de بتخصيص دقة أعلى للطبقات الحساسة (مثل تلك ذات التدرجات الكبيرة وانحرافات التكميم الكبيرة) مع ضغط الطبقات القوية بشكل مكثف.

2. تقنيات الاستقرار لأنظمة البتات المنخفضة

إدراكاً بأن استقرار التحسين أمر بالغ الأهمية لتكميم البتات المنخفضة للغاية، يستخدم SignRoundV2 تقنيتين خفيفتين:

• البحث المسبق عن مقاييس الضبط (Pre-tuning Scale Search): مستوحى من مصفوفة الأهمية في llama.cpp ، تقوم الطريقة بإجراء بحث سريع لتحديد عوامل القياس الأولية عالية الجودة قبل مرحلة الضبط الرئيسية. وهذا يتجنب عيوب التهيئة البدائية (مثل ضبط معلمات القص عند 1.0) التي قد تعيق التقارب.
• تصفية الخسارة (Loss Filtering): لمنع التدرجات المتطرفة من إفساد معلمات التكميم المتعلمة، يستبعد الإطار أكبر $k$ من الخسائر (حيث $k$ يمثل 0.1% من إجمالي العناصر) عند حساب متوسط مربع الخطأ خلال مرحلة الضبط.

المساهمات الرئيسية

1. الدقة المختلطة التكيفية الفعالة: يقدم البحث استراتيجية تستفيد من معلومات التدرج وانحرافات التكميم لتوجيه تخصيص البتات على مستوى الطبقات عبر البرمجة الديناميكية، مما يحافظ على أداء عالٍ حتى تحت الضغط الشديد (مثل أوزان بـ 2 بت).
2. آليات الاستقرار: يقترح المؤلفون تقنيات بسيطة وفعالة، وتحديداً تصفية الخسارة والبحث المسبق عن مقاييس الضبط الخفيف، لتحسين الاستقرار والدقة في أنظمة البتات المنخفضة للغاية حيث تفشل طرق PTQ القياسية غالباً.
3. المفاضلة بين الأداء والتكلفة: يحقق SignRoundV2 دقة تنافسية مقارنة بطرق التدريب الواعي بالتكميم (QAT) عالية التكلفة وطرق التكميم الشعاعي (vector-quantization) في إعدادات الأوزان فقط، مع تطلب تكلفة حوسبية أقل بكثير والحفاظ على أداء قوي في سيناريوهات الوزن والتنشيط.

النتائج التجريبية

قام المؤلفون بتقييم SignRoundV2 عبر عائلات متنوعة من النماذج اللغوية الكبيرة (Llama 2/3, Qwen) ومعايير مختلفة (ARC, MMLU, HellaSwag, إلخ).

• تكميم الأوزان فقط (W2A16): في إعدادات الـ 2 بت الموحدة، يتفوق SignRoundV2 باستمرار على نماذج PTQ المرجعية الراسخة (GPTQ, AWQ, OmniQuant) والطرق عالية التعقيد (AQLM, QuIP#). على سبيل المثال، في نموذج Llama-3-70B، حقق متوسط دقة قدره 69.02% عند 2 بت، مما قلص الفجوة مع الدقة الكاملة بشكل كبير.
• الدقة المختلطة التكيفية: عند متوسط عرض بت يبلغ 2.5 بت، تحقق الطريقة أداءً يقترب من عدم الفقد في إعدادات MXFP، مما يقلص فجوة الأداء إلى حوالي 1% مقارنة بنماذج الدقة الكاملة. وفي نموذج Llama-3.1-8B عند 2.5 بت، حسن معدل الاستعادة فوق نموذج AMQ بنسبة 12.24 نقطة مئوية.
• تنسيقات MXFP و NVFP: يظهر الإطار أداءً قوياً في أنظمة 4-بت و 4.5-بت من نوع MXFP/NVFP، وغالباً ما يتفوق على نماذج SignRoundV1 و Round-to-Nearest (RTN)، مقترباً من دقة الدقة الكاملة عند 4.5-5 بت.
• الكفاءة: عملية التكميم فعالة للغاية؛ حيث يكمل SignRoundV2 عملية التكميم لنموذج Llama-2-70B في 2.5 ساعة على وحدة معالجة رسومية واحدة من نوع A100، مقارنة بمئات الساعات لطرق مثل QuIP# أو AQLM.

الأهمية

يرى البحث أن SignRoundV2 يمثل خطوة هامة نحو سد الفجوة في أداء PTQ للبتات المنخفضة للغاية. ومن خلال دمج مقياس حساسية مستند إلى التدرج مع تقنيات الاستقرار، يتيح الإطار نشر النماذج اللغوية الكبيرة مع ضغط شديد (وصولاً إلى 2 بت) دون التكاليف الباهظة لإعادة التدريب أو التكميم الشعاعي المعقد. وتشير النتائج إلى أن PTQ الفعال يمكن أن يقلل بشكل كبير من البصمة الحوسبية والذاكرة للنماذج اللغوية الكبيرة، مما يوفر حلاً قابلاً للتوسع للاستنتاج الفعال على وحدات معالجة الرسوميات الاستهلاكية وأجهزة الحافة (edge devices).

القيود

يقر المؤلفون بعدة قيود:

• أداء الـ 2 بت الموحد: حتى مع SignRoundV2، لا تزال هناك فجوة ملحوظة في الدقة في إعدادات الـ 2 بت الموحدة مقارنة بنماذج الدقة الكاملة، مما يشير إلى أن الدقة المختلطة أو التدريب الإضافي لا يزال ضروريين لأقصى درجات الضغط.
• تخصيص البتات الثابت: يتم تحديد تكوين عرض البت قبل الضبط على مستوى الكتلة ويظل ثابتاً؛ إن التحديث المشترك لتخصيص البت ومعلمات التدوير (rounding parameters) قد يحسن الدقة ولكنه سيزيد من تعقيد البحث.
• الاعتماد على التدرج: الاعتماد على DeltaLoss يتطلب حساب التدرج، مما يحد من التطبيق الفوري في أطر العمل التي تعمل بالاستنتاج فقط (مثل ONX Runtime) والتي لا تدعم عمليات التمرير الخلفي (backward passes).