ملخص تقني: التكميم الأمثل نظرياً بناءً على التسطيح (Flatness)

1. بيان المشكلة

أصبح التكميم ما بعد التدريب (PTQ) تقنية قياسية لضغط وتسريع النماذج اللغوية الكبيرة (LLMs). ومع ذلك، لا يزال هناك تحدٍ رئيسي يتمثل في وجود القيم المتطرفة في التنشيط (activation outliers)—وهي قيم ذات مقادير أكبر بكثير من التوقع الإحصائي لبقية البيانات. تجبر هذه القيم المتطرفة نطاق التكميم على التوسع لاستيعابها، مما يؤدي إلى ضغط غالبية البيانات العادية في نطاق ضيق من المستويات الصحيحة. وينتج عن ذلك أخطاء تكميم كبيرة وتدهور في الأداء، لا سيما عند عرض النطاقات البتية المنخفضة (مثل W4A4 أو W2A4).

بينما تحاول المنهجيات الحديثة التخفيف من حدة القيم المتطرفة عبر التحويلات الخطية (مثل الدوران)، لاحظ المؤلفون أن هذه الطرق غالباً ما تفشل في تشتيت أنماط القيم المتطرفة بشكل كامل، مما يترك توزيعات مقادير مركزة لا تزال تسبب تدهور الأداء. علاوة على ذلك، تعتمد الطرق الحالية على استراتيجيات تجريبية (heuristic) دون إرساء علاقة رياضية مباشرة بين القيم المتطرفة وأخطاء التكميم، أو تحسين توزيع فضاء التكميم بأكمله.

2. المنهجية

يقترح البحث التكميم القطري ثنائي الاتجاه (Bidirectional Diagonal Quantization - BDQ)، وهو إطار عمل قائم على التحليل النظري لـ "التسطيح" (Flatness). تتكون المنهجية من ثلاثة مكونات رئيسية:

2.1 النمذجة الرياضية للقيم المتطرفة والخطأ

قام المؤلفون أولاً باشتقاق العلاقة الرياضية بين القيم المتطرفة وخطأ التكميم. وقد أثبتوا أنه عندما يكون الطرف المتطرف $|w_{outlier}|$ أكبر بكثير من نطاق التكميم، فإن إجمالي خطأ التكميم $E[\epsilon^2]$ يهيمن عليه الطرف المتطرف ويظهر علاقة تربيعية مع مقدار هذا الطرف. وتحديداً، يتناسب الخطأ مع $w_{outlier}^2$، مما يشير إلى أن القيم المتطرفة هي العامل الرئيسي الذي يحد من دقة التكميم.

2.2 مقياس التسطيح والحل الأمثل نظرياً

لقياس توزيع القيم المتطرفة، قدم المؤلفون مقياساً جديداً يسمى التسطيح (Flatness)، مستوحى من الإنتروبيا المعلوماتية. يقيم التسطيح مدى انتظام توزيع البيانات عبر المصفوفة من خلال معاملة العناصر المربعة المعيرة كطيف توزيع احتمالي.

• التعريف: يُعرف التسطيح ($F$) بأنه مجموع $p_{ij} \ln p_{ij}$، حيث $p_{ij} = \frac{W_{ij}^2}{\alpha_i \beta_j}$. وهنا، $\alpha_i$ و $\beta_j$ هما عوامل وزن طاقة قابلان للتعلم للصفوف والأعمدة، على التوالي.
• التحسين: الهدف هو تقليل $F$ (زيادة الإنتروبيا) مع مراعاة قيود الطاقة. ومن خلال مضاعفات لاجرانج، أثبت المؤلفون أن الحل الأمثل الوحيد لتحقيق أقصى قدر من التسطيح هو تحويل على شكل $V = d_1 W d_2$، حيث $d_1$ و $d_2$ مصفوفات قطرية. يسمح هذا الهيكل بالتحجيم المستقل للصفوف والأعمدة لتشتيت القيم المتطرفة.

2.3 إطار عمل BDQ

بناءً على الحل الأمثل نظرياً، ينفذ BDQ ما يلي:

• التحويلات القطرية ثنائية الاتجاه: لكل طبقة متصلة بالكامل في النموذج اللغوي الكبير، يتعلم BDQ مصفوفتين قطريتين ($\Lambda_1, \Lambda_2$) لإجراء تحجيم على مستوى الصف والعمود. يعيد هذا توزيع مقادير القيم المتطرفة عبر كلا البعدين.
• تحويل هادامارد المتعامد (Hadamard Orthogonal Transformation): لتشتيت القيم المتطرفة بشكل أكبر وكسر الارتباطات القوية بين الأعمدة التي قد لا يحلها التحجيم القطري وحده، يدمج BDQ مصفوفة دوران $R$ قابلة للتعلم (مشتقة من مصفوفة هادامارد ومصفوفة متعامدة). يتم إعادة صياغة التمرير الأمامي كـ $y = Q(\Lambda_1 x \Lambda_2 R) \cdot Q(R^T \Lambda_2^{-1} W \Lambda_1^{-1})$، مما يضمن تحويلاً مكافئاً على مستوى الشبكة العالمية.
• فقدان الإنتروبيا المتقاطعة المتكرر (Recursive Cross-Entropy - RCE): لمعالجة مشكلة الإفراط في التخصيص (overfitting) على مجموعات المعايرة الصغيرة (مثل 128 عينة)، وهو أمر شائع في PTQ ويعيق تخفيف القيم المتطرفة، يقدم BDQ فقدان الإنتروبيا المتقاطعة المتكرر. تعمل دالة الفقد هذه على مطابقة توزيع التسمية (label distribution) وتوزيع الرموز (token distribution) المتوقع للنموذج في آن واحد، مما يمنع النموذج من السقوط في الحلول المحلية ويحسن التعميم.

3. المساهمات الرئيسية

1. النمذجة النظرية: يعد هذا البحث الأول الذي ينمذج العلاقة الرياضية بين القيم المتطرفة وأخطاء التكميم، مثبتاً أن الأخطاء تتناسب تربيعياً مع مقدار القيمة المتطرفة.
2. مقياس التسطيح: اقترح المؤلفون مقياس التسطيح لقياس توزيع القيم المتطرفة واشتقوا رياضياً الحل الأمثل (التحجيم القطري ثنائي الاتجاه) لتقليل هذا المقياس.
3. إطار عمل BDQ: اقترحوا التكميم القطري ثنائي الاتجاه، الذي يستخدم عمليات قطرية متعلمة ودورات هادامارد لتحقيق الحل الأمثل نظرياً للتسطيح.
4. تخفيف الإفراط في التخصيص: عالج تقديم فقدان الإنتروبيا المتقاطعة المتكرر مشكلة الإفراط في التخصيص المتأصلة في مجموعات المعايرة الصغيرة، وهي محدودية لوحظت في الطرق الرائدة السابقة.

4. النتائج التجريبية

أُجريت تجارب واسعة النطاق على نماذج LLaMA-2 و LLaMA-3 و DeepSeek-R1-Distill عبر إعدادات عرض بتي مختلفة (W4A4, W2A4, W3A3).

• إعداد W4A4: في نموذج LLaMA-3-8B، يحقق BDQ انخفاضاً في الدقة يقل عن 1% مقارنة بالنماذج ذات الدقة الكاملة، متفوقاً على الطرق الحالية مثل QuaRot و SpinQuant و FlatQuant.
• إعداد W2A4 (تحدي كبير): في إعداد W2A4KV16 شديد الانخفاض على نموذج DeepSeek-R1-Distill-LLaMA-70B، يقلل BDK فجوة الأداء مقارنة بالنموذج ذي الدقة الكاملة بنسبة 39.1% بالنسبة لأحدث الطرق الرائدة.
• الكفاءة: تُظهر الطريقة تسريعاً كبيراً في الاستدلال (يصل إلى 3.44 ضعفاً على NVIDIA A100) وتوفيراً في الذاكرة (يصل إلى 3.74 ضعفاً على AMD MI250) مقارنة بالنماذج ذات الدقة الكاملة.
• دراسات الاستئصال (Ablation Studies): تؤكد التجارب أن الجمع بين BDQ وفقدان RCE يعطي نتائج متفوقة مقارنة باستخدام BDQ مع الإنتروبيا المتقاطعة القياسية، مما يثبت فعالية دالة الفقد المقترحة في منع الإفراط في التخصيص.

5. الأهمية والادعاءات

يدعي البحث أن BDQ يضع معياراً جديداً للتكميم ما بعد التدريب. تكمن أهميته الأساسية في الانتقة من مجرد التخفيف التجريبي للقيم المتطرفة إلى نهج أمثل نظرياً مشتق من المبادئ الأولى. من خلال الإثبات الرياضي بأن التحجيم القطري ثنائي الاتجاه هو الحل الأمثل لتعظيم التسطيحي (وبالتالي تقليل خطأ التكميم)، يوفر المؤلفون أساساً صارماً لطرق التكميم المستقبلية.

يقر المؤلفون بوجود قيود، مشيرين إلى أن التجارب كانت مقيدة بالموارد الحوسبية لنماذج تصل إلى 70 مليار معلمة وبنيات GPU محددة. ومع ذلك، يؤكدون أن الإطار النظري والأداء الموضح على النماذج الكبيرة (LLaMA-3-70B, DeepSeek-R1-Distill-70B) يثبت إمكانات الطريقة للنشر الفعال ومنخفض التكلفة للنماذج اللغوية الكبيرة.