ملخص تقني: التدويرات الطيفية المستوحاة من التأثير لتقليل دقة النماذج اللغوية الكبيرة إلى مستويات متطرفة من البتات المنخفضة

بيان المشكلة

تعالج الورقة تحدي الكمية (Quantization) لوزن الأوزان فقط عند مستويات بت منخفضة للغاية (تحديداً W2A16، أي وزن بـ 2 بت، وتنشيط بـ 16 بت) للنماذج اللغبية الكبيرة (LLMs). عند هذه العروض المنخفضة للبتات، تعاني طرق الكمية القياسية (مثل Intel Auto-Round التقليدي) من أخطاء إعادة بناء كبيرة، مما يؤدي إلى زيادات حادة في الارتياب (Perplexity - PP) على معايسات مثل WikiText-2. يكمن الصعوبة الجوهرية في "ميزانية ضجيج الكمية": مع وجود 2 بت فقط، يكون خطأ التقريب كبيراً، وتفشل طريقة الكمية لكل مجموعة (per-group) التقليدية في إعطاء الأولوية للقنوات الأكثر أهمية، مما يسبب تدهوراً شديداً في أداء النموذج، لا سيما في النماذج ذات طبقات MLP العريضة أو القيود الهيكلية المحددة (مثل بنية Qwen3).

المنهجية

تطبق الطريقة المقترحة، BBT-spectral، تحويلاً ثابتاً، محايداً رياضياً، لما قبل الكمية على الطبقات الخطية قبل تسليمها إلى كميّة قياسية تعتمد على تقليل خطأ إعادة البناء (Intel Auto-Round). المنهج مستوحى من ورقة نظرية مرافقة حول التأثير البولياني (Boolean influence) وهندسة والش-هادامارد (Walsh-Hadamard geometry)، ولكن تم تطبيقه بشكل استدلالي على القيم الحقيقية لطبقات LLM.

1. التحويل الجوهري

تتكون الطريقة من خطوتين تُطبقان على مصفوفة الأوزان $W$ والمدخل $x$ للطبقة الخطية:

1. التدوير الطيفي: يتم تدوير المدخل إلى أساس والش-هادامارد باستخدام مصفوفة متعامدة ثابتة $Q = H_{dpad}/\sqrt{dpad}$، حيث $H$ هي مصفوفة والش-هادامارد و $dpad$ هو البعد المضاف بالصفر ليصل إلى القوة التالية للعدد 2.
2. التحجيم لكل إحداثي: يتم تحجيم أعمدة مصفوفة الأوزات المدورة بواسطة مصفوفة قطرية $D = \text{diag}(s)$، حيث تُشتق عوامل التحجيم $s_\ell$ من الطاقة الطيفية للتنشيط لإحداثيات المدخلات:
   • يتم حساب تقريب الطاقة الطيفية $\rho_\ell$ كالقيمة المتوقعة لمربع مقدار الإحداثي $\ell$-ما بعد تدوير WHT: $\rho_\ell = E[h_\ell^2] / \sum E[h_k^2]$.
   • يُعرف عامل التحجيم بـ $s_\ell = (1 + d_{pad} \cdot \rho_\ell)^\alpha$، حيث $\alpha = 0.5$.

الثبات الرياضي: التحويل هو هوية دقيقة عند الدقة الكاملة ($x W^T = (x Q D^{-1}) (D Q^T W^T)$). يعمل التحجيم على "تعزيز" القنوات عالية الطاقة قبل الكمية وتقسيمها مرة أخرى بعد إلغاء الكمية، مما يؤدي فعلياً إلى توجيه ميزانية التقريب الصحيح نحو القنوات التي تحمل إشارة طيفية أكبر.

2. الامتدادات الهيكلية

فشلت الوصفة الأساسية في البداية على نماذج ذات آليات انتباه محددة. قدمت الورقة ثلاثة امتدادات للتعامل مع هذه الحالات:

• التحليل الطيفي للمكونات الرئيسية (Spectral-PCA) (لنمط Qwen3): بالنسبة للبنيات التي تحتوي على طبقات $q\_norm/k\_norm$ لكل رأس (مثل Qwen3)، فإن التحجيم القياسي من جانب المدخلات يكسر مقام الـ norm. يستبدل المؤلفون الـ norm بـ Matrix-$\Gamma$ RMSNorm الذي يدور أوزان الإسقاط عبر PCA لكل رأس ($U_h$) ويطبق مصفوفة قطرية $\Gamma_h$ لاستعادة المخرج الأصلي بدقة.
• PCA الزوجي (Pair-PCA) (للبنيات التي تتوافق مع RoPE): بالنسبة للنماذج التي لا تحتوي على $q\_norm$ (مثل Llama، SmolLM، Qwen2.5)، يجب أن يكون التدوير متوافقاً مع تضمينات الموضع الدوارة (RoPE). بما أن RoPE يعمل كتدويرات ثنائية الأبعاد، تقوم الطريقة بحساب SO(2) PCA مقيد لكل زوج RoPE، مما يدور صفوف الأوزان في مستويات ثنائية الأبعاد للمواءمة مع تباين التنشيط دون كسر ثبات RoPE.
• امتصاص مدرك لـ MoE (MoE-Aware Absorption): إصلاح تم تحديده عبر "الفحص الهيكلي" (architectural fuzzing) على نموذج Laguna اصطناعي، حيث تم توسيع قائمة الامتصاص من جانب المدخلات لتشمل $g\_proj$ (بوابات الرأس) بالإضافة إلى $q/k/v\_proj$ القياسية لمنع تسرب اللاخطية.

المساهمات الرئيسية

1. تحويل طيفي جاهز للاستخدام: خطوة ما قبل الكمية مبدئية وغير متعلمة (تدوير WHT + تحجيم قائم على الطاقة) تعمل على تحسين كمية W2A16 دون الحاجة إلى تعلم التدوير القائم على التدرج.
2. التحقق التجريبي: أظهرت الطريقة انخفاضاً بنسبة 15-58% في الارتياب (PPL) لـ WikiText-2 عبر أربعة نماذج (SmolLM-135M/360M، Qwen2.5-0.5B/1.5B) مقارنة بـ Auto-Round التقليدي. لوحظت أكبر المكاسب في النماذج التي عانت من أسوأ تدهور في النسخة الأصلية (على سبيل المثال، شهد Qwen2.5-0.5B تحسناً بنسبة 57.9%).
3. التعميم الهيكلي: تم توسيع الطريقة بنجاح لتشمل البنيات المعقدة (Qwen3 مع $q\_norm$، والنماذج الكثيفة بـ RoPE) عبر Spectral-PCA و Pair-PCA، مما حل حالات الفشل السابقة.
4. استبعاد عرض النطاق الترددي (Bit-Width Ablation): أظهرت النت أن فائدة الطريقة متسقة مع خاصية Schur-convexity: المكسب يتناسب مع ميزانية ضجيج الكمية. توفر الطريقة مكاسب هائلة عند W2 بينما تقدم تحسينات ضئيلة (عند مستوى الضجيج) عند W4، مما يؤكد أنها تستهدف نظام الضجيج العالي.
5. المتانة الهندسية: أثبتت الورقة أن الطريقة لا تضيف أي مؤثرات تشغيل إضافية (جميع التحويلات تُدمج في الأوزان) وتحافظ على ثبات PPL عبر الأجهزة (NPU Intel، GPU، و CPU).

النتائج

• الأداء:
  • SmolLM-135M: انخفض PPL من 81.03 إلى 45.11 (−44.3%).
  • Qwen2.5-0.5B: انخفض PPL من 119.31 إلى 50.22 (−57.9%).
  • Qwen2.5-1.5B: انخفض PML من 36.93 إلى 28.16 (−23.7%).
  • Qwen3-0.6B: باستخدام Spectral-PCA، انخفض PPL من 136.76 (النسخة الأصلية) إلى 88.99 (تحسن بنسبة 35% عن النسخة الأصلية).
• الإنتاجية (Throughput): تؤدي الأوزان المدمجة إلى رسوم بيانية تقليدية (dense transformer graphs). الإنتاجية مماثلة للنسخ الأصلية (في حدود ±15%)، مع عدم وجود عبء تشغيلي إضافي.
• أرضية الضجيج: عند W4، كان التحسن +0.06 PPL (غير مهم إحصائياً)، مما يؤكد أن الطريقة مخصصة لأنظمة البتات المنخفضة للغاية.

الادعاءات والقيود (صوت المؤلفين)

يؤطر المؤلفون صراحةً هذا العمل كـ ورقة هندسية تطبيقية وليس كاختراق نظري:

• لا يوجد تكافؤ رسمي: هم لا يدعون أن طاقة تنشيط WHT للقيم الحقيقية المستخدمة هنا مكافئة رسمياً للتأثير البولياني كما هو محدد في الورقة النظرية المرافقة. الارتباط هو حدسي ونوعي (كتلة طيفية لكل إحداثي)، وليس تحويلاً لنظرية رسمية.
• لا توجد دلالة إحصائية: النتائج تعتمد على بذرة واحدة (single-seed). الاختلافات الأقل من ±0.5 PPL تُعامل كضجيج تقييم.
• نطاق المقارنة: تتم المقارنات مقابل Auto-Round التقليدي. الورقة لا تدعي التفوق على قواعد أخرى قوية للبتات المنخفضة مثل AWQ أو GPTQ أو SpinQuant أو QuaRot؛ وقد تم تأجيل المقارنة المباشرة للأعمال المستقبلية.
• النطاق: الطريقة هي "جاهزة للاستخدام" (drop-in) كإجراء استدلالي. لا تدعي حل جميع مشاكل الكمية، مشيرة تحديداً إلى أن حجة "Schut-convexity" هي دليل استدلالي للإعداد ذي القيم الحقيقية، وليست نظرية مثبتة له.

المساهمة الأساسية هي تحويل بسيط، مبدئي، ومحايد رياضياً بدقة، يحقق مكاسب تجريبية غير تافهة عند W2 عبر عائلات نماذج متنوعة، مما يوفر حلاً عملياً للنشر عند مستويات البتات المنخفضة للغاية حيث يفشل التقريب القياسي.