ButterflyViT: 354$\times$ Expert Compression for Edge Vision Transformers

1. بيان المشكلة

تعالج الورقة البحثية العائق الحرج في نشر نماذج "المحولات الرؤية" (ViT) التي تعتمد على "خليط الخبراء المتناثر" (Sparse Mixture of Experts - MoE) على الأجهزة الطرفية (مثل الهواتف الذكية، المتحكمات الدقيقة، وJetson Nano).

• التوسع الخطي للذاكرة: تخزن بنيات MoE القياسية مصفوفات أوزان مستقلة لـ $N$ من الخبراء. يتطلب متطلبات الذاكرة التوسع خطياً مع عدد الخبراء ($O(N \cdot d^2)$). على سبيل المثال، نموذج ViT-MoE يحتوي على 64 خبيراً وبُعد $d=256$ يتطلب حوالي 939 ميجابايت من الذاكرة، وهو ما يتجاوز بكثير سعة معظم الأجهزة الطرفية.
• محدودية طرق الضغط الحالية: الطرق الحالية مثل التكميم (Quantization)، والتقليم (Pruning)، والتحليل منخفض الرتبة (Low-rank Factorization) تقلل من العوامل الثابتة ولكنها تفشل في حل مشكلة التوسع الخطي الجوهرية. حتى التكميم الشديد (مثل 2-بت) لا يزال يتطلب مئات الميجابايت لـ 64 خبيراً.
• عرض النطاق الترددي والطاقة: حتى لو استوعب النموذج الذاكرة، فإن التحميل المتكرر لمصفوفات الأوزان الكبيرة يخلق عائقاً شديداً في عرض نطاق الذاكرة (Memory Bandwidth)، مما يؤدي إلى استهلاك عالٍ للطاقة (حوالي 13 مللي جول لكل تمريرة أمامية لنماذج 940 ميجابايت)، مما يجعل النشر في الأجهزة التي تعمل بالبطارية غير ممكن.

2. المنهجية: ButterflyViT

يقترح ButterflyViT تحولاً جذرياً في النموذج: بدلاً من تخزين الخبراء كمصفوفات مستقلة، فإنه يعاملهم كـ إعادة توجيه هندسي (مدارات - Orbits) لركيزة واحدة مشتركة ومكممة.

المفهوم الجوهري: المعلمة المدارية (Orbital Parameterization)

تستبدل الطريقة $N$ من مصفوفات الأوزان المستقلة ($W_i$) بمصفوفة أساس ثلاثية (Ternary) مشتركة ($W_{base}$) ومصفوفات دوران متعلمة لكل خبير ($B(\theta_i), B(\phi_i)$).
$$W_i \approx B(\phi_i) \cdot W_{base} \cdot B(\theta_i)^\top$$

• الركيزة الثلاثية المشتركة ($W_{base}$): مصفوفة أوزان واحدة مكممة إلى قيم ثلاثية $\{-1, 0, +1\}$ (1.58 بت لكل وزن). تلتقط هذه المصفوفة الميزات البصرية منخفضة المستوى (الحواف، الأنسجة) المشتركة بين جميع الرموز (Tokens).
• دوران الفراشة (Butterfly Rotations): بدلاً من تخزين مصفوفات دوران كاملة (والتي ستكون $O(d^2)$)، تستخدم الورقة مصفوفات الفراشة (Butterfly matrices). تقوم هذه المصفوفات بمعلمة التحويلات المتعامدة باستخدام $O(d \log d)$ فقط من المعلمات عبر دورات "جيفنز" (Givens rotations) قطرية كتلية متكررة.
  • $B(\theta_i)$ و $B(\phi_i)$ هما زوايا متعلمة خاصة بكل خبير.
  • تقومان بإسقاط الركيزة المشتركة في فضاءات فرعية مختلفة، مما يسمح لكل خبير بالتخصص في مفاهيم بصرية مختلفة (مثل أنسجة محددة أو أجزاء من الأجسام) دون الحاجة لتخزين أوزان جديدة.
• الاستدلال (Inference): لا يتم تجسيد الخبراء بشكل صريح أبداً. أثناء الاستدلال، يقوم النظام بتطبيق الدوران على المدخلات، ثم الضرب في المصفوفة الثلاثية المشتركة، ثم تطبيق دوران المخرجات.

المكونات التقنية الرئيسية

1. تعقيد ذاكرة دون خطي:

   • MoE القياسي: $O(N_E \cdot d_{model} \cdot d_{ff})$
   • ButterflyViT: $O(d_{model} \cdot d_{ff} + N_E \cdot n_\ell \cdot d)$
   • تكلفة الركيزة ثابتة، بينما تنمو تكلفة إضافة خبراء جدد خطياً فقط مع معلمات الدوران (وهي صغيرة جداً).

2. كبح القيم المتطرفة (Outlier Suppression):

   • غالباً ما تحتوي تنشيطات (Activations) المحولات على قيم متطرفة شديدة تؤدي لتدهور التكميم الثلاثي.
   • تعمل الدورات المدخلة المتعلمة ($B(\theta_i)$) على إعادة توزيع طاقة التنشيط عبر الأبعاد، مما يوجه الأنماط المتكررة نحو مناطق الخطأ المنخفض في الشبكة الثلاثية. هذا يكبح القيم المتطرفة طبيعياً دون الحاجة للقص (Clipping) الصريح، مما يحافظ على المعلومات.

3. تنظيم السلاسة المكانية (Spatial Smoothness Regularization):

   • يعامل MoE القياسي رقع الصور (Image Patches) بشكل مستقل، متجاهلاً الارتباطات المكانية.
   • يقدم ButterflyViT خسارة السلاسة المكانية ($L_{sp}$) التي تعاقب الاختلافات الكبيرة في "لوجيتات" التوجيه (Routing Logits) بين الرموز المتجاورة. هذا يستفيد من البنية المكانية للصور لتحقيق استقرار التدريب وتحسين التخصص البصري.

4. استراتيجية التدريب:

   • التعلم من البداية للنهاية (End-to-End): يتم تعلم التكميم الثلاثي باستخدام "المقدر عبر المسار" (Straight-Through Estimator - STE).
   • كسر التماثل (Symmetry Breaking): لمنع جميع الخبراء من التقارب نحو نفس الحل (انهيار الخبير)، يتم تهيئة زوايا الدوران بضوضاء عشوائية صغيرة ($N(0, 0.01^2)$)، مما يضمن وجود "رؤى" فريدة للركيزة منذ البداية.

3. المساهمات الرئيسية

• بنية ButterflyViT: أول طريقة تبرمج خبراء ViT-MoE كمتغيرات من المجموعة (Group-theoretic variations) لركيزة ثلاثية مشتركة، مما يكسر فرضية التوسع الخطي للذاكرة.
• ضغط فائق: يحقق 354 ضعف ضغط الذاكرة عند 64 خبيراً مقارنة بـ MoE القياسي، مما يقلل استخدام الذاكرة من 941 ميجابايت إلى **2.6 ميجابايت**.
• قابلية التشغيل على الأجهزة الطرفية: يُمكّن من نشر نماذج MoS عالية السعة على أجهزة محدودة الموارد (مثل استيعاب 3-6 خبراء على متحكمات مثل ESP32-S3 حيث لا يستطيع MoE القياسي استيعاب أي خبير).
• كفاءة الطاقة: يقلل استهلاك طاقة DRAM بنسبة ~99.5% (من ~90 مللي جول إلى أقل من 0.2 مللي جول لكل تمريرة أمامية) بسبب تقليل متطلبات عرض نطاق الذاكرة.
• ابتكار خاص بالرؤية الحاسوبية: يقدم تنظيم السلاسة المكانية للتعامل مع الارتباطات المكانية الفريدة لرقع الصور في توجيه MoE.

4. النتائج

أُجريت التجارب على مجموعة بيانات CIFAR-100 ($d_{model}=256, d_{ff}=1024$).

• الدقة: يحقق ButterflyViT دقة تحقق بنسبة 56.24%، وهي مقاربة لـ Standard MoE (57.09%) و Dense FFN (59.35%)، مع فقدان ضئيل جداً رغم الضغط الشديد.
• توسع الذاكرة:
  • 8 خبراء: ضغط 181 ضعف (117 ميجابايت $\leftarrow$ 0.65 ميجابايت).
  • 64 خبيراً: ضغط 354 ضعف (939 ميجابايت $\leftarrow$ 2.66 ميجابايت).
  • نسبة الضغط تزداد مع زيادة عدد الخبراء، على عكس الطرق القياسية.
• تنوع الخبراء: يظهر تحليل تشابه جيب التمام (Cosine similarity) أنه بينما يتشارك الخبراء في ركيزة واحدة، إلا أنهم يحافظون على سلوكيات متميزة (تشابه خارج القطر 0.29 مقابل 0.10 في MoX القياسي)، مما يثبت أن الدورات نجحت في خلق "رؤى" متخصصة.
• النشر: تم اختبار النجاح على أجهزة طرفية (Jetson Nano, Raspberry Pi, ESP32-S3)، مما يثبت الجدوى للتطبيقات الواقعية.
• سرعة الاستدلال: كان أبطأ بـ 3 مرات في البداية على وحدات معالجة الرسومات بسبب تنفيذ Kernel مخصص، ولكن تم تحسينه ليصل إلى تقارب مع Standard MoE باستخدام نوى Triton مخصصة.

5. الأهمية

يغير ButterflyViT فلسفة تصميم نماذج MoE للحوسبة الطرفية بشكل جذري. من خلال فصل السعة (عدد الخبراء) عن تخزين المعلمات (البصمة الذاكرية)، فإنه يسمح بـ:

1. ذكاء اصطناعي طرفي متوازي بشكل هائل: نشر نماذج MoE تحتوي على مئات الخبراء على أجهزة كانت تقتصر سابقاً على النماذج الكثيفة والصغيرة.
2. كفاءة الطاقة: تقليل تكلفة الاستدلال بشكل كبير، وهو أمر حيوي للأجهزة التي تعمل بالبطارية مثل إنترنت الأشياء (IoT) والأجهزة المحمولة.
3. اتجاه بحثي جديد: يرسخ "تمثيلات مدار المجموعة" (Group-orbit representations) كآلية قابلة للتطبيق للضغط الفائق للنماذج دون التضحية بالأداء أو التسبب في انهيار الخبراء.

يمثل هذا العمل أول معيار يثبت أن بنيات MoE المتناثرة يمكن توسيعها لتصل إلى الأجهزة الطرفية من خلال المعلمة الهندسية بدلاً من مجرد التكميم أو التقليم.