ButterflyViT: 354$\times$ Expert Compression for Edge Vision Transformers

यहाँ "ButterflyViT: 354× Expert Compression for Edge Vision Transformers" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र एज डिवाइसेस (जैसे स्मार्टफोन, माइक्रोकंट्रोलर, जेसन नैनो) पर स्पार्स मिक्स्चर ऑफ एक्सपर्ट्स (MoE) विजन ट्रांसफॉर्मर्स (ViT) को तैनात करने में आने वाली महत्वपूर्ण बाधाओं को संबोधित करता है।

• रैखिक मेमोरी स्केलिंग (Linear Memory Scaling): मानक MoE आर्किटेक्चर $N$ स्वतंत्र एक्सपर्ट वेट मैट्रिसेस को स्टोर करते हैं। मेमोरी की आवश्यकता विशेषज्ञों की संख्या के साथ रैखिक रूप से बढ़ती है ($O(N \cdot d^2)$)। उदाहरण के लिए, एक ViT-MoE जिसमें 64 एक्सपर्ट्स और डायमेंशन $d=256$ है, उसे लगभग 939 MB मेमोरी की आवश्यकता होती है, जो अधिकांश एज डिवाइसेस की क्षमता से कहीं अधिक है।
• मौजूदा संपीड़न की सीमाएँ (Limitations of Existing Compression): क्वांटाइजेशन, प्रूनिंग और लो-रैंक फैक्टराइजेशन जैसे वर्तमान तरीके स्थिर कारकों (constant factors) को तो कम कर देते हैं, लेकिन वे मौलिक रैखिक स्केलिंग बाधा को हल करने में विफल रहते हैं। यहाँ तक कि आक्रामक क्वांटाइजेशन (जैसे 2-bit) भी 64 एक्सपर्ट्स के लिए सैकड़ों MB की आवश्यकता रखता है।
• बैंडविड्थ और ऊर्जा (Bandwidth & Energy): यदि मॉडल मेमोरी में फिट भी हो जाए, तो बड़े वेट मैट्रिसेस को बार-बार लोड करना एक गंभीर मेमोरी बैंडविड्थ बाधा उत्पन्न करता है, जिससे उच्च ऊर्जा की खपत होती है (940 MB वाले मॉडल्स के लिए प्रति फॉरवर्ड पास लगभग 13 mJ), जिससे बैटरी से चलने वाले डिप्लॉयमेंट का उपयोग करना असंभव हो जाता है।

2. कार्यप्रणाली: ButterflyViT (Methodology: ButterflyViT)

ButterflyViT एक नए प्रतिमान (paradigm) का प्रस्ताव करता है: विशेषज्ञों को स्वतंत्र मैट्रिसेस के रूप में स्टोर करने के बजाय, यह उन्हें एक एकल, साझा, क्वांटाइज्ड सबस्ट्रेट (substrate) के ज्यामितीय पुनर्रचना (geometric reorientations/orbits) के रूप में मानता है।

मुख्य अवधारणा: ऑर्बिटल पैरामीट्राइजेशन (Core Concept: Orbital Parameterization)

यह विधि $N$ स्वतंत्र वेट मैट्रिसेस ($W_i$) को एक साझा टर्नरी बेस मैट्रिक्स ($W_{base}$) और सीखे गए प्रति-विशेषज्ञ रोटेशन मैट्रिसेस ($B(\theta_i), B(\phi_i)$) से बदल देती है।
$$W_i \approx B(\phi_i) \cdot W_{base} \cdot B(\theta_i)^\top$$

• साझा टर्नरी सबस्ट्रेट ($W_{base}$): एक एकल वेट मैट्रिक्स जिसे टर्नरी वैल्यूज $\{-1, 0, +1\}$ (1.58 bits/weight) तक क्वांटाइज किया गया है। यह उन निम्न-स्तरीय विजुअल फीचर्स (किनारों, बनावट) को कैप्चर करता है जो सभी टोकन्स के लिए सामान्य होते हैं।
• बटरफ्लाई रोटेशन्स (Butterfly Rotations): पूर्ण रोटेशन मैट्रिसेस (जो $O(d^2)$ होंगे) को स्टोर करने के बजाय, यह पेपर बटरफ्लाई मैट्रिसेस का उपयोग करता है। ये रिकर्सिव ब्लॉक-डायगोनल गिवेंस रोटेशन्स के माध्यम से केवल $O(d \log d)$ पैरामीटर्स का उपयोग करके ऑर्थोगोनल ट्रांसफॉर्मेशन को पैरामीट्राइज करते हैं।
  • $B(\theta_i)$ और $B(\phi_i)$ विशेषज्ञ-विशिष्ट सीखे गए कोण (angles) हैं।
  • वे साझा सबस्ट्रेट को विभिन्न सबस्पेस में प्रोजेक्ट करते हैं, जिससे प्रत्येक विशेषज्ञ को अलग-अलग विजुअल कॉन्सेप्ट्स (जैसे विशिष्ट टेक्सचर या ऑब्जेक्ट पार्ट्स) में विशेषज्ञता हासिल करने की अनुमति मिलती है, बिना नए वेट्स स्टोर किए।
• इन्फरेंस (Inference): विशेषज्ञों को कभी भी स्पष्ट रूप से (explicitly) भौतिक रूप नहीं दिया जाता है। इन्फरेंस के दौरान, सिस्टम इनपुट पर रोटेशन लागू करता है, साझा टर्नरी मैट्रिक्स के साथ गुणा करता है, और आउटपुट रोटेशन लागू करता है।

मुख्य तकनीकी घटक (Key Technical Components)

1. सब-लीनियर मेमोरी कॉम्प्लेक्सिटी (Sub-linear Memory Complexity):

   • स्टैंडर्ड MoE: $O(N_E \cdot d_{model} \cdot d_{ff})$
   • ButterflyViT: $O(d_{model} \cdot d_{ff} + N_E \cdot n_\ell \cdot d)$
   • सबस्ट्रेट की मेमोरी लागत स्थिर रहती है, जबकि नए विशेषज्ञ जोड़ने की लागत केवल रोटेशन पैरामीटर्स के साथ रैखिक रूप से बढ़ती है (जो बहुत कम है)।

2. आउटलायर सप्रेशन (Outlier Suppression):

   • ट्रांसफार्मर एक्टिवेशन्स में अक्सर अत्यधिक आउटलायर्स होते हैं जो टर्नरी क्वांटाइजेशन को खराब कर देते हैं।
   • सीखे गए इनपुट रोटेशन्स ($B(\theta_i)$) एक्टिवेशन एनर्जी को विभिन्न आयामों (dimensions) में पुनर्वितरित करते हैं, जिससे सामान्य पैटर्न टर्नरी ग्रिड के लो-एरर क्षेत्रों के साथ संरेखित हो जाते हैं। यह बिना किसी स्पष्ट क्लिपिंग के स्वाभाविक रूप से आउटलायर्स को दबा देता है, जिससे जानकारी सुरक्षित रहती है।

3. स्पेशियल स्मूथनेस रेगुलराइजेशन (Spatial Smoothness Regularization):

   • स्टैंडर्ड MoE इमेज पैचेस को स्वतंत्र रूप से मानता है, जिससे स्थानिक सहसंबंध (spatial correlations) की अनदेखी होती है।
   • ButterflyViT एक स्पेशियल स्मूथनेस लॉस ($L_{sp}$) पेश करता है जो आस-पास के पैच टोकन्स के बीच रूटिंग लॉजिट्स में बड़े अंतर को दंडित करता है। यह इमेज की स्थानिक संरचना का लाभ उठाकर ट्रेनिंग को स्थिर करने और विजुअल स्पेशलाइजेशन में सुधार करने के लिए उपयोग किया जाता है।

4. ट्रेनिंग रणनीति (Training Strategy):

   • एंड-टू-एंड लर्निंग: टर्नरी क्वांटाइजेशन को स्ट्रेट-थ्रू एस्टीमेटर (STE) का उपयोग करके सीखा जाता है।
   • सिमेट्री ब्रेकिंग (Symmetry Breaking): सभी विशेषज्ञों को एक ही समाधान की ओर अभिसरित (converge) होने से रोकने के लिए (एक्सपर्ट कोलैप्स), रोटेशन एंगल्स को छोटे रैंडम नॉइज़ ($N(0, 0.01^2)$) के साथ इनिशियलाइज़ किया जाता है, जिससे शुरुआत से ही अद्वितीय "व्यूज" सुनिश्चित होते हैं।

3. प्रमुख योगदान (Key Contributions)

• ButterflyViT आर्किटेक्चर: पहला तरीका जो विट-एमओई (ViT-MoE) विशेषज्ञों को एक साझा टर्नरी सबस्ट्रेट के ग्रुप-थ्योरेटिक वेरिएशंस के रूप में पैरामीटराइज करता है, जो लीनियर मेमोरी स्केलिंग धारणा को तोड़ता है।
• अत्यधिक संपीड़न (Extreme Compression): स्टैंडर्ड MoE की तुलना में 64 एक्सपर्ट्स के साथ 354× मेमोरी कंप्रेशन प्राप्त करता है, जिससे मेमोरी का उपयोग 940 MB से घटकर **2.6 MB** रह जाता है।
• एज व्यवहार्यता (Edge Viability): उच्च-क्षमता वाले MoE मॉडल्स को संसाधन-सीमित उपकरणों (जैसे ESP32-S3 जहाँ स्टैंडर्ड MoE शून्य फिट होता है) पर तैनात करने में सक्षम बनाता है।
• ऊर्जा दक्षता (Energy Efficiency): मेमोरी बैंडविड्थ आवश्यकताओं के कारण DRAM ऊर्जा खपत को ~99.5% (90 mJ से <0.2 mJ प्रति फॉरवर्ड पास) तक कम करता है।
• विजन-विशिष्ट नवाचार (Vision-Specific Innovation): MoE रूटिंग में स्थानिक सहसंबंधों को संभालने के लिए स्पेशियल स्मूथनेस रेगुलराइजेशन पेश करता है।

4. परिणाम (Results)

प्रयोग CIFAR-100 डेटासेट ($d_{model}=256, d_{ff}=1024$) पर किए गए।

• सटीकता (Accuracy): ButterflyViT 56.24% वैलिडेशन एक्यूरेसी प्राप्त करता है, जो स्टैंडर्ड MoE (57.09%) और डेंस FFN (59.35%) के काफी करीब है, जो अत्यधिक संपीड़न के बावजूद नगण्य हानि दर्शाता है।
• मेमोरी स्केलिंग (Memory Scaling):
  • 8 एक्सपर्ट्स: 181× कंप्रेशन (117 MB $\to$ 0.65 MB)।
  • 64 एक्सपर्ट्स: 354× कंप्रेशन (939 MB $\to$ 2.66 MB)।
  • कंप्रेशन अनुपात विशेषज्ञों की संख्या बढ़ने के साथ बढ़ता है, जो स्टैंडर्ड तरीकों के विपरीत है।
• एक्सपर्ट डाइवर्सिटी (Expert Diversity): कोसाइन सिमिलरिटी विश्लेषण दिखाता है कि हालांकि विशेषज्ञ एक ही सबस्ट्रेट साझा करते हैं, वे अलग-अलग व्यवहार बनाए रखते हैं (स्टैंडर्ड MoE में 0.10 के मुकाबले 0.29 की ऑफ-डायगोनल सिमिलरिटी), जो सिद्ध करता है कि रोटेशन्स सफलतापूर्वक विशिष्ट "व्यूज" बनाते हैं।
• डिप्लॉयमेंट (Deployment): जेटसन नैनो, रास्पबेरी पाई, ESP32-S3 जैसे एज डिवाइसेस पर सफलतापूर्वक परीक्षण किया गया, जो वास्तविक दुनिया के अनुप्रयोगों के लिए व्यवहार्यता प्रदर्शित करता है।
• इन्फरेंस स्पीड (Inference Speed): कस्टम कर्नल कार्यान्वयन के कारण शुरुआत में GPU पर 3× धीमा था, लेकिन कस्टम ट्राइटन (Triton) कर्नेल्स का उपयोग करके इसे स्टैंडर्ड MoE के लगभग बराबर अनुकूलित किया गया।

5. महत्व (Significance)

ButterflyViT एज कंप्यूटिंग के लिए MoE मॉडल्स के डिजाइन दर्शन को मौलिक रूप से बदल देता है। क्षमता (विशेषकों की संख्या) को पैरामीटर स्टोरेज (मेमोरी फुटप्रिंट) से अलग करके, यह निम्नलिखित को सक्षम बनाता है:

1. मैसिवली पैरेलल एज एआई (Massively Parallel Edge AI): उन उपकरणों पर सैकड़ों विशेषज्ञों वाले उच्च-क्षमता वाले MoE मॉडल्स तैनात करना जो पहले केवल डेंस, छोटे मॉडल्स तक सीमित थे।
2. ऊर्जा दक्षता (Energy Efficiency): इन्फरेंस की ऊर्जा लागत को नाटकीय रूप से कम करना, जो बैटरी से चलने वाले IoT और मोबाइल उपकरणों के लिए महत्वपूर्ण है।
3. नया अनुसंधान दिशा (New Research Direction): "ग्रुप-ऑर्बिट रिप्रेजेंटेशन" को अत्यधिक मॉडल संपीड़न के लिए एक व्यवहार्य तंत्र के रूप में स्थापित करता है जो प्रदर्शन से समझौता किए बिना या एक्सपर्ट कोलैप्स का कारण बने बिना काम करता है।

यह कार्य पहला बेंचमार्क है जो प्रदर्शित करता है कि स्पार्स MoE आर्किटेक्चर को केवल क्वांटाइजेशन या प्रूनिंग के बजाय ज्यामितीय पैरामीट्राइजेशन के माध्यम से एज डिवाइसेस तक स्केल किया जा सकता है।