ELASTIC: Efficient Once For All Iterative Search for Object Detection on Microcontrollers

यहाँ शोध पत्र "ELASTIC: Efficient Once For All Iterative Search for Object Detection on Microcontrollers" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

TinyML प्लेटफॉर्म्स (माइक्रोकंट्रोलर जिनमें सब-MB मेमोरी, अल्ट्रा-लो पावर और सीमित कंप्यूटिंग क्षमता होती है) पर उच्च-प्रदर्शन वाले ऑब्जेक्ट डिटेक्टरों को तैनात करना मानक एज डिवाइसेस की तुलना में काफी अधिक चुनौतीपूर्ण है।

• मॉड्यूलर जटिलता (Modular Complexity): इमेज क्लासिफिकेशन के विपरीत, ऑब्जेक्ट डिटेक्शन एक बहु-चरणीय पाइपलाइन (Backbone, Neck, Head) पर निर्भर करता है। ये मॉड्यूल अत्यधिक परस्पर निर्भर हैं; एक को बदलने से अन्य मॉड्यूल्स द्वारा आवश्यक फीचर डिस्ट्रीब्यूशन बदल जाता है।
• सर्च स्पेस की सीमाएँ (Search Space Limitations):
  • ग्लोबल सर्च (Global Search): पूरे पाइपलाइन को एक साथ खोजना कम्प्यूटेशनल रूप से अव्यवहार्य है क्योंकि यह एक विशाल कॉम्बिनेटोरियल स्पेस (जैसे, $>10^{28}$ कॉन्फ़िगरेशन) बनाता है।
  • प्रोग्रेसिव/डिकपल्ड सर्च (Progressive/Decoupled Search): मौजूदा विधियाँ अक्सर मॉड्यूल्स को क्रमवार अनुकूलित करती हैं (जैसे, बैकबोन को फिक्स करना, फिर हेड को खोजना)। यह कठोर इंटरफ़ेस बाधाएं पैदा करता है, जो क्रॉस-मॉड्यूल को-अडैप्टेशन (cross-module co-adaptation) को रोकता है, और अक्सर उप-इष्टतम सटीकता या मेमोरी उल्लंघन का कारण बनता है।
• संसाधन संबंधी बाधाएं (Resource Constraints): माइक्रोकंट्रोलर्स में फ्लैश/SRAM और इन्फरेंस साइकिल्स पर सख्त, गैर-परक्राम्य सीमाएं होती हैं, जिसके लिए ऐसी खोज विधियों की आवश्यकता होती है जो पूरी प्रक्रिया के दौरान हार्ड बाधाओं को लागू करती हैं।

2. कार्यप्रणाली: ELASTIC (Methodology: ELASTIC)

लेखक ELASTIC (Efficient Once for AlL Iterative Search for ObjecT DetectIon on MiCrocontrollers) प्रस्तावित करते हैं, जो एक एकीकृत, हार्डवेयर-जागरूक न्यूरल आर्किटेक्चर सर्च (NAS) फ्रेमवर्क है।

मुख्य तंत्र: चक्रीय पुनरावृत्ति खोज (Core Mechanism: Cyclic Iterative Search)

एक एकल ग्लोबल सर्च या एक-तरफा प्रोग्रेसिव सर्च के बजाय, ELASTIC चक्रीय मॉड्यूल-वार अनुकूलन (cyclic module-wise optimization) करता है:

1. एल्टरनेशन (Alternation): फ्रेमवर्क मॉड्यूल्स के बीच अनुकूलन को बारी-बारी से करता है (जैसे, Backbone $\to$ Head/Neck $\to$ Backbone)।
2. फिक्सिंग (Fixing): जब एक मॉड्यूल (जैसे, Backbone) को अनुकूलित किया जा रहा होता है, तो अन्य (जैसे, Head) स्थिर रहते हैं।
3. पुनरावृत्ति (Revisiting): मॉड्यूल्स को कई बार देखा जाता है। यह आर्किटेक्चर को अन्य मॉड्यूल्स के परिवर्तनों के अनुकूल होने की अनुमति देता है, जिससे पूर्ण एंड-टू-एंड सर्च की लागत के बिना क्रॉस-मॉड्यूल सिनर्जी बनी रहती है।
4. बाधा प्रवर्तन (Constraint Enforcement): तैनात करने की क्षमता सुनिश्चित करने के लिए हर चरण में स्पष्ट संसाधन बाधाओं (मॉडल साइज, मेमोरी) को लागू किया जाता है।

प्रमुख नवाचार: पॉपुलेशन पासथ्रू (Key Innovation: Population Passthrough)

चक्रीय खोज में एक बड़ी चुनौती यह है कि सक्रिय मॉड्यूल को बदलने से अक्सर एक "कोल्ड स्टार्ट" होता है, जिससे उच्च-गुणवत्ता वाले उम्मीदवार (candidates) नष्ट हो जाते हैं और प्रदर्शन अस्थिर हो जाता है। ELASTIC पॉपुलेशन पासथ्रू पेश करता है:

• तंत्र (Mechanism): एक मॉड्यूल के अनुकूलन चरण के अंत में, शीर्ष प्रदर्शन करने वाले उम्मीदवारों (elites) को एक बफर में रखा जाता है।
• इंजेक्शन (Injection): जब खोज बाद के चक्र में उस मॉड्यूल पर वापस आती है, तो इन रिटेंड एलीट्स को नए रैंडम उम्मीदवारों के साथ मिलाकर पॉपुलेशन को इनिशियलाइज़ किया जाता है।
• लाभ (Benefit): यह खोज को स्थिर करता है, प्रदर्शन में अचानक गिरावट को रोकता है, और मॉड्यूल स्विच के दौरान "ज्ञान" को सुरक्षित रखकर अभिसरण (convergence) को तेज करता है।

सर्च स्पेस और संसाधन आवंटन (Search Space & Resource Allocation)

• सुपरनेट (Supernet): प्रशिक्षण लागत को कम करने के लिए वेट-शेयर्ड सुपरनेट (Once-for-All दृष्टिकोण) का उपयोग करता है।
• बजट विभाजन (Budget Partitioning): कुल मेमोरी बजट ($\tau$) को स्पष्ट रूप से $\tau_b$ (बैकबोन) और $\tau_h$ (हेड) में विभाजित किया गया है ताकि $\tau_b + \tau_h \leq \tau$ हो सके। यह सुनिश्चित करता है कि अंतिम मॉडल विशिष्ट MCU मेमोरी सीमाओं के भीतर फिट हो।

3. प्रमुख योगदान (Key Contributions)

1. एकीकृत पुनरावृत्ति NAS फ्रेमवर्क: एक चक्रीय खोज रणनीति जो क्रॉस-मॉड्यूल को-अडैप्टेशन के साथ खोज दक्षता को संतुलित करती है, जिससे प्रोग्रेसिव बेसलाइन्स की तुलना में खोज लागत काफी कम हो जाती है।
2. पॉपुलेशन पासथ्रू: एक अभिनव तंत्र जो पुनरावृत्ति मॉड्यूल एल्टरनेशन को स्थिर करता है, जो चक्रीय खोज में उच्च mAP प्राप्त करने के लिए आवश्यक सिद्ध हुआ है (इसे सक्षम करने पर PascalVOC पर 8% mAP लाभ दिखाया गया है)।
3. उन्नत सर्च स्पेस: पुनरावृत्ति प्रक्रिया समय के साथ प्रभावी सर्च स्पेस को परिष्कृत करती है, जिससे रैंडम सैंपल्स का औसत mAP बढ़ता है और विचरण (variance) काफी कम हो जाता है (जैसे, PascalVOC पर 95.3% विचरण कमी)।
4. हार्डवेयर-जागरूक परिनियोजन: MAX78000/02 और STM32F746 पर मान्य किया गया, जो यह दर्शाता है कि यह विधि न केवल सटीक मॉडल बनाती है बल्कि सख्त हार्डवेयर बाधाओं का भी पालन करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

पेपर में SVHN, PascalVOC, TrashNet, और VGGFace2 जैसे डेटासेट्स पर ELASTIC का मूल्यांकन किया गया है, जिसकी तुलना Backbone-only, Head-only, Progressive NAS, MCUNet, और TinyissimoYOLO से की गई है।

खोज दक्षता और सटीकता (Search Efficiency and Accuracy)

• SVHN: ELASTIC 80.09% mAP प्राप्त करता है, जो Progressive NAS (79.62%) से +0.47% बेहतर है, जबकि इसने खोज समय को 30.8 से घटाकर 12.5 GPU घंटे कर दिया (2× तेज़ अभिसरण)।
• PascalVOC (Subset): ELASTIC 30.83% mAP प्राप्त करता है, जो समान कंप्यूट बजट के साथ Progressive NAS (21.74%) पर +9.09% का पूर्ण सुधार है।
• Full PascalVOC: ELASTIC 72.3% mAP प्राप्त करता है, जो MCUNet से 20.9% और TinyissimoYOLO से 16.3% बेहतर है, जबकि 50–75% कम MACs का उपयोग करता है।

स्थिरता विश्लेषण (Stability Analysis)

• पॉपुलेशन पासथ्रू के बिना: खोज स्थिरता टूट जाती है, और mAP लगभग 22.1% पर रुक जाता है।
• पॉपुलेशन पासथ्रू के साथ: स्थिरता बहाल हो जाती है, और mAP बढ़कर 30.83% हो जाता है, जो सिद्ध करता है कि यह तंत्र चक्रीय अनुकूलन के लिए महत्वपूर्ण है।

वास्तविक-विश्व MCU परिनियोजन (Real-World MCU Deployment)

MAX78000/02 (CNN एक्सेलेरेटर्स के साथ) और STM32F746 (सामान्य-उद्देश्य वाला MCU) पर तैनात किया गया:

• ऊर्जा (Energy): बेसलाइन्स (जैसे, Analog Devices का TinySSD) की तुलना में 71.6% तक कम हुई।
• लेटेंसी (Latency): 2.4× तक कम हुई।
• सटीकता (Accuracy): PascalVOC पर mAP में 6.99 प्रतिशत अंक और TrashNet पर 10.2 अंक तक सुधार हुआ।
• स्केलेबिलिटी (Scalability): संसाधन-बाधित STM32F746 पर, ELASTIC मॉडल 128×128 रेजोल्यूशन पर चल सकते थे (जहाँ बेसलाइन्स आउट-ऑफ-मेमोरी त्रुटियों के साथ विफल रहे), जबकि बेहतर सटीकता बनाए रखी।

5. महत्व (Significance)

ELASTIC माइक्रोकंट्रोलर्स के लिए जटिल ऑब्जेक्ट डिटेक्शन पाइपलाइनों के लिए स्वचालित, कुशल आर्किटेक्चर सर्च की कमी को दूर करता है।

• पैराडाइम शिफ्ट: यह कठोर, क्रमिक अनुकूलन से हटकर एक गतिशील, पुनरावृत्ति दृष्टिकोण की ओर बढ़ता है जो डिटेक्शन मॉड्यूल्स की परस्पर निर्भरता का सम्मान करता है।
• व्यावहारिक प्रभाव: पॉपुलेशन पासथ्रू के माध्यम से पुनरावृत्ति खोज की स्थिरता समस्याओं को हल करके, यह ऐसे आर्किटेक्चर की खोज को सक्षम बनाता है जो एक साथ अत्यधिक सटीक और सख्त हार्डवेयर-अनुपालन हैं।
• स्टेट-ऑफ-द-आर्ट: परिणाम प्रदर्शित करते हैं कि स्वचालित NAS, अल्ट्रा-लो-पावर डिवाइसेस पर मैन्युअल रूप से डिज़ाइन किए गए या मानक NAS बेसलाइन्स से काफी बेहतर प्रदर्शन कर सकता है, जो रोबोटिक्स, निगरानी और एम्बेडेड सिस्टम के लिए एज AI की सीमाओं को आगे बढ़ाता है।