तकनीकी सारांश: HERCULES – हार्डवेयर-कुशल, सुदृढ़, निरंतर शिक्षण न्यूरल आर्किटेक्चर सर्च

1. समस्या विवरण

न्यूरल आर्किटेक्चर सर्च (NAS) पारंपरिक रूप से सटीकता और हार्डवेयर दक्षता (जैसे, विलंबता, मेमोरी, ऊर्जा) के बीच संतुलन को अनुकूलित करने पर केंद्रित रहा है। हालाँकि, जैसे-जैसे AI सिस्टम स्थिर बेंचमार्क से वास्तविक दुनिया के परिनियोजन (deployment) की ओर बढ़ रहे हैं, यह दोहरा फोकस अपर्याप्त है। आधुनिक AI अनुप्रयोगों को तीन ऑर्थोगोनल (एक दूसरे से स्वतंत्र) लेकिन परस्पर जुड़े हुए चुनौतियों का सामना करना पड़ता है:

1. दक्षता (Efficiency): एज डिवाइसेस पर सख्त संसाधन सीमाओं (ऊर्जा, मेमोरी, कंप्यूट) के भीतर संचालित होने की आवश्यकता।
2. सुदृढ़ता (Robustness): पर्यावरणीय विविधताओं के तहत विश्वसनीयता बनाए रखने की आवश्यकता, जिसमें प्रतिकूल व्यवधान (adversarial perturbations), हार्डवेयर-प्रेरित शोर (जैसे, उभरती हुई मेमोरी में कंडक्टेंस ड्रिफ्ट) और वितरण परिवर्तन (distribution shifts) शामिल हैं।
3. निरंतर शिक्षण (Continual Learning - CL): बिना कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) के क्रमिक कार्यों (sequential tasks) के अनुकूल होने की क्षमता, जो प्लास्टिसिटी (नया ज्ञान सीखना) और स्थिरता (पुराने ज्ञान को बनाए रखना) के बीच संतुलन बनाती है।

वर्तमान NAS साहित्य इन उद्देश्यों को अलग-अलग रूप में देखता है। हार्डवेयर-जागरूक NAS, सुदृढ़ NAS, या निरंतर शिक्षण NAS के लिए सर्वेक्षण मौजूद हैं, लेकिन कोई भी ऐसा नहीं है जो तीनों को समान रूप से मौलिक मानकर एक एकीकृत दृष्टिकोण प्रदान करता हो। इसके अलावा, मौजूदा समाधान अक्सर वास्तविक दुनिया के परिनियोजन की गतिशील प्रकृति को समझने में विफल रहते हैं, जहाँ मॉडलों को बदलते डेटा स्ट्रीम और समय के साथ हार्डवेयर क्षरण (degradation) के अनुकूल होना पड़ता है। केंद्रीय शोध प्रश्न है: क्या ऐसे न्यूरल नेटवर्क आर्किटेक्चर के डिजाइन को स्वचालित करना संभव है जो सख्त ऊर्जा बजट और विकसित होते कार्य-आवश्यकताओं का सम्मान करते हुए, हार्डवेयर शोर और डेटा बदलावों के तहत प्रदर्शन विश्वसनीयता बनाए रखते हैं?

2. कार्यप्रणाली और वर्गीकरण (Methodology and Taxonomy)

यह शोध पत्र दक्षता, सुदृढ़ता और निरंतर शिक्षण के "त्रिपल लेंस" के माध्यम से NAS दृष्टिकोणों का एक व्यापक वर्गीकरण प्रस्तावित करता है। यह मौजूदा विधियों को तीन प्राथमिक स्तंभों में वर्गीकृत करता है और उनके प्रतिच्छेदन (intersections) का विश्लेषण करता है:

अ. दक्षता (हार्डवेयर-जागरूक NAS)

यह शोध पत्र संसाधन-बाधित वातावरण के लिए अनुकूलित विधियों की समीक्षा करता है, जिन्हें निम्नानुसार वर्गीकृत किया गया है:

• मॉडल संपीड़न (Model Compression): प्रूनिंग (pruning), क्वांटाइजेशन (quantization), और आर्किटेक्चर स्केलिंग को सीधे सर्च लूप में एकीकृत करना (जैसे, MSuNAS, CNAS, APQ)।
• गतिशील न्यूरल नेटवर्क (Dynamic Neural Networks): ऐसे आर्किटेक्चर जो इनपुट जटिलता के अनुसार गणना को अनुकूलित करते हैं, जैसे अर्ली-एग्जिट नेटवर्क (EENNs), मिक्सचर-ऑफ-एक्सपर्ट्स (MoE), और मल्टी-ब्रांच नेटवर्क (जैसे, EExNAS, HADAS, InstaNAS)।
• हार्डवेयर-सॉफ्टवेयर को-डिज़ाइन (Hardware-Software Co-Design): न्यूरल आर्किटेक्चर और एक्सेलेरेटर मापदंडों (जैसे, FPGA/ASIC कॉन्फ़िगरेशन, डेटाफ्लो) को संयुक्त रूप से अनुकूलित करना ताकि पेरेटो-ऑप्टिमल (Pareto-optimal) समाधान प्राप्त किए जा सकें जो किसी एक पक्ष को स्थिर रखने से संभव नहीं हैं (जैसे, Codesign-NAS, DNA, NACIM)।

ब. सुदृढ़ता (Robustness)

यह शोध पत्र सुदृढ़ता-जागरूक NAS को पांच व्यवधान स्रोतों में वर्गीकृत करता है:

• फ्लैटनेस ऑप्टिमाइजेशन (Flatness Optimization): सामान्यीकरण (generalization) और स्थिरता में सुधार के लिए लॉस लैंडस्पेस में फ्लैट मिनिमा खोजना (जैसे, R-DARTS, GeNAS, A2M)।
• प्रतिकूल सुदृढ़ता (Adversarial Robustness): प्रतिकूल प्रशिक्षण और लिप्सचिट्ज़ रेगुलराइजेशन (Lipschitz regularization) जैसी तकनीकों का उपयोग करके जानबूझकर किए गए व्यवधानों के विरुद्ध अनुकूलन (जैसे, ADVRUSH, RNAS, WsrNAS)।
• हार्डवेयर-शोर सुदृढ़ता (Hardware-Noise Robustness): RRAM और PCM जैसे इन-मेमोरी कंप्यूटिंग (IMC) उपकरणों में गैर-आदर्शताओं (non-idealities) को संबोधित करना, जिसमें कंडक्टेंस ड्रिफ्ट और स्टोकेस्टिक स्विचिंग शामिल है (जैसे, CMQ, UAE, AnalogNAS)।
• संसाधन-परिवर्तन सुदृढ़ता (Resource-Shift Robustness): गतिशील ऊर्जा उपलब्धता (जैसे, ऊर्जा संचयन परिदृश्य) के अनुकूल होना।
• बहु-मोडल सुदृढ़ता (Multimodal Robustness): विभिन्न मोडालिटी और डोमेन शिफ्ट के बीच स्थिरता सुनिश्चित करना (जैसे, NAS-OOD, MFAS, Harmonic-NAS)।

स. निरंतर शिक्षण (Continual Learning)

सर्वेक्षण पहचानता है कि बहुत कम NAS कार्य अकेले CL को अनुकूलित करते हैं। अधिकांश CL-केंद्रित NAS विधियों की समीक्षा दक्षता के साथ संयुक्त अनुकूलन के संदर्भ में की जाती है। प्रमुख दृष्टिकोणों में शामिल हैं:

• विस्तार-आधारित (Expansion-based): नए कार्य आने पर नेटवर्क की चौड़ाई या गहराई को गतिशील रूप से बढ़ाना (जैसे, Continual NAS, CLEAS, BNS)।
• रेगुलराइजेशन-आधारित (Regularization-based): पिछले कार्यों के वेट अपडेट में हस्तक्षेप को रोकने के लिए दंड (penalties) का उपयोग करना (जैसे, REC)।
• डिस्टिलेशन-आधारित (Distillation-based): पुराने से नए मॉडलों में ज्ञान का हस्तांतरण करना।

द. अंतराल (The Gap)

शोध पत्र वर्तमान समाधानों की महत्वपूर्ण कमजोरियों को उजागर करता है:

• स्थिर दृष्टिकोण (Static View): अधिकांश हार्डवेयर-जागरूक NAS एक स्थिर, शोर-मुक्त वातावरण मानते हैं, जो समय के साथ हार्डवेयर क्षरण या वितरण परिवर्तनों का अनुमान लगाने में विफल रहते हैं।
• कालिक अंधापन (Temporal Blindness): सुदृढ़ता-केंद्रित NAS अक्सर अनुकूलनशीलता की आवश्यकता को अनदेखा कर देता है, जिससे ऐसे मॉडल बनते हैं जो सुदृढ़ तो हैं लेकिन कठोर (rigid) हैं (नया सीखने में असमर्थ)।
• हार्डवेयर ओवरहेड (Hardware Overhead): सुदृढ़ आर्किटेक्चर अक्सर महत्वपूर्ण पैरामीटर ओवरहेड का सामना करते हैं, जिससे वे TinyML बजट के लिए अनुपयुक्त हो जाते हैं।
• अलगाव (Isolation): दक्षता, सुदृढ़ता और CL को शायद ही कभी संयुक्त रूप से अनुकूलित किया जाता है, जिससे वास्तविक दुनिया के परिनियोजन के लिए उप-इष्टतम (suboptimal) परिणाम मिलते हैं।

3. मुख्य योगदान: HERCULES फ्रेमवर्क

इन अंतरालों को दूर करने के लिए, लेखक HERCULES (Hardware-Efficient, Robust, and Continual LEarning Search) प्रस्तावित करते हैं, जो अगली पीढ़ी के NAS के लिए एक नया फ्रेमवर्क और वर्गीकरण है।

फ्रेमवर्क आर्किटेक्चर

HERCULES पारंपरिक NAS का विस्तार एक Arch Adapter मॉड्यूल के माध्यम से करता है जो बेस आर्किटेक्चर (आर्किटेक्चरल सेट $\Gamma_x$ से) को डायनेमिक क्षमताओं (कॉन्फ़िगरेशन स्पेस $\Gamma_\theta$ से) के साथ बढ़ाता है, जिससे एक परिष्कृत सर्च स्पेस $\Gamma_{\tilde{x}}$ बनता है।

• इनपुट: डेटासेट, आर्किटेक्चरल सेट, डायनेमिक व्यवहार हाइपरपैरामीटर्स, मूल्यांकन पैरामीटर्स, पूर्व जानकारी (जैसे, हार्डवेयर शोर प्रोफाइल, ऊर्जा संचयन पैटर्न), और बाधाएं (constraints)।
• आउटपुट: पारेटो-ऑप्टिमल न्यूरल नेटवर्क का एक सेट जो या तो स्थिर है या गतिशील (रनटाइम अनुकूलन क्षमता के साथ)।
• अनुकूलन उद्देश्य (Optimization Objective): एक बाधा-युक्त बहु-उद्देश्यीय फलन (multi-objective function) को न्यूनतम करना जो एक लागत फलन $G$ को संतुलित करता है:
  • $F_A(\tilde{x})$: सटीकता (या CL के लिए औसत वृद्धिशील सटीकता $F_{AIA}$)।
  • $F_C(\tilde{x})$: संसाधन लागत (विलंबता, ऊर्जा, मेमोरी)।
  • $F_R(\tilde{x}, \rho, \Delta)$: विभिन्न पर्यावरणीय व्यवधानों के विरुद्ध सुदृढ़ता।

HERCULES के बारह श्रम (The Twelve Labours of HERCULES)

शोध पत्र बारह तकनीकी चुनौतियों (desiderata) को परिभाषित करता है जो तैनात करने योग्य, आजीवन सीखने वाले AI सिस्टम को साकार करने के लिए आवश्यक हैं:

1. हार्डवेयर-सॉफ्टवेयर को-डिज़ाइन: वास्तविक प्रदर्शन के लिए कंपाइलर और रनटाइम के साथ NAS को एकीकृत करना।
2. स्केलेबल सुदृढ़ता अनुमान (Scalable Robustness Estimation): अत्यधिक ओवरहेड के बिना सुदृढ़ता मेट्रिक्स का कुशलतापूर्वक अनुमान लगाना।
3. प्लास्टिसिटी-स्थिरता संतुलन (Plasticity-Stability Balancing): नए कार्यों को सीखने और पुराने ज्ञान को बनाए रखने के बीच के व्यापार-बंद (trade-off) को स्पष्ट रूप से अनुकूलित करना।
4. परिनियोजन निष्ठा (Deployment Fidelity): यह सुनिश्चित करना कि सर्च-टाइम मूल्यांकन पूर्व जानकारी का उपयोग करके वास्तविक दुनिया की परिचालन स्थितियों का सटीक रूप से अनुमान लगाते हैं।
5. उद्देश्य मॉडलिंग (Objective Modeling): दक्षता, सुदृढ़ता और CL को ऑर्थोगोनल, प्रथम-श्रेणी के उद्देश्यों के रूप में मानना।
6. गतिशील अनुकूलन क्षमता (Dynamic Adaptivity): स्थिर मोटिफ्स (motifs) और रनटाइम एडेप्टिव पॉलिसियों दोनों को अनुकूलित करना।
   मानदंडों (criteria) के लिए एक विस्तृत खोज स्थान बनाना।
7. अभिव्यंजक खोज स्थान (Expressive Search Spaces): ऐसे आर्किटेक्चरल ब्लॉक्स को शामिल करना जो तीनों स्तंभों में अनुकूलन करने में सक्षम हों।
8. बहु-उद्देश्यीय खोज रणनीतियाँ (Multi-Objective Search Strategies): तीनों उद्देश्यों के गैर-कॉन्वेक्स पारेटो फ्रंट नेविगेट करने के लिए एल्गोरिदम विकसित करना।
9. पर्यावरणीय संरेखण (Environmental Alignment): विशिष्ट परिनियोजन वातावरण के लिए खोज स्थानों और रणनीतियों को तैयार करना।
10. बेंचमार्क पुनरुत्पादकता (Benchmark Reproducibility): वृद्धिशील शिक्षण, OOD सुदृढ़ता और हार्डवेयर परिवर्तनशीलता को संयोजित करने वाला एक एकीकृत HERCULES-Bench प्रस्तावित करना।
11. खोज दक्षता (Search Efficiency): स्वयं NAS प्रक्रिया की कम्प्यूटेशनल लागत को अनुकूलित करना।
12. जीवनचक्र स्थिरता (Lifecycle Sustainability): हार्डवेयर के उम्र बढ़ने के साथ रिट्रेनिंग और रखरखाव सहित दीर्घकालिक परिनियोजन लागतों का लेखा-जोखा रखना।

4. परिणाम और साक्ष्य

यह शोध पत्र किसी नए एल्गोरिदम से नए प्रयोगात्मक परिणाम प्रस्तुत नहीं करता है, बल्कि मौजूदा साहित्य का एक व्यापक सर्वेक्षण और संश्लेषण प्रदान करता है।

• तालिकाएँ I–VIII: शोध पत्र व्यवस्थित रूप से तीन स्तंभों में 50+ से अधिक NAS विधियों को वर्गीकृत और सारांशित करता है। यह उनके उद्देश्यों, खोज लागतों, डेटासेट और प्रदर्शन मेट्रिक्स का विवरण देता है।
• अंतराल विश्लेषण (Gap Analysis): सर्वेक्षण दर्शाता है कि जबकि व्यक्तिगत स्तंभों का अच्छी तरह से अध्ययन किया गया है, संयुक्त अनुकूलन दुर्लभ है। उदाहरण के लिए, बहुत कम कार्य अकेले CL को अनुकूलित करते हैं; अधिकांश इसे दक्षता के साथ संयुक्त रूप से करते हैं। इसी तरह, सुदृढ़ता अक्सर दक्षता की कीमत पर आती है, और डायनेमिक एडेप्टिविटी को सुदृढ़ता और दक्षता के साथ एकीकृत करना अभी शुरू ही हुआ है।
• संश्लेषण: विश्लेषण प्रकट करता है कि क्षेत्र संयुक्त अनुकूलन की आवश्यकता की ओर बढ़ रहा है, जो HERCULES फ्रेमवर्क की वैधता को सिद्ध करता है।

5. महत्व और दावे

यह शोध पत्र न्यूरल आर्किटेक्चर सर्च के क्षेत्र के लिए एक रोडमैप के रूप में अपनी महत्ता का दावा करता है।

• एकीकृत दृष्टिकोण: यह पहला सर्वेक्षण है जो स्पष्ट रूप से दक्षता, सुदृढ़ता और निरंतर शिक्षण को समान और ऑर्थोगोनल उद्देश्यों के रूप में मानता है, जो वर्तमान अनुसंधान के साइलो (siloed) दृष्टिकोण से आगे बढ़ता है।
• प्रतिमान परिवर्तन (Paradigm Shift): यह "डिप्लॉय-एंड-फॉरगेट" (परिनियोजित करें और भूल जाएँ) वाले स्थिर NAS से "लाइफलॉन्ग-लर्निंग" (आजीवन सीखने वाले) डायनेमिक NAS की ओर बदलाव का तर्क देता है जो पर्यावरणीय और सामयिक गतिशीलता को ध्यान में रखता है।
• मौलिक ढांचा (Foundational Framework): HERCULES और उसके बारह श्रमों को परिभाषित करके, यह शोध पत्र भविष्य के अनुसंधान के लिए संरचित सेट प्रदान करता है, जो वास्तव में तैनात करने योग्य AI सिस्टम के विकास का मार्गदर्शन करता है।
• भविट दिशाएँ: यह शोध पत्र विनम्रतापूर्वक सुझाव देता है कि जबकि HERCULES डायनेमिक नेटवर्क को डिजाइन करने के लिए एक ढांचा प्रदान करता है, भविष्य के कार्यों को अनुकूलन क्षमता को स्वयं खोज प्रक्रिया में (डायनेमिक NAS) एकीकृत करना होगा और "ऑटो-इवॉल्विंग" सिस्टम प्राप्त करने के लिए वास्तविक हार्डवेयर फीडबैक के साथ लूप को बंद करना होगा।

संक्षेप में, यह शोध पत्र यह प्रतिपादित करता है कि AI परिनियोजन का भविष्य उन आर्किटेक्चर पर निर्भर है जो न केवल सटीक हैं, बल्कि स्वाभाविक रूप से लचीले, संसाधन-जागरूक और अपने ऑपरेटिंग वातावरण के साथ विकसित होने में सक्षम हैं। HERCULES को इस लक्ष्य को प्राप्त करने के लिए वैचारिक और तकनीकी आधार के रूप में प्रस्तावित किया गया है।