🔬 condensed matter

Architecture-Aware Minimization (A $^2$ M): How to Find Flat Minima in Neural Architecture Search

यह शोध पत्र आर्किटेक्चर-अवेयर मिनिमाइजेशन (A $^2$ M) को प्रस्तुत करता है, जो एक नवीन ढांचा है जो न्यूरल आर्किटेक्चर स्पेस के ज्यामितीय गुणों का लाभ उठाकर डिफरेंशिएबल NAS ग्रेडिएंट्स को स्पष्ट रूप से फ्लैट मिनिमा की ओर पक्षपाती बनाता है, जिससे विभिन्न बेंचमार्क और सर्च स्पेस में सामान्यीकरण प्रदर्शन (generalization performance) में महत्वपूर्ण सुधार होता है।

मूल लेखक: Matteo Gambella, Fabrizio Pittorino, Manuel Roveri

प्रकाशित 2026-03-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Matteo Gambella, Fabrizio Pittorino, Manuel Roveri

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: एक आदर्श रेसिपी की खोज

कल्पना कीजिए कि आप एक शेफ हैं जो केक की एक नई और बेहतरीन रेसिपी बनाने की कोशिश कर रहे हैं। आपके पास एक विशाल कुकबुक (Neural Architecture Search या NAS स्पेस) है जिसमें सामग्री और चरणों के अरबों संभावित संयोजन मौजूद हैं।

लक्ष्य: आप उस विशिष्ट संयोजन को खोजना चाहते हैं जिसका स्वाद सबसे अच्छा हो (उच्चतम सटीकता/accuracy)।
समस्या: कुकबुक इतनी बड़ी है कि आप हर एक केक को चख नहीं सकते। आपको इस किताब में नेविगेट करने के लिए एक स्मार्ट तरीके की आवश्यकता है ताकि खराब रेसिपी पर समय बर्बाद किए बिना सबसे अच्छी रेसिपी मिल सके।

AI की दुनिया में, यह "कुकबुक" न्यूरल नेटवर्क डिज़ाइन्स की एक सूची है। लंबे समय तक, वैज्ञानिकों ने इस किताब में खोजने के लिए DARTS नामक एक विधि का उपयोग किया। DARTS एक ऐसे शेफ की तरह है जो एक केक चखता है, रेसिपी में थोड़ा सा बदलाव करता है, फिर से चखता है, और तब तक बदलाव करता रहता है जब तक कि केक का स्वाद अच्छा न हो जाए।

छिपी हुई समस्या: "च cliff" बनाम "पठार (Plateau)"

इस शोध के लेखकों ने इन रेसिपीज़ के "लैंडस्स्केप" (परिदृश्य) के बारे में एक दिलचस्प बात खोजी। उन्होंने महसूस किया कि सभी अच्छी रेसिपी एक जैसी नहीं होतीं।

नुकीली चोटी (The Sharp Peak/The Cliff): कल्पना कीजिए कि आपको एक ऐसी रेसिपी मिली जो एक स्वादिष्ट केक बनाती है। लेकिन यदि आप इसकी एक सामग्री को थोड़ा सा भी बदलते हैं (जैसे चीनी की जगह शहद डालना), तो केक एक ईंट जैसा सख्त हो जाता है। यह एक "नुकीली" चोटी है। यह बिल्कुल वैसे ही काम करती है जैसे इसे लिखा गया है, लेकिन यह बहुत नाजुक है। यदि वास्तविक दुनिया की स्थितियां थोड़ी भी बदलती हैं, तो केक विफल हो जाएगा।
सपाट पठार (The Flat Plateau): अब, एक दूसरी रेसिपी की कल्पना करें। यह एक स्वादिष्ट केक बनाती है। यदि आप चीनी की जगह शहद डालते हैं, या थोड़ा सा अधिक आटा मिलाते हैं, तो भी केक का स्वाद लाजवाब रहता है। यह एक "सपाट" क्षेत्र है। यह मजबूत और विश्वसनीय है।

खोज: लेखकों ने पाया कि AI की दुनिया में, सबसे अच्छा प्रदर्शन करने वाले नेटवर्क (जो नए डेटा पर अच्छा काम करते हैं) आमतौर पर इन सपाट पठारों (flat plateaus) पर स्थित होते हैं। खराब या औसत दर्जे के नेटवर्क अक्सर नुकीली चोटियों या अलग-थलग द्वीपों पर फंसे होते हैं जहाँ कोई भी छोटा सा बदलाव सब कुछ बिगाड़ देता है।

समाधान: A2M (द "स्टेबिलिटी सीकर")

यह पेपर एक नया टूल पेश करता है जिसे A2M (Architecture-Aware Minimization) कहा जाता है।

पुरानी खोज विधि (DARTS) को एक ऐसे हाइकर (हाइकर) के रूप में सोचें जो केवल मानचित्र पर उच्चतम बिंदु की तलाश कर रहा है। वह एक बहुत ही खड़ी, ऊबड़-खाबड़ पहाड़ी चोटी पर चढ़ सकता है। वह ऊँची तो है, लेकिन खतरनाक है।

A2M एक विशेष कंपास (दिशा-सूचक यंत्र) वाले हाइकर की तरह है। यह कंपास केवल ऊंचाई नहीं देखता; यह सपाटपन (flatness) को देखता है।

जब हाइकर को एक ऊंचा बिंदु मिलता है, तो A2M पूछता है: "क्या यह एक नुकीली चट्टान है, या यह एक चौड़ा, सुरक्षित पठार है?"
यदि यह एक चट्टान है, तो A2M कहता है, "नहीं, चलते रहो।"
यदि यह एक सपाट पठार है, तो A2M कहता है, "यही वह जगह है! यह ऊँचा भी है, और स्थिर भी।"

यह कैसे काम करता है (द "टेस्ट ऑफ टेस्ट" एनालॉजी)

इन सपाट पठारों को खोजने के लिए, A2M "शार्पनेस-अवेयर मिनिमाइजेशन" (SAM) नामक एक अवधारणा से प्रेरित एक चतुर ट्रिक का उपयोग करता है, जिसका उपयोग मूल रूप से केक के सामग्री (weights) को सुधारने के लिए किया जाता था, न कि स्वयं रेसिपी के ढांचे (structure) के लिए।

यहाँ प्रक्रिया दी गई है:

बेसलाइन: AI के पास एक वर्तमान रेसिपी (आर्किटेक्चर) है।
"क्या होगा अगर" टेस्ट: यह तय करने से पहले कि क्या यह रेसिपी सबसे अच्छी है, A2M रेसिपी के 3 या 4 "निकटवर्ती" संस्करण बनाता है। यह रेसिपी में छोटे, यादृच्छिक (random) बदलाव करता है (जैसे एक सामग्री को बदलना)।
जांच: यह इन नजदीकी संस्करणों को चखता है।
- यदि नजदीकी संस्करणों का स्वाद बहुत खराब है, तो मूल रेसिपी एक "नुकीली चोटी" पर है। यह बहुत नाजुक है।
- यदि नजदीकी संस्करण अभी भी बहुत अच्छे लगते हैं, तो मूल रेसिपी एक "सपाट पठार" पर है। यह मजबूत है।
मूवमेंट: A2M इस जानकारी का उपयोग उन सपाट, स्थिर पठारों की ओर खोज को मोड़ने के लिए करता है। यह जानबूझकर खोज को नाजुक चोटियों से बचने के लिए निर्देशित करता है।

परिणाम: यह क्यों मायने रखता है

लेखकों ने अपने इस नए "स्टेबिलिटी सीकर" (A2M) का परीक्षण मानक AI बेंचमार्क (जैसे CIFAR-10, CIFAR-100, और ImageNet) पर किया।

परिणाम: मौजूदा सर्च मेथड्स में इस "फ्लैटनेस चेक" को जोड़ने से, उन्होंने ऐसे नेटवर्क पाए जो वास्तविक दुनिया में छवियों को पहचानने में काफी बेहतर थे।
आंकड़े: औसतन, उन्होंने सटीकता (accuracy) में लगभग 3.6% से 4.6% का सुधार किया। AI की दुनिया में, यह एक बहुत बड़ा उछाल है। यह एक "B" ग्रेड के छात्र से केवल अपनी पढ़ाई का तरीका बदलकर "A+" ग्रेड का छात्र बनने जैसा है।
दक्षता (Efficiency): सबसे अच्छी बात? इसके लिए किसी पूरी तरह से नए सिस्टम की आवश्यकता नहीं थी। आप बस इस नए नियम को मौजूदा AI सर्च टूल्स में "प्लग इन" कर सकते हैं, और वे तुरंत स्मार्ट और अधिक स्थिर हो जाते हैं।

सारांश

समस्या: AI खोज विधियां अक्सर "नाजुक" समाधान ढूंढती हैं जो लैब में तो एकदम सही काम करते हैं लेकिन वास्तविक दुनिया में विफल हो जाते हैं क्योंकि वे छोटे बदलावों के प्रति बहुत संवेदनशील होते हैं।
अंतर्दृष्टि (Insight): सबसे अच्छे समाधान डिज़ाइन स्पेस के "सपाट" क्षेत्रों में रहते हैं जहाँ छोटे बदलाव प्रदर्शन को नुकसान नहीं पहुँचाते।
समाधान: A2M एक नया नियम है जो AI सर्च इंजन को नुकीली, नाजुक चोटियों को अनदेखा करने और इसके बजाय चौड़े, स्थिर पठारों की तलाश करने के लिए कहता है।
परिणाम: हमें ऐसे AI मॉडल मिलते हैं जो न केवल सटीक हैं बल्कि मजबूत और विश्वसनीय भी हैं, जो वर्तमान टूल्स के एक सरल अपग्रेड के माध्यम से प्राप्त होता है।

संक्षेप में, A2M AI को सिखाता है कि उच्चतम, डगमगाती हुई पहाड़ी चोटी को देखना बंद करे और इसके बजाय ऊंचे, सुरक्षित और विस्तृत मैदानों की तलाश करे जहाँ दृश्य उतना ही अच्छा है, लेकिन आप वहां से गिरेंगे नहीं।

यहाँ शोध पत्र "Architecture-Aware Minimization (A2M): How to Find Flat Minima in Neural Architecture Search" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

न्यूरल आर्किटेक्चर सर्च (NAS) कुशल न्यूरल नेटवर्क डिजाइन करने के लिए एक मानक बन गया है, जिसमें DARTS जैसे डिफरेंशिएबल NAS (D-NAS) तरीके अपनी दक्षता के कारण विशेष रूप से लोकप्रिय हैं। हालाँकि, ये तरीके अक्सर परफॉरमेंस कोलैप्स (performance collapse) और खराब सामान्यीकरण (generalization) से ग्रस्त होते हैं, जहाँ निरंतर रिलैक्सेशन (continuous relaxation) चरण के दौरान खोजा गया आर्किटेक्चर डिस्क्रीट (discrete) होने पर काफी खराब प्रदर्शन करता है।

जबकि न्यूरल नेटवर्क के वेट स्पेस (weight spaces) (लॉस लैंडस्केप) की ज्यामिति—विशेष रूप से इस अवधारणा कि फ्लैट मिनिमा (flat minima) शार्प (sharp) मिनिमा की तुलना में बेहतर सामान्यीकरण करते हैं—का अच्छी तरह से अध्ययन किया गया है, आर्किटेक्चर स्पेस (architecture spaces) के ज्यामितीय गुण काफी हद तक अनछुए रहे हैं। यह शोध पत्र निम्नलिखित की कमी को संबोधित करता है:

डिस्क्रीट आर्किटेक्चर स्पेस (जैसे, NAS-Bench-201, DARTS) की टोपोलॉजिकल संरचना।
क्या उच्च-प्रदर्शन वाले आर्किटेक्चर एनालॉगस के रूप में "फ्लैट" क्षेत्रों में क्लस्टर (cluster) होते हैं।
सामान्यीकरण में सुधार करने के लिए इन फ्लैट क्षेत्रों की ओर खोज प्रक्रिया को स्पष्ट रूप से कैसे निर्देशित किया जाए।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र दो-आयामी दृष्टिकोण प्रस्तावित करता है: पहला, आर्किटेक्चर स्पेस का ज्यामितीय विश्लेषण, और दूसरा, उस विश्लेषण पर आधारित एक नया अनुकूलन एल्गोरिदम (optimization algorithm)।

A. आर्किटेक्चर स्पेस का ज्यामितिक विश्लेषण (Geometric Analysis of Architecture Spaces)

लेखक आर्किटेक्चर स्पेस की ज्यामिति को मापने के लिए नवीन मेट्रिक्स पेश करते हैं:

आर्किटेक्चर पड़ोस (Architecture Neighborhoods): वे एक आर्किटेक्चर के एनकोडिंग (जैसे, एक ऑपरेशन बदलना या कनेक्टिविटी को समायोजित करना) में न्यूनतम संशोधनों के आधार पर एक "त्रिज्या" $R$ $R$ को परिभाषित करते हैं।
- NAS-Bench-201: ऑपरेशन अनुक्रम में एक एकल पूर्णांक (integer) बदलने के रूप में परिभाषित है।
- DARTS: एक एज (edge) पर ऑपरेशन बदलने या "कनेक्शन एडजस्टमेंट" (सेल वैधता बाधाओं को बनाए रखने के लिए एक एज को हटाना और एक नया जोड़ना) करने के रूप में परिभाषित है।
एक्यूरेसी पाथ और बैरियर्स (Accuracy Paths and Barriers): वे दो आर्किटेक्चरों के बीच "पाथ" (paths) का निर्माण करते हैं, जो लघु संशोधन अनुक्रमों के एक ट्री (tree) को उत्पन्न करते हैं। वे दो बिंदुओं के बीच एक्यूरेसी बैरियर (Accuracy Barrier - $B$ ) की गणना करते हैं, जो दो एंडपॉइंट एक्यूरेसी के औसत और पथ के दौरान सामना किए गए न्यूनतम एक्यूरेसी के बीच का अंतर है।
- परिकल्पना (Hypothesis): उच्च-प्रदर्शन वाले आर्किटेक्चर फ्लैट क्षेत्रों (कम बैरियर) में स्थित होने चाहिए, जबकि खराब आर्किटेक्चर उच्च बैरियर द्वारा अलग-थलग होने चाहिए।

B. A2M एल्गोरिदम (Architecture-Aware Minimization)

ज्यामितीय अंतर्दृष्टि के आधार पर, लेखक A2M प्रस्तावित करते हैं, जो एक ग्रेडिएंट-आधारित अनुकूलन ढांचा है जो स्पष्ट रूप से आर्किटेक्चर स्पेस में फ्लैट मिनिमा को लक्षित करता है।

मुख्य अवधारणा (Core Concept): A2M, वेट स्पेस से शार्पनेस-अवेयर मिनिमाइजेशन (SAM) को आर्किटेक्चर स्पेस में अनुकूलित करता है।
तंत्र (Mechanism): वर्तमान आर्किटेक्चर पैरामीटर्स $\alpha$ पर लॉस को कम करने के बजाय, A2M त्रिज्या $\rho_\alpha$ के भीतर के सबसे खराब मामले (worst-case) के लॉस को कम करता है।
ग्रेडिएंट अपडेट (Gradient Update): लेखक DARTS के बाइ-लेवल ऑप्टिमाइज़ेशन फ्रेमवर्क के भीतर आर्किटेक्चर पैरामीटर्स $\alpha$ $α$ के लिए एक नया ग्रेडिएंट अपडेट नियम व्युत्पन्न करते हैं। इस अपडेट में शामिल है:
1. $\alpha$ को ग्रेडिएंट की दिशा में शिफ्ट करना (SAM शिफ्ट)।
2. शिफ्ट किए गए बिंदु और विक्षेपित (perturbed) बिंदुओं ( $\alpha \pm \epsilon$ ) पर ग्रेडिएंट की गणना करना ताकि कर्वेचर (सेकंड-ऑर्डर टर्म) का अनुमान लगाया जा सके।
3. सेकंड-ऑर्डर डेरिवेटिव के फाइनाइट-डिफरेंस एप्रोक्सिमेशन का उपयोग करके $\alpha$ को अपडेट करना, जो प्रभावी रूप से शार्प मिनिमा को दंडित (penalize) करता है।
एकीकरण (Integration): A2M मौजूदा DARTS-आधारित तरीकों के लिए एक "प्लग-इन" के रूप में कार्य करता है, जिसके लिए केवल एक अतिरिक्त हाइपरपैरामीटर ( $\rho_\alpha$ ) और मामूली कम्प्यूटेशनल लागत (लगभग 1.1x–1.3x) की आवश्यकता होती है।

3. मुख्य योगदान (Key Contributions)

ज्यामितीय लक्षण वर्णन (Geometric Characterization): यह शोध पत्र आर्किटेक्चर स्पेस की पहली व्यवस्थित मात्रात्मक व्याख्या प्रदान करता है, जिससे पता चलता है कि उच्च-सटीकता वाले आर्किटेक्चर फ्लैट क्षेत्रों में क्लस्टर होते हैं जिनमें कम एक्यूरेसी बैरियर होते हैं, जबकि उप-इष्टतम (suboptimal) आर्किटेक्चर शार्प, उच्च-बैरियर वाले क्षेत्रों में अलग-थलग होते हैं।
A2M एल्गोरिदम: आर्किटेक्चर स्पेस में (वेट स्पेस से अलग) फ्लैट क्षेत्रों की ओर ग्रेडिएंट को विश्लेषणात्मक रूप से बायस (bias) करने वाले पहले एल्गोरिदम का परिचय।
पाथ और बैरियर मेट्रिक्स: आर्किटेटेक्चर लैंडस्केप की सुगमता (smoothness) को विज़ुअलाइज़ और मापने के उपकरण के रूप में "एक्यूरेसी पाथ" और "बैरियर्स" की परिभाषा।
अनुभवजन्य सत्यापन (Empirical Validation): कई बेंचमार्क और सर्च स्पेस पर फ्लैटनेस को लक्षित करने से बेहतर सामान्यीकरण (generalization) प्राप्त होता है, यह दिखाने वाले व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन डेटासेट: CIFAR-10, CIFAR-100, और ImageNet-16-120 पर NAS-Bench-201 और DARTS सर्च स्पेस पर A2M का मूल्यांकन किया।

ज्यामितीय निष्कर्ष (Geometric Findings):
- क्लस्टरिंग (Clustering): उच्च-प्रदर्शन वाले मॉडल (जैसे, CIFAR-10 पर >90%) के पड़ोसी बहुत समान एक्यूरेसी (टाइट क्लस्टरिंग) वाले होते हैं, जो फ्लैट बेसिन का संकेत देते हैं।
- बैरियर्स (Barriers): उच्च-प्रदर्शन वाले आर्किटेक्चरों को जोड़ने वाले पथ, निम्न-प्रदर्शन वाले आर्किटेक्चरों के बीच के पथों की तुलना में काफी कम एक्यूरेसी बैरियर प्रदर्शित करते हैं।
- मजबूती (Robustness): A2M द्वारा खोजे गए आर्किटेक्चर ने मानक DARTS मॉडलों की तुलना में विक्षेपण (perturbation) (त्रिज्या-1 पड़ोस) के दौरान कम प्रदर्शन गिरावट दिखाई।
प्रदर्शन लाभ (Performance Gains):
A2M को सात अत्याधुनिक (state-of-the-art) DARTS वेरिएंट्स (जिसमें $\beta$ -DARTS, PC-DARTS, SDARTS, आदि शामिल हैं) पर लागू किया गया।
- औसत सुधार (Average Improvement): सभी विधियों और डेटासेटों में, A2M ने टेस्ट एक्यूरेसी में सुधार किया:
  - CIFAR-10 पर +3.60%
  - CIFAR-100 पर +4.60%
  - ImageNet-16-120 पर +3.64%
- विशिष्ट जीत (Specific Wins):
  - NAS-Bench-201 पर, A2-PC-DARTS ने मानक संस्करण की तुलना में ImageNet-16-120 पर 2.15x अधिक सटीकता प्राप्त की।
  - DARTS सर्च स्पेस पर, A2-एन्हांस्ड विधियों ने लगातार उच्चतम टेस्ट एक्यूरेसी प्राप्त की (जैसे, A2-DARTS-PT ने CIFAR-10 पर 97.42% प्राप्त किया)।

5. महत्व और भविष्य की दिशाएं (Significance and Future Directions)

प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र स्थापित करता है कि फ्लैटनेस आर्किटेक्चर स्पेस का भी एक महत्वपूर्ण गुण है, न कि केवल वेट स्पेस का। आर्किटेक्चरल फ्लैटनेस के लिए अनुकूलित करना D-NAS में सामान्यीकरण अंतराल (generalization gap) को हल करने की एक व्यवहार्य और प्रभावी रणनीति है।
व्यावहारिक उपयोगिता (Practical Utility): A2M मौजूदा D-NAS फ्रेमवर्क के लिए एक हल्का, ड्रॉप-इन रिप्लेसमेंट है, जो सर्च एल्गोरिदम के पूर्ण पुनर्गठन की आवश्यकता के बिना तत्काल प्रदर्शन लाभ प्रदान करता है।
भविष्य का कार्य (Future Work):
- मैक्रो-स्ट्रक्चरल परिवर्तनों (नोड्स को जोड़ने या हटाने) के लिए ज्यामितीय विश्लेषण का विस्तार करना।
- फ्लैटनेस-अवेयर सर्च को डिस्क्रीट NAS (जैसे, इवोल्यूशनरी या RL-आधारित विधियों) में अनुकूलित करना जहाँ ग्रेडिएंट सीधे उपलब्ध नहीं होते हैं।
- आर्किटेक्चरल फ्लैटनेस और अन्य मजबूती गुणों (जैसे, एडवरसैरियल रोबस्टनेस, OOD जनरलाइजेशन) के बीच संबंध की जांच करना।
- A2M अपडेट स्टेप के कम्प्यूटेशनल ओवरहेड को कम करना।

निष्कर्षतः, A2M लॉस लैंडस्केप की सैद्धांतिक समझ और NAS के व्यावहारिक अनुप्रयोग के बीच के अंतर को पाटता है, और यह सिद्ध करता है कि आर्किटेक्चर स्पेस में फ्लैट क्षेत्रों की ओर खोज को निर्देशित करने से अधिक मजबूत और सामान्यीकरण योग्य न्यूरल नेटवर्क प्राप्त होते हैं।