🤖 machine learning

Neural Architecture Search of Sample Reweighting Networks for Complex Distribution Shift

यह शोध पत्र मेटा-वेट-नेट (MW-Net) फ्रेमवर्क को लेबल शोर (label noise) और क्लास असंतुलन (class imbalance) को एक साथ संभालने के लिए बेहतर बनाने का प्रस्ताव देता है, जिसमें इसके नेटवर्क स्ट्रक्चर और इनपुट सिलेक्शन को अनुकूलित करने के लिए न्यूरल आर्किटेक्चर सर्च का उपयोग किया गया है, जिससे केवल वर्गीकरण हानि (classification loss) पर निर्भर रहने वाले सरल नेटवर्क्स की प्रदर्शन सीमाओं को दूर किया जा सके।

मूल लेखक: Keisuke Sugawara, Kento Uchida, Shinichi Shirakawa

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Keisuke Sugawara, Kento Uchida, Shinichi Shirakawa

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: एक रोबोट को खराब डेटा को अनदेखा करना सिखाना

कल्प_ना कीजिए कि आप एक रोबोट को डाक (मेल) के एक विशाल ढेर को छाँटने के लिए काम पर रख रहे हैं। आप चाहते हैं कि वह पत्रों को सही घरों में पहुँचाना सीख जाए। हालाँकि, आपके पास दो बड़ी समस्याएँ हैं:

"शोर" (Noise) की समस्या: कुछ पत्रों पर गलत पता लिखा हुआ है (लेबल नॉइज़/Label Noise)।
"असंतुलन" (Imbalance) की समस्या: आपके पास "घर A" के लिए 1,000 पत्र हैं लेकिन "घर B" के लिए केवल 10 पत्र हैं (क्लास इम्बैलेंस/Class Imbalance)।

यदि आप रोबोट को सामान्य रूप से सीखने देंगे, तो वह भ्रमित हो जाएगा। वह शायद दुर्लभ "घर B" के पत्रों को अनदेखा कर देगा क्योंकि वे बहुत कम हैं, या वह गलत पते वाले पत्रों से परेशान होकर अंदाज़े लगाने लगेगा।

पुराना समाधान: एक सरल "वेट" (Weight) कैलकुलेटर

इसे ठीक करने के लिए, शोधकर्ता सैंपल रीवेटिंग (Sample Reweighting) नामक एक ट्रिक का उपयोग करते हैं। इसे ऐसे सोचें कि आप रोबोट को देखे गए हर पत्र के लिए एक "विश्वास स्कोर" (confidence score) दे रहे हैं।

यदि कोई पत्र आसान और सही दिखता है, तो उसे उच्च स्कोर दें (उस पर ध्यान दें)।
यदि कोई पत्र अजीब या गलत दिखता है, तो उसे कम स्कोर दें (उसे अनदेखा करें)।

यह पेपर एक विशिष्ट टूल पर केंद्रित है जिसे MW-Net (Meta-Weight-Net) कहा जाता है। यह एक छोटा, सरल कैलकुलेटर है जो हर पत्र के लिए स्कोर तय करता है।

यह पहले कैसे काम करता था: पुराना MW-Net एक बहुत ही साधारण कैलकुलेटर की तरह था जिसमें केवल एक बटन था। यह देखता था कि रोबोट किसी पत्र के बारे में कितना "गलत" था (लॉस/loss) और फिर स्कोर तय करता था।
- खामी: एक अव्यवस्थपूर्ण स्थिति में (जहाँ गलत पते और दुर्लभ घर दोनों हों), एक साधारण कैलकुलेटर भ्रमित हो जाता है। एक दुर्लभ घर का पत्र पढ़ने में कठिन हो सकता है (उच्च "गलतपन"), और एक गलत पते वाला पत्र भी पढ़ने में कठिन होता है (उच्च "गलतपन")। साधारण कैलकुलेटर दोनों के बीच अंतर नहीं कर पाता, इसलिए वह दोनों के साथ एक जैसा व्यवहार करता है, जिससे प्रदर्शन खराब होता है।

नया विचार: रोबोट को अपना खुद का कैलकुलेटर डिज़ाइन करने देना

लेखकों ने पूछा: "क्या होगा अगर हम केवल एक साधारण कैलकुलेटर का उपयोग न करें? क्या होगा अगर हम रोबोट को स्कोर का पता लगाने के लिए अपना खुद का, अधिक जटिल कैलकुलेटर डिज़ाइन करने दें?"

उन्होंने न्यूरल आर्किटेक्चर सर्च (NAS) नामक एक तकनीक का उपयोग किया। इसे एक "मास्टर आर्किटेक्ट" (मुख्य वास्तुकार) के रूप में सोचें जो कैलकुलेटर के लिए हजारों अलग-अलग ब्लूप्रिंट आज़माता है जब तक कि उसे एकदम सही ब्लूप्रिंट न मिल जाए।

मास्टर आर्किटेक्ट दो चीजों की तलाश करता है:

ब्लूप्रिंट (संरचना): कैलकुलेटर में कितने "कमरे" (लेयर्स) होने चाहिए? प्रत्येक कमरे में कितने "कर्मचारी" (नोड्स) होने चाहिए?
- उपमा: कभी-कभी एक साधारण काम करने के लिए आपको एक छोटे से शेड (1 लेयर) की आवश्यकता होती है। अन्य समय में, जटिल तर्क को संभालने के लिए आपको एक बहु-मंजिला कार्यालय भवन (5 लेयर्स) की आवश्यकता होती है।
इनपुट (यह क्या देखता है): पुराना कैलकुलेटर केवल "गलतपन" के स्कोर को देखता था। नया वाला दो चीजों को देखता है:
- "गलतपन" का स्कोर।
- "संदर्भ" (Context): उस पत्र का एक स्नैपशॉट कि वह वास्तव में कैसा दिखता है (फीचर्स) और पता क्या होना चाहिए (लेबल)।
- उपमा: केवल यह पूछने के बजाय कि "क्या यह पत्र भ्रमित करने वाला है?", नया कैलकुलेटर पूछता है, "क्या यह पत्र भ्रमित करने वाला है, और क्या यह एक दुर्लभ घर के पत्र जैसा दिखता है, और क्या इसमें सही पिन कोड है?"

उन्होंने सबसे अच्छा डिज़ाइन कैसे खोजा

उन्होंने TPE (Tree-structured Parzen Estimator) नामक एक स्मार्ट खोज विधि का उपयोग किया।

कल्पना कीजिए कि मास्टर आर्किटेक्ट "हॉट एंड कोल्ड" (पास या दूर) का खेल खेल रहा है।
वह एक ब्लूप्रिंट आज़माता है (जैसे, 3 कमरे, 500 कर्मचारी)।
वह रोबोट का परीक्षण करता है। यदि रोबोट अच्छा प्रदर्शन करता है, तो आर्किटेक्ट उस ब्लूप्रिंट को याद रखता है।
यदि रोबोट खराब प्रदर्शन करता है, तो आर्किटेक्ट उसे भूल जाता है।
समय के साथ, आर्किटेक्ट को विशिष्ट प्रकार की अव्यवस्था (जैसे, "फ्लिप नॉइज़" बनाम "रैंडम नॉइज़") के लिए आवश्यक कैलकुलेटर का सटीक आकार पता चल जाता है।

उन्होंने क्या खोजा

उन्होंने दो प्रसिद्ध इमेज डेटासेट्स (CIFAR-10 और CIFAR-100) पर परीक्षण किया, जो बिल्लियों, कुत्तों, कारों आदि की तस्वीरों के विशाल बक्सों की तरह हैं, लेकिन उनके लेबल गलत कर दिए गए हैं और कुछ श्रेणियाँ दुर्लभ बना दी गई हैं।

सर्च काम करता है: "मास्टर आर्किटेक्ट" ने पुराने, साधारण कैलकुलेटर की तुलना में लगातार बेहतर कैलकुलेटर खोजे। रोबोट ने डाक को बहुत बेहतर तरीके से छाँटा।
अलग-अलग अव्यवस्था के लिए अलग-अलग औजार चाहिए:
- फ्लिप नॉइज़ (व्यवस्थित त्रुटियां): जब गलत पते विशिष्ट थे (जैसे, सभी "बिल्लियों" को "कुत्तों" के रूप में लेबल किया गया था), तो आर्किटेक्ट ने एक गहरा, जटिल कैलकुलेटर (3+ लेयर्स) बनाया। गलती के विशिष्ट पैटर्न को समझने के लिए उसे गहराई की आवश्यकता थी।
- यूनिफॉर्म नॉइज़ (यादृच्छिक त्रुटियां): जब गलत पते पूरी तरह से रैंडम थे, तो आर्किटेक्ट ने एक सरल कैलकुलेटर (1 या 2 लेयर्स) बनाया लेकिन उसे चौड़ा (अधिक कर्मचारी) बनाया। उसे गहरे तर्क की आवश्यकता नहीं थी, बस रैंडम गलतियों को पकड़ने के लिए बहुत सारी आँखों की आवश्यकता थी।
सही जगह देखना: खोज ने यह भी पता लगाया कि पत्र को कहाँ देखना है। कभी-कभी इसे रोबोट के मस्तिष्क के बिल्कुल अंत (अंतिम लेयर्स) को देखने की आवश्यकता होती है, और कभी-कभी इसे मध्य लेयर्स को देखने की आवश्यकता होती है, जो शोर के प्रकार पर निर्भर करता है।

निचोड़

यह पेपर दिखाता है कि जब डेटा अव्यवस्थित होता है (नॉइज़ी और अनबैलेंस्ड), तो आपको इसे ठीक करने के लिए केवल एक "एक ही आकार सबके लिए" (one-size-fits-all) वाले साधारण टूल का उपयोग नहीं करना चाहिए। इसके बजाय, आपको एक कस्टम टूल को डिज़ाइन करने के लिए स्वचालित खोज का उपयोग करना चाहिए जो विशेष रूप से उस प्रकार की अव्यवस्था के लिए एकदम सही आकार का हो जिसका आप सामना कर रहे हैं। यह सीखने वाले रोबोट को बहुत अधिक स्मार्ट और सटीक बनाता है।

तकनीकी सारांश: जटिल वितरण बदलाव (Complex Distribution Shift) के लिए सैंपल रीवेटिंग नेटवर्क का न्यूरल आर्किटेक्चर सर्च (Neural Architecture Search)

समस्या विवरण (Problem Statement)

वितरण बदलाव (Distribution shifts), विशेष रूप से लेबल नॉइज़ (label noise) और क्लास इम्बैलेंस (class imbalance) का सह-अस्तित्व, मानक सुपरवाइज्ड लर्निंग के लिए महत्वपूर्ण चुनौतियाँ पेश करता है। जबकि सैंपल रीवेटिंग (Sample Reweighting) इन समस्याओं को कम करने के लिए एक स्थापित दृष्टिकोण है, मौजूदा विधियाँ जटिल परिदृश्यों में सीमाओं का सामना करती हैं:

मैनुअल ट्यूनिंग (Manual Tuning): पारंपरिक विधियाँ (जैसे, Focal Loss, self-paced learning) मैन्युअल रूप से डिज़ाइन किए गए वेटिंग फंक्शन और हाइपरपैरामीटर पर निर्भर करती हैं, जिसके लिए विशेषज्ञ ज्ञान की आवश्यकता होती है।
मेटा-वेट-नेट (Meta-Weight-Net - MW-Net) की सीमाएँ: MW-Net केवल क्लासिफिकेशन लॉस (classification loss) को इनपुट के रूप में लेकर एक सरल न्यूरल नेटवर्क (100 नोड्स वाला एक सिंगल हिडन लेयर) का उपयोग करके वेट कंप्यूटेशन को स्वचालित करता है। हालांकि यह एकल प्रकार के बदलावों के लिए प्रभावी है, लेकिन जब लेबल नॉइज़ और क्लास इम्बैलेंस दोनों एक साथ मौजूद होते हैं, तो MW-Net संघर्ष करता है। ऐसे मामलों में, नॉइज़ी सैंपल्स (जिन्हें डाउन-वेट किया जाना चाहिए) और अल्पसंख्यक वर्ग (minority class) के सैंपल्स (जिन्हें अप-वेट किया जाना चाहिए) दोनों ही उच्च लॉस प्रदर्शित कर सकते हैं, जिससे एक सरल, केवल लॉस-आधारित नेटवर्क के लिए उपयुक्त वेट्स का अनुमान लगाना कठिन हो जाता है।

कार्यप्रणाली (Methodology)

लेखक न्यूरल आर्किटेक्चर सर्च (NAS) के माध्यम से MW-Net को बेहतर बनाने का प्रस्ताव करते हैं ताकि नेटवर्क संरचना और इनपुट फीचर्स दोनों को अनुकूलित (optimize) किया जा सके। मुख्य संशोधन निम्नलिखित हैं:

समृद्ध इनपुट फीचर्स (Enriched Input Features): केवल स्केलर लॉस वैल्यू के बजाय, वेटिंग नेटवर्क के इनपुट को निम्नलिखित के संयोजन (concatenation) से बदल दिया गया है:
- क्लासिफिकेशन मॉडल के एक चयनित ब्लॉक से मध्यवर्ती फीचर प्रतिनिधित्व ( $b_j$ ) (ग्लोबल एवरेज पूलिंग के माध्यम से संसाधित)।
- वन-हॉट एनकोडेड लेबल जानकारी ( $y_i$ )।
- फॉर्मूला: $\phi(x_i, y_i; w) = (\psi_{ave}(b_j(x_i)), \psi_{onehot}(y_i))$ ।
TPE के माध्यम से संयुक्त अनुकूलन (Joint Optimization via TPE): लेखक ट्री-स्ट्रक्चर्ड पारज़न एस्टिमेटर (Tree-structured Parzen Estimator - TPE) का उपयोग करते हैं, जो एक बेयसियन ऑप्टिमाइज़ेशन विधि है, ताकि संयुक्त रूप से खोज की जा सके:
- नेटवर्क आर्किटेक्चर: हिडन लेयर्स की संख्या (1–5) और प्रति लेयर नोड्स की संख्या (64–1024, लॉग-स्केल पर अनुकूलित)।
- इनपुट सोर्स: क्लासिफायर (ResNet-32) का विशिष्ट ब्लॉक इंडेक्स (11–15) जिससे फीचर्स निकाले जाते हैं।
प्रशिक्षण ढांचा (Training Framework): यह विधि दो डेटासेट्स के साथ एक मेटा-लर्निंग फ्रेमवर्क का उपयोग करती है:
- ट्रेनिंग डेटासेट ( $D_{train}$ ): इसमें नॉइज़ी और इम्बैलेंस्ड डेटा शामिल है।
- मेटा-डेटासेट ( $D_{meta}$ ): यह लक्षित वितरण (target distribution) से लिया गया एक छोटा, क्लीन और बैलेंस्ड डेटासेट है।
- क्लासिफायर और वेटिंग नेटवर्क को बारी-बारी से अपडेट किया जाता है। क्लासिफायर $D_{train}$ पर वेटेड लॉस को कम करता है, जबकि वेटिंग नेटवर्क क्लासिफायर अपडेट के बाद $D_{meta}$ पर लॉस को कम करता है।

मुख्य योगदान (Key Contributions)

MW-Net पर NAS का पहला अनुप्रयोग: लेखकों की जानकारी के अनुसार, यह मेटा-लर्निंग सेटिंग के भीतर सैंपल वेटिंग नेटवर्क में न्यूरल आर्किटेक्चर सर्च लागू करने वाला पहला अध्ययन है।
जटिल बदलावों को संभालना: प्रस्तावित विधि उस विशिष्ट चुनौती को संबोधित करती है जहाँ नॉइज़ी और अल्पसंख्यक (minority) सैंपल्स समान उच्च लॉस साझा करते हैं, एक ऐसी स्थिति जहाँ पिछले लॉस-आधारित वेटिंग नेटवर्क विफल हो जाते हैं।
स्वचालित फीचर चयन: यह विधि स्वचालित रूप से पहचान करती है कि विभिन्न प्रकार के नॉइज़ (जैसे, फ्लिप नॉइज़ बनाम यूनिफॉर्म नॉइज़) के तहत वेट अनुमान के लिए क्लासिफायर के शुरुआती या अंतिम चरण के फीचर्स अधिक उपयुक्त हैं।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन CIFAR-10 और CIFAR-100 डेटासेट्स पर किया गया, जिन्हें सिंथेटिक लेबल नॉइज़ (फ्लिप और यूनिफॉर्म, 40% दर) और क्लास इम्बैलेंस (इम्बैलेंस फैक्टर्स 20 और 100) के साथ संशोधित किया गया था।

CIFAR-10 पर प्रदर्शन:
- प्रस्तावित NAS विधियों ने लगातार मानक MW-Net बेसलाइन (1 हिडन लेयर, 100 नोड्स) और एक "लार्जेस्ट आर्किटेक्चर" बेसलाइन (5 लेयर्स, 1024 नोड्स) को पछाड़ दिया।
- फ्लिप नॉइज़ (Flip Noise): सर्च प्रक्रिया गहरी आर्किटेक्चर (3+ लेयर्स) और क्लासिफायर के अंतिम ब्लॉक्स (14वीं/15वीं) से फीचर्स चुनने की ओर झुकी।
- यूनिफॉर्म नॉइज़ (Uniform Noise): सर्च ने कम लेयर्स वाले आर्किटेक्चर (1–2) और शुरुआती ब्लॉक्स (11वीं–13वीं) से फीचर्स को प्राथमिकता दी।
- वेट वितरण (Weight Distribution): विजुअल विश्लेषण ने दिखाया कि NAS-व्युत्पन्न नेटवर्कों ने सफलतापूर्वक नॉइज़ी सैंपल्स को कम वेट दिया, जबकि क्लीन माइनॉरिटी सैंपल्स के लिए उच्च वेट बनाए रखा, जो कि वह अंतर है जिसे बेसलाइन प्रभावी ढंग से नहीं कर सका।
CIFAR-100 पर प्रदर्शन:
- हालांकि NAS विधियों ने बेसलाइन की तुलना में बेहतर प्रदर्शन किया, लेकिन CIFAR-10 की तुलना में प्रदर्शन का अंतर कम था।
- लेखक इसका श्रेय CIFAR-100 में क्लीन माइनॉरिटी सैंपल्स की अत्यधिक कमी (उदाहरण के लिए, उच्च इम्बैलेंस और नॉइज़ के तहत प्रति माइनॉरिटी क्लास केवल ~3 क्लीन सैंपल्स) को देते हैं, जिससे क्लीन और नॉइजी डेटा के बीच अंतर करना स्वाभाविक रूप से कठिन हो जाता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि MW-Net पर NAS लागू करने से मॉडल परिष्कृत सैंपल वेटिंग रणनीतियों (sophisticated sample weighting strategies) को सीखने में सक्षम होता है जो जटिल वितरण बदलावों के प्रति मजबूत होती हैं। आर्किटेक्चर की गहराई, चौड़ाई और इनपुट फीचर चयन को अनुकूलित करके, यह विधि नॉइज़ की विशिष्ट विशेषताओं (जैसे, स्ट्रक्चर्ड फ्लिप नॉइज़ बनाम रैंडम यूनिफॉर्म नॉइज़) के अनुकूल हो जाती है।

लेखक CIFAR-100 पर परिणामों के संबंध में एक विनम्र लहजा बनाए रखते हैं, यह स्वीकार करते हुए कि कार्य की कठिनाई आर्किटेक्चरल अंतरों के दृश्य लाभों को सीमित करती है। वे स्पष्ट रूप से कहते हैं कि प्राथमिक लक्ष्य पूर्ण स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करने के बजाय MW-Net पर NAS लागू करने के प्रभाव का परीक्षण करना था।

भविष्य की दिशाएं (Future Directions):
लेखक सुझाव देते हैं कि भविष्य के कार्य को निम्नलिखित पर ध्यान केंद्रित करना चाहिए:

वेटिंग नेटवर्क और क्लासिफायर दोनों के आर्किटेक्चर को संयुक्त रूप से अनुकूलित करना।
सर्च स्पेस को कनवोल्यूशनल और पूलिंग लेयर्स को शामिल करने के लिए विस्तारित करना।
वन-शॉट NAS या अन्य कुशल NAS विधियों को अपनाकर कम्प्यूटेशनल लागत को कम करना, क्योंकि वर्तमान "फ्रॉम-स्क्रैच" ट्रेनिंग दृष्टिकोण बड़े पैमाने के डेटासेट्स के लिए अत्यधिक खर्चीला है।