🤖 machine learning

Robust Self-Training with Closed-loop Label Correction for Learning from Noisy Labels

यह शोध पत्र एक सुदृढ़ सेल्फ-ट्रेनिंग फ्रेमवर्क प्रस्तावित करता है जो शोर वाले लेबल (noisy labels) से प्रभावी ढंग से सीखने के लिए डिकपल्ड बाइलेवल ऑप्टिमाइज़ेशन और एक क्लोज्ड-लूप लेबल करेक्शन मैकेनिज्म का उपयोग करता है, जिससे त्रुटि प्रवर्धन (error amplification) को रोकते हुए कम कम्प्यूटेशनल लागत के साथ अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Zhanhui Lin, Yanlin Liu, Sanping Zhou

प्रकाशित 2026-03-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhanhui Lin, Yanlin Liu, Sanping Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन नादान छात्र (एक Deep Neural Network) को जानवरों की पहचान करना सिखाने की कोशिश कर रहे हैं। आपके पास फ्लैशकार्ड्स का एक विशाल ढेर (एक Noisy Dataset) है, लेकिन दुर्भाग्य से, उनमें से कई के लेबल गलत हैं। किसी ने बिल्ली की तस्वीर पर "कुत्ता" लिख दिया है, या साइकिल पर "कार" लिख दिया है।

यदि आप छात्र को इन कार्डों को बिना सोचे-समझे पढ़ने देंगे, तो वह अंततः गलतियों को भी रट लेगा, यह सोचकर कि बिल्ली वास्तव में एक कुत्ता है, और वास्तविक परीक्षा में विफल हो जाएगा। यही Noisy Labels से सीखने की समस्या है।

मौजूदा अधिकांश तरीके इसे ठीक करने की कोशिश करते हैं, या तो:

बुरे कार्डों को फेंक देते हैं (डेटा की बर्बादी)।
यह अनुमान लगाने की कोशिश करते हैं कि लेबल कैसे गलत हुए (बहुत जटिल और धीमा)।
एक दूसरे शिक्षक का उपयोग करते हैं जो सब कुछ दोबारा चेक करे (बहुत महंगा और मेमोरी-भारी)।

यह पेपर एक स्मार्ट, तेज़ और अधिक कुशल तरीका प्रस्तावित करता है जिसे "Robust Self-Training with Closed-loop Label Correction" कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "नन्ही सत्य" लाइब्रेरी (The Clean Dataset)

कल्पना कीजिए कि आपके पास अस्त-व्यस्त फ्लैशकार्ड्स का एक विशाल ढेर है, लेकिन आपके पास 100 कार्डों की एक छोटी, एकदम सही लाइब्रेरी भी है जहाँ लेबल 100% सही हैं।

समस्या: आप उस अस्त-व्यस्त ढेर को अनदेखा नहीं कर सकते; वह बहुत बड़ा है। लेकिन आप उस पर भरोसा भी नहीं कर सकते।
समाधान: आप उस नन्ही पूर्ण लाइब्रेरी का उपयोग अपने "Ground Truth" या "एंकर" के रूप में करते हैं। यह आपके दिशा-सूचक यंत्र (Compass) की तरह है।

2. "अनुवादक" (The Translator - द करेक्शन फंक्शन)

मुख्य विचार एक विशेष अनुवादक (एक छोटा न्यूरल नेटवर्क) बनाना है। इसका काम जानवरों की पहचान करना नहीं है; इसका काम अस्त-व्यस्त कार्डों के लेबलों को ठीक करना है।

यह कैसे सीखता है: अनुवादक अस्त-व्यस्त कार्डों और पूर्ण लाइब्रेरी को देखता है। लेकिन एक पेच है: पूर्ण लाइब्रेरी में उनके "अस्त-व्यस्त" संस्करण नहीं होते।
जादुई ट्रिक (Noisy Posterior Simulation): अनुवादक को सिखाने के लिए, सिस्टम एक "सिमुलेशन" बनाता है। यह लाइब्रेरी से एक पूर्ण कार्ड लेता है और दिखावा करता है कि उसका लेबल गलत है, उन पैटर्नों के आधार पर जो वह अस्त-व्यस्त ढेर में देखता है। यह कुछ ऐसा है जैसे कहना, "यदि एक असली बिल्ली ऐसी दिखती है, और अस्त-व्यस्त ढेर में बिल्लियों को अक्सर 'कुत्ता' कहा जाता है, तो चलिए मान लेते हैं कि इस परफेक्ट बिल्ली वाले कार्ड पर 'कुत्ता' लिखा है।"
अब, अनुवादक के पास एक ट्रेनिंग सेट है: "यहाँ एक कार्ड है जो दिखने में कहता है कि यह 'कुत्ता' है, लेकिन हम जानते हैं कि यह वास्तव में एक 'बिल्ली' है। इसे ठीक करो!"

3. "सह-विकास नृत्य" (The Co-Evolving Dance - क्लोज्ड-लूप फीडबैक)

यहीं पर यह सिस्टम वास्तव में चतुर हो जाता है। यह एकतरफा रास्ता नहीं है; यह दो साथियों के बीच एक नृत्य है:

छात्र (Classifier): उन लेबलों से सीखता है जिन्हें अनुवादक ने ठीक किया है।
अनुवादक (Correction Function): लेबल ठीक करने में बेहतर होता जाता है क्योंकि छात्र जानवरों की विशेषताओं (features) को पहचानने में स्मार्ट होता जा रहा है।

लूप (The Loop):

अनुवादक कुछ अस्त-व्यस्त लेबलों को ठीक करता है।
छात्र इन "साफ किए गए" लेबलों का अध्ययन करता है और स्मार्ट बनता है।
क्योंकि छात्र स्मार्ट है, वह छवियों के विवरणों को बेहतर ढंग से देख पाता है।
अनुवादक अगली बार लेबलों को और भी सटीक रूप से ठीक करने के लिए इन बेहतर विवरणों का उपयोग करता है।
वे एक सकारात्मक चक्र (Virtuous Cycle) में एक-दूसरे को बेहतर बनाते रहते हैं।

4. "सुरक्षा जाल" (The Safety Net - Robust Convex Combination)

क्या होगा यदि अनुवादक गलती करता है और एक लेबल को गलत तरीके से ठीक कर देता है? यदि आप उस नए लेबल का उपयोग करते हैं, तो छात्र भ्रमित हो सकता है और गलतियों के चक्र में फंस सकता है (इसे "Error Amplification" कहा जाता है)।

इसे रोकने के लिए, पेपर एक सुरक्षा जाल का उपयोग करता है:

अनुवादक के नवीनतम अनुमान पर 100% भरोसा करने के बजाय, सिस्टम उन सभी अनुमानों को देखता है जो अनुवादक ने समय के साथ (शुरुआत से अब तक) लगाए हैं।
यह उन सभी अनुमानों का एक भारित औसत (Weighted Average) लेता है।
उपमा: कल्पना कीजिए कि एक कमेटी वोटिंग कर रही है। यदि एक सदस्य (नवीनतम अनुमान) का दिन खराब चल रहा है और वह गलत वोट देता है, तो अन्य सदस्य (पिछले अनुमान) उसे संतुलित कर देते हैं। अंतिम निर्णय एक स्थिर औसत है, न कि एक एकल राय पर आधारित जोखिम भरा जुआ।
गारंटी: गणितीय रूप से, यह सुनिश्चित करता है कि लेबलों की गुणवत्ता मिश्रण में मौजूद सबसे खराब अनुमान से कभी भी खराब नहीं होती। यह एक "No-regret" रणनीति है।

यह दूसरों से बेहतर क्यों है?

दक्षता (Efficiency): इसे दूसरे, विशाल शिक्षक मॉडल की आवश्यकता नहीं है। यह एक छोटा, सरल "अनुवादक" (एक छोटा न्यूरल नेटवर्क) उपयोग करता है जो तेज़ चलता है।
कोई बर्बादी नहीं: यह शोर वाले डेटा को फेंकता नहीं है; यह इसे साफ करता है और इसका उपयोग करता है।
स्थिरता (Stability): "सुरक्षा जाल" (पिछले अनुमानों का औसत लेना) यह रोकता है कि यदि सिस्टम कोई अस्थायी गलती करता है, तो वह नियंत्रण से बाहर न हो जाए।
गति: क्योंकि "अनुवादक" छोटा है और गणित कुशल है, यह अन्य उच्च-तकनीकी तरीकों की तुलना में बहुत तेज़ी से प्रशिक्षित होता है।

परिणाम

जब बड़े डेटासेट्स (जैसे लाखों कपड़ों की तस्वीरों वाले डेटासेट जहाँ यूजर-जेनरेटेड टैग्स हैं) पर परीक्षण किया गया, तो इस पद्धति ने:

सभी पिछले अत्याधुनिक (State-of-the-art) तरीकों से बेहतर स्कोर प्राप्त किया।
प्रशिक्षण में कम समय लिया।
कम कंप्यूटर मेमोरी का उपयोग किया, जिससे यह वास्तविक दुनिया के उपयोग के लिए व्यावहारिक बन गया।

संक्षेप में: यह पेपर कंप्यूटर को अपना होमवर्क खुद साफ करना सिखाता है, जिसमें वह गाइड के रूप में कुछ एकदम सही उदाहरणों का उपयोग करता है, जबकि एक "सुरक्षा समिति" का उपयोग यह सुनिश्चित करने के लिए करता है कि सुधार करने के प्रयास में वह अनजाने में चीजों को और खराब न कर दे। यह एक स्व-सुधारने वाला, स्व-संशोधित सिस्टम है जो तेज़, सस्ता और अत्यधिक सटीक है।

यहाँ शोध पत्र "Robust Self-Training with Closed-loop Label Correction for Learning from Noisy Labels" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क (DNNs) लेबल नॉइज़ (प्रशिक्षण डेटा में गलत एनोटेशन) के प्रति अत्यधिक संवेदनशील होते हैं, जो अक्सर शोर वाले पैटर्न पर ओवरफिटिंग और खराब सामान्यीकरण (generalization) का कारण बनते हैं। जबकि मौजूदा विधियाँ इसे निम्नलिखित माध्यमों से संभालने का प्रयास करती हैं:

ट्रांजिशन मैट्रिक्स एस्टीमेशन (Transition Matrix Estimation): यह इंस्टेंस-डिपेंडेंट नॉइज़ और उच्च विचरण (variance) के कारण संघर्ष करता है।
सैंपल सिलेक्शन/डाउन-वेटिंग (Sample Selection/Down-weighting): यह शोर वाले डेटा को हटा देता है, जिससे उपयोगिता दक्षता कम हो जाती है।
मेटा-लर्निंग (Meta-Learning): प्रभावी है लेकिन इनर-लूप ऑप्टिमाइज़ेशन और उच्च मेमोरी उपयोग के कारण कम्प्यूटेशनल रूप से महंगी है।

एक ऐसी विधि में महत्वपूर्ण अंतर (gap) मौजूद है जो एक छोटे क्लीन डेटासेट (जो अक्सर वास्तविक दुनिया के परिदृश्यों में उपलब्ध होता है) का उपयोग करके एक क्लासिफायर और लेबल सुधार तंत्र (label correction mechanism) को बिना अत्यधिक कम्प्यूटेशनल लागत या सेल्फ-ट्रेनिंग लूप में त्रुटि प्रवर्धन (error amplification) के सहक्रियात्मक रूप से विकसित (synergistically co-evolve) कर सके।

2. कार्यप्रणाली: क्लोज्ड-लूप लेबल करेक्शन के साथ रोबस्ट सेल्फ-ट्रेनिंग

लेखक एक नया ढांचा प्रस्तावित करते हैं जो प्राथमिक क्लासिफायर और एक न्यूरल लेबल करेक्शन फंक्शन के अनुकूलन (optimization) को अलग करता है। मुख्य तंत्र एक छोटे क्लीन वैलिडेशन सेट ( $D_m$ ) द्वारा संचालित एक क्लोज्ड-लूप फीडबैक सिस्टम के रूप में कार्य करता है।

मुख्य घटक:

A. नॉइजी पोस्टीरियर सिमुलेशन (Noisy Posterior Simulation)

चुनौती: क्लीन डेटासेट $D_m$ में नॉइजी लेबल्स की कमी होती है, जिससे सुधार फंक्शन (correction function) को सीधे प्रशिक्षित करना कठिन हो जाता है।
समाधान: लेखक नॉइजी डेटासेट ( $\tilde{D}$ ) पर एक "नॉइजी क्लासिफायर" ( $f_n$ ) को प्रशिक्षित करते हैं ताकि वितरण $p(\tilde{y}|x)$ को सीखा जा सके। इस मॉडल को फिर क्लीन डेटासेट $D_m$ पर लागू किया जाता है ताकि नॉइजी लेबल्स ( $\hat{\tilde{y}}_m$ ) को सिमुलेट किया जा सके।
परिणाम: यह क्लीन डेटा से सिंथेटिक नॉइजी-क्लीन जोड़े बनाता है, जो वितरण अंतराल (distribution gap) को पाटता है और सुधार फंक्शन को यह सीखने में सक्षम बनाता है कि नॉइजी लेबल्स को वापस क्लीन लेबल्स में कैसे मैप किया जाए।

B. इंटरमीडिएट फीचर्स के साथ न्यूरल लेबल करेक्शन (Neural Label Correction with Intermediate Features)

आर्किटेक्चर: एक उथला न्यूरल नेटवर्क (जैसे, 2-लेयर MLP) सुधार फंक्शन $r$ के रूप में कार्य करता है।
इनपुट: फाइनल लॉजिट्स (logits) का उपयोग करने वाली विधियों के विपरीत, $r$ $r$ दो इनपुट लेता है:
1. नॉइजी लेबल पोस्टीरियर (जो $D_m$ के लिए सिमुलेट किया गया है, और $\tilde{D}$ के लिए देखा गया है)।
2. क्लासिफायर के फीचर एनकोडर से निकाले गए इंटरमीडिएट फीचर रिप्रेजेंटेशन ( $z$ )।
तर्क: इंटरमीडिएट फीचर्स अंतिम-परत के आउटपुट की तुलना में समृद्ध, अधिक स्थिर सिमेंटिक जानकारी कैप्चर करते हैं, जिससे सुधार नेटवर्क वर्गीकरण त्रुटियों के स्रोत का बेहतर अनुमान लगाने में सक्षम होता है।

C. कॉनवेक्स कॉम्बिनेशन के माध्यम से रोबस्ट क्लोज्ड-लूप (Robust Closed-Loop via Convex Combination)

तंत्र: त्रुटि प्रवर्धन (सेल्फ-ट्रेनिंग में एक सामान्य विफलता) को रोकने के लिए, यह विधि केवल नवीनतम सुधार पर निर्भर नहीं रहती है। इसके बजाय, यह सभी ऐतिहासिक भविष्यवाणियों (इटरेशन $0 $से$ t$ तक) और मूल नॉइजी लेबल का एक कॉनवेक्स कॉम्बिनेशन बनाती है।
ऑप्टिमाइज़ेशन: इस कॉम्बिनेशन के लिए वेट्स ( $\omega$ ) को रिस्क को कम करने के लिए क्लीन वैलिडेशन सेट पर अनुकूलित किया जाता है।
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं (प्रपोजिशन 1) कि संयुक्त लेबल का अपेक्षित जोखिम (expected risk) किसी भी व्यक्तिगत घटक के न्यूनतम जोखिम द्वारा सीमित होता है और जैसे-जैसे अधिक ऐतिहासिक भविष्यवाणियाँ जोड़ी जाती हैं, यह मोनोटोनिक रूप से गैर-बढ़ता (non-increasing) रहता है। यह सुनिश्चित करता है कि यदि व्यक्तिगत सुधार चरण उप-इष्टतम (suboptimal) भी हों, तो भी स्थिरता बनी रहे।

D. इटरेटिव को-इवोल्यूशन (Iterative Co-Evolution)

सुधारात्मक लेबल्स पर क्लासिफायर को प्रशिक्षित करें।
फीचर्स निकालें और क्लीन सेट पर नॉइजी पोस्टीरियर्स को सिमुलेट करें।
क्लीन सेट पर करेक्शन नेटवर्क और कॉम्बिनेशन वेट्स को अनुकूलित करें।
नॉइजी डेटासेट के लिए नए, उच्च-गुणवत्ता वाले सुधारात्मक लेबल्स जेनरेट करें।
दोहराएं।

3. मुख्य योगदान

डिकपल्ड को-इवोल्यूशन फ्रेमवर्क: एक सेल्फ-ट्रेनिंग फ्रेमवर्क जहाँ क्लासिफायर और करेक्शन फंक्शन एक क्लीन डेटासेट द्वारा निर्देशित होकर सहक्रियात्मक रूप से सह-अनुकूलित (co-optimize) होते हैं, जिससे ग्राउंड ट्रुथ से विचलन (drift) को रोका जा सके।
सैद्धांतिक स्थिरता: एक औपचारिक प्रमाण जो प्रस्तावित रोबस्ट कॉनवेक्स कॉम्बिनेशन रणनीति को त्रुटि प्रवर्धन को रोकने के लिए प्रदर्शित करता है, यह गारंटी देता है कि मॉडल का प्रदर्शन तब भी कम नहीं होता जब नए लेबल्स उप-इष्टतम होते हैं।
दक्षता और प्रदर्शन: यह विधि मेटा-लर्निंग दृष्टिकोणों की तुलना में काफी कम प्रशिक्षण समय और मेमोरी उपयोग के साथ स्टेट-ऑफ-द-आर्ट (SOTA) परिणाम प्राप्त करती है, जो इसे बड़े पैमाने के परिदृश्यों के लिए उपयुक्त बनाती है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन CIFAR-10, CIFAR-100, और बड़े पैमाने के वास्तविक दुनिया के डेटासेट Clothing1M पर विभिन्न नॉइज़ सेटिंग्स (सिमेट्रिक, एसिमेट्रिक, और इंस्टेंस-डिपेंडेंट) के तहत किया गया।

प्रदर्शन:
- CIFAR-10/100: सभी नॉइज़ स्तरों ( $\eta=0.6$ तक) में बेसलाइन्स (FasTEN, MW-Net, L2B) को पछाड़ दिया। उदाहरण के लिए, 60% इंस्टेंस-डिपेंडेंट नॉइज़ के साथ CIFAR-100 पर, प्रस्तावित विधि ने 54.97% सटीकता प्राप्त की, जबकि अगली सर्वश्रेष्ठ विधि (L2B) ने 47.45% हासिल की।
- Clothing1M: 80.23% सटीकता प्राप्त की, जो EMLC (79.35%) और FasTEN (77.83%) से बेहतर है, भले ही केवल 10% क्लीन डेटा का उपयोग किया गया हो।
दक्षता:
- प्रशिक्षण समय: CIFAR-100 पर, विधि ने 0.31 घंटे लिए, जबकि MW-Net के लिए 1.08 घंटे और L2B के लिए 1.61 घंटे लगे (लगभग 3x-5x तेज़)।
- मेमोरी: Clothing1M पर, विधि ने 16,915 MiB GPU मेमोरी का उपयोग किया, जो EMLC (~2 GPU पर ~44,000 MiB) की तुलना में काफी कम है।
एब्लेशन स्टडीज (Ablation Studies):
- इंटरमीडिएट फीचर्स: इंटरमीडिएट फीचर्स का उपयोग करने से फाइनल-लेयर लॉजिट्स या स्यूडो-सॉफ्ट-लेबल्स की तुलना में काफी बेहतर प्रदर्शन हुआ।
- कॉनवेक्स कॉम्बिनेशन: कॉनवेक्स कॉम्बिनेशन को हटाने से प्रदर्शन गिर गया, विशेष रूप से डेटा-दुर्लभ (data-scarce) व्यवस्थाओं में, जो इसकी आवश्यकता की पुष्टि करता है।

5. महत्व

यह शोध पत्र वास्तविक दुनिया के अनुप्रयोगों में, जहाँ क्लीन डेटा दुर्लभ लेकिन उपलब्ध होता है, नॉइजी लेबल्स से सीखने के लिए एक व्यावहारिक और सैद्धांतिक रूप से सुदृढ़ समाधान प्रस्तुत करता है।

व्यावहारिकता: जटिल मेटा-लर्निंग इनर लूप्स और भारी सेल्फ-सुपरवाइज्ड प्री-ट्रेनिंग से बचकर, यह विधि कम्प्यूटेशनल रूप से हल्की और स्केलेबल है।
मजबूती (Robustness): क्लोज्ड-लूप डिज़ाइन पारंपरिक सेल्फ-ट्रेनिंग में अंतर्निहित "त्रुटि प्रवर्धन" की समस्या को प्रभावी ढंग से कम करता है, यह सुनिश्चित करता है कि मॉडल इटरेशन के दौरान बेहतर होता है न कि खराब होता है।
सामान्यीकरण (Generalizability): दृष्टिकोण यह प्रदर्शित करता है कि एक छोटा क्लीन सबसेट का उपयोग करके एक न्यूरल करेक्शन फंक्शन को निर्देशित करना, ह्यूरिस्टिक थ्रेशोल्डिंग या ग्लोबल नॉइज़ ट्रांजिशन मैट्रिसेस की तुलना में एक बेहतर रणनीति है, विशेष रूप से जटिल, इंस्टेंस-डिपेंडेंट नॉइज़ के लिए।