Stop Replacing Noise with Noise: Two-Source Reliability Assessment for Label Correction and Sample Reweighting in Label-Noise Learning

तकनीकी सारांश: TRACE – लेबल सुधार और नमूना पुन: भारण (Sample Reweighting) के लिए दो-स्रोत विश्वसनीयता मूल्यांकन

समस्या विवरण

वर्तमान नॉइज़ी-लेबल लर्निंग विधियाँ, विशेष रूप से लेबल रिफर्बिशमेंट (जैसे DivideMix, SELFIE, RoLR) पर आधारित विधियाँ, एक "वन-साइज़-फिट्स-ऑल" नियंत्रण तंत्र पर निर्भर करती हैं। ये विधियाँ आमतौर पर एक एकल नमूना-वार स्वच्छता स्कोर (sample-wise cleanliness score) का उपयोग करके देखे गए लेबल और मॉडल-व्युत्पन्न छद्म लक्ष्य (pseudo target) के बीच इंटरपोलेशन करती हैं। यह एक छिपा हुआ जुड़ाव (hidden coupling) पैदा करता है: देखे गए लेबल पर विश्वास कम करने से स्वचालित रूप से छद्म लक्ष्य का भार बढ़ जाता है।

लेखक तर्क देते हैं कि यह जुड़ाव "शोर को शोर से बदलने" (replacing noise with noise) का जोखिम पैदा करता है। क्योंकि छद्म लक्ष्य उसी दूषित पर्यवेक्षण (corrupted supervision) पर प्रशिक्षित मॉडल द्वारा उत्पन्न किया जाता है, इसलिए इसमें मॉडल के नॉइज़ी बायस (noisy biases) विरासत में मिलने की संभावना होती है। फलस्वरूप, जब देखे गए लेबल को अविश्वसनीय माना जाता है, तो सिस्टम एक ऐसे छद्म लक्ष्य पर अंधविश्वास कर सकता है जो समान या अधिक त्रुटिपूर्ण हो सकता है। CIFAR-100N पर अनुभवजन्य विश्लेषण (empirical analysis) दर्शाता है कि "हाई-क्लीन" बिनों में भी, छद्म लक्ष्य देखे गए नॉइज़ी लेबल का 99.7% बार अनुसरण कर सकते हैं, जबकि वे केवल 74.7% नमूनों पर ही सही होते हैं, और अक्सर उच्च आत्मविश्वास (high confidence) के साथ होते हैं।

कार्यप्रणाली: TRACE ढांचा (Framework)

यह शोध पत्र TRACE (Two-Source Reliability Assessment) का प्रस्ताव करता है, जो दो पर्यवेक्षण स्रोतों के विश्वसनीयता मूल्यांकन को अलग करता है: देखा गया लेबल (observed label) और छद्म लक्ष्य (pseudo target)। दोनों शाखाओं के भार को निर्धारित करने के लिए एक एकल स्केलर के बजाय, TRACE स्वतंत्र स्कोर ($s^{obs}_i$ और $s^{pseudo}_i$) की गणना करता है।

1. प्रारंभिक विश्लेषण और प्रेरणा
लेखक दोनों स्रोतों के मूल्यांकन को अलग करने के औचित्य के लिए प्रतिनिधित्व-स्तरीय डायग्नोस्टिक्स (representation-level diagnostics) प्रदान करते हैं:

• डेप्थ-डिपेंडेंट बायस (Depth-Dependent Bias): नॉइज़ी पर्यवेक्षण गहरे नेटवर्क परतों को उथली परतों की तुलना में अधिक मजबूती से बाधित करता है। जैसे-जैसे शोर की दर बढ़ती है, ग्रेडिएंट संवेदनशीलता और प्रोटोटाइप फ्लिपिंग (जहाँ गलत लेबल वाले नमूने गलत क्लास एंकर्स के साथ संरेखित होते हैं) गहरी परतों में काफी बढ़ जाता है।
• उथली स्थिरता (Shallow Stability): उथले संबंध (shallow relations) शोर के तहत तुलनात्मक रूप से स्थिर रहते हैं, जो लॉस-आधारित मेट्रिक्स द्वारा छोड़ी गई जानकारी प्रदान करते हैं।
• निष्कर्ष: देखे गए लेबल को अस्वीकार करना, एक गहरे, शोर-दूषित प्रतिनिधित्व से प्राप्त छद्म लक्ष्य पर भरोसा करने का औचितता नहीं देता है। इसके विपरीत, उथली संरचनात्मक स्थिरता छद्म लक्ष्य को प्रमाणित किए बिना देखे गए लेबल की विश्वसनीयता को परिष्कृत कर सकती है।

2. TRACE एल्गोरिदम
TRACE मानक रिफर्बिशमेंट लॉस $y^{rec}_i = \lambda_i \hat{y}_i + (1-\lambda_i)q_i$ को स्रोत-विशिष्ट भारों को पेश करके संशोधित करता है:
$$a_i = s^{obs}_i, \quad b_i = (1 - s^{obs}_i) s^{pseudo}_i$$
अंतिम सुधारा गया लक्ष्य $\tilde{y}_i = \frac{a_i \hat{y}_i + b_i q_i}{a_i + b_i + \epsilon}$ है।

• देखा गया लेबल विश्वसनीयता ($s^{obs}_i$):
  यह स्कोर देखे गए लेबल $\hat{y}_i$ का आकलन करने के लिए तीन संकेतों को जोड़ता है:

  • लॉस फिट ($c^{loss}_i$): मानक स्मॉल-लॉस प्रायर (स्वच्छ होने की संभावना)।
  • उथली संबंध स्थिरता ($c^{str}_i$): नेटवर्क की गहराई के माध्यम से उथले स्तरों में स्थानीय संबंधों की स्थिरता को मापता है। उच्च स्थिरता इंगित करती है कि नमूने का प्रतिनिधित्व स्वच्छ प्रोटोटाइप के साथ संरेखित है, भले ही लॉस अधिक हो।
  • प्रेडिक्शन एग्रीमेंट ($g^{agr}_i$): दो नेटवर्कों के बीच सहमति पर आधारित एक कंसिस्टेंसी गेट।
    इन सबको एक भारित स्कोर में संयोजित किया जाता है जो लॉस पोस्टीरियर को परिष्कृत करता है।

• छद्म-लक्ष्य विश्वसनीयता ($s^{pseudo}_i$):
  यह स्कोर छद्म लक्ष्य $q_i$ का स्वतंत्र रूप से आकलन करता है। यह पूरी तरह से मॉडल कॉन्फिडेंस (छद्म लक्ष्य का अधिकतम संभाव्यता) से प्राप्त होता है, जिसे कम-आत्मविश्वास वाले भविष्यवाणियों को दबाने के लिए एक पावर $\rho$ तक बढ़ाया जाता है। महत्वपूर्ण रूप से, एक कम देखे गए-लेबल स्कोर ($s^{obs}_i$) सुधार की आवश्यकता पैदा करता है, लेकिन छद्म शाखा तभी सक्रिय होती है जब $s^{pseudo}_i$ भी उच्च हो।

3. प्रशिक्षण प्रक्रिया
फ्रेमवर्क प्रत्येक नमूने के लिए पर्यवेक्षण शक्ति $w_i$ को शाखा भारों के योग ($a_i + b_i$) के आधार पर समायोजित करता है। जहाँ कोई भी स्रोत विश्वसनीय नहीं होता, वहाँ नमूनों को कम भार दिया जाता है, जबकि विश्वसनीय देखे गए लेबल प्रभावी बने रहते हैं।

प्रमुख योगदान

1. "शोर को शोर से बदलने" के जोखिम की पहचान: शोध पत्र औपचारिक रूप से पहचानता और प्रदर्शित करता है कि देखे गए लेबल और छद्म लक्ष्य दोनों को नियंत्रित करने के लिए एकल स्वच्छता स्कोर का उपयोग करने से शोर का प्रसार होता है, क्योंकि छद्म लक्ष्य एक बाहरी ओरेकल नहीं बल्कि उसी दूषित प्रशिक्षण प्रक्रिया का उत्पाद है।
2. TRACE ढांचा: एक प्लग-इन, दो-स्रोत विश्वसनीयता मूल्यांकन तंत्र का प्रस्ताव जो देखे गए लेबल और छद्म लक्ष्यों के मूल्यांकन को अलग करता है। यह देखे गए लेबल के लिए उथली संरचनात्मक स्थिरता और छद्म लक्ष्य के लिए स्वतंत्र कॉन्फिडेंस गेटिंग का उपयोग करता है।
3. अनुभवजन्य सत्यापन: व्यापक प्रयोग जो सिंथेटिक शोर, मानव-एनोटेटेड शोर (CIFAR-100N), और बड़े पैमाने पर वास्तविक दुनिया के शोर (WebVision, Food-101N, Clothing1M) में कई अत्याधुनिक बेसलाइनों में सुधार दिखाते हैं।

प्रायोगिक परिणाम

• सिंथेटिक शोर (CIFAR-10/100): TRACE सिमेट्रिक, पेयर और इंस्टेंस-डिपेंडेंट नॉइज़ सेटिंग्स में कई स्टेट-ऑफ-द-आर्ट बेसलाइन्स (DivideMix, RoLR, DISC, ANNE) के प्रदर्शन में सुधार करता है। उदाहरण के लिए, 40% पेयर नॉइज़ वाले CIFAR-100 पर, ANNE+TRACE 79.3% सटीकता प्राप्त करता है, जबकि अकेले ANNE 78.4% प्राप्त करता है।
• वास्तविक दुनिया का शोर: CIFAR-10N और CIFAR-100N पर, TRACE लगातार सर्वश्रेष्ठ रिपोर्ट किए गए परिणामों में सुधार करता है या उनके बराबर रहता है। Clothing1M पर, DivideMix+TRACE 77.6% सटीकता तक पहुँचता है, जो बेसलाइन DivideMix (74.8%) और अन्य प्लग-इन विधियों से बेहतर है।
• छद्म-लक्ष्य की गुणवत्ता: विश्लेषण से पता चलता है कि TRACE सुधार के लिए उपयोग किए जाने वाले छद्म लक्ष्यों की सटीकता में काफी सुधार करता है, विशेष रूप से "लो-क्लीन + नॉइजी" नमूनों पर। यह हाई-कॉन्फिडेंस एरर्स (जैसे, CIFAR-100 पर 8.93% से 6.16% तक) को कम करता है और कैलिब्रेशन एरर को कम करता है, जो दर्शाता है कि चयनित छद्म लक्ष्य न केवल अधिक बार आते हैं, बल्कि अधिक विश्वसनीय भी हैं।
• एब्लेशन स्टडीज (Ablation Studies): डिकपलिंग को हटाना (एकल स्कोर पर वापस जाना) या छद्म-लक्ष्य कॉन्फिडेंस गेट ($s^{pseudo}_i$) को हटाना मापने योग्य प्रदर्शन गिरावट का कारण बनता है, जो स्वतंत्र मूल्यांकन की आवश्यकता की पुष्टि करता है।

महत्व और दावे

शोध पत्र का दावा है कि TRACE नॉइजी-लेबल लर्निंग के लिए एक सुरक्षित इंटरफेस प्रदान करता है क्योंकि यह वर्तमान रिफर्बिशमेंट विधियों के मौलिक बेमेल (mismatch) को संबोधित करता है। देखे गए लेबल के मूल्यांकन के लिए उपयोग किए जाने वाले साक्ष्य को छद्म लक्ष्य के मूल्यांकन के साक्ष्य से अलग करके, TRACE यह सुनिश्चित करता है कि सिस्टम एक अविश्वसनीय सिग्नल को दूसरे अविश्वसनीय सिग्नल से अंधाधुंध न बदल दे। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण किसी नए लर्निंग ऑब्जेक्टिव या नए छद्म-लक्ष्य जनरेटर की आवश्यकता नहीं करता है; बल्कि, यह एक मॉड्यूलर विश्वसनीयता फिल्टर के रूप में कार्य करता है जो मौजूदा रिफर्बिशमेंट पाइपलाइनों को बढ़ाता है। ये निष्कर्ष इस विचार का समर्थन करते हैं कि शोर की उपस्थिति में मजबूत शिक्षण के लिए स्रोत-विशिष्ट विश्वसनीयता मूल्यांकन आवश्यक है।