तकनीकी सारांश: FARCLUSS

समस्या विवरण (Problem Statement)

सेमी-सुपरवाइज्ड सिमेंटिक सेगमेंटेशन (SSSS) का लक्ष्य लेबल किए गए चित्रों के एक छोटे सेट के साथ प्रचुर मात्रा में अनलेबल डेटा का लाभ उठाकर, पूरी तरह से सुपरवाइज्ड मॉडलों के समान प्रदर्शन प्राप्त करना है। हालाँकि, मौजूदा दृष्टिकोण तीन निरंतर सीमाओं का सामना करते हैं:

1. छद्म-लेबल (Pseudo-Labels) का अप्रभावी उपयोग: वर्तमान विधियाँ अक्सर हार्ड छद्म-लेबल उत्पन्न करने के लिए सख्त कॉन्फिडेंस थ्रेशोल्ड पर निर्भर करती हैं। यह "अनिश्चित" क्षेत्रों (जैसे, ऑब्जेक्ट बाउंड्री या ओक्लूडेड क्षेत्र) को त्याग देता है जहाँ भविष्यवाणी की संभावनाएँ संदिग्ध होती हैं, जिससे मूल्यवान सुपरवाइजरी सिग्नल और कन्फर्मेशन बायस (confirmation bias) को बढ़ावा मिलता है।
2. वर्ग असंतुलन (Class Imbalance): लॉन्ग-टेल्ड डेटासेट में, छद्म-लेबल प्रमुख वर्गों (जैसे, सड़क, आकाश) की ओर झुके हुए होते हैं, जिससे अल्पसंख्यक वर्ग (जैसे, ट्रैफिक साइन, पोल) कम प्रतिनिधित्व वाले और खराब तरीके से अनुकूलित हो जाते हैं।
3. कंप्यूटेशनल अक्षमता (Computational Inefficiency): फीचर डिस्क्रिमिनेबिलिटी को सुधारने के लिए कंट्रास्टिव लर्निंग का उपयोग करने वाली विधियाँ अक्सर व्यापक पेयरवाइज पिक्सेल तुलना या डुअल-नेटवर्क आर्किटेक्चर के कारण उच्च कंप्यूटेशनल लागत उठाती हैं, जो स्केलेबिलिटी को सीमित करती है।

कार्यप्रणाली (Methodology)

लेखक FARCLUSS (Fuzzy Adaptive Rebalancing and Contrastive Uncertainty Learning) का प्रस्ताव करते हैं, जो एक मानक टीचर-स्टूडेंट आर्किटेक्चर पर आधारित एक एकीकृत ढांचा है। यह विधि उपरोक्त चुनौतियों से निपटने के लिए चार मुख्य घटकों को एकीकृत करती है:

1. फजी छद्म-लेबलिंग (Fuzzy Pseudo-Labeling)

उन पिक्सेल को छोड़ने के बजाय जो उच्च कॉन्फिडेंस थ्रेशोल्ड को पूरा नहीं करते हैं, FARCLUSS प्रत्येक पिक्सेल के लिए टॉप-$K$ क्लास प्रोबेबिलिटीज को बनाए रखता है।

• तंत्र (Mechanism): एक टीचर-जनरेटेड प्रोबेबिलिटी मैप के लिए, टॉप-$K$ क्लासेस चुनी जाती हैं। इन प्रोबेबिलिटीज को नॉर्मलाइज करके एक सॉफ्ट फजी लेबल डिस्ट्रीब्यूशन की गणना की जाती है।
• लाभ: यह अस्पष्ट क्षेत्रों (जैसे, "साइडवॉक" और "रोड" के बीच की सीमाएं) में सॉफ्ट क्लास डिस्ट्रीब्यूशन और इंटर-क्लास संबंधों को संरक्षित करता है, जिससे अनिश्चितता को एक बाधा के बजाय एक रचनात्मक लर्निंग सिग्नल में बदल दिया जाता है।

2. अनसर्टेन्टी-अवेयर डायनेमिक वेटिंग (Uncertainty-Aware Dynamic Weighting)

अनिश्चित भविष्यवाणियों से उत्पन्न शोर (noise) को कम करने के लिए, यह फ्रेमवर्क प्रशिक्षण के दौरान प्रत्येक पिक्सेल के प्रभाव को नियंत्रित करता है।

• तंत्र: टीचर की भविष्यवाणी के नॉर्मलाइज्ड एंट्रॉपी ($H$) के आधार पर पिक्सेल-वाइज वेट असाइन किए जाते हैं। वेट को $W = 1 - H$ के रूप में परिभाषित किया गया है।
• लाभ: उच्च अनिश्चितता (उच्च एंट्रॉपी) वाले पिक्सेल को कम वेट मिलता है, जबकि कॉन्फिडेंट भविष्यवाणियों को बढ़ाया जाता है। यह एक सॉफ्ट करिकुलम की तरह कार्य करता है, जो अनिश्चित क्षेत्रों को पूरी तरह से त्यागने के बजाय उन्हें कम महत्व देता है।

3. एडेप्टिव क्लास रीबैलेंसिंग (Adaptive Class Rebalancing)

छद्म-लेबल में बहुसंख्यक वर्गों के प्रति पूर्वाग्रह को दूर करने के लिए, लॉस फंक्शन को वर्तमान बैच के आधार पर गतिशील रूप से समायोजित किया जाता है।

• तंत्र: वर्तमान बैच में छद्म-लेबल वाले पिक्सेल की फ्रीक्वेंसी के आधार पर क्लास वेट्स ($w_c$) की गणना की जाती है। लेखक एक मीडियन-आधारित नॉर्मलाइज़र का उपयोग करते हैं: $w_c = \text{median}(F) / (F_c + \epsilon)$, जहाँ $F_c$ क्लास $c$ की फ्रीक्वेंसी है।
• लाभ: यह मजबूत सांख्यिकीय दृष्टिकोण यह सुनिश्चित करता है कि अल्पसंख्यक वर्गों को पर्याप्त अनुकूलन फोकस मिले, बिना इनवर्स-फ्रीक्वेंसी वेटिंग से होने वाली अस्थिरता या मीन-आधारित वेटिंग से होने वाले इन्फ्लेशन के।

4. लाइटवेट कंट्रास्टिव रेगुलराइजेशन (Lightweight Contrastive Regularization)

फीचर डिस्क्रिमिनेबिलिटी को बढ़ाने के लिए, यह विधि पेयरवाइज तुलनाओं के ओवरहेड के बिना एक प्रोटोटाइप-आधारित कंट्रास्टिव लॉस का उपयोग करती है।

• तंत्र: क्लास-विशिष्ट प्रोटोटाइप (सेंट्रॉइड्स) की गणना कॉन्फिडेंट फजी छद्म-लेबल वाले पिक्सेल के मीन एम्बेडिंग के रूप में की जाती है। लॉस, पिक्सेल एम्बेडिंग्स और उनके संबंधित क्लास प्रोटोटाइप के बीच कोसाइन डिस्टेंस को दंडित करता है।
• लाभ: यह $O(N \cdot d)$ कॉम्प्लेक्सिटी के साथ इंट्रा-क्लास कॉम्पैक्टनेस और इंटर-क्लास सेपरेशन को बढ़ावा देता है, जिससे ReCo जैसे $O(N^2 \cdot d)$ पेयरवाइज तरीकों का खर्च बच जाता है।

मुख्य योगदान (Key Contributions)

पेपर अपने योगदान को इस प्रकार सारांशित करता है:

• फजी छद्म-लेबलिंग: टॉप-$K$ प्रोबेबिलिटीज से सॉफ्ट लेबल डिस्ट्रीब्यूशन का निर्माण करता है, जो अस्पष्टता को एक लर्निंग सिग्नल के रूप में संरक्षित करता है।
• अनसर्टेन्टी-अवेयर डायनेमिक वेटिंग: अस्पष्ट क्षेत्रों से होने वाले शोर को कम करने के लिए नॉर्मलाइज्ड एंट्रॉपी का उपयोग करता है।
• एडेप्टिव रीबैलिंग: अल्पसंख्यक वर्गों के लिए लर्निंग में सुधार करने के लिए प्रति-बैच छद्म-लेबल फ्रीक्वेंसी के आधार पर लॉस को डायनेमिकली स्केल करता है।
• लाइटवेट कंट्रास्टिव रेगुलराइजेशन: फीचर कॉम्पैक्टनेस को बढ़ावा देने के लिए प्रोटोटाइप-आधारित कंट्रास्टिव लर्निंग का उपयोग करता है ताकि महंगे पेयरवाइज ऑपरेशंस से बचा जा सके।

प्रयोगात्मक परिणाम (Experimental Results)

ResNet-50 और ResNet-101 बैकबोन का उपयोग करके Pascal VOC (क्लासिक और ब्लेंडेड) और Cityscapes डेटासेट्स पर व्यापक प्रयोग किए गए।

• प्रदर्शन: FARCLUSS विभिन्न लेबल डेटा रेश्यो (1/16 से 1/2) में लगातार स्टेट-ऑफ-द-आर्ट विधियों (UniMatch, CorrMatch, और PS-MT सहित) से बेहतर प्रदर्शन करता है।
  • Pascal VOC Classic पर, यह अधिकांश स्प्लिट्स में UniMatch से 0.4–1.2 mIoU अधिक हासिल करके बेहतर mIoU स्कोर प्राप्त करता है।
  • Cityscapes पर, यह शीर्ष परिणाम (जैसे, 1/2 रेश्यो पर ResNet-101 के साथ 81.0 mIoU) प्राप्त करता है, विशेष रूप से कम प्रतिनिधित्व वाले वर्गों और बाउंड्री क्षेत्रों पर उल्लेखनीय लाभ दिखाता है।
• दक्षता: यह विधि सिंगल-नेटवर्क डिज़ाइन के साथ ये परिणाम प्राप्त करती है, जो CorrMatch के कोरेस्पोंडेंस-मैचिंग ओवरहेड या CPS के डुअल-नेटवर्क जटिलता से बचती है। यह हाल की विधियों जैसे UniMatch और CW-BASS की डेटा दक्षता से मेल खाती है।
• एब्लेशन स्टडीज (Ablation Studies):
  • फजी लेबलिंग को हटाने से सबसे बड़ा प्रदर्शन ड्रॉप (-6.2 mIoU on Pascal) हुआ, जो सूचनात्मक सुपरविजन को बनाए रखने में इसकी भूमिका की पुष्टि करता है।
  • मीडियन-आधारित क्लास रीबैलेंसिंग ने इनवर्स, मीन और हार्मोनिक मीन रणनीतियों से बेहतर प्रदर्शन किया।
  • टॉप-$K$ फजी लेबलिंग ($K=2$) फिक्स्ड-थ्रेशोल्ड फिल्टरिंग की तुलना में श्रेष्ठ सिद्ध हुई, क्योंकि यह 100% पिक्सेल को बनाए रखती है जबकि लेबल डिस्ट्रीब्यूशन को संभावित क्लासेस तक सीमित करती है।
  • प्रोटोटाइप-आधारित कंट्रास्टिव लॉस ने काफी कम मेमोरी उपयोग और प्रशिक्षण समय के साथ पेयरवाइज तरीकों (ReCo, U2PL) के तुलनीय सटीकता प्राप्त की।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि FARCLUSS एक समग्र समाधान का प्रतिनिधित्व करता है जो अनिश्चितता को एक लायबिलिटी (liability) से एक लर्निंग एसेट (learning asset) में बदल देता है। एक एकीकृत ढांचे के भीतर व्यवस्थित रूप से छद्म-लेबल शोर, क्लास असंतुलन और कंप्यूटेशनल ओवरहेड को संबोधित करके, यह विधि अधिक सूचनात्मक और संतुलित लर्निंग को सक्षम बनाती है।

लेखक जोर देते हैं कि उनका दृष्टिकोण विशेष रूप से इनके लिए महत्वपूर्ण है:

1. अस्पष्ट क्षेत्र (Ambiguous Regions): फजी लेबलिंग और एंट्रॉपी वेटिंग मॉडल को उन बाउंड्री क्षेत्रों से सीखने की अनुमति देती है जिन्हें आमतौर पर थ्रेशोल्डिंग विधियों द्वारा छोड़ दिया जाता है।
2. अल्पसंख्यक वर्ग (Minority Classes): एडेप्टिव रीबैलेंसिंग मैकेनिज्म विशेष रूप से सिमेंटिक सेगमेंटेशन डेटासेट्स में अंतर्निहित लॉन्ग-टेल डिस्ट्रीब्यूशन समस्याओं को लक्षित करता है।
3. स्केलेबिलिटी (Scalability): लाइटवेट कंट्रास्टिव रेगुलराइजेशन और सिंगल-नेटवर्क डिज़ाइन यह सुनिश्चित करता है कि विधि सटीकता से समझौता किए बिना बड़े डेटासेट्स पर कुशलतापूर्वक स्केल हो सके।

यह कार्य निष्कर्ष निकालता है कि FARCLUSS सेमी-सुपरवाइज्ड सिमेंटिक सेगमेंटेशन परिदृश्यों में अनसर्टेन्टी-गाइडेड, रिसोर्स-एफिशिएंट लर्निंग के लिए एक नया दिशा निर्धारित करता है।