⚡ electrical engineering

CW-BASS v2: Saturation-Aware Pseudo-Label Selection for Semi-Supervised Segmentation under Foundation-Model Teachers

CW-BASS v2 एक सैचुरेशन-अवेयर (saturation-aware), वन-पास गेटिंग मैकेनिज्म पेश करके मजबूत फाउंडेशन-मॉडल टीचर्स के साथ सेमी-सुपरवाइज्ड सेगमेंटेशन के लिए छद्म-लेबल (pseudo-label) चयन की चुनौती का समाधान करता है, जो वास्तविक समय के विश्वसनीयता अनुमानों के आधार पर सख्त कॉन्फिडेंस थ्रेशोल्ड और एक एडेप्टिव फ्लोर के बीच गतिशील रूप से स्विच करता है, जिससे सैचुरेटेड रिजीम्स में कन्फर्मेशन बायस को रोकने के साथ-साथ विविध बेंचमार्क पर प्रदर्शन बनाए रखा जा सके।

मूल लेखक: Ebenezer Tarubinga

प्रकाशित 2026-08-14

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ebenezer Tarubinga

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को फोटो में वस्तुओं को पहचानना सिखा रहे हैं, जैसे कि बिल्ली या कार को ढूंढना। इसे अच्छी तरह से करने के लिए, रोबोट को आमतौर पर हजारों तस्वीरों की आवश्यकता होती है जहाँ एक इंसान ने सावधानीपूर्वक हर एक वस्तु के चारों ओर एक बॉक्स बनाया हो। लेकिन इंसान धीमे होते हैं, और उन बॉक्स को बनाना महंगा और उबाऊ होता है। इसलिए, वैज्ञानिकों ने एक चतुर तरकीब निकाली जिसे "सेमी-सुपरवाइज्ड लर्निंग" (semi-supervised learning) कहा जाता है। वे रोबट को कुछ लेबल वाली तस्वीरें और ढेर सारी बिना लेबल वाली तस्वीरें देते हैं। रोबोट बिना लेबल वाली तस्वीरों में क्या है, इसका अनुमान लगाता है, और यदि वह अपने अनुमान के बारे में बहुत आश्वस्त महसूस करता है, तो वह अपने अनुमान को एक तथ्य मान लेता है और खुद को सिखाने के लिए उसका उपयोग करता है। यह एक ऐसे छात्र की तरह है जो, एक शिक्षक के साथ कुछ अध्यायों को पढ़ने के बाद, अपने होमवर्क को इस आधार पर ग्रेड करता है कि उसे क्या सही लगता है।

इस स्व-शिक्षण विधि के साथ बड़ी समस्या यह है कि रोबोट बहुत अधिक आत्मविश्वासी हो सकता है। वह "कुत्ता" होने के बजाय "बिल्ली" का अनुमान लगा सकता है, लेकिन क्योंकि वह 99% सुनिश्चित महसूस करता है, वह अपनी इस गलती को अपने दिमाग में दर्ज कर लेता है। इसे "कन्फर्मेशन बायस" (confirmation bias) कहा जाता है, और यह एक ऐसे छात्र की तरह है जो बार-बार टेस्ट में फेल होता रहता है लेकिन अपने उत्तर बदलने से इनकार कर देता है क्योंकि उसे यकीन है कि वह सही है। वर्षों तक, समाधान बहुत सख्त होना था: केवल रोबोट के अनुमानों पर तभी भरोसा करें जब वह अत्यंत आश्वस्त हो। लेकिन हाल ही में, "सुपर-टीचर्स" (पूरे इंटरनेट पर प्रशिक्षित विशाल AI मॉडल) की एक नई पीढ़ी आई है। ये शिक्षक इतने अच्छे हैं कि वे लगभग हमेशा सही होते हैं, लेकिन वे इतने आत्मविश्वासी भी हैं कि वे शायद ही कभी हिचकिचाते हैं। यह खेल के नियमों को बदल देता है: खराब अनुमानों को छानने के पुराने तरीके वास्तव में रोबोट को अच्छी जानकारी फेंकने से नुकसान पहुँचा सकते हैं, या इससे भी बुरा, रोबोट को अपने ही शोर में डुबो सकते हैं।

यह पेपर एक नई विधि पेश करता है जिसे CW-BASS v2 कहा जाता है, जो रोबोट की स्व-शिक्षण प्रक्रिया के लिए एक स्मार्ट "रेजीम स्विच" (regime switch) के रूप में कार्य करता है। लेखक ने महसूस किया कि अनुमानों को छानने का पुराना तरीका—एक एकल, कठोर नियम का उपयोग करना—इन नए सुपर-टीचर्स के लिए काम नहीं करता है। कभी-कभी शिक्षक इतना विश्वसनीय होता है कि आपको उसके शीर्ष अनुमानों पर आंख मूंदकर भरोसा करना चाहिए; अन्य समय में, शिक्षक आत्मविश्वास से भरा हुआ गलत होता है, और आपको अधिक सावधान रहने की आवश्यकता होती है। CW-BASS v2 इस निर्णय को लेने से पहले कि कितना सख्त होना है, यह तय करने के लिए शिक्षक का एक त्वरित "टेम्परेचर चेक" (temperature check) लेकर इस समस्या को हल करता है।

यहाँ बताया गया है कि यह नई विधि कैसे काम करती है, एक सरल उपमा का उपयोग करते हुए: कल्पना कीजिए कि रोबक एक टेस्ट दे रहा है एक छात्र है, और "शिक्षक" एक उत्तर कुंजी (answer key) है।

पुराना तरीका: छात्र के पास एक नियम था: "मैं केवल उन्हीं उत्तरों का अध्ययन करूँगा जिनके बारे में मैं 90% सुनिश्चित था।" यह तब ठीक काम करता था जब शिक्षक थोड़ा डगमगाता था और बहुत सारी गलतियाँ करता था।
नई समस्या: अब, शिक्षक एक जीनियस है जो लगभग सब कुछ सही करता है। लेकिन क्योंकि शिक्षक इतना स्मार्ट है, छात्र के आत्मविश्वास स्कोर शीर्ष पर सिमट गए हैं (जैसे 98%, 99%, 100%)। पुराना नियम भ्रमित हो जाता है। यह शिक्षक के औसत आत्मविश्वास के आधार पर "पासिंग स्कोर" को समायोजित करने की कोशिश करता है, लेकिन चूंकि शिक्षक हमेशा आत्मविश्वासी होता है, नियम एक कम संख्या पर अटक जाता है। अचानक, छात्र हर उत्तर का अध्ययन करना शुरू कर देता है, यहाँ तक कि उन उत्तरों का भी जो वास्तव में गलत हैं, क्योंकि नियम सोचता है कि "सब कुछ अच्छा है।" इसके कारण छात्र गलत चीजें सीख जाता है और टेस्ट में और खराब हो जाता है।
CW-BASS v2 समाधान: यह नया तरीका एक "गेटकीपर" जोड़ता है। छात्र के अध्ययन शुरू करने से पहले, गेटकीपर टेस्ट का एक छोटा, गुप्त नमूना (एक "होल्ड-आउट" हिस्सा) लेता है और जाँच करता है: "शिक्षक जिन उत्तरों के बारे में आश्वस्त है, उनमें से कितने वास्तव में सही हैं?"
- परिदृश्य A (विश्वसनीय शिक्षक): यदि गेटकीपर पाता है कि 98% आत्मविश्वासी उत्तर सही हैं, तो वह कहता है, "बहुत बढ़िया! शिक्षक भरोसेमंद है। चलिए सख्त नियम का उपयोग करते हैं: केवल शीर्ष 5% उत्तरों का अध्ययन करें।" यह छात्र को केंद्रित और सटीक रखता है।
- परिदृश्य B (आत्मविश्वास से भरा गलत शिक्षक): यदि गेटकीपर पाता है कि केवल 89% आत्मविश्वासी उत्तर सही हैं, तो वह कहता, "रुको! शिक्षक आत्मविश्वासी है, लेकिन वह गलतियाँ कर रहा है। यदि हम केवल शीर्ष उत्तरों का अध्ययन करते हैं, तो हम उन गलतियों को सीखेंगे। आइए एक 'सॉफ्ट' नियम पर स्विच करें जो केवल शीर्ष उत्तरों को चुनने के बजाय उत्तरों को सावधानी से तौले।"

पेपर ने छह अलग-अलग "सुपर-टीचर्स" (DINOv2 नामक मॉडल का उपयोग करके) का तीन अलग-अलग इमेज डेटासेट (Pascal VOC, Cityscapes, और ADE20K) पर परीक्षण किया। परिणामों ने दिखाया कि गेटकीपर हर बार सही निर्णय लेता है, बिना यह जाने कि अंतिम टेस्ट स्कोर क्या होगा।

उन डेटासेट्स पर जहाँ शिक्षक वास्तव में विश्वसनीय था (Pascal VOC और Cityscapes), गेटकीपर ने सख्त नियम (strict rule) को चुना। रोबोट ने Pascal VOC पर 87.4 का स्कोर प्राप्त किया, जो मौजूदा सर्वोत्तम विधि (UniMatch V2) से मेल खाता है और यह सिद्ध करता है कि नया तरीका उन चीजों को खराब नहीं करता जो पहले से ही अच्छी तरह काम कर रही हैं।
उस डेटासेट पर जहाँ शिक्षक "आत्मविश्वास से भरा अविश्वसनीय" था (ADE20K), गेटकीपर ने एडाप्टिव फ्लोर रूल (adaptive floor rule) की ओर स्विच किया। यहाँ, रोबोट ने अपने स्कोर में 1.5 अंक का सुधार किया ( 50.58 तक पहुँच गया), जबकि सख्त विधि विफल हो गई थी क्योंकि वह शिक्षक की छिपी हुई गलतियों के अनुकूल नहीं हो पाई थी।

लेखक ने गणितीय रूप से और प्रयोगों के माध्यम से यह भी सिद्ध किया कि पुराने तरीके क्यों विफल होते हैं। उन्होंने दिखाया कि जब एक शिक्षक बहुत अधिक आत्मविश्वासी होता है, तो पुराने "डायनेमिक" नियम एक निम्न थ्रेशोल्ड (लगभग 0.34) पर अटक जाते हैं, जिससे रोबोट अपने लगभग 100% अनुमानों को रख लेता है, जिनमें खराब अनुमान भी शामिल होते हैं। इससे एक "कोलैप्स" (collapse) होता है जहाँ रोबोट का प्रदर्शन जल्दी चरम पर पहुँच जाता है और फिर अपनी गलतियों को सीखते हुए गिर जाता है। नया तरीका इस क्रैश को रोकता है क्योंकि यह सुनिश्चित करता है कि जब शिक्षक आत्मविश्वासी हो, तब भी रोबोट 100% अनुमानों पर भरोसा न करे, जब तक कि गेटकीपर सुरक्षित न कहे।

संक्षेप में, CW-BASS v2 केवल एक नई तरकीब नहीं देता; यह रोबोट को माहौल को समझने का तरीका देता है। यह जानता है कि कब सख्त होना है और कब लचीला होना है, यह सुनिश्चित करता है कि रोबोट उन शिक्षकों से सीखे जो वास्तव में अच्छे हैं, न कि उनसे जो केवल बहुत शोर मचाने वाले और आत्मविश्वासी हैं। यह पेपर पुष्टि करता है कि यह दृष्टिकोण केवल एक भाग्यशाली अनुमान नहीं है बल्कि पुराने, कमजोर AI मॉडलों से आज के शक्तिशाली फाउंडेशन मॉडल्स की ओर बदलाव को संभालने का एक सिद्धांत आधारित तरीका है।

तकनीकी सारांश: CW-BASS v2

समस्या विवरण
सेमी-सुपरवाइज्ड सिमेंटिक सेगमेंटेशन (SSSS) मुख्य रूप से छद्म-लेबल चयन (pseudo-label selection) पर निर्भर करता है: यह निर्धारित करना कि शिक्षक मॉडल (teacher model) के किन अनलेबल वाले पिक्सेल पर भरोसा किया जा सकता है। ऐतिहासिक रूप से, चयन तंत्र (डायनेमिक थ्रेशोल्ड, प्रति-वर्ग करिकुलम, सॉफ्ट वेटिंग) उन "शोरयुक्त और कम-आत्मविश्वास वाले" शिक्षकों के लिए डिज़ाइन किए गए थे जो ResNet बैकबोन पर आधारित थे। इस युग में, शोर (noise), शोर-कवरेज ट्रेडऑफ (noise-coverage tradeoff) पर हावी था, जिससे अविश्वसनीय भविष्यवाणियों से कवरेज निकालने के लिए एडेप्टिव फ़िल्टरिंग की आवश्यकता थी।

हालाँकि, क्षेत्र अब फाउंडेशन-मॉडल शिक्षकों (विशेष रूप से हल्के फाइन-ट्यून किए गए डिकोडर्स के साथ DINOv2) की ओर स्थानांतरित हो गया है। ये शिक्षक कॉन्फिडेंस सैचुरेशन (confidence saturation) प्रदर्शित करते हैं: उनका आत्मविश्वास वितरण 1.0 के करीब सिमट जाता है (उदाहरण के लिए, 98% पिक्सेल 0.95 से अधिक आत्मविश्वास रखते हैं), और वे अत्यधिक कैलिब्रेटेड होते हैं। शोध पत्र का तर्क है कि शोर वाले ResNet युग के लिए डिज़ाइन किए गए चयन नियम इस संतृप्त (saturated) युग में हानिकारक हो जाते हैं। विशेष रूप से, एडेप्टिव थ्रशहोल्ड जो कवरेज बढ़ाने के लिए कटऑफ को कम करते हैं, अनजाने में "त्रुटि-समृद्ध" (error-enriched) कम-आत्मविश्वास वाले बैंड को प्रवेश दे देते हैं, जिससे प्रशिक्षण शोर से भर जाता है और कन्फर्मेशन बायस (confirmation bias) में गिर जाता है। इसके विपरीत, सख्त फ़िल्टरिंग (फिक्स्ड हाई थ्रेशोल्ड) संतृप्त शिक्षकों पर अच्छा काम करती है, लेकिन जब शिक्षक "आत्मविश्वास से अविश्वसनीय" (उच्च आत्मविश्वास लेकिन निम्न सटीकता) होता है, तो यह विफल हो जाती है।

कार्यप्रणाली: CW-BASS v2
CW-BASS v2 एक सैचुरेशन-अवेयर छद्म-लेबल चयन (saturation-aware pseudo-label selection) फ्रेमवर्क पेश करता है जो किसी एक नियम के प्रति प्रतिबद्ध होने के बजाय, शिक्षक के कॉन्फिडेंस रिजीम (confidence regime) का निदान करता है ताकि उपयुक्त रणनीति चुनी जा सके। यह विधि तीन मुख्य घटकों से बनी है:

अनबायस्ड हेल्ड-आउट कैलिब्रेशन (Unbiased Held-Out Calibration):
इस फीडबैक लूप से बचने के लिए जहाँ इन-बैच शोर अनुमान (in-batch noise estimates) शून्य की ओर पक्षपाती होते हैं (क्योंकि छात्र प्रशिक्षण सेट को याद कर लेता है), यह विधि लेबल किए गए सेट को एक प्रशिक्षण स्लाइस ( $L_{tr}$ ) और एक छोटे हेल्ड-आउट कैलिब्रेशन स्लाइस ( $L_{cal}$ , $\alpha=5\%$ ) में विभाजित करती है। प्रति-वर्ग शोर दर ( $\hat{\epsilon}_k$ ) का अनुमान विशेष रूप से $L_{cal}$ पर लगाया जाता है। शोध पत्र सिद्ध करता है (प्रपोजिशन 1) कि यह एस्टिमेटर कंडिशनली अनबायस्ड है, जबकि इन-बैच एस्टिमेटर्स डाउनवर्ड-बायस्ड होते हैं, जो गलत तरीके से संकेत दे सकते हैं कि शिक्षक विश्वसनीय है जब वह वास्तव में नहीं होता।
सेल्फ-एडेप्टिव कॉन्फिडेंस फ्लोर (Self-Adaptive Confidence Floor):
लेखक ने पहचान की है कि मूल CW-BASS डायनेमिक थ्रेशोल्ड (जो औसत आत्मविश्वास का सिग्मॉइड फंक्शन है) संतृप्त शिक्षकों के तहत ढह जाता है क्योंकि इसका ऊपरी बाउंड हाइपरपैरामीटर्स (लगभग 0.34) द्वारा निर्धारित होता है, जबकि शिक्षक का आत्मविश्वास 1.0 की ओर बढ़ता है। इससे रिटेंशन मास्क भर जाता है (रिटेंशन $\to$ 1)। इसे काउंटर करने के लिए, CW-BASS v2 एक कॉन्फिडेंस फ्लोर ( $\tau^{floor}_k$ ) पेश करता है जो शिक्षक के औसत आत्मविश्वास के साथ स्केल करता है। थ्योरम 1 सिद्ध करता है कि यह फ्लोर रिटेंशन रेट को 1 से दूर एक निश्चित क्वांटाइल (quantile) पर स्थिर रखता है, जिससे डायनेमिक थ्रेशोल्ड का पतन रुक जाता है।
द सैचुरेशन गेट (The Saturation Gate):
मुख्य नवाचार एक वन-पास डायग्नोस्टिक गेट है जो स्ट्रिक्ट फ़िल्टरिंग (फिक्स्ड $\tau=0.95$ ) और एडेप्टिव फ्लोर के बीच चयन करता है।

मेट्रिक: गेट हेल्ड-आउट कैलिब्रेशन स्लाइस पर $\pi_{kept} = \text{Pr}[\text{correct} \mid c \ge \tau]$ को मापता है।
निर्णय नियम: यदि $\pi_{kept} \ge \tau$ (कॉन्फिडेंट सेट विश्वसनीय है), तो विधि स्ट्रिक्ट फ़िल्टरिंग चुनती है। यदि $\pi_{kept} < \tau$ (शिक्षक आत्मविश्वास से अविश्वसनीय है), तो यह एडेप्टिव फ्लोर चुनती है।
बाउंड्री: निर्णय सीमा स्वयं ऑपरेटिंग थ्रेशोल्ड ( $\tau=0.95$ ) है, न कि कोई मान जिसे डाउनस्ट्रीम mIoU पर ट्यून किया गया हो।

प्रमुख योगदान

रिजीम-एडेप्टिव सिलेक्शन: एक विधि जो स्वचालित रूप से पता लगाती है कि फाउंडेशन-मॉडल शिक्षक "विश्वसनीय संतृप्त" (reliable saturated) रिजीम में है या "आत्मविश्वास से अविश्वसनीय" (confidently unreliable) रिजीम में है और उसके अनुसार संबंधित चयन नियम (स्ट्रिक्ट बनाम एडेप्टिव) लागू करती है।
अनबायस्ड नॉइज़ डायग्नोस्टिक: इन-बैच शोर अनुमान के फीडबैक लूप को तोड़ने के लिए हेल्ड-आउट कैलिब्रेशन का परिचय, जो शिक्षक की विश्वसनीयता का सच्चा संकेत प्रदान करता है।
स्टेबिलिटी-गारंटीड फ्लोर: एक सैद्धांतिक और अनुभवजन्य प्रदर्शन कि कॉन्फिडेंस-स्केल्ड फ्लोर, संतृप्त शिक्षकों के तहत इनहेरेंट रिटेंशन कोलैप्स को रोकता है।
मैकेनिज्म-लेवल ऑडिट: एक बैच-मैच्ड विश्लेषण दिखाता है कि एडेप्टिव नियम संतृप्त शिक्षकों पर कार्यान्वयन की खामियों के कारण नहीं, बल्कि कॉन्फिडेंस सिग्नल के डायनेमिक रेंज के ढहने के कारण विफल होते हैं।

परिणाम
शोध पत्र Pascal VOC, Cityscapes, और ADE20K पर छह DINOv2 शिक्षकों (S, B, L स्केल्स) के माध्यम से CW-BASS v2 का मूल्यांकन करता है।

सैचुरेटेड रिजीम्स (Pascal VOC, Cityscapes): इन डेटासेट्स पर, शिक्षक का कॉन्फिडेंट सेट अत्यधिक विश्वसनीय ( $\pi_{kept} \approx 98\%$ ) है। गेट सही ढंग से स्ट्रिक्ट फ़िल्टरिंग चुनता है। CW-BASS v2, UniMatch V2 के ऑपरेटिंग पॉइंट (Pascal VOC 1/8 पर 87.4 mIoU, जो रिपोर्ट किए गए 87.9 के भीतर 0.5 है) को सफलतापूर्वक दोहराता है और सभी एडेप्टिव वेरिएंट्स से काफी बेहतर प्रदर्शन करता है (जो 3-5 mIoU पीछे हैं)।
अनरिलेबल रिजीम (ADE20K): ADE20K पर, शिक्षक संतृप्त है लेकिन अविश्वसनीय है ( $\pi_{kept} \approx 89\%$ )। गेट सही ढंग से एडेप्टिव फ्लोर चुनता है। इस रिजीम में, CW-BASS v2 (50.58 mIoU), स्ट्रिक्ट बेसलाइन (49.10 mIoU) और UniMatch V2 के रिपोर्ट किए गए 49.8 mIoU (सिंगल सीड) से बेहतर प्रदर्शन करता है।
एब्लेशन (Ablations): बाउंड्री ऑक्जिलरी टर्म, जो ResNet युग में प्रभावी था, DINOv2 पर हानिकारक (-1.9 mIoU) पाया गया। कॉन्फिडेंस फ्लोर एडेप्टिव फैमिली के भीतर सबसे प्रभावी घटक है, फिर भी यह विश्वसनीय शिक्षकों पर स्ट्रिक्ट फ़िल्टरिंग से कम प्रदर्शन करता है।

महत्व और दावे
शोध पत्र मानक संतृप्त बेंचमार्क पर UniMatch V2 पर नए पीक एक्यूरेसी का दावा नहीं करता है; बल्कि, यह एक सिद्धांत-आधारित, मापा गया चयन पद्धति प्रदान करने का दावा करता है, जो स्ट्रिक्ट स्टेट-ऑफ-द-आर्ट से खराब नहीं है और वहां सुधार करती है जहां एडेप्टिव फ़िल्टरिंग सैद्धांतिक रूप से न्यायसंगत है।

इसका महत्व डायग्नोस्टिक क्षमता में निहित है: शोध पत्र यह प्रदर्शित करता है कि फाउंडेशन मॉडल्स पर एडेप्टिव मेथड्स की विफलता एक संरचनात्मक परिणाम है (कॉन्फिडेंस सैचुरेशन और डायनेमिक-रेंज कोलैप्स के कारण), न कि चयन नियम की चतुराई की कमी। $\pi_{kept}$ (कॉन्फिडेंट सेट की विश्वसनीयता) को मापकर, CW-BASS v2 विश्वसनीय शिक्षकों पर एडेप्टिव नियमों के "कन्फर्मेशन बायस" जाल से बचता है और अविश्वसनीयों पर प्रदर्शन को पुनः प्राप्त करता है। लेखक इस बात पर जोर देते हैं कि "गेट" एक नियंत्रित, डेटा-संचालित निर्णय तंत्र है, न कि एक ह्यूरिस्टिक, और यह तथ्य कि फाउंडेशन मॉडल्स से ResNet की ओर बदलाव के लिए पुराने चयन नियमों को पोर्ट करने के बजाय चयन तंत्रों को पुन: व्युत्पन्न (re-derive) करने की आवश्यकता है।

इसी तरह के और पेपर