💻 computer science

Continual Segmentation under Joint Nonstationarity

यह शोध पत्र ग्रेडिएंट-अनुकूली स्थिरीकरण (gradient-adaptive stabilization) और प्रोटोटाइप-एंकरित अर्ध-पर्यवेक्षित शिक्षण (prototype-anchored semi-supervised learning) को पेश करके संयुक्त गैर-स्थिरता (joint nonstationarity)—जहाँ क्लास, डोमेन और लेबल शिफ्ट एक साथ होते हैं—के तहत निरंतर सिमेंटिक सेगमेंटेशन की कम खोजी गई चुनौती को संबोधित करता है, ताकि विषम, अल्प-नमूना (few-shot) वातावरण में मजबूत प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Prashant Pandey, Himanshu Kumar, Devineni Sri Venkatraya Chowdary, Brejesh Lall

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Prashant Pandey, Himanshu Kumar, Devineni Sri Venkatraya Chowdary, Brejesh Lall

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को डॉक्टर बनने के लिए प्रशिक्षित कर रहे हैं जो मेडिकल स्कैन (जैसे CT और MRI) को देख सके और अंगों, ट्यूमर या हड्डियों को बिल्कुल सटीक रूप से पहचान सके।

समस्या: "मूविंग टारगेट" का दुस्वप्न (The "Moving Target" Nightmare)
आमतौर पर, जब हम किसी AI को प्रशिक्षित करते हैं, तो हम उसे डेटा का एक बड़ा ढेर देते हैं, वह सीखता है, और फिर हमारा काम खत्म हो जाता है। लेकिन वास्तविक दुनिया में, डेटा अव्यवस्थित होता है और लगातार बदलता रहता है। यह शोध पत्र एक ऐसी स्थिति पर चर्चा करता है जिसे "जॉइंट नॉनस्टेशनैरिटी" (Joint Nonstationarity) कहा जाता है। यह एक फैंसी शब्द है जिसका अर्थ है कि तीन चीजें एक ही समय में बदल रही हैं, जो इसे सीखना बेहद कठिन बना देती हैं:

सीखने के लिए नई चीजें (क्लास शिफ्ट - Class Shift): रोबोट लीवर (यकृत) को खोजना सीख रहा है। फिर, अचानक, उसे उन ट्यूमर को खोजना पड़ता है जिन्हें उसने पहले कभी नहीं देखा।
देखने के नए तरीके (डोमेन शिफ्ट - Domain Shift): रोबोट को CT स्कैन (जो ग्रे-स्केल एक्स-रे की तरह दिखते हैं) पर प्रशिक्षित किया गया था। अचानक, उसे MRI स्कैन पर स्विच करना पड़ता है (जो अलग दिखते हैं और जिनमें अलग बनावट होती है)।
शिक्षकों की कमी (सुपरविजन शिफ्ट - Supervision Shift): शुरुआत में, रोबट के पास हजारों लेबल किए गए उदाहरणों वाला एक शिक्षक है। बाद में, शिक्षक व्यस्त है और वह रोबोट को हर नई चीज़ के लिए केवल पाँच उदाहरण ही दिखा सकता है।

यदि आप मानक तरीकों का उपयोग करके इस तरह रोबोट को सिखाने की कोशिश करते हैं, तो वह ट्यूमर के बारे में सीखने के प्रयास में लीवर के बारे में सीखी हुई सब कुछ भूल जाएगा, या वह MRI स्कैन से भ्रमित होकर गलत अनुमान (hallucinations) लगाने लगेगा। यह वैसा ही है जैसे आप फ्रेंच सीख रहे हों, फिर अचानक जापानी में स्विच करना हो, और फिर यह कोशिश करनी हो कि आप दोनों सीख सकें जबकि आपके पास केवल तीन शब्दों वाला एक शब्दकोश उपलब्ध हो।

समाधान: JASCL (एक "स्मार्ट ट्यूटर" सिस्टम)
लेखकों ने एक नया सिस्टम बनाया है जिसे JASCL (जॉइंटली एंकर्ड एंड स्टेबलाइज्ड कॉन्टिनुअल लर्निंग) कहा जाता है। वे दो मुख्य तरकीबों का उपयोग करते हैं ताकि रोबोट घबराए नहीं:

तरकीब 1: ग्रेडिएंट-एडेप्टिव स्टेबिलाइज़ेशन (GAS) — "एक कोमल धक्का" (The Gentle Nudge)

कल्पना कीजिए कि रोबोट का मस्तिष्क कनेक्शनों का एक विशाल मानचित्र है। जब वह कुछ नया सीखता है, तो वह आमतौर पर पूरे मानचित्र को बदल देता है, जिससे पुरानी यादें मिट जाती हैं।

यह कैसे काम करता है: सिस्टम देखता है कि प्रत्येक कनेक्शन के बारे में रोबोट कितना "आत्मविश्वासी" (confident) है।
- यदि कोई कनेक्शन बहुत महत्वपूर्ण है (उच्च ग्रेडिएंट) और रोबोट सक्रिय रूप से उसे सीखने के लिए उपयोग कर रहा है, तो सिस्टम कहता है, "इसे मत छुओ!" और उसे एक बहुत छोटा, कोमल धक्का देता है।
- यदि कोई कनेक्शन कमजोर है या रोबोट इसके बारे में बहुत अधिक सोच रहा है (कम ग्रेडिएंट), तो सिस्टम उसे नई संभावनाओं को खोजने में मदद करने के लिए एक बड़ा झटका देता है।
उपमा (Analogy): इसे एक मूर्तिकार की तरह समझें जो एक मूर्ति पर काम कर रहा है। यदि मूर्तिकार एक नाजुक नाक (महत्वपूर्ण हिस्सा) को तराश रहा है, तो वे एक महीन ब्रश का उपयोग करते हैं। यदि वे पृष्ठभूमि (कम महत्वपूर्ण हिस्सा) को आकार दे रहे हैं, तो वे एक भारी छेनी का उपयोग करते हैं। यह रोबोट को नई चीजें सीखते समय अनजाने में अपने पुराने ज्ञान को नष्ट करने से रोकता है।

तरकीब 2: प्रोटोटाइप एंकर्ड सुपरविजन (PAS) — "लंगर और दिशा-सूचक" (The Anchor and the Compass)

चूंकि रोबोट के पास लेबल किए गए उदाहरण बहुत कम हैं (शिक्षक), उसे लाखों बिना लेबल वाली तस्वीरों के लिए उत्तरों का अनुमान लगाना पड़ता है। लेकिन अनुमान लगाना जोखिम भरा है; यदि वह गलत अनुमान लगाता है, तो वह खुद को गलत सीखने के लिए प्रशिक्षित कर लेता है।

यह कैसे काम करता है: सिस्टम हर उस वस्तु के लिए एक "मेमोरी एंकर" (स्मृति लंगर) रखता है जिसे उसने सीखा है (उदाहरण के लिए, फीचर स्पेस में एक "लीवर" कैसा दिखता है, इसका एक आदर्श मानसिक चित्र)।
जांच (The Check): जब रोबोट एक नई, बिना लेबल वाली छवि के लिए एक लेबल का अनुमान लगाता है, तो सिस्टम दो चीजें जांचता है:
1. आत्मविश्वास (Confidence): क्या रोबोट को यकीन है?
2. निरंतरता (Consistency): क्या नई छवि वास्तव में उस वस्तु के "मेमोरी एंकर" जैसी दिखती है?
उपमा (Analogy): कल्पना कीजिए कि आप पक्षियों को पहचानने के लिए सीख रहे हैं। आपके पास "रॉबिन" (एंकर) की एक मानसिक तस्वीर है। यदि आप एक पक्षी देखते हैं और आप 90% आश्वस्त हैं कि यह एक रॉबिन है, लेकिन यह हमारे "रॉबिन" के मानसिक चित्र से बिल्कुल अलग दिखता है (शायद यह बहुत बड़ा है या गलत रंग का है), तो सिस्टम कहता है, "रुको, यह हमारे एंकर से मेल नहीं खाता। इस अनुमान पर भरोसा मत करो।" यह रोबोट को अपनी गलतियों से सीखने से रोकता है।

परिणाम: यह क्यों मायने रखता है
लेखकों ने 3D मेडिकल स्कैन और 2D ड्राइविंग दृश्यों वाले पांच अलग-अलग "तनाव परीक्षणों" (stress tests) पर इसका परीक्षण किया।

पुराना तरीका: इन बदलती स्थितियों का सामना करने पर, मौजूदा तरीके (बहुत उन्नत तरीकों सहित) पूरी तरह से विफल हो गए। उनका प्रदर्शन शून्य के करीब गिर गया, जिसका अर्थ है कि रोबोट अपना काम करना भूल गया।
JASCL का तरीका: नया सिस्टम अच्छा प्रदर्शन करता रहा। जब वह नए अंगों को सीख रहा था, तो वह पुराने अंगों को नहीं भूला, और न ही वह CT से MRI में स्विच करते समय भ्रमित हुआ।

संक्षेप में
यह शोध पत्र एक ऐसे तरीके को पेश करता है जिससे AI सिस्टम को एक अराजक दुनिया में निरंतर सीखने में मदद मिलती है, जहाँ नियम, डेटा और सहायता की उपलब्धता—तीनों चीजें एक साथ बदल रही हैं। "कोमल धक्का" देकर पुराने ज्ञान की रक्षा करने और नए अनुमानों को सत्यापित करने के लिए "मेमोरी एंकर" का उपयोग करके, यह सिस्टम बिना भूले और बिना भटके निरंतर सीख सकता है, भले ही शिक्षक बहुत कम उपलब्ध हो।

तकनीकी सारांश: संयुक्त गैर-स्थिरता के तहत निरंतर विभाजन (Continual Segmentation)

समस्या विवरण

यह शोध पत्र निरंतर शिक्षण (continual learning - CL) के लिए एक महत्वपूर्ण अंतराल को संबोधित करता है, जो विशेष रूप से सिमेंटिक सेगमेंटेशन (semantic segmentation) जैसे सघन भविष्यवाणी कार्यों (dense prediction tasks) से संबंधित है। जबकि मौजूदा CL अनुसंधान अक्सर क्लास इंक्रीमेंट्स (class increments), डोमेन शिफ्ट (domain shifts), या डेटा की कमी जैसे कारकों को अलग-थलग रखते हैं, वास्तविक दुनिया के संरचित भविष्यवाणी प्रणालियाँ (जैसे स्वायत्त ड्राइविंग, मेडिकल इमेजिंग) संयुक्त गैर-स्थिरता (joint nonstationarity) का सामना करती हैं। इस सेटिंग में, सिमेंटिक क्लासेस, इनपुट डिस्ट्रीब्यूशन और पर्यवेक्षण (supervision) की उपलब्धता एक साथ विकसित होती है।

लेखक इसे सत्रों के एक अनुक्रम $\{S_t\}_{t=0}^T$ के रूप में औपचारिक रूप देते हैं जहाँ प्रत्येक सत्र $t$ एक संयुक्त वितरण $D_t(x, y)$ , एक क्लास सेट $C_t$ , और एक अत्यंत सीमित लेबल किए गए सैंपल बजट $N_t \ll N_0$ द्वारा अभिलक्षित है। महत्वपूर्ण रूप से, $D_t \neq D_{t-1}$ , $C_t \neq C_{t-1}$ , और पहले देखे गए क्लास-डोमेन जोड़े पुनरावृत्त नहीं होते हैं। यह शोध पत्र प्रदर्शित करता है कि मौजूदा CL विधियाँ, जब इन युग्मित बदलावों (coupled shifts) के अधीन होती हैं, तो विनाशकारी विस्मृति (catastrophic forgetting), अस्थिर अनुकूलन (unstable adaptation), और कम-शॉट पर्यवेक्षण (few-shot supervision) के प्रति तीव्र ओवरफिटिंग का शिकार होती हैं। नैव फाइन-ट्यूनिंग (Naive fine-tuning) पूर्व ज्ञान के संरक्षण और नए कॉन्सेप्ट्स के अनुकूलन के बीच संतुलन बनाने में विफल रहती है, जिससे विविध आर्किटेक्चर, जिसमें SAM जैसे फाउंडेशन मॉडल भी शामिल हैं, में महत्वपूर्ण प्रदर्शन गिरावट आती है।

कार्यप्रणाली: JASCL

इन चुनौतियों से निपटने के लिए, लेखक JASCL (जॉइंटली एंकोर्ड एंड स्टेबलाइज्ड कॉन्टिनुअल लर्निंग) प्रस्तावित करते हैं, जो दो मुख्य तंत्रों को संयोजित करने वाला एक फ्रेमवर्क है:

1. ग्रेडिएंट-एडेप्टिव स्टेबलाइजेशन (GAS)

GAS एक पैरामीटर-वार रेगुलाइजेशन मैकेनिज्म है जिसे डिस्ट्रीब्यूशन ड्रिफ्ट के तहत अस्थिरता और ओवरफिटिंग को कम करने के लिए डिज़ाइन किया गया है।

तंत्र: यह स्क्वेर्ड ग्रेडिएंट्स के व्युत्क्रम (inverse) द्वारा स्केल किए गए स्टोकेस्टिक परटर्बेशन (stochastic perturbations) को लागू करता है। एक पैरामीटर $\theta_i$ के लिए, शोर का पैमाना (noise scale) $G_i = (\partial L / \partial \theta_i)^2$ से प्राप्त किया जाता है। परटर्बेशन $\tilde{\theta}_i = \theta_i + \tilde{G}_i \xi_i$ है, जहाँ $\xi_i \sim \mathcal{N}(0, 1)$ ।
तर्क: बड़े ग्रेडिएंट वाले पैरामीटर्स (जो सक्रिय रूप से सीखने में योगदान दे रहे हैं) न्यूनतम शोर प्राप्त करते हैं, जिससे स्थिरता बनी रहती है। छोटे ग्रेडिएंट वाले पैरामीटर्स (जो संभावित रूप से ओवरफिटिंग या फ्लैट क्षेत्रों में हैं) अधिक शोर प्राप्त करते हैं, जो प्लास्टिसिटी और एक्सप्लोरेशन को बढ़ावा देता है।
सैद्धांतिक आधार: लेखक एक बेयसियन पोस्टीरियर एप्रोक्सिमेशन विश्लेषण प्रदान करते हैं जो दिखाता है कि जब फिशर इंफॉर्मेशन विषम (heterogeneous) होती है, तो GAS वास्तविक पोस्टीरियर के प्रति आइसोट्रोपिक नॉइज़ या स्टैटिक रेगुलाइजेशन मेथड्स (जैसे EWC या वेट डिके) की तुलना में कम कुलबैक-लीब्लर (KL) डाइवर्जेंस प्राप्त करता है। यह विषम कर्वेचर (curvature) के तहत एडवर्सरियल फ्लैटनेस मेथड्स (जैसे SAM) की तुलना में टाइट PAC-Bayes जनरलाइजेशन बाउंड्स और कम अपेक्षित लॉस इंक्रीज भी प्रदान करता है।

2. प्रोटोटाइप-एंकोर्ड सुपरविजन (PAS)

PAS अनलेबल डेटा का उपयोग सेमी-सुपरवाइज्ड मीन-टीचर फ्रेमवर्क में साइडो-लेबल्स (pseudo-labels) को मान्य करने और एरर प्रोपेगेशन को दबाने के लिए करता है।

तंत्र: फीचर स्पेस में लेबल किए गए सैंपल्स से क्लास प्रोटोटाइप्स की गणना की जाती है। अनलेबल इनपुट्स के लिए, एक टीचर नेटवर्क द्वारा साइडो-लेबल्स जेनरेट किए जाते हैं। एक साइडो-लेबल तभी रिटेन किया जाता है यदि वह दो शर्तों को पूरा करता हो:
1. कॉन्फिडेंस: अनुमानित संभाव्यता थ्रेशोल्ड $\tau_{conf}$ से अधिक होनी चाहिए।
2. प्रोटोटाइप कंसिस्टेंसी: फीचर रिप्रेजेंटेशन और संबंधित क्लास प्रोटोटाइप के बीच कोसाइन सिमिलरिटी थ्रेशोल्ड $\tau_{sim}$ से अधिक होनी चाहिए।
सैद्धांतिक आधार: लेखक साइडो-लेबल एरर डायनेमिक्स को मॉडल करते हैं, यह सिद्ध करते हुए कि बिना ऐसे फिल्टरिंग के, सेमी-सुपरवाइज्ड लर्निंग सुपरवाइज्ड लर्निंग की तुलना में कोई एसिम्प्टोटिक सुधार नहीं देती है। PAS के साथ, एसिम्प्टोटिक एरर स्वीकृत साइडो-लेबल्स की शुद्धता (precision) के साथ सख्ती से घटता है। सैद्धांतिक विश्लेषण दर्शाता है कि PAS, कॉन्फिडेंस-ओनली, कंसिस्टेंसी-बेस्ड, या मेमोरी-बैंक मेथड्स की तुलना में उच्च शुद्धता प्राप्त करता है, विशेष रूप से मेमोरी बैंक में निहित त्रुटियों के संचय से बचकर।

कुल लॉस फंक्शन लेबल किए गए डेटा पर सुपरवाइज्ड क्रॉस-एंट्रॉपी और केवल PAS-वैलिडेटेड साइडो-लेबल्स पर कंप्यूट किए गए कंसिस्टेंसी लॉस को जोड़ता है।

मुख्य योगदान

शोध पत्र चार प्राथमिक योगदानों को रेखांकित करता है:

संयुक्त गैर-स्थिरता का औपचारिकीकरण: लेखक एक यथार्थवादी निरंतर सेगमेंटेशन सेटिंग को परिभाषित करते हैं जिसमें युग्मित क्लास, डोमेन और सुपरविजन शिफ्ट शामिल हैं, जो मौजूदा विधियों के मौलिक विफलता मोड को उजागर करता है।
ग्रेडिएंट-एडेप्टिव स्टेबलाइजेशन (GAS): एक नवीन रेगुलाइजेशन रणनीति जो ग्रेडिएंट-स्केल्ड स्टोकेस्टिक परटर्बेशन के माध्यम से स्थिरता और प्लास्टिसिटी को संतुलित करती है, जिससे डिस्ट्रीब्यूशन ड्रिफ्ट के तहत मजबूत अनुकूलन संभव होता है।
प्रोटोटाइप-एंकोर्ड सुपरविजन (PAS): एक सेमी-सुपरवाइज्ड मैकेनिज्म जो संयुक्त कॉन्फिडेंस और फीचर-स्पेस प्रोटोटाइप कंसिस्टेंसी का उपयोग करके साइडो-लेबल्स को मान्य करता है, जिससे एरर प्रोपेगेशन प्रभावी रूप से कम होता है।
व्यापक अनुभवजन्य मूल्यांकन: क्लास-इंक्रीमेंटल, डोमेन-इंक्रीमेंटल, फ्यू-शॉट और सेमी-सुपरवाइज्ड रिजीम में व्यापक प्रयोगों के माध्यम से पिछले दृष्टिकोणों पर निरंतर सुधार प्रदर्शित किया गया है।

परिणाम

लेखकों ने पांच चुनौतीपूर्ण बेंचमार्क पर JASCL का मूल्यांकन किया, जिसमें 3D मेडिकल इमेजिंग (Med JASCL-Disjoint, Med JASCL-Mixed, Med Semi-Supervised-JASCL) और 2D नेचुरल सीन्स (Natural-JASCL, Semi-Supervised Natural-JASCL) शामिल हैं।

प्रदर्शन लाभ: JASCL ने क्लास-इंक्रीमेंटल मेथड्स (MiB, PIFS), डोमेन-इंक्रीमेंटल मेथड्स (MDIL), फ्यू-शॉट लर्नर्स (NC-FSCIL, C-FSCIL), और सेमी-सुपरवाइज्ड अप्रोचेस (NNCSL, UaD-CE) सहित व्यापक रेंज के बेसलाइन्स को लगातार पछाड़ दिया।
आर्किटेक्चर के प्रति मजबूती: विधि ने U-Net, DeepLabv3+, MedFormer, SwinUNetr, और अत्यधिक प्री-ट्रेन्ड सेगमेंट एनीथिंग मॉडल (SAM) सहित विविध बैकबोन्स पर मजबूत सामान्यीकरण दिखाया। विशेष रूप से, जबकि SAM और अन्य फाउंडेशन मॉडल्स इन बेंचमार्क्स में महत्वपूर्ण विस्मृति (forgetting) का शिकार हुए, JASCL ने उनके प्रदर्शन में सुधार किया।
फ्यू-शॉट और सेमी-सुपरवाइज्ड प्रभावकारिता: अत्यधिक डेटा की कमी (जैसे प्रति क्लास 5 शॉट्स) और गंभीर डोमेन शिफ्ट (जैसे CT से MRI) वाले परिदृश्यों में, JASCL ने प्रदर्शन बनाए रखा जहाँ बेसलाइन्स विफल रहे। PAS के माध्यम से अनलेबल डेटा के समावेश ने प्रदर्शन को काफी बढ़ाया, विशेष रूप रूप से सेमी-सुपरवाइज्ड मेडिकल बेंचमार्क्स में।
कंप्यूटेशनल दक्षता: यह फ्रेमवर्क वैनिला ट्रेनिंग की तुलना में नगण्य कंप्यूटेशनल ओवरहेड जोड़ता है, क्योंकि इसके लिए मेमोरी बफ़र्स या जटिल सहायक प्रशिक्षण पास की आवश्यकता नहीं होती है।

महत्व और दावे

शोध पत्र का दावा है कि JASCL आइडियलाइज्ड निरंतर शिक्षण परिदृश्यों और गतिशील संरचित भविष्यवाणी प्रणालियों की जटिल वास्तविकता के बीच के अंतर को पाटता है। संयुक्त गैर-स्थिरता को औपचारिक रूप देकर, लेखक बताते हैं कि मौजूदा विधियाँ क्लासेज, डोमेन्स और सुपरविजन के एक साथ विकास को संभालने में विफल रहती हैं।

इस कार्य का महत्व निम्नलिखित में निहित है:

विफलता मोड को उजागर करना: बेंचमार्क्स प्रकट करते हैं कि संयुक्त बदलावों के तहत बड़े पैमाने के फाउंडेशन मॉडल्स भी विनाशकारी विस्मृति के प्रति संवेदनशील हैं, जो इस धारणा को चुनौती देते हैं कि केवल प्री-ट्रेनिंग ही निरंतर शिक्षण की समस्या को हल कर सकती है।
सिद्धांत-आधारित समाधान: प्रस्तावित तंत्र (GAS और PAS) क्रमशः स्थिरता-प्लास्टिसिटी द्वंद्व (stability-plasticity dilemma) और साइडो-लेबल विश्वसनीयता के लिए एक सैद्धांतिक रूप से सुदृढ़ दृष्टिकोण प्रदान करते हैं।
वास्तविक दुनिया की प्रयोज्यता: परिणाम बताते हैं कि वैलिडेटेड अनलेबल डेटा संसाधन-बाधित वातावरण (जैसे सीमित एनोटेशन के साथ मेडिकल इमेजिंग) में निरंतर शिक्षण को सक्षम कर सकता है, जिससे रिट्रेनिंग लागत कम होती है और स्केलेबिलिटी में सुधार होता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि JASCL विविध सेटिंग्स में मजबूती प्रदर्शित करता है, फिर भी महत्वपूर्ण सुधार की गुंजाइश है, विशेष रूप से अत्यधिक डोमेन शिफ्ट (जैसे अचानक CT-से-MRI संक्रमण) और फ्यू-शॉट रिजीम में छोटी शारीरिक संरचनाओं को संभालने में। वे इस कार्य को रोबोटिक्स और मेडिकल इमेजिंग जैसे गतिशील वातावरण में मजबूत, अनुकूलन योग्य इंटेलिजेंट सिस्टम तैनात करने की दिशा में एक कदम के रूप में देखते हैं।