🤖 AI

BP-TTA: Balanced and Prototype-Guided Test-Time Adaptation in Dynamic Scenarios

यह शोध पत्र BP-TTA का प्रस्ताव करता है, जो एक नवीन टेस्ट-टाइम अडैप्टेशन (Test-Time Adaptation) विधि है जो डायनेमिक स्ट्रीमिंग परिदृश्यों में क्लास इम्बैलेंस (class imbalance) और निरंतर डोमेन शिफ्ट (continual domain shifts) की एक साथ आने वाली चुनौतियों को प्रभावी ढंग से संबोधित करने के लिए बैच-बैलेंस्ड सैंपलिंग (batch-balanced sampling) को प्रोटोटाइप-गाइडेड अडैप्टेशन (prototype-guided adaptation) के साथ जोड़ता है।

मूल लेखक: Shaoyang Huang, Yashi Zhu, Yichen Yu, Lei Zhang, Zhang Yi, Tao He

प्रकाशित 2026-07-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shaoyang Huang, Yashi Zhu, Yichen Yu, Lei Zhang, Zhang Yi, Tao He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट शेफ है जिसने एक विशिष्ट रसोई में, आदर्श रोशनी और ताजी सामग्री के साथ, बेहतरीन भोजन बनाना सीखा है (यह सोर्स डोमेन - Source Domain है)। फिर, आप उस शेफ को अलग-अलग रेस्टोरेंट्स में काम करने के लिए भेजते हैं। कुछ अंधेरे और बरसाती हैं, कुछ चमकदार और धूप वाले हैं, और सामग्रियां लगातार बदलती रहती हैं। यह वास्तविक दुनिया है, जहाँ स्थितियाँ कभी स्थिर नहीं होतीं।

समस्या यह है कि शेफ को एक "परफेक्ट" मेनू पर प्रशिक्षित किया गया था। जब वे एक नए रेस्टोरेंट में पहुँचते हैं, तो वे भ्रमित हो सकते हैं। इससे भी बुरा यह है, कल्पना कीजिए कि पहले एक घंटे के लिए, रेस्टोरेंट में केवल पिज्जा परोसा जा रहा है, और अगले एक घंटे के लिए, केवल सुशी। यदि शेफ केवल उसी से सीखता है जो वह अभी देख रहा है, तो उसे लग सकता है कि "पिज्का ही एकमात्र भोजन है जो अस्तित्व में है" और वह सुशी बनाना भूल सकता है। इसे क्लास इम्बैलेंस (Class Imbalance) कहा जाता है।

इसके अलावा, दिन के दौरान रेस्टोरेंट की रोशनी धूप से धीरे-धीरे कोहरे में बदल सकती है। यदि शेफ कोहरे के अनुकूल होने के लिए बहुत तेज़ी से अनुकूलित (adapt) होने की कोशिश करता है, तो वह गलतियाँ कर सकता है क्योंकि कोहरा केवल एक अस्थायी गड़बड़ी है, कोई नया नियम नहीं। इसे कंटीन्यूअस डोमेन शिफ्ट (Continuous Domain Shift) कहा जाता है।

यह पेपर एक नई विधि पेश करता है जिसे BP-TTA (बैलेंस्ड एंड प्रोटोटाइप-गाइडेड टेस्ट-टाइम अडैप्टेशन) कहा जाता है, जो शेफ (AI मॉडल) को बिना मूल प्रशिक्षण रसोई में वापस जाए, मौके पर ही खुद को ढालने में मदद करती है। यह दो मुख्य तरकीबों का उपयोग करके इस समस्या को हल करता है:

1. "बैलेंस्ड शॉपिंग कार्ट" (बैच-बैलेंस्ड सैंपलिंग - Batch-Balanced Sampling)

समस्या: डेटा के वास्तविक प्रवाह (stream) में, आपको एक ही मिनट में कारों की 100 तस्वीरें और केवल 1 पैदल यात्री की तस्वीर मिल सकती है। यदि शेफ इससे सीखने की कोशिश करता है, तो वह केवल कारों के बारे में सीखेगा और पैदल यात्रियों को भूल जाएगा।

समाधान: पेपर एक "मेमोरी बैंक" (जैसे कि एक पेंट्री) का प्रस्ताव देता है।

जब शेफ "पिज्जा" (बहुसंख्यक क्लास) की बाढ़ देखता है, तो सिस्टम कहता है, "ठीक है, हमारे पास पर्याप्त पिज्जा के नमूने हैं। आइए सबसे अच्छे नमूनों को सुरक्षित रखें और बाकी को अनदेखा करें।"
जब शेफ को लगभग कोई "सुशी" (अल्पसंख्यक क्लास) नहीं मिलती है, तो सिस्टम मेमोरी बैंक में हाथ डालता है और दिन के पहले भाग से उच्च-गुणवत्ता वाले, विश्वसनीय सुशी के नमूनों को निकालता है ताकि उन्हें वर्तमान पाठ में मिलाया जा सके।
परिणाम: शेफ हमेशा एक "बैलेंस्ड कार्ट" से सीखता है जिसमें सभी प्रकार के खाद्य पदार्थों का एक उचित मिश्रण होता है, जिससे वह दुर्लभ वस्तुओं को भूलने से बच जाता है।

2. "मेंटल मैप" (प्रोटोटाइप-गाइडेड अडैप्टेशन - Prototype-Guided Adaptation)

समस्या: जैसे-जैसे रोशनी बदलती है (डोमेन शिफ्ट), शेफ भ्रमित हो सकता है। कोहरे में एक कार धूप की तुलना में अलग दिखती है। यदि शेफ केवल अनुमान लगाने पर निर्भर रहता है, तो वह लेबल गलत कर सकता है और खुद को गलत चीज़ सिखा सकता है।

समाधान: सिस्टम हर श्रेणी के लिए एक "मेंटल मैप" (जिसे प्रोटोटाइप्स कहा जाता है) बनाए रखता है।

एक "प्रोटोटाइप" को एक "कार" कैसी दिखती है, इसके औसत, आदर्श विचार के रूप में सोचें।
जैसे-जैसे शेफ नई कारें देखता है, सिस्टम इस मेंटल मैप को धीरे-धीरे और सावधानी से अपडेट करता है, लेकिन केवल तभी जब शेफ को पूरा विश्वास हो कि यह एक कार है।
सिस्टम फिर जाँच करता है: "क्या यह धुंधली कार हमारे कार के मेंटल मैप से मेल खाती है?" यदि हाँ, तो बहुत अच्छा! यदि नहीं, तो सिस्टम शेफ को अपने विज़न को मैप के साथ मिलाने के लिए धीरे से प्रेरित करता है।
परिणाम: यह शेफ की समझ को (कि "कार" या "पैदल यात्री" क्या है) स्थिर रखता है, भले ही मौसम या रोशनी बदल रही हो, जिससे वह शोर (noise) में खोने से बच जाता है।

ये मिलकर कैसे काम करते हैं

पेपर का दावा है कि इन दो तरकीबों को मिलाकर, रोबोट शेफ पिछले तरीकों की तुलना में अराजक, बदलती दुनिया को बहुत बेहतर तरीके से संभाल सकता है।

BBS यह सुनिश्चित करता है कि शेफ अभी जो सबसे आम चीजें देख रहा है, उनकी ओर पक्षपाती न हो जाए।
CPGA यह सुनिश्चित करता है कि शेफ बदलते वातावरण (जैसे कोहरा या बारिश) से भ्रमित न हो और चीजों की एक स्पष्ट, स्थिर परिभाषा बनाए रखे।

परिणाम

लेखकों ने इस पर तीन अलग-अलग "रसोईघरों" (डेटासेट: CIFAR10-C, CIFAR100-C, और ImageNet-C) पर परीक्षण किया, जहाँ छवियों को शोर (noise), धुंधलेपन (blur), या मौसम के प्रभावों के साथ दूषित किया गया था, और वस्तुओं के प्रकार एक असंतुलित, स्ट्रीमिंग क्रम में दिखाई दे रहे थे।

उन्होंने पाया कि BP-TTA ने अन्य शीर्ष विधियों की तुलना में लगातार कम गलतियाँ कीं। इसने न केवल बदलती परिस्थितियों में जीवित रहना सीखा, बल्कि यह फल-फूल उठा, और जब डेटा अव्यवस्थित था, क्लासेज असंतुलित थीं, और वातावरण लगातार बदल रहा था, तब भी उच्च सटीकता बनाए रखी।

संक्षेप में: यह पेपर AI को काम के दौरान सीखने का एक तरीका देता है, जिससे वह अपने प्रशिक्षण को भूले बिना, चीजों को संतुलित करके और चीजों के वास्तविक स्वरूप का एक स्थिर मानसिक मानचित्र बनाए रखकर, दुनिया के बदलावों के बीच भी सफल हो सकता है।

तकनीकी सारांश: BP-TTA: गतिशील परिदृश्यों में संतुलित और प्रोटोटाइप-निर्देशित टेस्ट-टाइम अनुकूलन (Balanced and Prototype-Guided Test-Time Adaptation in Dynamic Scenarios)

1. समस्या की परिभाषा

यह शोध पत्र वास्तविक दुनिया के गतिशील परिदृश्यों में तैनात मौजूदा टेस्ट-टाइम अडैप्टेशन (TTA) विधियों की सीमाओं को संबोधित करता है। जबकि पारंपरिक TTA यह मानता है कि टेस्ट डेटा एक एकल लक्ष्य डोमेन से स्वतंत्र और समान रूप से वितरित (i.i.d.) है, व्यावहारिक अनुप्रयोगों में प्रैक्टिकल टेस्ट-टाइम अडैप्टेशन (PTTA) सेटिंग्स शामिल होती हैं जो दो साथ-साथ चलने वाली चुनौतियों द्वारा चिह्नित हैं:

निरंतर डोमेन शिफ्ट (Continual Domain Shifts): बदलती पर्यावरणीय स्थितियों (जैसे, प्रकाश व्यवस्था, मौसम, सेंसर शोर) के कारण टेस्ट वितरण समय के साथ निरंतर विकसित होता रहता है।
स्ट्रीमिंग डेटा में क्लास असंतुलन (Class Imbalance in Streaming Data): वास्तविक दुनिया के स्ट्रीम्स में अस्थायी सहसंबंधों (temporal correlations) के कारण (जैसे, हाईवे पर एक वाहन जो ज्यादातर कारों को देखता है, फिर पैदल यात्रियों वाले आवासीय क्षेत्र में प्रवेश करता है), अल्पकालिक विंडो अक्सर गंभीर क्लास असंतुलन प्रदर्शित करती हैं।

मौजूदा विधियाँ इस सेटिंग में विफल हो जाती हैं क्योंकि:

क्लास असंतुलन: ग्रेडिएंट अपडेट बहुसंख्यक वर्गों (majority classes) द्वारा हावी हो जाते हैं, जिससे मॉडल अल्पकालिक पैटर्न पर ओवरफिट हो जाता है और अल्पसंख्यक वर्गों (minority classes) की उपेक्षा करता है।
निरंतर शिफ्ट: वितरण के विस्थापन (drift) के कारण छद्म-लेबल (pseudo-labels) या एंट्रॉपी मिनिमाइजेशन पर निर्भरता अस्थिर हो जाती है, जिससे शोर युक्त पर्यवेक्षण और कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) होता है।

2. कार्यप्रणाली: BP-TTA

लेखक BP-TTA (बैलेंस्ड एंड प्रोटोटाइप-गाइडेड टेस्ट-टाइम अडैप्टेशन) का प्रस्ताव करते हैं, जो एक मीन टीचर आर्किटेक्चर (स्टूडेंट और टीचर नेटवर्क) के भीतर बैच-बैलेंस्ड सैंपलिंग (BBS) और कैटेगरी प्रोटोटाइप-गाइडेड अडैप्टेशन (CPGA) को एकीकृत करता है।

A. बैच-बैलेंस्ड सैंपलिंग (BBS)

स्ट्रीमिंग डेटा में क्लास असंबलन को कम करने के लिए, BBS गतिशील रूप से संतुलित प्रशिक्षण बैचों का पुनर्निर्माण करता है।

मेमोरी बैंक: एक क्लास-अवेयर मेमोरी बैंक $\mathcal{M}$ बनाए रखता है जो इन गुणों वाले नमूनों को संग्रहीत करता है: छद्म-लेबल ( $\hat{y}_i$ ), आयु ( $a_i$ ), आत्मविश्वास ( $\gamma_i$ ), और अनिश्चितता ( $u_i$ )।
चयन तंत्र: मेमोरी बैंक को प्रबंधित करने के लिए एक चयन स्कोर $H_i = \exp(a_i/K) + u_i$ का उपयोग करता है, जो हाल के और अनिश्चित नमूनों को प्राथमिकता देता है और अनावश्यक नमूनों को हटा देता है।
बैच पुनर्निर्माण: प्रत्येक आने वाले बैच के लिए, विधि:
- शीर्ष- $N$ उच्चतम-आत्मविश्वास वाले नमूनों का चयन करके बहुसंख्यक वर्गों का डाउनसैंपलिंग (Downsamples) करती है।
- मेमोरी बैंक से उच्च-आत्मविश्वास वाले नमूनों को प्राप्त करके अल्पसंख्यक वर्गों का सप्लीमेंट (Supplements) करती है।
**प्रति वर्ग निश्चित संख्या ( $N_{per-class}$ ) सुनिश्चित करने के लिए यदि आवश्यक हो तो नमूनों को पुनरावृत्त (Replicates) करती है।
विभेदन: पूर्ववर्ती कार्यों (जैसे, RoTTA) के विपरीत जो केवल मेमोरी बैंक नमूनों पर निर्भर करते हैं, BBS सीधे आने वाले बैच पर कार्य करता है, यह सुनिश्चित करता है कि संतुलित बैच वर्तमान लक्ष्य वितरण को दर्शाता है और असंतुलन को ठीक करता है।

B. कैटेगरी प्रोटोटाइप-गाइडेड अडैप्टेशन (CPGA)

निरंतर डोमेन शिफ्ट के तहत अनुकूलन को स्थिर करने के लिए, CPGA फीचर लर्निंग को निर्देशित करने के लिए क्लास प्रोटोटाइप का लाभ उठाता है।

प्रोटोटाइप इनिशियलाइजेशन और अपडेट: क्लास प्रोटोटाइप $\{p_c\}$ को सोर्स मॉडल के क्लासिफायर वेट्स से इनिशियलाइज किया जाता है। उन्हें केवल उच्च-आत्मविश्वास वाले नमूनों ( $\gamma_i \geq \tau$ ) का उपयोग करके एक एक्सपोनेंशियल मूविंग एवरेज (EMA) तंत्र के माध्यम से अपडेट किया जाता है:
$p_c^{(t+1)} = \alpha p_c^{(t)} + (1-\alpha)z_i \quad \text{यदि } \hat{y}_i = c \text{ और } \gamma_i \geq \tau$
प्रोटोटाइप लॉस: एक पर्यवेक्षण हानि (supervision loss) पेश की गई है जो नमूना फीचर्स और उनके संबंधित क्लास प्रोटोटाइप के बीच की दूरी को कम करती है, जो इंट्रा-क्लास क्लस्टरिंग और इंटर-क्लास सेपरेशन को बढ़ावा देती है:
$\mathcal{L}_{proto} = \frac{1}{|S|} \sum_{i \in S} (1 - \text{sim}(z_i, p_{\hat{y}_i}))$
जहाँ $S$ उच्च-आत्मविश्वास वाले नमूनों का सेट है।

C. समग्र अनुकूलन (Overall Optimization)

कुल लॉस फंक्शन मानक कंसिस्टेंसी लॉस (अगमेंटेशन के तहत स्टूडेंट और टीचर के बीच) और प्रोटोटाइप लॉस को जोड़ता है:
$\mathcal{L}_{total} = \mathcal{L}_{sup} + \lambda \mathcal{L}_{proto}$
स्टूडेंट मॉडल को ग्रेडिएंट डिसेंट के माध्यम से अपडेट किया जाता है, जबकि टीचर मॉडल को EMA के माध्यम से अपडेट किया जाता है।

3. मुख्य योगदान

नूतन ढांचा (Novel Framework): BP-TTA का प्रस्ताव करता है, जो बैच-बैलेंस्ड सैंपलिंग के साथ प्रोटोटाइप-गाइडेड अडैप्टेशन को जोड़कर PTTA सेटिंग्स में क्लास असंतुलन और निरंतर डोमेन शिफ्ट को संयुक्त रूप से संबोधित करने वाला पहला तरीका है।
बैच-बैलेंस्ड सैंपलिंग (BBS): एक क्लास-अवेयर मेमोरी बैंक का उपयोग करके असंतुलित स्ट्रीम से गतिशील रूप से संतुलित बैचों को पुनर्गठित करने के लिए एक तंत्र पेश करता है, जिससे सभी वर्गों के लिए विश्वसनीय छद्म-लेबल सुनिश्चित होते हैं।
कैटेगरी प्रोटोटाइप-गाइडेड अडैप्टेशन (CPGA): फीचर स्पेस स्थिरता और छद्म-लेबल विश्वसनीयता में सुधार के लिए प्रोटोटाइप समानता को एक बाधा के रूप में उपयोग करते हुए, इन्फरेंस के दौरान विकसित होते क्लास प्रोटोटाइप को बनाए रखने के लिए एक विधि विकसित करता है।
व्यापक मूल्यांकन: तीन डेटासेट्स (CIFAR10-C, CIFAR100-C, ImageNet-C) और DomainNet-126 डेटासेट के तहत PTTA स्थितियों में अन्य स्टेट-ऑफ-द-आर्ट TTA विधियों (TENT, CoTTA, EATA, SAR, और RoTTA सहित) पर श्रेष्ठ प्रदर्शन प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम

शोध पत्र BP-TTA की प्रभावशीलता को प्रमाणित करने के लिए व्यापक प्रयोग रिपोर्ट करता है:

प्रदर्शन: BP-TTA लगातार सभी बेसलाइन से बेहतर प्रदर्शन करता है। CIFAR10-C, CIFAR100-C, और ImageNet-C पर, इसने दूसरे सर्वश्रेष्ठ तरीकों की तुलना में औसत सटीकता में क्रमशः 3.08%, 1.84%, और 1.59% का सुधार किया।
एब्लेशन स्टडीज (Ablation Studies):
- घटक प्रभावकारिता: अकेले BBS का उपयोग करने से सोर्स मॉडल की तुलना में त्रुटि दर काफी कम हो जाती है। अकेले CPGA शोर युक्त प्रोटोटाइप अपडेट के कारण गंभीर असंतुलन के तहत संघर्ष करता है। संयोजन (BBS+CPGA) सर्वोत्तम परिणाम देता है।
- हाइपरपैरामीटर्स: विधि आत्मविश्वास थ्रेशोल्ड $\tau$ और स्मूथिंग फैक्टर $\alpha$ के विविधताओं के प्रति मजबूत है। प्रोटोटाइप लॉस के लिए $\lambda=10$ का वेटिंग फैक्टर इष्टतम पाया गया।
- बैच साइज: मध्यम बैच साइज स्थिरता और रिस्पॉन्स स्पीड के बीच सबसे अच्छा संतुलन प्रदान करते हैं।
मजबूती (Robustness):
- डोमेन शिफ्ट फ्रीक्वेंसी: जैसे-जैसे डोमेन परिवर्तनों की आवृत्ति बढ़ती है, RoTTA की तुलना में BP-TTA अधिक धीरे-धीरे घटता है।
- असंबलन की गंभीरता: विधि उच्च असंतुलन (डिरिचलेट कंसंट्रेशन पैरामीटर $\delta$ के घटने का संकेत) के बावजूद स्थिर प्रदर्शन बनाए रखती है।
- अनुक्रम क्रम (Sequence Order): DA-TTA के विपरीत, जो विभिन्न डोमेन शिफ्ट अनुक्रमों में उच्च भिन्नता दिखाता है, BP-TTA शिफ्ट्स के क्रम के बावजूद सुसंगत प्रदर्शन बनाए रखता है।
- मॉडल आर्किटेक्चर: विधि बिना किसी महत्वपूर्ण प्रदर्शन गिरावट के विभिन्न बैकबोन नेटवर्क्स (ResNet, WideResNet, ResNeXt) में प्रभावी है।
विज़ुअलाइज़ेशन: t-SNE विज़ुअलाइज़ेशन पुष्टि करते हैं कि CPGA, बेसलाइन प्रोटोटाइप विधियों जैसे T3A की तुलना में अधिक सघन इंट्रा-क्लास क्लस्टर और बेहतर इंटर-क्लास सेपरेशन उत्पन्न करता है।

5. महत्व और दावे

शोध पत्र दावा करता है कि BP-TTA प्रैक्टिकल टेस्ट-टाइम अडैप्टेशन के लिए एक मजबूत समाधान प्रदान करता है, जो पिछले स्टैटिक या शुद्ध निरंतर अनुकूलन प्रतिमानों की तुलना में वास्तविक दुनिया के परिनियोजन चुनौतियों को अधिक सटीक रूप से दर्शाता है।

वास्तविक दुनिया की बाधाओं को संबोधित करना: क्लास असंतंबन और डोमेन शिफ्ट के बीच परस्पर क्रिया को स्पष्ट रूप से संभालकर, यह विधि उन "कैटास्ट्रोफिक फेलियर्स" को रोकता है जो अक्सर टेम्पोरल कोरिलेशन वाले स्ट्रीमिंग डेटा के संपर्क में आने वाले मॉडल्स में देखे जाते हैं।
स्थिरता: प्रोटोटाइप गाइडेंस का एकीकरण लर्निंग प्रक्रिया को स्थिर करता है, जिससे मॉडल को डोमिनेंट क्लासेस पर ओवरफिट होने या डोमेन ड्रिफ्ट के दौरान शोर युक्त छद्म-लेबल्स द्वारा गुमराह होने से रोका जा सके।
स्टेट-ऑफ-द-आर्ट: लेखक दावा करते हैं कि उनकी विधि डायनेमिक टेस्ट-टाइम स्ट्रीमिंग सेटिंग्स में स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करती है, जो नॉन-स्टेशनरी वातावरण में मॉडल मजबूती में सुधार के लिए एक लचीला और व्यावहारिक समाधान प्रदान करती है।

यह कार्य चीन के शिक्षा मंत्रालय की फंडामेंटल एंड इंटरडिसिप्लिनरी डिसिप्लिन्स ब्रेकथ्रू प्लान और सिचुआन प्रांत के नेचुरल साइंस फाउंडेशन द्वारा समर्थित है।