🤖 AI

Decoupling Stability and Plasticity for Multi-Modal Test-Time Adaptation

यह शोध पत्र डेकप्लिंग अडैप्टेशन फॉर स्टेबिलिटी एंड प्लास्टिसिटी (DASP) का प्रस्ताव करता है, जो एक नवीन ढांचा है जो इंटरडायमेंशनल रेडंडेंसी (interdimensional redundancy) का लाभ उठाकर पक्षपाती मोडालिटीज (biased modalities) की पहचान करता है और एक एसिमेट्रिक रणनीति लागू करता है जो पक्षपाती डेटा के लिए प्लास्टिक घटकों को अपडेट करता है जबकि निष्पक्ष डेटा के लिए स्थिर घटकों को संरक्षित करता है, जिससे मल्टी-मोडल टेस्ट-टाइम अडैप्टेशन में नेगेटिव ट्रांसफर और कैटास्ट्रोफिक फॉरगेटिंग की समस्या का समाधान होता है।

मूल लेखक: Yongbo He, Zirun Guo, Tao Jin

प्रकाशित 2026-03-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yongbo He, Zirun Guo, Tao Jin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट असिस्टेंट है जिसे एक आदर्श, धूप वाले क्लासरूम (जिसे Source Domain कहा जाता है) में वीडियो (आंखों) और ऑडियो (कानों) दोनों का उपयोग करके वस्तुओं को पहचानना सिखाया गया है। वह अपने काम में बहुत माहिर है।

लेकिन फिर, आप उस रोबोट को वास्तविक दुनिया (जिसे Test Time कहा जाता है) में भेज देते हैं। अचानक, मौसम बदल जाता है, कैमरा धुंधला हो जाता है, या माइक्रोफ़ोन से निर्माण कार्य का तेज़ शोर सुनाई देने लगता है। रोबोट की दुनिया बदल गई है, और उसका पुराना प्रशिक्षण अब फिट नहीं बैठता। यह Multi-Modal Test-Time Adaptation (TTA) की समस्या है: हम रोबोट को यह सिखाने में कैसे मदद कर सकते हैं कि वह जो पहले से जानता है उसे भूले बिना, चलते-चलते (on the fly) कैसे सीखे?

यह पेपर एक नया तरीका पेश करता है जिसे DASP (Decoupling Adaptation for Stability and Plasticity) कहा जाता है। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है।

समस्या: "सब-कुछ-या-कुछ-नहीं" वाली गलती

पिछले तरीकों ने रोबोट को सब कुछ एक साथ अपडेट करके ठीक करने की कोशिश की। कल्पना कीजिए कि रोबोट ने चश्मा (वीडियो) और हेडफ़ोन (ऑडियो) पहना हुआ है।

परिदृश्य A: चश्मे पर कीचड़ लग गया है (वीडियो खराब हो गया है), लेकिन हेडफ़ोन बिल्कुल साफ़ हैं।
पुराना तरीका: रोबोट चश्मे और हेडफ़ोन दोनों को एक साथ फिर से सीखने (relearn) की कोशिश करता है।
- परिणाम: क्योंकि हेडफ़ोन पहले से ही परफेक्ट थे, उन्हें "फिर से सीखने" की कोशिश करने से रोबोट भ्रमित हो जाता है। वह उन चीजों पर गलतियाँ करने लगता है जिन्हें वह पहले अच्छी तरह से जानता था। इसे Negative Transfer कहा जाता है।
- परिणाम (भाग 2): क्योंकि रोबोट कीचड़ के अनुकूल होने के लिए अपने दिमाग को लगातार बदल रहा है, वह अंततः साफ परिस्थितियों में चीजों को पहचानना भूल जाता है। इसे Catastrophic Forgetting कहा जाता है।

रोबोट एक दुविधा में फंसा है: उसे Plastic (नई चीजें सीखने के लिए लचीला) भी होना है और Stable (पुराने ज्ञान को बनाए रखने के लिए कठोर) भी।

समाधान: DASP (एक "निदान-फिर-उपचार" ढांचा)

DASP इसे एक स्मार्ट मैकेनिक की तरह हल करता है जो केवल हथौड़ा नहीं चलाता; वे पहले कार का निरीक्षण करते हैं, फिर केवल टूटे हुए हिस्सों को ठीक करते हैं।

चरण 1: निदान (The "Redundancy Score")

रोबोट को कैसे पता चलता है कि कौन सा सेंसर खराब है?

पुराना तरीका: यह देखता है कि रोबोट कितना "आत्मविश्वासी" महसूस कर रहा है। लेकिन कभी-कभी, एक खराब सेंसर भी बहुत आत्मविश्वासी महसूस कर सकता है (जैसे कोई व्यक्ति गलत उत्तर देते समय भी बहुत आत्मविश्वास से चिल्ला रहा हो)।
DASP का तरीका: यह डेटा की आंतरिक संरचना (internal structure) को देखता है।
- उपमा: एक गायक मंडली (choir) की कल्पना करें। एक स्वस्थ मंडली में, हर गायक की अपनी अनूठी आवाज़ होती है (कम रेडंडेंसी/redundancy)। यदि मंडली शोर के कारण भ्रमित होकर बार-बार एक ही स्वर गाने लगती है, तो वह उच्च रेडंडेंसी (high redundancy) है।
- DASP वीडियो डेटा के "गायक समूह" और ऑडियो डेटा के "गायक समूह" की जाँच करता है। यदि उनमें से एक दोहराव वाला और अराजक (chaotic) होने लगता है, तो DASP समझ जाता है, "आहा! वह सेंसर खराब है!" वह दूसरे सेंसर को अनदेखा कर देता है, जो अभी भी खूबसूरती से गा रहा है।

चरण 2: उपचार (The "Asymmetric Adaptation")

एक बार जब DASP जान जाता है कि कौन सा सेंसर खराब है, तो वह प्रत्येक सेंसर के लिए एक विशेष दो-भाग वाला टूलकिट का उपयोग करता है:

The Stable Adapter (द एंकर): यह हिस्सा रोबोट के मूल ज्ञान को थामे रखता है। यह एक घर की नींव की तरह है।
The Plastic Adapter (द स्पंज): यह हिस्सा लचीला है और नई जानकारी सोखने के लिए तैयार है।

यहाँ असली जादू है:

खराब सेंसर के लिए (चश्मे पर लगा कीचड़): DASP Sponge (स्पंज) को सक्रिय करता है। यह इस हिस्से को बदलने और कीचड़ के बीच से देखने के लिए सीखने की अनुमति देता है। Anchor (एंकर) स्थिर रहता है ताकि रोबोट साफ परिस्थितियों में देखना न भूले।
अच्छे सेंसर के लिए (साफ हेडफ़ोन): DASP Sponge को बंद कर देता है। यह Anchor को कहता है, "आप बहुत अच्छा कर रहे हैं, बस जो कर रहे हैं वही करते रहें।" यह एक "सेफ्टी बेल्ट" (गणितीय रेगुलाइजेशन) भी जोड़ता है ताकि Anchor गलती से अपने मूल, परफेक्ट प्रशिक्षण से भटक न जाए।

यह एक बड़ी बात क्यों है

इसे एक छात्र की तरह सोचें जो शोर वाले कमरे में परीक्षा दे रहा है।

पुराने तरीके: छात्र शोर को अनदे로 करने के लिए ज़ोर से चिल्लाने और अपनी पूरी अध्ययन रणनीति बदलने की कोशिश करता है। अंत में वह उन गणित के सूत्रों को भूल जाता है जिन्हें वह पूरी तरह से जानता था।
DASP: छात्र को एहसास होता है कि, "शोर केवल मेरी सुनने की क्षमता को प्रभावित कर रहा है, मेरी दृष्टि को नहीं।" इसलिए, वह शोर को संभालने के लिए नॉइज़-कैंसलिंग हेडफ़ोन (Plastic Adapter) पहन लेता है, लेकिन अपने गणित की किताब (Stable Adapter) को बिल्कुल वैसा ही रखता है, जैसा वह है, और एक भी सूत्र बदलने से इनकार कर देता है।

परिणाम

लेखकों ने वीडियो और ऑडियो डेटासेट पर इसका परीक्षण किया जहाँ उन्होंने जानबूझकर डेटा को "खराब" (शोर, धुंध आदि जोड़कर) किया था।

DASP ने लगातार अन्य सभी तरीकों को पछाड़ दिया।
इसने रोबोट को अपने मूल कौशल को भूलने से रोका (Stability)।
इसने रोबोट को नए, अस्त-व्यस्त वातावरण में तेज़ी से सीखने में सक्षम बनाया (Plasticity)।
इसने यह सब बिना रोबोट की गति धीमी किए या अतिरिक्त मेमोरी की आवश्यकता के बिना किया।

सारांश

DASP एक स्मार्ट सिस्टम है जो:

डेटा में "दोहराव वाले भ्रम" को देखकर यह पता लगाता (Detects) है कि रोबोट के सेंस का कौन सा हिस्सा खराब है।
एक लचीले "लर्निंग स्पंज" का उपयोग करके केवल खराब हिस्से को ठीक (Fixes) करता है।
अपने "नॉलेज एंकर" को फ्रीज करके स्वस्थ हिस्सों को सुरक्षित (Protects) रखता है।

यह एक खिड़की टूटने पर पूरे घर को फिर से बनाने की कोशिश करने और केवल उस एक खिड़की को बदलने के बीच का अंतर है, जबकि बाकी घर को मजबूत और सुरक्षित रखा जाता है।

यहाँ हे एट अल. के शोध पत्र "Decoupling Stability and Plasticity for Multi-Modal Test-Time Adaptation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मल्टी-मोडल टेस्ट-टाइम अडैप्टेशन (MM-TTA) की चुनौती को संबोधित करता है, जहाँ पूर्व-प्रशिक्षित मल्टी-मोडल मॉडल (जैसे ऑडियो-वीडियो) को बिना सोर्स डेटा या ग्राउंड ट्रुथ लेबल के, विकसित होते और अनदेखे टेस्ट-टाइम डिस्ट्रीब्यूशन के अनुकूल होना पड़ता है।

मौजूदा विधियाँ इस संदर्भ में एक मौलिक स्टेबिलिटी-प्लास्टिसिटी डिलेमा (स्थिरता-लचीलापन दुविधा) का सामना करती हैं:

नेगेटिव ट्रांसफर (Negative Transfer): वर्तमान "मोडालिटी-अग्नोस्टिक" रणनीतियाँ सभी मोडालिटीज़ को बिना किसी भेदभाव के अनुकूल बनाती हैं। यह अक्सर अनसुपरवाइज्ड सिग्नल के शोर (noise) के प्रति ओवरफिट होकर "अनबायस्ड" (स्वच्छ) मोडालिटीज़ को नुकसान पहुँचाता है, जिससे समग्र प्रदर्शन गिर जाता है।
कैटास्ट्रोफिक फॉरगेटिंग (Catastrophic Forgetting): एक "बायस्ड" (दूषित) मोडालिटी के अनुकूल होने के लिए निरंतर पैरामीटर अपडेट करना अक्सर सोर्स डोमेन से सीखे गए ज्ञान को मिटा देता है, जिससे मॉडल मूल, स्वच्छ डेटा को संभालने की क्षमता खो देता है।

मुख्य चुनौती यह पहचानना है कि कौन सी मोडालिटी दूषित है और स्वच्छ मोडालिटीज़ को अस्थिर किए बिना या पूर्व ज्ञान को मिटाए बिना उसके अनुकूल कैसे हुआ जाए।

2. कार्यप्रणाली: DASP फ्रेमवर्क (Methodology: DASP Framework)

लेखक DASP (Decoupling Adaptation for Stability and Plasticity) प्रस्तावित करते हैं, जो एक "डायग्नोस-देन-मिटिगेट" (निदान-फिर-शमन) फ्रेमवर्क है।

A. रेडंडेंसी स्कोर के माध्यम से निदान (Diagnosis via Redundancy Score)

एंट्रॉपी (entropy) या कॉन्फिडेंस (confidence) जैसे पारंपरिक मेट्रिक्स मल्टी-मोडल सेटिंग्स में डिस्ट्रीब्यूशन शिफ्ट के निदान के लिए अविश्वसनीय हैं क्योंकि एक प्रभावी मोडालिटी (जैसे ऑडियो-विजुअल कार्य में वीडियो) स्वाभाविक रूप से एक सहायक मोडालिटी की तुलना में कम एंट्रॉपी रख सकती है, भले ही वह दूषित हो।

DASP एक नॉन-पैरामीट्रिक इंटरडायमेंशनल रेडंडेंसी स्कोर ( $R$ ) पेश करता है:

अंतर्दृष्टि (Insight): डिस्ट्रीबशन शिफ्ट के कारण फीचर डायमेंशन्स स्प्यूरियसली सह-संबंधित (रेडंडेंट) हो जाते हैं बजाय स्वतंत्र रहने के।
तंत्र (Mechanism): यह विधि एक बैच के भीतर फीचर एम्बेडिंग्स के नॉर्मलाइज्ड कोवेरिएंस मैट्रिक्स की गणना करती है। रेडंडेंसी स्कोर $R(Z)$ फीचर डायमेंशन्स के बीच स्क्वेयर्ड कोरिलेशन के योग को मापता है।
निदान नियम (Diagnosis Rule): एक मोडालिटी को तब "बायस्ड" (दूषित) माना जाता है यदि उसका रेडंडेंसी स्कोर बैच के सभी मोडालिटीज़ के बीच न्यूनतम रेडंडेंसी स्कोर से काफी अधिक हो। यह सिस्टम को गतिशील रूप से यह पहचानने की अनुमति देता है कि किस मोडालिटी को अनुकूलन (adaptation) की आवश्यकता है।

B. एसिमेट्रिक अडैप्टेशन के माध्यम से शमन (Mitigation via Asymmetric Adaptation)

एक बार बायस्ड मोडालिटी की पहचान हो जाने के बाद, DASP प्रत्येक मोडालिटी के लिए एक डीकप्ल्ड अडैप्टर आर्किटेक्चर का उपयोग करके एक एसिमेट्रिक अडैप्टेशन रणनीति अपनाता है। प्रत्येक अडैप्टर को दो घटकों में विभाजित किया गया है:

प्लास्टिक अडैप्टर ( $\phi_p$ ): जटिल, डोमेन-विशिष्ट जानकारी को कैप्चर करने के लिए डिज़ाइन किया गया हाई-रैंक स्ट्रक्चर।
स्टेबल अडैप्टर ( $\phi_s$ ): डोमेन-इनवेरिएंट, सामान्यीकरण योग्य फीचर्स को सीखने के लिए डिज़ाइन किया गया लो-रैंक स्ट्रक्चर।

एसिमेट्रिक रणनीति:

बायस्ड मोडालिटीज़ के लिए (प्लास्टिसिटी की आवश्यकता):
- नए डोमेन शिफ्ट को कैप्चर करने के लिए प्लास्टिक अडैप्टर को सक्रिय और अपडेट किया जाता है।
- सोर्स नॉलेज को सुरक्षित रखने के लिए स्टेबल अडैप्टर को फ्रीज (frozen) रखा जाता है।
अनबायस्ड मोडालिटीज़ के लिए (स्टेबिलिटी की आवश्यकता):
- प्लास्टिक अडैप्टर को बायपास (निष्क्रिय) कर दिया जाता है।
- सोर्स डिस्ट्रीब्यूशन के करीब रहने और नेगेटिव ट्रांसफर को रोकने के लिए स्टेबल अडैप्टर को KL रेगुलराइजेशन ( $L_{kl}$ ) का उपयोग करके अपडेट किया जाता है।

ऑप्टिमाइजेशन ऑब्जेक्टिव (Optimization Objective):
कुल लॉस (loss) निम्नलिखित का संयोजन है:

एंट्रॉपी मिनिमाइजेशन ( $L_{ent}$ ): टारगेट डोमेन पर आत्मविश्वासी भविष्यवाणियों को प्रोत्साहित करने के लिए।
डाइवर्सिटी रेगुलराइजेशन ( $L_{div}$ ): मॉडल कोलैप्स (एक ही क्लास की भविष्यवाणी करना) को रोकने के लिए।
KL रेगुलराइजेशन ( $L_{kl}$ ): केवल अनबायस्ड मोडालिटीज़ पर लागू किया जाता है ताकि उन्हें सोर्स डोमेन के साथ एंकर किया जा सके।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क: DASP प्रस्तावित करता है, जो मोडलिटी बायस के निदान के आधार पर स्टेबिलिटी और प्लास्टिसिटी को स्पष्ट रूप से अलग करने वाला पहला MM-TTA मेथड है।
रेडंडेंसी मेट्रिक: डिस्ट्रीब्यूशन शिफ्ट का पता लगाने के लिए एक मजबूत, सोर्स-फ्री इंडिकेटर के रूप में इंटरडायमेंशनल रेडंडेंसी स्कोर पेश करता है, जो मल्टी-मोडल सेटिंग्स में एंट्रॉपी-आधारित मेट्रिक्स की सीमाओं को पार करता है।
एसिमेट्रिक आर्किटेक्चर: एक ड्यूल-कंपोनेंट अडैप्टर (स्टेबल/प्लास्टिक) को डिज़ाइन करता है जो मोडालिटी हेल्थ के आधार पर चुनिंदा रूप से पैरामीटर्स को अपडेट करता है, जिससे नेगेटिव ट्रांसफर और कैटास्ट्रोफिक फॉरगेटिंग के ट्रेड-ऑफ को प्रभावी ढंग से हल किया जाता है।
अनुभवजन्य सत्यापन (Empirical Validation): विविध बेंचमार्क पर एपिसोडिक और कॉन्टिनुअल अडैप्टेशन परिदृश्यों में श्रेष्ठ प्रदर्शन प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न ऑडियो और वीडियो करप्शन (जैसे शोर, ब्लर, मौसम) के साथ Kinetics50-C और VGDSound-C बेंचमार्क पर DASP का मूल्यांकन किया।

एपिसोडिक अडैप्टेशन (Episodic Adaptation): DASP ने SOTA विधियों (Tent, EATA, SAR, READ, TSA) को पछाड़ दिया।
- पिछले सर्वश्रेष्ठ की तुलना में Kinetics50-C (वीडियो करप्शन) पर औसतन +1.6% और VGDSound-C (ऑडियो करप्शन) पर +5.0% सटीवता सुधार हासिल किया।
कॉन्टिनुअल अडैप्टेशन (Continual Adaptation): उन परिदृश्यों में जहाँ करप्शन समय के साथ बदलते या बने रहते हैं, DASP ने कैटास्ट्रोफिक फॉरगेटिंग के खिलाफ काफी बेहतर मजबूती दिखाई।
- इंटरलीव्ड करप्शन परिदृश्यों (ऑडियो और वीडियो करप्शन के बीच स्विच करना) में, DASP ने दोनों बेंचमार्क पर क्रमशः SOTA पर 4.4% और 1.5% की बढ़त हासिल की।
एब्लेशन स्टडीज (Ablation Studies):
- स्टेबल अडैप्टर को हटाने से स्वच्छ मोडालिटीज़ पर नेगेटिव ट्रांसफर हुआ।
- प्लास्टिक अडैप्टर को हटाने से दूषित मोडालिटीज़ के प्रति अनुकूलन बाधित हुआ।
- एसिमेट्रिक रणनीति को उलटने (बायस्ड पर स्टेबल अपडेट करना, अनबायस्ड पर प्लास्टिक) से ~6.5% प्रदर्शन गिरावट आई, जो विशिष्ट डिज़ाइन लॉजिक को प्रमाणित करती है।
दक्षता (Efficiency): DASP मौजूदा TTA विधियों के समान या उससे बेहतर उच्च इन्फरेंस स्पीड और कम मेमोरी ओवरहेड बनाए रखता है।

5. महत्व (Significance)

यह कार्य मल्टी-मोडल लर्निंग में स्टेबिलिटी-प्लास्टिसिटी डिलेमा के लिए एक महत्वपूर्ण सैद्धांतिक और व्यावहारिक समाधान प्रदान करता है। यह पहचानकर कि डिस्ट्रीब्यूशन शिफ्ट के दौरान विभिन्न मोडालिटीज़ की ज़रूरतें अलग होती हैं (कुछ को बदलने की आवश्यकता होती है, जबकि अन्य को स्थिर रहने की), DASP "वन-साइज़-फिट्स-ऑल" अडैप्टेशन से आगे बढ़ता है।

एक डायग्नोस्टिक टूल के रूप में इंटरडायमेंशनल रेडंडेंसी का परिचय लेबल की अनुपस्थिति में फीचर रिप्रेजेंटेशन का विश्लेषण करने के लिए एक नया दृष्टिकोण प्रदान करता है। प्रस्तावित एसिमेट्रिक रणनीति ओपन-वर्ल्ड, नॉन-स्टेशनरी वातावरण में काम करने वाले मजबूत मल्टी-मोडल सिस्टम के लिए एक नया मानक स्थापित करती है, जिससे यह सुनिश्चित होता है कि मॉडल अपनी बुनियादी क्षमताओं को खोए बिना नई स्थितियों के अनुकूल हो सकें।