तकनीकी सारांश: डोमेन-इन्क्रीमेंटल ऑब्जेक्ट डिटेक्शन के लिए ऑर्थोगोनल नॉलेज रिफ्रेशिंग (Orthogonal Knowledge Refreshing)

1. समस्या की परिभाषा

यह शोध पत्र डोमेन-इन्क्रीमेंटल ऑब्जेक्ट डिटेक्शन (DIOD) को संबोधित करता है, जो एक चुनौतीपूर्ण परिवेश है जहाँ एक मॉडल को नए और भिन्न डेटा डोमेन (जैसे, बदलते मौसम की स्थिति, कलात्मक शैलियाँ, या दृश्य प्रकार) के प्रति क्रमिक रूप से अनुकूलित होना पड़ता है, जबकि पिछले डोमेन पर अपने प्रदर्शन को बनाए रखना होता है।

DIOD में मुख्य चुनौती कैटास्ट्रॉफिक फॉरगेटिंग (विस्मृति) है, जहाँ नए डोमेन के अनुकूलन से पिछले डोमेन से सीखे गए महत्वपूर्ण फीचर रिप्रेजेंटेशन (विशेषता निरूपण) मिट जाते हैं। मौजूदा समाधानों की महत्वपूर्ण सीमाएँ हैं:

• रिप्ले-आधारित विधियाँ (Replay-based methods): इन्हें ऐतिहासिक उदाहरणों (exemplars) को संग्रहीत करने की आवश्यकता होती है, जो अक्सर गोपनीयता संबंधी बाधाओं और मेमोरी ओवरहेड के कारण वर्जित होता है।
• नॉलेज डिस्टिलेशन (Knowledge distillation): यह पर्याप्त डोमेन शिफ्ट के साथ संघर्ष करता है और अंतर्निहित आर्किटेक्चर की स्थिर क्षमता द्वारा सीमित है।
• आर्किटेक्चर-आधारित विधियाँ (Architecture-based methods): ये प्रत्येक कार्य के लिए सब-नेटवर्क्स का विस्तार करती हैं, जिससे जैसे-जैसे कार्यों की संख्या बढ़ती है, गणनात्मक और मेमोरी लागत अनियंत्रित हो जाती है।
• पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) विधियाँ (जैसे, प्रॉम्प्ट लर्निंग, बायस ट्यूनिंग): ये अक्सर इंटर-डोमेन इंटरफेरेंस (अंतः-डोमेन हस्तक्षेप) से ग्रस्त होती हैं। जब साझा पैरामीटर्स को संयुक्त रूप से अनुकूलित किया जाता है, तो नए डोमेन के अपडेट पिछले डोमेन के लिए आवश्यक फीचर सांख्यिकी को विकृत कर देते हैं, जिससे प्रदर्शन में गिरावट आती है।

2. कार्यप्रणाली: ऑर्थोगोनल नॉलेज रिफ्रेशिंग (OKR)

लेखक ऑर्थोगोनल नॉलेज रिफ्रेशिंग (OKR) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे इन्फरेंस के दौरान डोमेन चयन के बिना संघर्ष-मुक्त क्षमता विस्तार (capacity expansion) सक्षम करने के लिए डिज़ाइन किया गया है। यह विधि एक प्री-ट्रेंड ViTDet बैकबोन पर आधारित है और लो-रैंक एडेप्टेशन (LoRA) का उपयोग करती है।

A. लो-रैंक सबस्पेस एक्सपेंशन (Low-Rank Subspace Expansion)

एक एकल पैरामीटर स्पेस साझा करने या उथले इनपुट एम्बेडिंग्स का उपयोग करने के बजाय, OKR क्रमिक रूप से स्वतंत्र, डोमेन-विशिष्ट सबस्पेस का निर्माण करता है।

• प्रत्येक नए डोमेन $t$ के लिए, फीचर एक्सट्रैक्टर में एक समर्पित LoRA ब्रांच (मैट्रिसेस $A_t$ और $B_t$) इंजेक्ट की जाती है।
• केवल नए LoRA पैरामीटर्स ही ट्रेन करने योग्य होते हैं; पिछले ब्रान्चेस फ्रीज (frozen) रहते हैं।
• लीनियर फ्यूजन (Linear Fusion): LoRA की लीनियर एडिटिविटी (रैखिक योज्यता) का लाभ उठाते हुए, सभी ब्रान्चेस को प्रशिक्षण और इन्फरेंस दोनों के दौरान निर्बाध रूप से फ्यूज किया जाता है ($W_t = W_0 + \sum B_i A_i$)। यह रेडंडेंट फॉरवर्ड पास या डोमेन राउटर की आवश्यकता के बिना समग्र निर्णय लेने की अनुमति देता है।

B. ग्रेडिएंट-आधारित ऑर्थोगोनल रिफ्रेशिंग (Gradient-Based Orthogonal Refreshing - GOR)

नए डोमेन के अपडेट को ऐतिहासिक सबस्पेस के साथ हस्तक्षेप करने से रोकने के लिए, OKR एक ग्रेडिएंट-आधारित रणनीति का उपयोग करता है:

• सबस्पेस एप्रोक्सिमेशन (Subspace Approximation): कार्य $t$ पर प्रशिक्षण शुरू करने से पहले, यह विधि पिछले कार्यों द्वारा स्पैन किए गए ग्रेडिएंट सबस्पेस $\mathcal{M}_t$ का अनुमान लगाती है। यह वर्तमान इनपुट और फ्रीज किए गए ऐतिहासिक वेट्स से प्राप्त एग्रीगेटेड फीचर मैट्रिक्स पर सिंगुलर वैल्यू डिकंपोजिशन (SVD) करके प्राप्त किया जाता है।
• ऑर्थोगogonal प्रोजेक्शन (Orthogonal Projection): नए LoRA पैरामीटर्स के लिए ग्रेडिएंट अपडेट को ऐतिहासिक सबस्पेस के ऑर्थोगोनल कॉम्प्लीमेंट ($\mathcal{M}_t^\perp$) पर प्रोजेक्ट किया जाता है।
• मैकेनिज्म: अपडेट नियम $\nabla_w L_t = \nabla_w L_t - (\nabla_w L_t)\mathcal{M}_t(\mathcal{M}_t)^T$ है। यह सुनिश्चित करता है कि नया लर्निंग उन दिशाओं में हो जो मौजूदा ज्ञान के साथ न्यूनतम सहसंबंध रखती हैं, जिससे मौजूदा फीचर डिस्ट्रीब्यूशन को सुरक्षित रखते हुए नए डोमेन के अनुकूल होना संभव होता है।

C. टोपोलॉजी-अवेयर कंसिस्टेंसी (Topology-Aware Consistency - TAC)

जबकि सबस्पेस एक्सपेंशन पैरामीटर्स को अलग करता है, इसमें सिमेंटिक फ्रैगमेंटेशन (अर्थ संबंधी विखंडन) का जोखिम होता है, जहाँ एक ही क्लास के फीचर्स विभिन्न डोमेन में अलग हो सकते हैं।

• OKR एक बेस डोमेन के साथ नए डोमेन के सिमेंटिक स्ट्रक्चर को संरेखित करके टोपोलॉजी-अवेयर कंसिस्टेंसी लागू करता है।
• क्लास प्रोटोटाइप की गणना फीचर्स के कॉन्फिडेंस-वेटेड एवरेज के रूप में की जाती है।
• एक कंसिस्टेंसी लॉस ($L_{tac}$) नए डोमेन प्रोटोटाइप और उनके संबंधित बेस प्रोटोटाइप के बीच कोसाइन डिस्टेंस को कम करता है, जो मैचिंग कॉन्फिडेंस द्वारा भारित (weighted) होता है। यह इंक्रीमेंटल सीक्वेंस में स्ट्रक्चरल कंसिस्टेंसी और इंट्रा-क्लास कॉम्पैक्टनेस को बनाए रखता है।

3. मुख्य योगदान

1. OKR फ्रेमवर्क: DIOD के लिए एक अभिनव दृष्टिकोण जो लो-रैंक, डोमेन-विशिष्ट सबस्पेस को क्रमिक रूप से विस्तारित करता है, जिससे बिना पिछले डेटा या डोमेन राउटिंग के संघर्ष-मुक्त अनुकूलन सक्षम होता है।
2. ग्रेडिएंट-आधारित ऑर्थोगोनल रिफ्रेशिंग: एक रणनीति जो नए-डोमेन ग्रेडिएंट दिशाओं को ऐतिहासिक सबस्पेस के ऑर्थोगोनल होने के लिए बाध्य करती है, जिससे हस्तक्षेप प्रभावी रूप से कम होता है और कैटास्ट्रॉफिक फॉरगेटिंग को रोका जाता है।
3. टोपोलॉजी-अवेयर कंसिस्टेंसी: डोमेन के बीच क्लास प्रोटोटाइप को संरेखित करके सिमेंटिक फ्रैगमेंटेशन को कम करने के लिए एक तंत्र, जो सिमेंटिक रूप से सुसंगत रिप्रेजेंटेशन सुनिश्चित करता है।
4. स्टेट-ऑफ-द-आर्ट परफॉरमेंस: व्यापक प्रयोग जो मौजूदा एक्सेम्प्लर-फ्री और PEFT-आधारित विधियों की तुलना में महत्वपूर्ण सुधार प्रदर्शित करते हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने तीन बेंचमार्क पर OKR का मूल्यांकन किया: Pascal VOC सीरीज़ (स्टाइल शिफ्ट), BDD100K सीरीज़ (स्वायत्त ड्राइविंग में सीन शिफ्ट), और VOC-Corruption सीरीज़ (लो-लेवल विजुअल करप्शन)।

• Pascal VOC: OKR ने अंतिम सेशन में सर्वश्रेष्ठ एक्सेम्प्लर-फ्री विधि (LDB+SOYO) से +5.6% mAP अधिक प्राप्त किया। इसने सर्वश्रेष्ठ एक्सेम्प्लर-बेस्ड विधि (TP-DIOD-B) को भी +7.6% mAP से पीछे छोड़ दिया, जबकि कोई भी एक्सेम्प्लर उपयोग नहीं किया गया।
• BDD100K: OKR ने सर्वश्रेष्ठ एक्सेम्प्लर-फ्री बेसलाइन (LDB+SOYO) पर +6.5% mAP की बढ़त हासिल की।
• VOC-Corruption: एक चुनौतीपूर्ण 16-डोमेन सीक्वेंस में, OKR ने 61.0% mAP प्राप्त किया, जो LDB से +10.3% बेहतर था और उत्कृष्ट स्टेबिलिटी-प्लास्टिसिटी ट्रेड-ऑफ प्रदर्शित करता है।
• दक्षता (Efficiency): यह विधि कुल पैरामीटर्स में केवल 1.8% की वृद्धि करती है। लीनियर फ्यूजन के कारण, इसे इन्फरेंस के दौरान किसी डोमेन राउटिंग की आवश्यकता नहीं होती है, जिससे LDB (0.2836 s/sample) जैसे बेसलाइन्स की तुलना में तेज़ इन्फरेंस स्पीड (0.1348 s/sample) प्राप्त होती है।

5. महत्व और दावे

शोध पत्र का दावा है कि OKR, डोमेन-इन्क्रीमेंटल ऑब्जेक्ट डिटेक्शन के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

• स्टेबिलिटी-प्लास्टिसिटी डिलेमा का समाधान: अपने लर्निंग को ऑर्थोगोनल सबस्पेस में विभाजित करके, OKR पुराने ज्ञान को खोए बिना नए डोमेन के प्रति तीव्र अनुकूलन प्राप्त करता है।
• व्यावहारिक परिनियोजन (Practical Deployment): यह सख्त एक्सेम्प्लर-फ्री बाधाओं के तहत काम करता है, जो इसे वास्तविक दुनिया के अनुप्रयोगों (जैसे, स्वायत्त ड्राइविंग) के लिए उपयुक्त बनाता है जहाँ ऐतिहासिक डेटा को स्टोर करना असंभव है।
• आर्किटेक्चरल दक्षता: जटिल राउटिंग या मॉडल विस्तार की आवश्यकता वाले तरीकों के विपरीत, OKR LoRA ब्रान्चेस के निर्बाध लीनियर फ्यूजन के माध्यम से एक निश्चित मॉडल आकार और इन्फरेंस लागत बनाए रखता है।
• मजबूती (Robustness): यह फ्रेमवर्क कलात्मक शैली परिवर्तन से लेकर गंभीर मौसम करप्शन तक विविध बदलावों को प्रभावी ढंग से संभालता है, जो पिछले इन्क्रीमेंटल लर्निंग दृष्टिकोणों की विशिष्ट गिरावट (performance degradation) को रोकता है।