🤖 AI

Locality-aware Private Class Identification for Domain Adaptation with Extreme Label Shift

यह शोध पत्र ReOT का प्रस्ताव करता है, जो अत्यधिक लेबल शिफ्ट के तहत डोमेन अनुकूलन (domain adaptation) के लिए एक विश्वसनीय इष्टतम परिवहन-आधारित (optimal transport-based) विधि है, जो निजी वर्गों (private classes) की सटीक पहचान करने और साझा एवं निजी वर्गों के बीच पृथक क्लस्टर संरचनाओं को संरक्षित करते हुए वर्गीकरण जोखिम को कम करके उनके प्रतिकूल प्रभावों को कम करने के लिए एक स्थानीयता-जागरूक स्कोर फ़ंक्शन (locality-aware score function) पेश करता है।

मूल लेखक: Chuan-Xian Ren, Cheng-Jun Guo, Hong Yan

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chuan-Xian Ren, Cheng-Jun Guo, Hong Yan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जिसने सिटी A (सोर्स डोमेन) के छात्रों के निबंधों को ग्रेड करने में कई साल बिताए हैं। आप जानते हैं कि सिटी A में एक "अच्छा निबंध" कैसा दिखता है। अब, आपको सिटी B (टारगेट डोमेन) के निबंधों को ग्रेड करने के लिए कहा गया है।

आमतौर पर, मशीन लर्निंग में, हम यह मान लेते हैं कि सिटी B में भी सिटी A जैसे ही प्रकार के छात्र और निबंध के विषय हैं। लेकिन वास्तविक दुनिया में ऐसा नहीं होता है।

परिदृश्य 1 (OSDA): सिटी B में कुछ छात्र ऐसे विषयों पर लिख रहे हैं जो आपने पहले कभी नहीं देखे हैं (प्राइवेट क्लासेस)।
परिदृश्य 2 (PDA): सिटी B में केवल उन विषयों के एक उपसमुच्चय (subset) पर छात्र लिख रहे हैं जिन्हें आप जानते हैं, लेकिन आपके सिटी A के ट्रेनिंग डेटा में वे अतिरिक्त विषय भी शामिल हैं जो उनके पास नहीं हैं।

समस्या यह है कि आपके पुराने ग्रेडिंग नियम (मॉडल) भ्रमित हो जाते हैं। यह एक नए, अजीब निबंध को सिटी A की किसी पुरानी श्रेणी में जबरदस्ती फिट करने की कोशिश कर सकता है, या यह सिटी A के उन अतिरिक्त विषयों से विचलित हो सकता है जो सिटी B में मौजूद नहीं हैं। इसे एक्सट्रीम लेबल शिफ्ट (Extreme Label Shift) कहा जाता है।

पुराना तरीका: "बड़ा अंतर का अनुमान" (The Big Gap Assumption)

पिछले तरीकों ने इसे हल करने की कोशिश की, यह मानकर कि: "यदि कोई निबंध दिखने में उस सब से बहुत अलग है जो मैं जानता हूँ, तो यह एक नया, अज्ञात विषय होगा।"

उन्होंने सोचा कि एक "ज्ञात विषय" और एक "नए विषय" के बीच का अंतर हमेशा बहुत बड़ा होता है, जैसे बिल्ली और कार के बीच का अंतर। उन्होंने यह माना कि दो "ज्ञात विषयों" (जैसे बिल्ली और कुत्ता) के बीच का अंतर हमेशा छोटा होता है।

खामी: पेपर बताता है कि यह गलत है। कभी-कभी, सिटी A की एक "बिल्ली" सिटी B की "बिल्ली" से बहुत अलग दिख सकती है (शायद एक कार्टून है, और दूसरी फोटो)। लेकिन सिटी A की एक "बिल्ली" सिटी B के एक "कुत्ते" के अधिक समान हो सकती है बजाय इसके कि वह अपनी खुद की सिटी B वाली "बिल्ली" के समान हो। पुराने तरीके भ्रमित हो जाते हैं क्योंकि वे इस "बड़े अंतर" के अनुमान पर निर्भर करते हैं, जो वास्तविक जीवन की अव्यवस्था में अक्सर विफल हो जाता है।

नया समाधान: "पड़ोस की निगरानी" (The Neighborhood Watch - ReOT)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे ReOT (रिलायबल ऑप्टिमल ट्रांसपोर्ट) कहा जाता है। पूरे शहर को एक साथ देखने के बजाय, वे स्थानीय पड़ोस (local neighborhoods) पर ध्यान केंद्रित करते हैं।

यहाँ उपमा (analogy) दी गई है:
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि कौन आपके पड़ोस का है (शेयर्ड क्लासेस) और कौन एक अजनबी है (प्राइवेट क्लासेस)।

पुराना तरीका: आप पूरे शहर के मानचित्र को देखते हैं और कहते हैं, "वह व्यक्ति दूर रहता है, इसलिए वह एक अजनबी है।"
ReOT तरीका: आप तुरंत वाले ब्लॉक को देखते हैं। आप कहते हैं, "भले ही वह व्यक्ति शहर में दूर रहता हो, यदि वह मेरे पड़ोसी के घर के ठीक बगल में खड़ा है और मेरे पड़ोसी जैसा दिखता है, तो वह शायद पड़ोस का ही हिस्सा है। यदि वह कोने पर खड़ा है लेकिन स्थानीय माहौल में फिट नहीं बैठता, तो वह एक अजनबी है।"

यह तकनीकी रूप से कैसे काम करता है (सरल शब्दों में):

लोकल ट्रांसपोर्ट: यह तरीका ऑप्टिमल ट्रांसपोर्ट (Optimal Transport) नामक एक गणितीय उपकरण का उपयोग करता है। इसे एक डिलीवरी सर्विस के रूप में सोचें जो "द्रव्यमान" (डेटा पॉइंट्स) को सिटी A से सिटी B तक ले जाती है।
मास्क (The Mask): यह डिलीवरी प्लान पर एक "मास्क" लगा देता है। यह कहता है, "हम केवल उन लोगों के बीच पैकेज भेजेंगे जो एक ही भाषा बोलते हैं (एक ही क्लास)।"
स्कोर (The Score): यह सिटी B के प्रत्येक छात्र के लिए एक "स्कोर" की गणना करता है।
- यदि सिटी B का कोई छात्र उन सिटी A के छात्रों से घिरा हुआ है जो उसके जैसे दिखते हैं, तो उन्हें कम स्कोर मिलता है (वे संभवतः एक "शेयर्ड" क्लास हैं)।
- यदि सिटी B का कोई छात्र सिटी A के छात्रों से घिरा हुआ है लेकिन उसके जैसा दिखने वाला कोई भी व्यक्ति वहां नहीं है (डिलीवरी ट्रक पास में कोई मैच नहीं ढूंढ पाता), तो उन्हें उच्च स्कोर मिलता है (वे संभवतः एक "प्राइवेट" क्लास हैं)।

यह बेहतर क्यों है?

पेपर गणितीय रूप से सिद्ध करता है कि भले ही पूरा शहर अराजक हो, लेकिन स्थानीय पड़ोस आमतौर पर सुसंगत होता है। इन छोटे पड़ोसों पर ध्यान केंद्रित करके, ReOT पुराने तरीकों की तुलना में "अजनबियों" (प्राइवेट क्लासेस) को बहुत अधिक सटीकता से पहचान सकता है, भले ही अंतर सूक्ष्म हों।

एक बार जब "अजनबियों" की पहचान कर ली जाती है और उन्हें अलग कर दिया जाता है, तो ReOT मॉडल को "स्थानीय लोगों" (शेयर्ड क्लासेस) को पूरी तरह से ग्रेड करना सिखाने पर ध्यान केंद्रित करता है। यह इसे निम्न प्रकार से करता है:

लोकल को संरेखित करना (Aligning the locals): यह सुनिश्चित करना कि सिटी A की "बिल्लियाँ" और सिटी B की "बिल्लियाँ" मॉडल की समझ में समान दिखें।
अजनबियों को अलग करना (Separating the strangers): यह सुनिश्चित करना कि "अजनबियों" को "स्थानीय लोगों" से दूर रखा जाए ताकि वे ग्रेडिंग में भ्रमित न करें।
पुनर्निर्माण (Reconstructing): यह अपने काम की जाँच करने के लिए सिटी B के छात्रों का उपयोग करके मूल सिटी A के निबंधों को फिर से बनाने की कोशिश करता है, जिससे यह सुनिश्चित होता है कि कुछ भी महत्वपूर्ण खोया नहीं है।

परिणाम

लेखकों ने कई मानक "परीक्षा डेटासेट्स" (Image-CLEF, Office-31, Office-Home, VisDA-2017) पर इसका परीक्षण किया।

"ओपन सेट" टेस्ट में (नए विषयों को खोजने में): ReOT पुराने विषयों को खराब किए बिना नए विषयों को पहचानने में बेहतर था।
"पार्शियल" टेस्ट में (अतिरिक्त विषयों को अनदेखा करने में): ReOT ट्रेनिंग डेटा में मौजूद उन अतिरिक्त विषयों को अनदेखा करने में बेहतर था जो टेस्ट डेटा में मौजूद नहीं थे।

मुख्य बात (The Bottom Line):
पेपर का दावा है कि पूरे चित्र के बजाय स्थानीय पड़ोस पर ध्यान केंद्रित करके, और अज्ञात को पहचानने के लिए एक स्मार्ट "डिलीवरी स्कोर" का उपयोग करके, उनकी विधि (ReOT) इन जटिल, वास्तविक दुनिया के डेटा बदलावों को संभालने में पिछले प्रयासों की तुलना में अधिक विश्वसनीय और सटीक है। यह केवल अनुमान नहीं लगाता; यह एक गणितीय गारंटी का उपयोग करता है कि यह क्यों काम करता है।

तकनीकी सारांश: चरम लेबल शिफ्ट के साथ डोमेन अनुकूलन के लिए लोकैलिटी-अवेयर प्राइवेट क्लास आइडेंटिफिकेशन

समस्या विवरण
अनसुपरवाइज्ड डोमेन एडाप्टेशन (UDA) आमतौर पर एक क्लोज्ड-सेट परिदृश्य की धारणा पर आधारित होता है जहाँ स्रोत (source) और लक्ष्य (target) डोमेन समान लेबल स्पेस साझा करते हैं। हालाँकि, वास्तविक दुनिया के अनुप्रयोगों में अक्सर "चरम लेबल शिफ्ट" (extreme label shift) देखने को मिलता है, जहाँ लेबल स्पेस विषम होते हैं। यह दो प्राथमिक परिदृश्यों में प्रकट होता है: ओपन सेट डोमेन एडाप्टेशन (OSDA), जहाँ लक्ष्य डोमेन में निजी वर्ग (private classes) होते हैं जो स्रोत में अनुपस्थित होते हैं, और पार्शियल डोमेन एडाप्टेशन (PDA), जहाँ स्रोत डोमेन में निजी वर्ग होते हैं जो लक्ष्य में अनुपस्थित होते हैं।

मुख्य चुनौती "निजी वर्ग पहचान" (private class identification) है। मौजूदा विधियाँ आम तौर पर इस धारणा पर निर्भर करती हैं कि निजी वर्गों का सिमेंटिक शिफ्ट, साझा वर्गों के डोमेन शिफ्ट की तुलना में लगातार बड़ा होता है, जिससे निजी नमूनों को आउटलेयर्स (outliers) के रूप में माना जाता है। लेखक तर्क देते हैं कि व्यवहार में इस धारणा का उल्लंघन अक्सर होता है, क्योंकि एक एकल साझा वर्ग के भीतर का विचरण (variance), एक निजी वर्ग और दूसरे साझा वर्ग के बीच के अंतर से अधिक हो सकता है। फलस्वरूप, मौजूदा विधियाँ विश्वसनीय रूप से निजी नमूनों को पहचानने में विफल रहती हैं, जिससे नेगेटिव ट्रांसफर और मिसअलाइनमेंट होता है।

कार्यप्रणाली (Methodology)
यह शोध पत्र एक नवीन ढांचे पर केंद्रित है जो लोकैलिटी-अवेयर प्राइवेट क्लास आइडेंटिफिकेशन और एक विश्वसनीय ट्रांसफर मॉडल जिसका नाम ReOT (Reliable OT-based method) है, पर आधारित है।

मास्क्ड ऑप्टिमल ट्रांसपोर्ट (MOT) के माध्यम से लोकैलिटी-अवेयर आइडेंटिफिकेशन:
- लेखक देखते हैं कि जबकि वैश्विक बदलाव (global shifts) संदिग्ध हो सकते हैं, एक स्थानीय स्थानिक संरचना (local spatial structure) बनी रहती है: एक साझा वर्ग क्लस्टर के स्थानीय पड़ोस के भीतर, साझा नमूनों के बीच की दूरी, साझा और निजी नमूनों के बीच की दूरी से लगातार कम होती है।
- वे इस स्थानीय संरचना को चरित्रित करने के लिए मास्क्ड ऑप्टिमल ट्रांसपोर्ट (MOT) का उपयोग करते हैं। कॉस्ट मैट्रिक्स पर एक मास्क मैट्रिक्स लागू किया जाता है ताकि केवल समान अनुमानित लेबल वाले नमूनों के बीच ही ट्रांसपोर्ट सुनिश्चित किया जा सके।
- एक ट्रांसपोर्ट मास-आधारित स्कोर फंक्शन व्युत्पन्न किया गया है। MOT के सैद्धांतिक गुणों के आधार पर, एक साझा वर्ग स्रोत से एक निजी वर्ग नमूने तक पहुँचा गया कुल द्रव्यमान (mass), एक साझा वर्ग नमूने तक पहुँचाए गए द्रव्यमान की तुलना में काफी कम होता है।
- एक स्कोर $s(z')$ को $1/m - \sum \Gamma^*_{ij}$ के रूप में परिभाषित किया गया है। जिन नमूनों के लिए $s(z') > 0$ (या एक मार्जिन से अधिक) है, उन्हें निजी के रूप में पहचाना जाता है, जबकि $s(z') < 0$ वाले नमूनों को साझा के रूप में पहचाना जाता है। यह दृष्टिकोण स्थानीय स्थानिक धारणाओं के तहत वैश्विक आउटलेयर धारणाओं पर निर्भर किए बिना, साझा और निजी नमूनों को अलग करने की सैद्धांतिक गारंटी देता है।
ReOT ढांचा:
- विश्वसनीय ट्रांसफर लॉस ( $L_{rt}$ ): एक बार निजी और साझा नमूनों की पहचान हो जाने के बाद, ReOT पहचाने गए साझा सेटों के भीतर ही क्रॉस-डोमेन इंट्रा-क्लास दूरियों को कम करता है और साझा वर्गों के बीच की दूरी को अधिकतम करता है। यह MOT के ट्रांसपोर्ट प्लान का उपयोग करके पहचाने गए साझा सेटों के भीतर ही कंडीशनल डिस्ट्रीब्यूशन को अलाइन करने से प्राप्त होता है।
- रिस्क मिनिमाइजेशन ( $L_{cls}$ ): मॉडल स्रोत डोमेन और लक्ष्य (या PDA के लिए स्रोत) में पहचाने गए निजी नमूनों दोनों पर एम्पिरिकल क्लासिफिकेशन रिस्क को कम करता है।
- बेरीसेंटर रिकंस्ट्रक्शन लॉस ( $L_{br}$ ): प्रतिनिधित्व को और अधिक परिष्कृत करने के लिए, मॉडल ट्रांसपोर्ट प्लान (बेरीसेंटर मैप) का उपयोग करके लक्ष्य प्रतिनिधित्व को वापस स्रोत डोमेन में मैप करता है और रिकंस्ट्रक्शन लॉस को कम करता है। यह सॉफ्ट सुपरविजन प्रदान करता है, जो लक्ष्य नमूनों को उनके संबंधित क्लास प्रोटोटाइप की ओर धकेलता है।
- अंतिम उद्देश्य इन लॉसों को जोड़ता है: $L = L_{cls} + \eta_1 L_{rt} + \eta_2 L_{br}$ ।
सैद्धांतिक विश्लेषण:
- शोध पत्र चरम लेबल शिफ्ट परिदृश्यों में टार्गेट रिस्क के लिए एक जनरलाइजेशन अपर बाउंड (generalization upper bound) प्रदान करता है। यह बाउंड एरर को सोर्स रिस्क, मैक्सिमल प्रेडिक्शन एरर, लेबल डिस्ट्रीब्यूशन डिस्क्रेपेंसी और साझा कंडीशनल गैप से संबंधित पदों में विभाजित करता है।
- लेखक सिद्ध करते हैं कि ReOT इस अपर बाउंड को कम करता है, जो सोर्स रिस्क को कम करके, कंडीशनल डिस्ट्रीब्यूशन को अलाइन करके (साझा कंडीशनल गैप को कम करके), और उन विशिष्ट नमूनों पर एरर को कम करने के लिए निजी वर्गों को प्रभावी ढंग से पहचानकर किया जाता है।

प्रमुख योगदान

लोकैलिटी-अवेयर आइडेंटिफिकेशन: MOT ट्रांसपोर्ट मास से व्युत्पन्न स्कोर फंक्शन का उपयोग करके निजी वर्गों की पहचान करने की एक नई विधि। यह वैश्विक आउटलेयर धारणा के बजाय स्थानीय स्थानिक संरचना का लाभ उठाकर इसे सरल बनाता है।
सैद्धांतिक गारंटी: एक स्कोर फंक्शन की क्षमता का सैद्धांतिक प्रमाण जो साझा और निजी नमूनों के बीच अंतर करता है, और एक जनरलाइजेशन एरर बाउंड जो ReOT द्वारा कम किया जाता है।
एक एकीकृत ढांचा (ReOT): एक एकल एल्गोरिदम जो मास्क परिभाषाओं और ट्रांसपोर्ट दिशा को डायनामिक रूप से एडजस्ट करके दोनों OSDA और PDA सेटिंग्स को संभालने में सक्षम है।
अनुभवजन्य सत्यापन (Empirical Validation): चार बेंचमार्क डेटासेट्स (Image-CLEF, Office-31, Office-Home, VisDA-2017) पर व्यापक प्रयोग जो OSDA और PDA दोनों सेटिंग्स में SOTA (स्टेट-ऑफ-द-आर्ट) विधियों पर श्रेष्ठ प्रदर्शन प्रदर्शित करते हैं।

प्रायोगिक परिणाम

OSDA प्रदर्शन: Image-CLEF, Office-31, और Office-Home पर, ReOT ने अधिकांश कार्यों में उच्चतम हार्मोनिक मीन ( $H$ ) सटीकता प्राप्त की, जो ANNA और MRJT जैसी SOTA विधियों से बेहतर है। उदाहरण के लिए, Image-CLEF पर, ReOT ने 84.4% का औसत $H$ प्राप्त किया, जो ANNA से 1.5% अधिक है।
PDA प्रदर्शन: ReOT ने Office-Home और VisDA-2017 पर मजबूत प्रदर्शन दिखाया, सर्वश्रेष्ठ मीन एक्यूरेसी (Office-Home पर 78.7%) प्राप्त की और चुनौतीपूर्ण VisDA-2017 डेटासेट पर उच्च प्रदर्शन बनाए रखा जहाँ अन्य विधियाँ काफी खराब प्रदर्शन करती हैं।
एब्लेशन स्टडीज (Ablation Studies): ट्रांसफर लॉस ( $L_{rt}$ ) या रिकंस्ट्रक्शन लॉस ( $L_{br}$ ) को हटाने से प्रदर्शन में गिरावट आई, जो क्लास-कंडीशनल अलाइनमेंट और बेरीसेंटर रिकंस्ट्रक्शन दोनों की आवश्यकता की पुष्टि करता है।
पहचान दक्षता (Identification Efficiency): निजी क्लास आइडेंटिफिकेशन विधि ने OSDA में लगभग 88.2% और PDA में 95.6% निजी नमूनों को सफलतापूर्वक पहचाना।
मजबूती (Robustness): विधि विभिन्न हाइपर-पैरामीटर सेटिंग्स और कॉस्ट फंक्शन विकल्पों (स्क्वेर्ड यूक्लिडियन बनाम डिस्क्रिमिनेटर-आधारित) के बीच स्थिर रही।

महत्व और दावे
शोध पत्र का दावा है कि ReOT वैश्विक आउटलेयर डिटेक्शन से ध्यान हटाकर लोकल स्पेशियल स्ट्रक्चर कैरेक्टराइजेशन पर ध्यान केंद्रित करके मौजूदा निजी क्लास आइडेंटिफिकेशन विधियों की मौलिक सीमा को संबोधित करता है। मास्क ऑप्टिमल ट्रांसपोर्ट के गुणों में पहचान प्रक्रिया को सैद्धांतिक रूप से स्थापित करके, यह विधि यह सुनिश्चित करती है कि निजी वर्ग स्पष्ट आउटलेयर न होने पर भी विश्वसनीय रहे।

लेखक का कहना है कि ReOT दोनों OSDA और PDA के लिए एक एकीकृत समाधान प्रदान करता है, जो इन दोनों सममित (symmetric) लेकिन अक्सर अलग-अलग माने जाने वाले परिदृश्यों के बीच के अंतर को पाटता है। सैद्धांतिक रूप से, प्रस्तावित जनरलाइजेशन बाउंड विषम लेबल स्पेस में एरर को डीकंपोज करने के लिए एक नया दृष्टिकोण प्रदान करता है, जो दिखाता है कि बाउंड को कम करने के लिए सटीक निजी क्लास पहचान और कंडीशनल डिस्ट्रीब्यूशन अलाइनमेंट दोनों की आवश्यकता होती है। अनुभवजन्य रूप से, परिणाम पुष्टि करते हैं कि ReOT निजी नमूनों को पहचानने और साझा वर्गों के प्रदर्शन को बनाए रखने के बीच एक बेहतर संतुलन प्राप्त करता है, जिससे चरम लेबल शिफ्ट वाले वास्तविक दुनिया के परिदृश्यों में अधिक मजबूत डोमेन एडाप्टेशन मिलता है।

शोध पत्र विनम्रतापूर्वक निष्कर्ष निकालता है कि जबकि ReOT सिंगल-सोर्स/सिंगल-टार्गेट परिदृश्यों के लिए प्रभावी है, भविष्य के कार्य इस ढांचे को मल्टी-सोर्स, मल्टी-टार्गेट और सोर्स-फ्री सेटिंग्स तक विस्तारित कर सकते हैं।

पुराना तरीका: "बड़ा अंतर का अनुमान" (The Big Gap Assumption)

नया समाधान: "पड़ोस की निगरानी" (The Neighborhood Watch - ReOT)

यह बेहतर क्यों है?

परिणाम

इसी तरह के और पेपर