📊 statistics

Unsupervised Domain Adaptation for Binary Classification with an Unobservable Source Subpopulation

यह शोध पत्र बाइनरी क्लासिफिकेशन में अनसुपरवाइज्ड डोमेन एडाप्टेशन को संबोधित करता है जहाँ एक सोर्स सबपॉपुलेशन अदृश्य है, और एक वितरण मिलान (डिस्ट्रीब्यूशन मैचिंग) विधि प्रस्तावित करता है जिसमें टारगेट डोमेन भविष्यवाणियों को पुनः प्राप्त करने और इस लुप्त डेटा को अनदेखा करने वाले नैविव बेंचमार्क से बेहतर प्रदर्शन करने के लिए सैद्धांतिक गारंटी दी गई है।

मूल लेखक: Chao Ying, Jun Jin, Haotian Zhang, Qinglong Tian, Yanyuan Ma, Sharon Li, Jiwei Zhao

प्रकाशित 2026-04-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chao Ying, Jun Jin, Haotian Zhang, Qinglong Tian, Yanyuan Ma, Sharon Li, Jiwei Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक नए प्रशिक्षु (apprentice) को एक विशिष्ट व्यंजन बनाना सिखाने की कोशिश कर रहे हैं। आपके पास एक विशाल कुकबुक (Source Domain) है जो रेसिपी और तस्वीरों से भरी हुई है। हालाँकि, एक पेच है: इस किताब के संकलन में एक अजीब सी खामी है, जिसके कारण एक विशिष्ट प्रकार की सामग्री (ingredient) तस्वीरों में पूरी तरह से गायब है।

उदाहरण के लिए, मान लीजिए कि आप प्रशिक्षु को पृष्ठभूमि (Label $A$ ) के आधार पर पक्षियों (Label $Y$ ) को पहचानना सिखा रहे हैं।

गायब समूह (The Missing Group): आपकी कुकबुक में "जमीन पर रहने वाले पक्षी और जमीन", "पानी के पक्षी और जमीन", और "पानी के पक्षी और पानी" के चित्र हैं। लेकिन, किसी कारणवश, "पानी के पक्षी और पानी" के शून्य फोटो मौजूद हैं।
लक्ष्य (The Goal): आप चाहते हैं कि आपका प्रशिक्षु एक नए, वास्तविक वातावरण (Target Domain) में पक्षियों को पहचानने में सक्षम हो, जहाँ सभी प्रकार के पक्षी और पृष्ठभूमि मौजूद हैं, जिसमें वे गायब "पानी के पक्षी और पानी" भी शामिल हैं।

यदि आप केवल अंधे होकर प्रशिक्षु से कहेंगे, "मेरे पास जो तस्वीरें हैं उन्हें देखो और अनुमान लगाओ," तो वह बुरी तरह विफल हो जाएगा। वह सोच सकता है, "ओह, सभी पानी के पक्षी जमीन पर ही होते हैं," या वह वास्तविक दुनिया में एक पानी के पक्षी को पानी पर देखकर भ्रमित हो सकता है। यही Unsupervised Domain Adaptation with Structured Missingness की समस्या है।

यह शोध पत्र इस समस्या को सरल अवधारणाओं में तोड़कर कैसे हल करता है, यहाँ दिया गया है:

1. समस्या: "अदृश्य" समूह

वास्तविक दुनिया की कई स्थितियों में, डेटा यादृच्छिक रूप से (randomly) गायब नहीं होता है। यह इसलिए गायब होता है क्योंकि दुनिया जिस तरह से काम करती है, उसके कारण होता है।

वास्तविक दुनिया का उदाहरण: एक अस्पताल के डेटाबेस में, आपके पास "बीमारी X वाले पुरुष" और "बीमारी X के बिना वाली महिलाएं" का डेटा हो सकता है, लेकिन शायद "बीमारी X के बिना वाले पुरुष" कभी रिकॉर्ड नहीं किए गए क्योंकि यह एक पुराना नियम था।
जोखिम: यदि आप इस अधूरे डेटा पर एक AI को प्रशिक्षित करते हैं और उसे एक नए अस्पताल में भेजते हैं जहाँ सभी समूह मौजूद हैं, तो AI इस गायब समूह के लिए पक्षपाती और गलत भविष्यवाणियाँ करेगा। यह एक ऐसे शहर में नेविगेट करने की कोशिश करने जैसा है जिसके नक्शे से एक पूरा मोहल्ला मिटा दिया गया हो।

2. गुप्त नुस्खा (The Secret Sauce): "सशर्त अपरिवर्तनीयता" (Conditional Invariance) का नियम

लेखक इस अंतर को पाटने के लिए एक चतुर धारणा बनाते हैं। वे कहते हैं:

"भले ही नई दुनिया में पक्षियों का मिश्रण अलग हो, लेकिन एक पक्षी के दिखने का तरीका समान रहता है।"

तकनीकी शब्दों में, वे यह मानते हैं कि यदि आप एक "पानी के पक्षी और पानी" को देखते हैं, तो उसके दृश्य लक्षण (पंख, चोंच का आकार) वही दिखते हैं चाहे वह पुरानी कुकबुक में हो या नई वास्तविक दुनिया में। केवल कितने पक्षी हैं, इसमें बदलाव आता है।

यह कहने जैसा है: "एक फेरारी वैसी ही दिखती है जैसे एक फेरारी, चाहे वह शोरूम में हो या रेस ट्रैक पर। एकमात्र अंतर यह है कि शोरूम में 100 फेरारी हैं और रेस ट्रैक पर 1 है, या इसके विपरीत।"

3. समाधान: "वितरण मिलान" (Distribution Matching) जासूस

चूंकि "पानी के पक्षी और पानी" सोर्स डेटा में अदृश्य हैं, तो हम यह कैसे पता लगाएं कि AI को उनके साथ कैसे व्यवहार करना चाहिए?

लेखक Distribution Matching नामक एक विधि प्रस्तावित करते हैं। यहाँ इसका सादृश्य (analogy) दिया गया है:

कल्पना कीजिए कि आपके पास एक स्मूदी (Target Domain) है जिसमें चार फल हैं: सेब, केला, चेरी और खजूर।

आपके पास एक सोर्स स्मूदी (Source Smoothie) है जिसमें केवल सेब, केला और चेरी हैं। खजूर गायब है।
आप सोर्स से सेब, केले और चेरी का स्वाद पूरी तरह से जानते हैं।
आप टारगेट स्मूदी के नुस्खे (अनुपात) को जानना चाहते हैं ताकि आप अनुमान लगा सकें कि इसका स्वाद कैसा होगा।

लेखक की विधि इस प्रकार काम करती है:

"केले" (दृश्य समूह) को देखें: टारगेट में, आप केले देख सकते हैं। आप जानते हैं कि "केला" कैसा स्वाद देता है, जैसा कि सोर्स से पता चलता है।
गणित करें: टारगेट और सोर्स के बीच "केले" के वितरण की तुलना करके, आप गणितीय रूप से यह पता लगा सकते हैं कि कुल स्वाद के संतुलन को बनाए रखने के लिए मिश्रण में कितना "खजूर" (गायब फल) छिपा हुआ होना चाहिए।
KL-Divergence: यह केवल एक फैंसी गणितीय उपकरण है (एक "स्वाद दूरी मीटर" की तरह) जो उन्हें उस गायब समूह के सटीक अनुपात को खोजने में मदद करता है जो सोर्स के नियमों के अनुरूप टारगेट के स्वाद को सुसंगत बनाता है।

4. परिणाम: एक बेहतर मानचित्र

एक बार जब वे गायब समूह के अनुपात को समझ लेते हैं, तो वे नई दुनिया के लिए "नुस्खा" फिर से लिख सकते हैं।

नाइव दृष्टिकोण (पुराना तरीका): "गायब समूह को अनदेखा करें, जो दिखता है उसके आधार पर अनुमान लगाएं।" -> परिणाम: AI सोचेगा कि सभी पानी के पक्षी जमीन के पक्षी हैं।
इस शोध पत्र का दृष्टिकोण: "दृश्य समूहों का उपयोग करके अदृश्य समूह का गणितीय पुनर्निर्माण करें।" -> परिणाम: AI पानी के पक्षियों को पानी पर सही ढंग से पहचान लेगा, भले ही प्रशिक्षण के दौरान उसने उनका एक भी फोटो न देखा हो।

यह क्यों महत्वपूर्ण है

यह केवल पक्षियों के बारे में नहीं है। यह AI के बारे में निष्पक्षता और सुरक्षा है।

स्वास्थ्य सेवा (Healthcare): यदि दवा परीक्षण में केवल युवा पुरुषों को शामिल किया गया था, तो उस डेटा पर प्रशिक्षित AI बुजुर्ग महिलाओं के लिए दुष्प्रभावों की भविष्यवाणी करने में विफल हो सकता है। यह विधि AI को उन गायब समूहों के लिए "खाली जगहों को भरने" में मदद करती है।
स्व-चालित कारें (Self-Driving Cars): यदि प्रशिक्षण डेटा में भारी बर्फबारी में कारों की छवियों की कमी है, तो कार बर्फ देखते ही दुर्घटनाग्रस्त हो सकती है। यह विधि कार को "गायब" परिदृश्य को समझने में मदद करती है, मौजूदा परिदृश्यों से सीखकर।

सारांश

यह शोध पत्र इस बात पर एक मार्गदर्शिका है कि AI को यह सिखाने के बारे में कि वह क्या नहीं जानता है। डेटा का एक हिस्सा गायब होने पर हार मानने के बजाय, यह मौजूद डेटा का उपयोग करके गायब हिस्से का गणितीय पुनर्निर्माण करता है, जिससे यह सुनिश्चित होता है कि AI वास्तविक दुनिया में सुरक्षित और सटीक रूप से काम करे। यह एक "अंध बिंदु" (blind spot) को एक "गणना किए गए अनुमान" में बदल देता है जो वास्तव में काफी सटीक है।

यहाँ शोध पत्र "Unsupervised Domain Adaptation for Binary Classification with an Unobservable Source Subpopulation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र अनसुपरवाइज्ड डोमेन अडैप्टेशन (UDA) के एक विशिष्ट और चुनौतीपूर्ण संस्करण को संबोधित करता है।

मानक सेटिंग (Standard Setting): सामान्यतः, UDA यह मानता है कि एक लेबल वाला सोर्स डोमेन (source domain) और एक अनलेबल टारगेट डोमेन (target domain) है जिसमें वितरण परिवर्तन (distribution shifts) मौजूद हैं।
नया चुनौतीपूर्ण पहलू (The Novel Challenge): लेखक एक ऐसी स्थिति पर विचार करते हैं जहाँ सोर्स डोमेन में संरचित अनुपलब्धता (structured missingness) होती है। विशेष रूप से, डेटा को एक बाइनरी लेबल $Y$ और एक बाइनरी बैकग्राउंड/एनवायरनमेंट वेरिएबल $A$ द्वारा परिभाषित किया गया है। सोर्स डोमेन में, एक विशिष्ट सबपॉपुलेशन (subpopulation) जो $(Y=1, A=1)$ के संयोजन से परिभाषित है, पूरी तरह से अदृश्य (unobservable) है (इसकी प्रायिकता शून्य है), जबकि अन्य तीन सबपॉपुलेशन $(0,0), (0,1), (1,0)$ मौजूद हैं।
टारगेट डोमेन (Target Domain): टारगेट डोमेन में चारों सबपॉपुलेशन मौजूद हैं, लेकिन लेबल $Y$ अदृश्य हैं।
वास्तविक दुनिया की प्रेरणा (Real-world Motivation): यह परिदृश्य Waterbirds (जहाँ पानी के बैकग्राउंड पर जलपक्षी दुर्लभ/अनुपस्थित हैं) या स्वास्थ्य सेवा (जहाँ विशिष्ट रोग-जनसांख्यिकीय संयोजन समावेश मानदंडों के कारण गायब हो सकते हैं) जैसे डेटासेट में उत्पन्न होता है। मानक UDA विधियों को अंधाधुंध रूप से लागू करने से पक्षपाती अनुमान और अनऑब्जर्व्ड सबपॉपुलेशन पर खराब प्रदर्शन होता है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित ढांचा टारगेट प्रेडिक्शन प्रोबेबिलिटीज को रिकवर करने के लिए स्ट्रक्चर्ड कंडीशनल इनवेरिएंस (Structured Conditional Invariance) और डिस्ट्रीब्यूशन मैचिंग (Distribution Matching) पर निर्भर करता है।

2.1 मुख्य धारणाएँ (Core Assumptions)

स्ट्रक्चर्ड कंडीशनल इनवेरिएंस (Structured Conditional Invariance): लेबल और बैकग्राउंड के सापेक्ष फीचर्स $X$ का कंडीशनल डिस्ट्रीब्यूशन डोमेनों के बीच अपरिवर्तित रहता है:
$p(X | Y, A, R=1) = p(X | Y, A, R=0) = p(X | Y, A)$
यह स्टैंडर्ड लेबल शिफ्ट की तुलना में एक अधिक मजबूत धारणा है, क्योंकि यह $Y$ और $A$ दोनों पर आधारित है।
स्ट्रक्चर्ड मिसिंगनेस (Structured Missingness): सोर्स में, $pr(Y=1, A=1 | R=1) = 0$ है।

2.2 सैद्धांतिक व्युत्पत्ति (Theoretical Derivation)

लेखक टारगेट प्रेडिक्टिव प्रोबेबिलिटीज के लिए क्लोज्ड-फॉर्म एक्सप्रेशन निकालते हैं:

$\eta_1(x) = pr(Y=1 | X=x, A=1, R=0)$
$\eta_0(x) = pr(Y=1 | X=x, A=0, R=0)$
$\eta(x) = \eta_1(x)\tau_0(x) + \eta_0(x)(1-\tau_0(x))$ (कुल प्रायिकता)

महत्वपूर्ण रूप से, वे दिखाते हैं कि $\eta_1(x)$ (लुप्त सोर्स ग्रुप की प्रायिकता) को सोर्स और टारगेट से प्राप्त अवलोकन योग्य मात्राओं (observable quantities) का उपयोग करके रिकवर किया जा सकता है, विशेष रूप से टारगेट डोमेन में सबपॉपुलेशन अनुपातों ( $\beta$ ) का अनुमान लगाकर।

2.3 डिस्ट्रीब्यूशन मैचिंग के माध्यम से अनुमान (Estimation via Distribution Matching)

चूंकि टारगेट अनुपात अज्ञात हैं, इसलिए लेखक पैरामीटर वेक्टर $\beta = (\beta_{10}, \beta_{00})^T$ (टारगेट में $Y=1$ और $Y=0$ के अनुपात) का अनुमान लगाने के लिए एक डिस्ट्रीब्यूशन मैचिंग विधि प्रस्तावित करते हैं।

उद्देश्य (Objective): टारगेट सबग्रुप ( $R=0, A=0$ ) में देखे गए फीचर डिस्ट्रीब्यूशन और सोर्स सबग्रुप डिस्ट्रीबशंस ( $R=1, Y=1, A=0$ और $R=1, Y=0, A=0$ ) के मिश्रण के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस को कम करना।
ऑप्टिमाइजेशन (Optimization): समस्या को सोर्स क्लासिफायर $\xi_0(x)$ और टारगेट मिक्सचर प्रोपोरशन्स के शामिल लॉग-लाइक्लीहुड ऑब्जेक्टिव को मैक्सिमाइज करने के रूप में पुनर्गठित किया गया है, जिससे हाई-डायमेंशनल फीचर डेंसिटी को सीधे मॉडल करने की आवश्यकता नहीं रहती।
एल्गोरिदम (Algorithm):
1. उपलब्ध सोर्स सबग्रुप्स पर क्लासिफायर्स को ट्रेन करें ताकि $\xi(x)$ और $\xi_0(x)$ प्राप्त हो सके।
2. उपलब्ध डेटा का उपयोग करके कंडीशनल प्रोबेबिलिटीज $\tau(x)$ और $\kappa(x)$ का अनुमान लगाएं।
3. टारगेट प्रोपोरशन्स $\hat{\beta}$ का अनुमान लगाने के लिए डिस्ट्रीब्यूशन मैचिंग समस्या को हल करें।
4. $\hat{\eta}(x)$ प्राप्त करने के लिए क्लोज्ड-फॉर्म समीकरणों में $\hat{\beta}$ को प्लग करें।

3. मुख्य योगदान (Key Contributions)

नई समस्या का निर्धारण (New Problem Formulation): यह शोध पत्र एक पूरी तरह से अदृश्य सोर्स सबपॉपुलेशन वाले UDA सेटिंग को औपचारिक रूप से परिभाषित और विश्लेषित करता है, एक ऐसा परिदृश्य जिसे मौजूदा विधियों द्वारा अक्सर अनदेखा किया जाता है।
सैद्धांतिक ढांचा (Theoretical Framework): वे कठोर व्युत्पत्ति प्रदान करते हैं जो दर्शाती है कि यदि कंडीशनल इनवेरिएंस धारणा बनी रहती है, तो सटीक टारगेट प्रेडिक्शन संभव है।
आइडेंटिफिएबिलिटी विश्लेषण (Identifiability Analysis): लेखक स्थापित करते हैं कि मॉडल पैरामीटर्स किन स्थितियों में आइडेंटिफिएबल हैं, जो इस समस्या को पॉजिटिव-अनलेबल (PU) लर्निंग और ओपन सेट लेबल शिफ्ट (OSLS) से जोड़ता है।
सांख्यिकीय गारंटी (Statistical Guarantees):
- कंसिस्टेंसी (Consistency): सबपॉपुलेशन प्रोपोरशन्स के लिए एस्टीमेटर को सांख्यिकीय रूप से कंसिस्टेंट दिखाया गया है।
- एरर बाउंड्स (Error Bounds): वे पैरामीटर एस्टीमेशन एरर और परिणामी क्लासिफायर के जनरलाइजेशन एरर (प्रेडिक्शन रिस्क) पर ऊपरी सीमाएं (upper bounds) निकालते हैं, जो यह दर्शाती हैं कि त्रुटि प्रोपोरशन एस्टीमेटर की कन्वर्जेंस रेट पर निर्भर करती है।
व्यावहारिक एल्गोरिदम (Practical Algorithm): एक डिस्ट्रीब्यूशन मैचिंग एल्गोरिदम (एल्गोरिदम 1) प्रस्तावित किया गया है जो जटिल डेंसिटी एस्टीमेशन से बचता है, जिससे यह स्केलेबल बनता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन सिंथेटिक डेटा और वास्तविक दुनिया के डेटासेट (Waterbirds और CelebA) पर किया गया।

सिंथेटिक डेटा (Synthetic Data): प्रस्तावित विधि ( $\hat{\eta}$ $\overset{η}{^}$ ) ने दो नेटिव बेसलाइन्स को लगातार पछाड़ दिया:
- Naive1: ब्लाइंडली सोर्स प्रोबेबिलिटीज को लागू करना (मिसिंगनेस को अनदेखा करना)।
- Naive2: मिसिंग सबग्रुप को ध्यान में रखे बिना स्टैंडर्ड लेबल शिफ्ट को मानना।
  प्रस्तावित विधि ने बेहतर Accuracy और F1 स्कोर दिखाया, विशेष रूप से जैसे-जैसे सैंपल साइज बढ़ा।
वास्तविक दुनिया का डेटा (Waterbirds):
- डेटासेट को इस तरह विभाजित किया गया कि सोर्स में $(Y=1, A=1)$ ग्रुप को बाहर कर दिया गया।
- प्रस्तावित विधि ने एक्यूरेसी और F1 स्कोर में बेसलाइन्स से काफी बेहतर प्रदर्शन किया।
- फीचर एक्सट्रैक्शन (Feature Extraction): ResNet-18 की तुलना में ViT-16 फीचर्स ने बेहतर परिणाम दिए, विशेष रूप से नेटिव बेसलाइन्स के लिए जो स्प्यूरियस कोरिलेशन (spurious correlations) से अधिक प्रभावित थे।
- मजबूती (Robustness): विधि प्रभावी रही, हालांकि प्रदर्शन तब कम हुआ जब सोर्स में "ब्रिज" सबग्रुप (जैसे, $Y=0, A=1$ ) का अनुपात बहुत कम हो गया।

5. महत्व और प्रभाव (Significance and Impact)

डेटा बायस को संबोधित करना (Addressing Data Bias): यह कार्य उन परिदृश्यों के लिए समाधान प्रदान करता है जहाँ डेटा कलेक्शन की बाधाएं ट्रेनिंग डेटा में व्यवस्थित अंतराल (systematic gaps) पैदा करती हैं (जैसे, दुर्लभ बीमारी वाले सबग्रुप, विशिष्ट पर्यावरणीय स्थितियाँ)।
स्प्यूरियस कोरिलेशन से परे (Beyond Spurious Correlation): मिसिंग सबपॉपुलेशन स्ट्रक्चर को स्पष्ट रूप से मॉडल करके, यह विधि 'कोलैप्स' घटना को रोकती है जो एडवरसेरियल डोमेन अडैप्टेशन में देखी जाती है, जहाँ मॉडल टारगेट के मिसिंग ग्रुप को मौजूदा सोर्स ग्रुप के साथ गलत तरीके से अलाइन कर देता है।
निष्पक्षता और विश्वसनीयता (Fairness and Reliability): यह दृष्टिकोण सुनिश्चित करता है कि टारगेट डोमेन में पहले से अनऑब्जर्व्ड सबपॉपुलेशन के लिए भविष्यवाणियां व्यवस्थित रूप से पक्षपाती न हों, जो स्वास्थ्य सेवा और पारिस्थितिकी जैसे महत्वपूर्ण क्षेत्रों में अधिक मजबूत और निष्पक्ष मशीन लर्निंग सिस्टम में योगदान देता है।
सैद्धांतिक आधार (Theoretical Foundation): यह स्ट्रक्चर्ड सबपॉपुलेशन एब्सेंस के तहत मॉडल अडैप्टेशन का पहला कठोर लक्षण वर्णन स्थापित करता है, जो अन्य सांख्यिकीय लर्निंग संदर्भों में इसी तरह की "मिसिंगनेस" समस्याओं को संभालने के लिए एक ब्लूप्रिंट प्रदान करता है।