Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction

यहाँ धर्मकीर्ति, हु और लियांग के शोध पत्र "Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र अवलोकन संबंधी डेटा (observational data) में डोमेन अनुकूलन (domain adaptation) की चुनौती को संबोधित करता है, जहाँ लक्ष्य वातावरण (target environment) न केवल कोवेरिएट वितरण (covariate distribution/covariate shift) में, बल्कि अंतर्निहित भविष्य कहने वाले संबंध (predictive relationship/concept shift) में भी स्रोत वातावरण (source environment) से भिन्न होता है।

• मुख्य मुद्दा: कई वास्तविक दुनिया के परिदृश्यों में, अनभोषित कन्फाउंडिंग कारक ($E$) कोवेरिएट्स ($X$) और रिस्पॉन्स ($Y$) दोनों को प्रभावित करते हैं। जब इन कन्फाउंडर्स का वितरण विभिन्न वातावरणों (जैसे, स्रोत $S$ से लक्ष्य $T$ तक) के बीच बदलता है, तो इष्टतम रैखिक भविष्यवक्ता (optimal linear predictor) बदल जाता है। इस घटना को कॉन्सेप्ट शिफ्ट (Concept Shift) कहा जाता है।
• मानक विधियों की विफलता: पारंपरिक डोमेन अनुकूलन अक्सर यह मान लेते हैं कि सशर्त वितरण $P(Y|X)$ अपरिवमान (invariant) रहता है। हालाँकि, अनभोषित कन्फाउंडिंग के तहत, स्रोत जोखिम ($R_S$) को कम करने से एक पक्षपाती अनुमानक (biased estimator) प्राप्त होता है जो लक्ष्य तक सामान्यीकरण (generalize) करने में विफल रहता है, क्योंकि "सर्वश्रेष्ठ" रैखिक मॉडल वातावरण-निर्भर होता है।
• लक्ष्य: एक ऐसी विधि विकसित करना जो बाह्य अपरिवमान संरचनाओं (exogenous invariant structures) (लैटेंट वेरिएबल्स $Z$) का लाभ उठाकर एक ऐसा प्रतिनिधित्व (representation) सीख सके जो कन्फाउंडिंग के कारण होने वाले वितरण बदलावों के प्रति सुदृढ़ (robust) हो, जिससे बिना लक्ष्य लेबल (target labels) के लक्ष्य जोखिम ($R_T$) को न्यूनतम किया जा सके।

2. कार्यप्रणाली (Methodology)

लेखक स्ट्रक्चरल कॉज़ल मॉडल्स (SCM) को मैनिफ़ोल्ड ऑप्टिमाइज़ेशन (Manifold Optimization) के साथ संयोजित करने वाला एक ढांचा प्रस्तावित करते हैं।

A. स्ट्रक्चरल कॉज़ल मॉडल (SCM)

डेटा जनरेशन प्रक्रिया को इस प्रकार मॉडल किया गया है:

1. रिस्पॉन्स: $Y = \langle \beta^\star, X \rangle + \langle \gamma, E \rangle + U$
2. कोवेरिएट्स: $X = \Theta Z + \Delta E + W$

जहाँ:

• $E$: अनभोषित कन्फाउंडिंग वेरिएबल (पर्यावरण-निर्भर)।
• $Z$: लैटेंट एक्सोजेनस इनवेरिएंट वेरिएबल (पर्यावरणों में स्थिर)।
• $U, W$: स्वतंत्र शोर (noise)।
• $\Theta, \Delta$: अज्ञात पैरामीटर मैट्रिसेस।

मुख्य अंतर्दृष्टि यह है कि जबकि $E$ के कारण $X$ और $Y$ बदलते हैं, $Z$ द्वारा संचालित $X$ का घटक (जो $\Theta$ द्वारा स्पैन किया गया सबस्पेस है) अपरिवमान (invariant) रहता है।

B. अनुकूलन उद्देश्य (The Optimization Objective)

लेखक एक सरोगेट ऑब्जेक्टिव फंक्शन (surrogate objective function) व्युत्पन्न करते हैं जो लक्ष्य जोखिम का ऊपरी स्तर (upper-bound) प्रदान करता है। वे एक रैखिक सबस्पेस प्रतिनिधित्व $V \in \mathbb{R}^{d \times \ell}$ (जहाँ $\ell < d$) और एक लो-डायमेंशनल रिग्रेसर $\alpha \in \mathbb{R}^\ell$ की खोज करते हैं।

ऑब्जेक्टिव फंक्शन $F_{\upsilon, \eta}(V, \alpha)$ को इस प्रकार परिभाषित किया गया है:
$$F_{\upsilon, \eta}(V, \alpha) = \underbrace{\frac{1}{2} E_S[(Y - \langle X, V\alpha \rangle)^2]}_{\text{Source Predictivity}} + \underbrace{\frac{\upsilon}{2}\|\alpha\|^2}_{\text{Ridge Regularization}} + \underbrace{\frac{\eta}{4}\|V^\top(\Sigma_T - \Sigma_S)V\|_F^2}_{\text{Stability/Invariance Penalty}}$$

• Predictivity (भविष्यवाणी क्षमता): स्रोत डेटा पर स्क्वेयर्ड एरर को कम करता है।
• Stability (स्थिरता): स्रोत और लक्ष्य में कोवेरिएट वितरणों के बीच विसंगति ($\Sigma_T - \Sigma_S$) को दंडित (penalize) करता है। यह टर्म रैखिक सबस्पेस में एक मैक्सिमम मीन डिसक्रेपेंसी (MMD) के रूप में कार्य करता है, जो $V$ को उन दिशाओं के साथ संरेखित करने के लिए मजबूर करता है जहाँ कोवेरिएंस शिफ्ट न्यूनतम है (अर्थात, इनवेरिएंट सबस्पेस)।
• Optimization (अनुकूलन): समस्या गैर-उत्तल (non-convex) है क्योंकि $V$ को स्टिफल मैनिफोल्ड (Stiefel manifold) ($V^\top V = I_\ell$) पर प्रतिबंधित किया गया है। लेखक एक रीमानियन प्रोजेक्टेड ग्रेडिएंट डिसेंट (Riemannian Projected Gradient Descent) एल्गोरिदम (एल्गोरिदम 1) प्रस्तावित करते हैं ताकि स्थानीय इष्टतम (local optima) प्राप्त किए जा सकें।

3. मुख्य योगदान (Key Contributions)

1. सैद्धांतिक एकीकरण (Theoretical Unification): यह शोध पत्र कॉज़ल इन्फरेंस (इनवेरिएंट रिस्क मिनिमाइजेशन) और डोमेन अनुकूलन (डिस्ट्रीब्यूशनल स्टेबिलिटी) की अवधारणाओं को एकीकृत करता है। यह सिद्ध करता है कि प्रस्तावित SCM के तहत, एक इनवेरिएंट लीनियर सबस्पेस एक साथ कॉन्सेप्ट स्टेबिलिटी (भविष्यवक्ता की अपरिवमानता) और डिस्ट्रीब्यूशनल स्टेबिलिटी (फीचर वितरण की अपरिवमानता) प्राप्त करता है।
2. कॉन्सेप्ट शिफ्ट का लक्षण वर्णन (Characterization of Concept Shift): यह औपचारिक रूप से प्रदर्शित करता है कि अनभोषित कन्फाउंडिंग एक कॉन्सेप्ट शिफ्ट उत्पन्न करती है जहाँ इष्टतम रैखिक मॉडल $\beta_E$ वातावरण के साथ बदलता है, जिससे मानक स्रोत जोखिम न्यूनीकरण (source risk minimization) लक्ष्य के लिए असंगत (inconsistent) हो जाता है।
3. ऑप्टिमाइज़ेशन लैंडस्केप विश्लेषण (Optimization Landscape Analysis):
   • थ्योरम 1: यह सिद्ध करता है कि पर्याप्त स्थिरता रेगुलाइजेशन ($\eta$) के लिए, लगभग सभी स्थानीय इष्टतम (local optima) इनवेरिएंट सबस्पेस (जो कन्फाउंडिंग सबस्पेस $\Delta$ के लंबवत है) के साथ संरेखित होते हैं।
   • थ्योरम 2: एक लक्ष्य जोखिम सीमा (target risk bound) स्थापित करता है। यह दिखाता है कि सीखे गए अनुमानक के लिए लक्ष्य और स्रोत जोखिम के बीच का अंतर लगभग आदर्श है, जो एक "ओरेकल टर्म" और एक ऐसे टर्म द्वारा सीमित है जो $\eta \to \infty$ होने पर शून्य हो जाता है।
4. परिमित-नमूना विश्लेषण (Finite-Sample Analysis): जनसंख्या ऑब्जेक्टिव और एम्पिरिकल प्लग-इन अनुमानक के बीच के अंतर को मापने वाला एक सांख्यिकीय बाउंड (थ्योरम 3) प्रदान करता है, जो सीमित डेटा के साथ विधि की मजबूती सुनिश्चित करता है।
5. व्यावहारिक एल्गोरिदम (Practical Algorithm): एक प्रथम-क्रम रीमानियन ऑप्टिमाइज़ेशन विधि विकसित करता है जो गणनात्मक रूप से कुशल और अनुभवजन्य रूप से प्रभावी है, जिससे ग्लोबल ऑप्टिमाइज़ेशन की आवश्यकता समाप्त हो जाती है।

4. परिणाम (Results)

विधि को सिंथेटिक सेटिंग्स और वास्तविक दुनिया के डेटासेट्स पर सत्यापित किया गया:

• टेबेलिनी इकोनॉमिक डेटा (Tabellini Economic Data): यूरोपीय आर्थिक आउटपुट के अध्ययन का पुनरावलोकन करते हुए, लेखकों ने ग्रामीण (स्रोत) से शहरी (लक्षत) वातावरण में बदलाव का अनुकरण किया।
  • परिणाम: विधि ने सफलतापूर्वक "संस्थाओं" (Institutions) को एक स्थिर विशेषता (शहरीकरण के बदलावों के प्रति इनवेरिएंट) के रूप में पहचाना और मानक OLS की तुलना में लक्ष्य भविष्यवाणी सटीकता में सुधार किया, जिससे स्रोत सटीकता और स्थिरता के बीच के ट्रेड-ऑफ को प्रभावी ढंग से प्रबंधित किया गया।
• फॉरेस्ट फायर, बाइक शेयरिंग, और वाइन क्वालिटी: प्रेरित वितरण बदलावों (मौसमी या डोमेन-आधारित) के साथ मानक ML डेटासेट्स पर लागू किया गया।
  • परिणाम: हाइपरपैरामीटर ट्यूनिंग के बाद, विधि ने वेनिला सोर्स रिस्क मिनिमाइज़र ($\beta_S$) की तुलना में लगातार लक्ष्य जोखिम ($R_T$) को कम किया।
  • ट्रेड-ऑफ अवलोकन: प्रयोगों ने स्थिरता पैरामीटर $\eta$ और लक्ष्य जोखिम के बीच एक U-आकार के संबंध को प्रकट किया। बहुत कम $\eta$ कन्फाउंडिंग को ठीक करने में विफल रहता है; बहुत अधिक $\eta$ ओवर-रेगुलराइजेशन करता है, जिससे स्रोत प्रेडिक्टिविटी प्रभावित होती है। एक इष्टतम मध्यवर्ती $\eta$ इन दोनों शक्तियों को संतुलित करता है।
  • हाइपरपैरामीटर चयन: लेखक $\ell$ (PCA के माध्यम से) को चुनने और $\upsilon, \eta$ को स्केल करने के लिए एक डेटा-संचालित ह्यूरिस्टिक प्रस्तावित करते हैं, जो बिना लक्ष्य लेबल के प्रभावी सिद्ध हुआ।

5. महत्व (Significance)

• कारणता (Causality) और ML का मेल: यह शोध पत्र स्ट्रक्चरल कॉज़ल मॉडल्स और डोमेन अनुकूलन के बीच एक कठोर गणितीय सेतु प्रदान करता है, यह दिखाते हुए कि कैसे "इनवेरिएंस" को एक गैर-उत्तल अनुकूलन समस्या में एक रेगुलाइजेशन टर्म के रूप में संचालित किया जा सकता है।
• अनभोषित कन्फाउंडिंग को संभालना: कई डोमेन अनुकूलन विधियों के विपरीत जो $P(Y|X)$ के अपरिवमान होने का अनुमान लगाती हैं, यह कार्य स्पष्ट रूप से अनभोषित कन्फाउंडर्स द्वारा उत्पन्न कॉन्सेप्ट शिफ्ट को मॉडल और ठीक करता है, जो एक सामान्य लेकिन कठिन वास्तविक दुनिया की स्थिति है।
• व्यावहारिक प्रयोज्यता: समस्या को मैनिफोल्ड ऑप्टिमाइज़ेशन के रूप में स्वरूपित करके, लेखक एक स्केलेबल एल्गोरिदम प्रदान करते हैं जिसे लक्ष्य लेबल की आवश्यकता नहीं होती है (अनसुपरवाइज्ड डोमेन अनुकूलन) और जो सैद्धांतिक गारंटी देता है कि स्थानीय इष्टतम अच्छे प्रदर्शन के लिए पर्याप्त हैं।
• सुदृढ़ता के लिए नया प्रतिमान (New Paradigm for Robustness): यह सुझाव देता है कि कन्फाउंडिंग की उपस्थिति में, सुदृढ़ता का मार्ग केवल वितरणों को मिलाना नहीं है, बल्कि एक ऐसा निम्न-आयामी सबस्पेस खोजना है जहाँ डेटा जनरेशन का मैकेनिज्म पर्यावरणीय शोर से अलग (decoupled) हो सके।

संक्षेप में, यह शोध पत्र अनभोषित कन्फाउंडिंग और वितरण बदलावों के सामने सुदृढ़ भविष्यवक्ताओं को सीखने के लिए एक सिद्धांत-आधारित, सैद्धांतिक रूप से सुदृढ़ और अनुभवजन्य रूप से सत्यापित दृष्टिकोण प्रदान करता है, जो इनवेरिएंट रिप्रजेंटेशन खोजने के लिए स्टिफल मैनिफोल्ड की ज्यामिति का लाभ उठाता है।