तकनीकी सारांश: प्रशिक्षण वितरण से परे: वितरण परिवर्तन और चयन पूर्वाग्रह के तहत भविष्यवाणियों का मूल्यांकन

समस्या विवरण

मशीन लर्निंग मॉडल अक्सर नए वातावरणों में तैनात होने पर खराब प्रदर्शन करते हैं, जिसका मुख्य कारण दो प्राथमिक, और अक्सर सह-घटित होने वाली चुनौतियाँ हैं: कोवेरिएट शिफ्ट (covariate shift) और चयनात्मक लेबल (selective labels)।

• कोवेरिएट शिफ्ट (Covariate Shift): इनपुट फीचर्स का मार्जिनल वितरण ($P(X)$), प्रशिक्षण (स्रोत) और तैनाती (लक्ष्य) आबादी के बीच भिन्न होता है, जबकि फीचर्स और परिणामों के बीच का सशर्त संबंध ($P(Y|X)$) स्थिर रहता है। होल्ड-आउट टेस्ट सेट पर मानक मूल्यांकन इस प्रदर्शन गिरावट को छिपा सकता है यदि त्रुटियाँ उन फीचर क्षेत्रों में केंद्रित हैं जो लक्ष्य वातावरण में सामान्य हैं लेकिन स्रोत में दुर्लभ हैं।
• चयनात्मक लेबल (Selective Labels): उच्च-जोखिम वाले डोमेन में (जैसे, स्वास्थ्य सेवा, ऋण), परिणाम लेबल केवल उन व्यक्तियों के लिए देखे जाते हैं जो एक पूर्व निर्णय नीति (जैसे, वे रोगी जिन्हें नैदानिक परीक्षण प्राप्त होता है) द्वारा चयनित किए जाते हैं। यह चयन पूर्वाग्रह (selection bias) उत्पन्न करता है, क्योंकि देखे गए लेबल जनसंख्या के एक निर्णय-निर्भर उपसमूह से लिए जाते हैं, जिससे प्रशिक्षण डेटा पूर्ण तैनाती आबादी का एक सटीक प्रतिबिंब नहीं रह जाता।

मौजूदा साहित्य आमतौर पर इन मुद्दों को अलग-अलग रूप में संबोधित करता है। यह शोध पत्र कोवेरिएट शिफ्ट और चयनात्मक लेबलिंग की संयुक्त उपस्थिति का अध्ययन करता है, जो नैदानिक निर्णय लेने में एक सामान्य परिदृश्य है जहाँ विशिष्ट जनसांख्यिकीय समूहों पर प्रशिक्षित मॉडलों को विविध आबादी में तैनात किया जाता है, फिर भी परिणाम केवल उन रोगियों के लिए देखे जाते जो विशिष्ट नैदानिक प्रोटोकॉल से गुजरते हैं। मुख्य समस्या यह है कि जब लक्ष्य परिणाम अप्रोक्षित हों और स्रोत परिणाम चयनात्मक रूप से देखे गए हों, तो एक मनमाने ब्लैक-बॉक्स प्रेडिक्टर के लक्ष्य जोखिम (target risk) (तैनाती वातावरण में अपेक्षित हानि) का मूल्यांकन कैसे किया जाए।

कार्यप्रणाली (Methodology)

1. समस्या का औपचारिक रूप और पहचान

लेखक लक्ष्य जोखिम $\psi$ को लक्ष्य आबादी में अपेक्षित हानि के रूप में परिभाषित करते हैं:
$$\psi := E_T [\ell(f(X), Y)]$$
जहाँ $f$ एक निश्चित ब्लैक-बॉक्स प्रेडिक्टर है और $\ell$ एक सामान्य लॉस फंक्शन है।

$\psi$ को अवलोकन योग्य डेटा से पहचानने के लिए, यह शोध पत्र चार मानक धारणाओं पर निर्भर करता है:

1. अवलोकनीयता पर चयन (स्रोत) (Selection on Observables): कोवेरिएट्स $X$ के सशर्त होने पर, लेबल की दृश्यता $D$, स्रोत आबादी में परिणाम $Y$ से स्वतंत्र है ($Y \perp\!\!\!\perp D \mid X, R=1$)।
2. कोवेरिएट शिफ्ट (Covariate Shift): फीचर्स के दिए गए वितरण का सशर्त वितरण डोमेनों के बीच अपरिवर्तित रहता है ($P_S(Y|X) = P_T(Y|X)$)।
3. सकारात्मकता (Positivity): प्रत्येक कोवेरिएट प्रोफाइल की स्रोत आबादी में देखे जाने की सकारात्मक संभावना होती है।
4. बाउंडेड लाइकलीहुड रेश्यो (Bounded Likelihood Ratio): लक्ष्य और स्रोत वितरणों के बीच घनत्व अनुपात (density ratio) सीमित (bounded) है।

इन धारणाओं के तहत, लक्ष्य जोखिम को दो समकक्ष अभिव्यक्तियों के माध्यम से पहचाना जाता है (प्रपोजिशन 3.5):

1. लक्ष्य प्रत्याशा (Target Expectation): $\psi = E_T [\mu(X)]$, जहाँ $\mu(X) = E[\ell(f(X), Y) \mid X, R=1, D=1]$ स्रोत में सशर्त अपेक्षित हानि है।
2. सुधारों के साथ स्रोत प्रत्याशा (Source Expectation with Corrections): $\psi = E_S \left[ \frac{p_T(X)}{p_S(X)} \cdot \frac{D}{\pi_S(X)} \cdot \ell(f(X), Y) \right]$, जहाँ $\frac{p_T(X)}{p_S(X)}$ कोवेरिएट शिफ्ट के लिए सुधार करता है और $\frac{D}{\pi_S(X)}$ इनवर्स प्रोपेंसिटी वेटिंग के माध्यम से चयनात्मक लेबल के लिए सुधार करता है।

2. एफिशिएंट इन्फ्लुएंस फंक्शन (EIF)

लेखक लक्ष्य जोखिम एस्टिमेंड (estimand) के लिए एफिशिएंट इन्फ्लुएंस फंक्शन (EIF) व्युत्पन्न करते हैं (प्रपोजिशन 3.6)। EIF, $\phi(Z; P)$, स्रोत और लक्ष्य दोनों वितरणों से संकेतों को जोड़ता है:
$$\phi(Z; P) = \frac{R D}{\pi(X)} \frac{g(X)}{\rho} (L - \mu(X)) + \frac{1-R}{\rho} (\mu(X) - \psi)$$
जहाँ:

• $R$ डोमेन इंडिकेटर है (स्रोत के लिए 1)।
• $D$ लेबल दृश्यता इंडिकेटर है।
• $\pi(X)$ पोल्ड प्रोपेंसिटी स्कोर है।
• $g(X)$ डोमेन प्रोपेंसिटी स्कोर है।
• $\rho$ लक्ष्य आबादी का अनुपात है।
• $L$ देखा गया लॉस है।

पहला पद लेबल किए गए स्रोत इकाइयों के लिए एक अवशिष्ट सुधार (residual correction) का प्रतिनिधित्व करता है, जिसे लक्ष्य वितरण तक ले जाने के लिए भारित (weighted) किया गया है। दूसरा पद एक प्लग-इन अनुमान है, जो लक्ष्य जोखिम द्वारा केंद्रित है, जो अनलेबल लक्ष्य इकाइयों के लिए है।

3. डबल मशीन लर्निंग (DML) एस्टिमेटर

EIF का लाभ उठाते हुए, शोध पत्र एक डबल मशीन लर्निंग (DML) एस्टिमेटर (इक्वेशन 7) प्रस्तावित करता है:
$$\hat{\psi} = \frac{1}{n} \sum_{i=1}^n \left[ \frac{R_i D_i}{\hat{\pi}(X_i)\hat{g}(X_i)} (L_i - \hat{\mu}(X_i)) + \frac{1-R_i}{\hat{\rho}} \hat{\mu}(X_i) \right]$$
इस एस्टिमेटर की प्रमुख विशेषताओं में शामिल हैं:

• बायस करेक्शन (Bias Correction): यह न्युसेंस फंक्शन्स ($\mu, \pi, g$) के अनुमान में त्रुटियों से उत्पन्न होने वाले प्रथम-क्रम के पूर्वाग्रहों को ठीक करने के लिए EIF संरचना का उपयोग करता है।
• सैंपल स्प्लिटिंग/क्रॉस-फिटिंग (Sample Splitting/Cross-fitting): मूल्यांकन नमूने से स्वतंत्र एक सहायक नमूने पर न्युसेंस फंक्शन्स का अनुमान लगाया जाता है ताकि एसिम्प्टोटिक नॉर्मलिटी सुनिश्चित की जा सके।
• मजबूती (Robustness): यह एस्टिमेटर सेमीपैरामेट्रिक रूप से कुशल और $\sqrt{n}$-कंसिस्टेंट है, बशर्ते कि उनके न्युसेंस एस्टिमेटर्स का अभिसरण (convergence) दर $o_p(n^{-1/4})$ हो। यह बिना किसी पैरामेट्रिक दर की आवश्यकता के, न्युसेंस एस्टीमेशन के लिए लचीले, नॉन-पैरामीट्रिक मशीन लर्निंग तरीकों (जैसे, रैंडम फॉरेस्ट, न्यूरल नेटवर्क) के उपयोग की अनुमति देता है।

मुख्य परिणाम

सैद्धांतिक गारंटी

शोध पत्र सिद्ध करता है कि प्रस्तावित DML एस्टिमेटर एसिम्प्टोटिक रूप से लीनियर और सेमीपैरामेट्रिक रूप से कुशल है (थ्योरम 3.7)। इसका तात्पर्य है:

• एस्टिमेटर $\sqrt{n}$ दर पर वास्तविक लक्ष्य जोखिम की ओर अभिसरित होता है।
• एस्टिमेटर एसिम्प्टोटिक रूप से नॉर्मल है, जो प्री-डिप्लॉयमेंट जोखिम मूल्यांकन के लिए वैध वाल्ड-टाइप कॉन्फिडेंस इंटरवल के निर्माण को सक्षम बनाता है।
• यह तब भी कंसिस्टेंट रहता है जब न्युसेंस फंक्शन्स को हाई-डायमेंशनल या जटिल मॉडल्स के साथ अनुमानित किया जाता है, जब तक कि उनकी त्रुटियों का गुणनफल नगण्य हो।

अनुभवजन्य मूल्यांकन (Empirical Evaluation)

लेखक eICU कोलाबोरेटिव रिसर्च डेटाबेस (2,00,000 से अधिक ICU प्रवेश) और सेमी-सिंथेटिक प्रयोगों का उपयोग करके अपने तरीके का मूल्यांकन करते हैं।

• सेमी-सिंथेटिक प्रयोग: eICU से वास्तविक कोवेरिएट्स और सिम्युलेटेड आउटकम्स एवं लेबल दृश्यता का उपयोग करते हुए, DML एस्टिमेटर ने निम्नलिखित की तुलना में न्यूनतम बायस और सबसे कम RMSE प्रदर्शित किया:
  • एक नैव प्लग-इन एस्टिमेटर (शिफ्ट और चयन दोनों के लिए रीवेटिंग)।
  • एक कोवेरिएट शिफ्ट (CS)-केवल एस्टिमेटर (चयन पूर्वाग्रह को अनदेखा करते हुए)।
  • एक सेलेक्टिव लेबल्स (SL)-केवल एस्टिमेटर (कोवेरिएट शिफ्ट को अनदेखा करते हुए)।
    परिणामों ने दिखाया कि केवल एक स्रोत के पूर्वाग्रह को संबोधित करने से तैनाती जोखिम का व्यवस्थित गलत प्रतिनिधित्व होता है, विशेष रूप से जैसे-जैसे चयन की तीव्रता बढ़ती है।
• वास्तविक दुनिया के प्रयोग: इसे चार नैदानिक परिणामों (BNP, Troponin-I, CK, Hypoxemia) पर लागू किया गया जहाँ लेबल केवल तभी देखे जाते हैं जब विशिष्ट लैब टेस्ट ऑर्डर किए जाते हैं। DML एस्टिमेटर ने ऐसे जोखिम अनुमान दिए जो कई अस्पतालों में बेसलाइन्स से काफी भिन्न थे, जो यह उजागर करता है कि शिफ्ट और चयन की संयुक्त प्रकृति को अनदेखा करने से नए क्लिनिकल सेटिंग्स में मॉडल जोखिम का कम या अधिक अनुमान लगाया जा सकता है।
• मजबूती की जाँच (Robustness Checks): एस्टिमेटर ने पॉजिटिविटी और बाउंडेड लाइकलीहुड रेश्यो धारणाओं के उल्लंघन के प्रति उचित मजबूती दिखाई। हालांकि, जैसा कि अपेक्षित था, 'ऑब्जर्वेबल्स पर चयन' (अनऑब्जर्व्ड कन्फाउंडिंग) और 'कंडीशनल आउटकम शिफ्ट' के उल्लंघन के तहत प्रदर्शन कम हो गया, हालांकि यह अन्य बेंचमार्क के मुकाबले प्रतिस्पर्धी बना रहा।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह कोवेरिएट शिफ्ट और चयनात्मक लेबलिंग की एक साथ उपस्थिति के तहत ब्लैक-बॉक्स प्रेडिक्टर्स के मूल्यांकन के लिए समाधान प्रदान करने वाला पहला कार्य है।

• व्यावहारिक प्रभाव: यह कार्य स्वास्थ्य सेवा जैसे उच्च-जोखिम वाले डोमेन में प्री-डिप्लॉयमेंट मूल्यांकन के लिए एक कठोर ढांचा प्रदान करता है, जहाँ मॉडल अक्सर एक आबादी पर प्रशिक्षित होते हैं लेकिन दूसरी आबादी में तैनात किए जाते हैं, और जहाँ नैदानिक निर्णय लेने की प्रक्रियाओं के कारण परिणाम डेटा स्वाभाविक रूप से अधूरा होता है।
• मेथोडोलॉजिकल योगदान: वितरण शिफ्ट साहित्य और चयनात्मक लेबल साहित्य के बीच के अंतर को पाटकर, लक्ष्य जोखिम की पहचान स्थापित करने और एफिशिएंट इन्फ्लुएंस फंक्शन को व्युत्पन्न करके, यह शोध पत्र एक महत्वपूर्ण योगदान देता है। यह प्रदर्शित करता है कि वैध निष्कर्ष संभव है, भले ही लक्ष्य लेबल पूरी तरह से अप्रोक्षित हों और स्रोत लेबल पक्षपाती हों।
• निष्पक्षता और सुरक्षा: लेखक इस बात पर जोर देते हैं कि इन संयुक्त चुनौतियों को ध्यान में न रखने से कम प्रतिनिधित्व वाले उप-समूहों के लिए मॉडल के प्रदर्शन का व्यवस्थित रूप से गलत चित्रण हो सकता है, जिससे असमानताएं बनी रह सकती हैं। उनका तरीका प्रथाचारियों को तैनाती से पहले निष्पक्षता और सुरक्षा गुणों का अधिक सटीक रूप से आकलन करने की अनुमति देता है।
• व्यापक प्रयोज्यता: हालांकि यह क्लिनिकल सेटिंग्स पर केंद्रित है, यह ढांचा फाउंडेशन मॉडल्स या LLMs से जुड़े किसी भी डोमेन के लिए लागू है जहाँ फीडबैक चयनात्मक रूप से देखा जाता है और तैनाती वितरण प्रशिक्षण वितरण से भिन्न होता है।

लेखक एक संतुलित रुख बनाए रखते हैं, यह स्वीकार करते हुए कि पहचान (identification) मौलिक धारणाओं (जैसे, ऑब्जर्वेबल्स पर चयन) पर निर्भर है जो व्यवहार में विफल हो सकती हैं (जैसे, यदि नैदानिक निर्णय अनमापित गंभीरता पर निर्भर करते हैं)। वे सुझाव देते हैं कि हालांकि उनका तरीका छोटे उल्लंघनों के प्रति सहनशीलता प्रदान करता है, भविष्य के कार्य इन धारणाओं को शिथिल करने या अनुकूल डेटा संग्रह का उपयोग करने पर केंद्रित हो सकते हैं।