तकनीकी सारांश: उच्च-आयामी उपचारों के लिए कारण जोखिम न्यूनीकरण (Causal Risk Minimization)

समस्या विवरण

यह शोध पत्र एक ऐसी स्थिति में औसत संभावित परिणाम (Average Potential Outcome - APO), $g(t) = E[Y(t)]$, का अनुमान लगाने की चुनौती को संबोधित करता है जहाँ उपचार स्थान (treatment space) $\mathcal{T}$ उच्च-आयामी होता है, जैसे कि सभी संभावित टेक्स्ट स्ट्रिंग्स का स्थान। वित्तीय संचार, मानसिक स्वास्थ्य परामर्श, या सार्वजनिक स्वास्थ्य संदेशों जैसे डोमेन में, हस्तक्षेप (interventions) व्यापक रूप से भिन्न होते हैं, और उपचारों का संभावित स्थान अक्सर इतना बड़ा होता है कि उसे पूरी तरह से देखा नहीं जा सकता।

शास्त्रीय कारण अनुमानक (classical causal estimators) इस संदर्भ में महत्वपूर्ण सीमाओं का सामना करते हैं:

• इनवर्स प्रोपेंसिटी स्कोर वेटिंग (IPW): इसके लिए डेटा में सटीक उपचार $t$ का अवलोकन आवश्यक है। उच्च-आयामी स्थानों (जैसे, टेक्स्ट) में, अधिकांश उपचार अद्वितीय या अनदेखे होते हैं, जिससे टेस्ट-टाइम हस्तक्षेपों के लिए IPW अपरिभाषित हो जाता है।
• आउटकम इम्प्यूटेशन (OI): यह एक सशर्त आउटकम मॉडल $E[Y|T, X]$ सीखता है। हालांकि यह अनदेखे उपचारों तक सामान्यीकरण (generalize) कर सकता है, लेकिन इसके लिए इन्फरेंस के समय व्यक्तिगत स्तर के कन्फाउंडर (confounder) मानों $X$ तक पहुंच की आवश्यकता होती है। गोपनीयता संबंधी चिंताओं (जैसे, संवेदनशील स्वास्थ्य या आय डेटा) के कारण या यदि $X$ स्वयं उच्च-आयामी है, तो यह करना अक्सर अव्यावहारिक होता है।
• मौजूदा CRM साहित्य: Causal Risk Minimization (कारण जोखिम न्यूनीकरण को एक लर्निंग समस्या के रूप में पुनर्गठित करना) पर मौजूदा कार्य मुख्य रूप से बाइनरी उपचारों पर केंद्रित है, जो उच्च-आयामी स्थानों की विशिष्ट चुनौतियों को स्पष्ट नहीं करता है।

मुख्य उद्देश्य एक ऐसा अनुमानक विकसित करना है जो अनदेखे उच्च-आयामी उपचारों तक सामान्यीकरण कर सके, केवल उपचार के रूप में सीधे APO का अनुमान दे सके (बिना इन्फरेंस के समय $X$ की आवश्यकता के), और बड़े उपचार स्थानों में अत्यधिक भार (extreme weights) के कारण होने वाली अस्थिरता को संभाल सके।

कार्यप्रणाली (Methodology)

लेखक Causal Risk Minimization (CRM) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो APO अनुमान को एक सुपर्वाइज्ड लर्निंग समस्या के रूप में रूपायित करता है जहाँ मॉडल एक विशिष्ट लक्ष्यों के साथ एक रिस्क फंक्शन को कम करता है जो कारण सिद्धांत (causal theory) से प्राप्त होते हैं।

1. CRM रूपांतरण (Formulations)

यह पत्र तीन वेरिएंट्स का विवरण देता है, जो सभी सीधे $t$ से $g(t)$ तक के मैपिंग को सीखते हैं:

• IPW-CRM: यह $\hat{g}(t)$ को फिट करने के लिए बनाया गया है ताकि भारित परिणामों (weighted outcomes) और अनुमानों के बीच के लॉस को कम किया जा सके: $L(\hat{g}(T_i), \frac{\hat{p}_T(T_i)}{\hat{e}(T_i, X_i)} Y_i)$। यहाँ $\hat{e}$ सीखा गया प्रोपेंसिटी स्कोर है और $\hat{p}_T$ मार्जिनल ट्रीटमेंट प्रोबेबिलिटी है।
• SW-CRM (Stabilized-Weighted): यह सीधे स्थिर भार (stabilized weights) $\hat{w}(T, X)$ सीखता है और मॉडल को लक्ष्यों $\hat{w}(T_i, X_i)Y_i$ पर फिट करता है। यह कच्चे प्रोपेंसिटी स्कोर की अस्थिरता से बचता है।
• OI-CRM: यह कन्फाउंडर वितरण पर एक सशर्त आउटकम मॉडल $\hat{f}(T, X)$ के औसत की भविष्यवाणी करने के लिए एक मॉडल को प्रशिक्षित करता है, जो प्रभावी रूप से इन्फरेंस के समय $X$ की आवश्यकता को समाप्त कर देता है।

2. APO त्रुटि अपघटन और मोमेंट बैलेंसिंग (Error Decomposition and Moment Balancing)

एक प्रमुख सैद्धांतिक योगदान APO अनुमान त्रुटि का मोमेंट-बैलेंसिंग त्रुटियों (moment-balancing errors) में अपघटन है।

• इस धारणा के तहत कि सशर्त आउटकम फंक्शन $f(t, X)$ डिग्री $K$ का एक बहुपद (polynomial) है (या कन्फाउंडर्स $K$ आकार के परिमित सेट पर समर्थित हैं), APO त्रुटि को $K$ क्रम तक बैलेंसिंग त्रुटियों के एक रैखिक संयोजन के रूप में दिखाया गया है।
• विशेष रूप रूप से, $\hat{g}(t) - g(t) = \sum_{k=0}^K c_k(t) \cdot \varepsilon_k(t)$, जहाँ $\varepsilon_k(t)$ उपचार समूहों में कन्फाउंडर वितरण के $k$-वें मोमेंट को संतुलित करने की त्रुटि है।
• निहितार्थ: APO त्रुटि को कम करने के लिए, एक चुने गए क्रम $K$ तक बैलेंसिंग त्रुटियों को कम करना आवश्यक है। लेखक वेट लर्निंग ऑब्जेक्टिव में एक रेगुलेराइज़ेशन टर्म जोड़ने का प्रस्ताव करते हैं जो स्पष्ट रूप से भारित मोमेंट्स और कच्चे मोमेंट्स के बीच के अंतर को कम करता है: $\sum_{k=0}^K \|E[w(T, X) \cdot X^k] - E[X^k]\|^2$।

3. निम्न-आयामी प्रोजेक्शन (Lower-Dimensional Projections)

उन व्यावहारिक उपयोग के मामलों को संबोधित करने के लिए जहाँ व्यक्ति उच्च-आयामी उपचार के विशिष्ट गुणों (जैसे, सेंटीमेंट, लंबाई) के कारण होने वाले प्रभाव में रुचि रखता है, लेखक एक प्रोजेक्शन विधि प्रस्तावित करते हैं।

• यह मानते हुए कि एक ज्ञात सशर्त वितरण $p_{T'|T}$ मौजूद है जो एक उच्च-आयामी उपचार $T$ को एक निम्न-आयामी विशेषता $T'$ से जोड़ता है, और सशर्त स्वतंत्रता $T' \perp (X, Y(\cdot)) | T$ है, निम्न-आयामी APO $g'(t')$ को मोंटे कार्लो अनुमान के माध्यम से निकाला जा सकता है:
  $$g'(t') \approx \frac{\sum_i I(T'_i = t') \hat{g}(T_i)}{\sum_i I(T'_i = t')}$$
• यह एक एकल उच्च-आयामी अनुमानक $\hat{g}$ को विभिन्न विशेषताओं के बारे में कई कारण संबंधी प्रश्नों का उत्तर देने में सक्षम बनाता है, बिना प्रत्येक विशेषता के लिए अलग से मॉडल को प्रशिक्षित किए।

मुख्य योगदान

1. त्रुटि अपघटन (Error Decomposition): यह शोध पत्र उच्च-आयामी उपचारों के लिए APO अनुमान त्रुटि का एक सिद्धांत-आधारित अपघटन व्युत्पन्न करता है। यह उच्च-क्रम (higher-order) बैलेंस रेगुलेराइज़ेशन का उपयोग करके बेहतर कारण अनुमान लगाने के लिए एक सैद्धांतिक औचित्य प्रदान करता है।
2. स्थिर भार सीखना (SW-CRM): लेखक $K$ क्रम तक स्पष्ट बैलेंस रेगुलेराइज़ेशन के साथ स्थिर भार सीखने वाला एक तरीका पेश करते हैं, जो उच्च-आयामी सेटिंग्स में मानक IPW की तुलना में बेहतर प्रदर्शन और स्थिरता प्रदान करता है।
3. कुशल प्रोजेक्शन: एक एकल उच्च-आयामी APO अनुमानक को पोस्ट-हॉक (post-hoc) निम्न-आयामी विशेषताओं पर प्रोजेक्ट करने की विधि, जो विशेषता-विशिष्ट प्रशिक्षण की आवश्यकता को समाप्त करती है।
4. LLMs के साथ एकीकरण: यह ढांचा लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ संगत होने के लिए डिज़ाइन किया गया है, जिससे प्री-ट्रेन्ड मॉडल्स को उन कारण लॉस फंक्शन्स पर फाइन-ट्यून किया जा सकता है जो प्री-ट्रेनिंग उद्देश्यों (जैसे, क्रॉस-एन्ट्रॉपी) के अनुरूप होते हैं।

अनुभवजन्य परिणाम (Empirical Results)

लेखक अपने तरीकों का मूल्यांकन तीन बढ़ते जटिलता वाले डेटासेट्स पर करते हैं:

1. लीनियर कंटीन्यूअस सेटिंग: इसने एनालिटिक एरर डिकंपोजिशन को सत्यापित किया। बैलेंस रेगुलेराइज़ेशन (क्रम $K=1$ तक) ने APO त्रुटि को काफी कम कर दिया, जो एक ऑरेकल आउटकम इम्प्यूटेशन (OI) अनुमानक के प्रदर्शन से मेल खाता है।
2. सिंथेटिक डिस्क्रीट सेटिंग: इसमें उच्च-आयामी डिस्क्रीट उपचारों (जो टोकन की नकल करते हैं) और ट्रांसफार्मर मॉडल्स का उपयोग किया गया। SW-CRM ($K=2$) ने वेनिला OI, OI-CRM और IPW-CRM को पछाड़ दिया। उच्च-क्रम बैलेंसिंग ने लगातार ग्राउंड ट्रुथ के साथ सहसंबंध (correlation) में सुधार किया। IPW-CRM उच्च क्रम पर प्रशिक्षण अस्थिरता से ग्रस्त रहा, जबकि SW-CRM स्थिर रहा।
3. सेमी-सिंथेटिक अमेज़न रिव्यूज: इसमें 10,000 अद्वितीय टेक्स्ट रिव्यूज को उपचार के रूप में उपयोग किया गया, उत्पाद रेटिंग को कन्फाउंडर के रूप में और एक LLM द्वारा उत्पन्न बाइनरी परचेज आउटकम को उपयोग किया गया।
   • प्रदर्शन: SW-CRM ($K=2$) ने सर्वश्रेष्ठ प्रदर्शन किया, जिसने IPW-CRM (जो अत्यधिक प्रोपेंसिटी स्कोर के कारण विफल रहा) को पीछे छोड़ दिया और OI-CRM के बराबर प्रदर्शन किया।
   • इन्फरेंस: महत्वपूर्ण रूप से, SW-CRM और OI-CRM ने कन्फाउंडर्स तक पहुंच के बिना भी वास्तविक APO के साथ उच्च सहसंबंध प्राप्त किया, जो मानक OI के विपरीत है।
   • प्रोजेक्शन: एकल उच्च-आयामी SW-CRM अनुमानक को सेंटीमेंट और रिव्यू लेंथ जैसी विशेषताओं पर प्रोजेक्ट करने से ऐसी प्रदर्शन क्षमता मिली जो विशेष रूप से प्रत्येक विशेषता के लिए पुन: प्रशिक्षित अनुमानकों के प्रतिस्पर्धी या उससे बेहतर थी।

महत्व और दावे

यह शोध पत्र दावा करता है कि कारण अनुमान को स्पष्ट मोमेंट-बैलेंसिंग उद्देश्यों के साथ एक लर्निंग समस्या के रूप में पुनर्गठित करके, उच्च-आयामी उपचार स्थानों में प्रभावी ढंग से कारण प्रभावों का अनुमान लगाना संभव है जहाँ शास्त्रीय विधियाँ विफल हो जाती हैं।

• सामान्यीकरण (Generalization): यह दृष्टिकोण प्रशिक्षित मॉडल्स (जैसे, LLMs) के इंडक्टिव बायस का लाभ उठाकर अनदेखे उपचारों (जैसे, नए टेक्स्ट स्ट्रिंग्स) तक सामान्यीकरण करने में सक्षम बनाता है।
• दक्षता (Efficiency): प्रोजेक्शन विधि एक एकल मॉडल को कई डाउनस्ट्रीम कारण प्रश्नों की सेवा करने की अनुमति देती है, जिससे कंप्यूटेशनल और डेटा संबंधी आवश्यकताएं कम हो जाती हैं।
• व्यावहारिकता: परिणाम दर्शाते हैं कि उच्च-क्रम बैलेंस त्रुटियों को अनुकूलित करना उच्च-आयामी उपचारों के लिए बेहतर कारण अनुमान प्राप्त करने की एक व्यवहार्य रणनीति है, बशर्ते कि अनऑब्जर्व्ड कन्फाउंडिंग की कोई धारणा न हो।

लेखक सीमाओं को स्वीकार करते हैं, जिनमें अनटेस्टेबल स्ट्रॉन्ग इग्नोरैबिलिटी धारणा (strong ignorability assumption), उच्च-क्रम बैलेंसिंग की रैखिक कंप्यूटेशनल लागत, और आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण के लिए मॉडल के इंडक्टिव बायस पर निर्भरता शामिल है।