📊 statistics

Outcome-Aware Spectral Feature Learning for Instrumental Variable Regression

यह शोध पत्र ऑगमेंटेड स्पेक्ट्रल फीचर लर्निंग (Augmented Spectral Feature Learning) का परिचय देता है, जो नॉनपैरामीट्रिक इंस्ट्रूमेंटल वेरिएबल रिग्रेशन के लिए एक आउटकम-अवेयर (outcome-aware) फ्रेमवर्क है, जो स्पेक्ट्रल मिसअलाइनमेंट के विरुद्ध मजबूती सुनिश्चित करने के लिए फीचर लर्निंग में आउटकम जानकारी को शामिल करके पारंपरिक स्पेक्ट्रल विधियों की सीमाओं को दूर करता है।

मूल लेखक: Dimitri Meunier, Jakub Wornbard, Vladimir R. Kostic, Antoine Moulin, Alek Fröhlich, Karim Lounici, Massimiliano Pontil, Arthur Gretton

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dimitri Meunier, Jakub Wornbard, Vladimir R. Kostic, Antoine Moulin, Alek Fröhlich, Karim Lounici, Massimiliano Pontil, Arthur Gretton

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: शोर-शराबे वाली दुनिया में असली कारण को खोजना

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि क्या अधिक सब्जियां खाना (उपचार/Treatment) वास्तव में लोगों को लंबा जीवन (परिणाम/Outcome) देता है।

समस्या यह है कि जो लोग अधिक सब्जियां खाते हैं, वे शायद बेहतर नौकरियां भी करते होंगे, साफ-सुथरे इलाकों में रहते होंगे, या उनकी जेनेटिक्स (आनुवंशिकी) बेहतर होगी (छिपे हुए कारक/Hidden Confounders)। यदि आप केवल सब्जी खाने वालों की तुलना न खाने वालों से करते हैं, तो आपको लग सकता है कि सब्जियां जादुई हैं, जबकि वास्तव में ऐसा इसलिए है क्योंकि सब्जी खाने वाले पहले से ही स्वस्थ थे।

इसे हल करने के लिए, सांख्यिकीविद एक उपकरण का उपयोग करते हैं जिसे इंस्ट्रूमेंटल वेरिएबल (IV) कहा जाता है। इंस्ट्रूमेंट को एक "प्राकृतिक प्रयोग" के रूप में समझें।

इंस्ट्रूमेंट (Z): शायद यह है कि कोई व्यक्ति किराने की दुकान के कितने करीब रहता है।
तर्क: दुकान के पास रहना सब्जियों को खरीदना (उपचार) आसान बनाता है, लेकिन दुकान के पास रहने का आपकी जेनेटिक्स या नौकरी पर कोई सीधा प्रभाव नहीं पड़ता (छिपे हुए कारक)।

किराने की दुकान की दूरी को एक "प्रॉक्सी" के रूप में उपयोग करके, हम जीवन प्रत्याशा पर सब्जियों के वास्तविक प्रभाव को अलग कर सकते हैं।

समस्या: "एक ही आकार सबके लिए" वाला नक्शा

इसे गणितीय रूप से करने के लिए, कंप्यूटर को एक "नक्शा" (विशेषताएं/features) सीखने की आवश्यकता होती है जो इंस्ट्रूमेंट (किराने की दुकान की दूरी) को उपचार (सब्जी का सेवन) से जोड़ता है।

वर्तमान सर्वोत्तम विधि (जिसे SpecIV कहा जाता है) डेटा में सबसे "तेज" या स्पष्ट पैटर्न को देखकर इस नक्शे को सीखने की कोशिश करती है।

उपमा: कल्पना कीजिए कि आप एक विशिष्ट गाना सुनने के लिए रेडियो ट्यून करने की कोशिश कर रहे हैं (असली कारण)। पुरानी विधि (SpecIV) केवल उन स्टेशनों को सुनती है जिनका सिग्नल सबसे मजबूत होता है।
दोष: कभी-कभी, जो गाना आप सुनना चाहते हैं वह एक शांत, कमजोर स्टेशन पर बज रहा होता है। यदि पुरानी विधि केवल तेज स्टेशनों को सुनती है, तो वह उस गाने को पूरी तरह से मिस कर देती है। तकनीकी शब्दों में, "असली कारण" डेटा के सूक्ष्म, कम-आवृत्ति (low-frequency) वाले हिस्सों में छिपा हो सकता है, जबकि तेज हिस्से केवल शोर या अप्रासंगिक पैटर्न होते हैं।

जब ऐसा होता है, तो पुरानी विधि विफल हो जाती है क्योंकि यह आउटकम-अग्नोस्टिक (परिणाम-अनजान) है—इसे अंतिम परिणाम (लंबा जीवन जीने) की परवाह नहीं है; इसे केवल इंस्ट्रूमेंट और उपचार के बीच के संबंध की परवाह है।

समाधान: "आउटकम-अवेयर" (परिणाम-जागरूक) जासूस

लेखक एक नई विधि प्रस्तावित करते हैं जिसे ऑगमेंटेड स्पेक्ट्रल फीचर लर्निंग कहा जाता है।

केवल सबसे तेज रेडियो स्टेशनों को सुनने के बजाय, यह नई विधि सिग्नल को सुनती है और यह भी जांचती है कि क्या वह परिणाम (outcome) की भविष्यवाणी करने में मदद करता है।

उपमा: कल्पना कीजिए कि आप फिर से वही रेडियो ट्यून कर रहे हैं। इस बार, आपके पास एक दोस्त है जो उस गाने के बोल जानता है जिसे आप सुनना चाहते हैं। आप डायल को (फीचर्स सीखने के लिए) केवल सबसे मजबूत सिग्नल खोजने के लिए नहीं, बल्कि उस सिग्नल को खोजने के लिए एडजस्ट करते हैं जो आपके दोस्त द्वारा गुनगुनाए जा रहे बोलों से मेल खाता हो।
यह कैसे काम करता है: गणित सीखने की प्रक्रिया में एक "रेगुलराइजेशन टर्म" (एक मार्गदर्शक नियम) जोड़ता है। यह कंप्यूटर को इंस्ट्रूमेंट में ऐसे पैटर्न खोजने के लिए मजबूर करता है जो न केवल मजबूत हों, बल्कि परिणाम की भविष्यवाणी करने में भी सक्षम हों।

यदि "असली कारण" एक कमजोर सिग्नल में छिपा है, तो यह नई विधि उस विशिष्ट सिग्नल को बढ़ा देती है क्योंकि यह जानती है कि अंतिम उत्तर के लिए वही महत्वपूर्ण है।

परिणाम: शोर में सिग्नल को पकड़ना

पेपर इस विचार का परीक्षण तीन तरीकों से करता है:

सिंथेटिक डेटा (लैब टेस्ट): उन्होंने नकली डेटा बनाया जहाँ उन्हें पता था कि "असली कारण" कहाँ छिपा है।
- परिणाम: जब असली कारण एक कमजोर सिग्नल में छिपा था (खराब परिदृश्य), तो पुरानी विधि पूरी तरह विफल रही। नई विधि ने इसे खोज निकाला और सही उत्तर दिया।
dSprites (इमेज टेस्ट): उन्होंने सरल आकृतियों (दिल, वर्ग, दीर्घवृत्त/ellipses) के एक डेटासेट का उपयोग किया।
- परिदृश्य A (आसान): कार्य कुछ स्पष्ट होने की भविष्यवाणी करना था, जैसे आकार का आकार (size)। पुरानी विधि यहाँ ठीक से काम करती है।
- परिदृश्य B (कठिन): उन्होंने कार्य को एक दीर्घवृत्त (ellipse) के ओरिएंटेशन (कोण/angle) की भविष्यवाणी करने में बदल दिया। यह एक सूक्ष्म विवरण है जिसे पुरानी विधि मिस कर देती है क्योंकि वह "तेज" फीचर्स (जैसे स्थिति/position) पर ध्यान केंद्रित करती है। नई विधि, यह जानते हुए कि लक्ष्य ओरिएंटेशन है, अपना ध्यान केंद्रित करती है और सफल होती है।
ऑफ-पॉलिसी इवैल्यूएशन (रोबोट टेस्ट): उन्होंने इसे रीइन्फोर्समेंट लर्निंग (रोबोट को गेम खेलना सिखाना) पर लागू किया।
- संदर्भ: यह अनुमान लगाना कि एक अलग रोबोट के डेटा के आधार पर, एक रोबोट गेम में कैसा प्रदर्शन करता।
- परिणाम: इन जटिल, बदलते परिवेशों में, नई विधि मजबूत और प्रतिस्पर्धी बनी रही, जिससे साबित हुआ कि यह उन स्थितियों को संभाल सकती है जहाँ "लक्ष्य" लगातार बदलता रहता है।

निष्कर्ष

यह पेपर कंप्यूटर को कारण-और-प्रभाव (cause-and-effect) संबंध खोजने के लिए सिखाने का एक स्मार्ट तरीका पेश करता है।

पुराना तरीका: "टूल और क्रिया के बीच सबसे मजबूत पैटर्न खोजें।" (अक्सर सूक्ष्म, महत्वपूर्ण चीजों को मिस कर देता है)।
नया तरीका: "टूल और क्रिया के बीच उन पैटर्न को खोजें जो वास्तव में परिणाम की भविष्यवाणी करने में मदद करते हैं।" (सही पैटर्न ढूंढता है, भले ही वे शांत हों)।

सीखने की प्रक्रिया को "आउटकम-अवेयर" बनाकर, लेखक यह सुनिश्चित करते हैं कि कंप्यूटर तेज लेकिन अप्रासंगिक शोर से विचलित न हो, जिससे वह उन कठिन कारण संबंधी पहेलियों को हल कर सके जिन्हें पिछली विधियाँ हल नहीं कर पाई थीं।

तकनीकी सारांश: इंस्ट्रुमेंटल वेरिएबल रिग्रेशन के लिए आउटकम-अवेयर स्पेक्ट्रल फीचर लर्निंग

समस्या विवरण

यह शोध पत्र छिपे हुए कन्फाउंडर्स (hidden confounders) की उपस्थिति में कॉज़ल इफेक्ट्स (causal effects) का अनुमान लगाने की चुनौती को संबोधित करता है, जिसे नॉनपैरामेट्रिक इंस्ट्रुमेंटल वेरिएबल (NPIV) रिग्रेशन कहा जाता है। मुख्य मॉडल एक स्ट्रक्चरल रिलेशनशिप $Y = h_0(X) + U$ को मानता है जहाँ $E[U|Z]=0$ है, जहाँ $X$ ट्रीटमेंट है, $Y$ आउटकम है, $Z$ इंस्ट्रूमेंट है, और $U$ एक अनऑब्जर्व्ड कन्फाउंडर है। लक्ष्य $(Y, X, Z)$ के i.i.d. सैंपल्स से स्ट्रक्चरल फंक्शन $h_0$ को रिकवर करना है।

इस समस्या को एक लीनियर इनवर्स प्रॉब्लम $T h_0 = r_0$ के रूप में स्वरूपित किया गया है, जहाँ $T$ एक कंडिशनल एक्सपेक्टेशन ऑपरेटर है जो $h(X)$ को $E[h(X)|Z]$ में मैप करता है। जबकि स्टेट-ऑफ-द-आर्ट मेथड्स जैसे SpecIV (Sun et al., 2025), $T$ के टॉप सिंगुलर सबस्पेस को एप्रोक्सिमेट करके स्पेक्ट्रल फीचर्स सीखते हैं, लेखक एक मौलिक सीमा की पहचान करते हैं: ये फीचर्स आउटकम-अग्नोस्टिक (outcome-agnostic) हैं। वे $X$ और $Z$ के बीच के संबंध के डोमिनेंट मोड्स को कैप्चर करते हैं लेकिन $h_0$ को रिप्रेजेंट करने में विफल हो सकते हैं यदि $h_0$ , $T$ के डोमिनेंट सिंगुलर सबस्पेस के बाहर स्थित हो (एक परिदृश्य जिसे "स्पेक्ट्रल मिसअलाइनमेंट" कहा जाता है)। ऐसे मामलों में, मानक स्पेक्ट्रल मेथड्स काफी खराब प्रदर्शन करते हैं।

कार्यप्रणाली: ऑगमेंटेड स्पेक्ट्रल फीचर लर्निंग

स्पेक्ट्रल मिसअलाइनमेंट को कम करने के लिए, लेखक ऑगमेंटेड स्पेक्ट्रल फीचर लर्निंग का प्रस्ताव करते हैं, एक ऐसा फ्रेमवर्क जो फीचर लर्निंग प्रक्रिया को आउटकम-अवेयर (outcome-aware) बनाता है।

1. ऑगमेंटेड ऑपरेटर और लॉस फंक्शन

यह विधि एक ऑगमेंटेड ऑपरेटर $T_\delta$ पेश करती है जो आउटकम $Y$ से प्राप्त जानकारी को शामिल करती है। विशेष रूप से, $T_\delta$ को $T$ के एक रैंक-वन परटर्बेशन (rank-one perturbation) के रूप में परिभाषित किया गया है:
$T_\delta: L^2(X) \times \mathbb{R} \to L^2(Z), \quad (h, a) \mapsto Th + a \cdot \delta \cdot r_0$
जहाँ $r_0 = E[Y|Z]$ है और $\delta$ एक हाइपरपैरामीटर है जो आउटकम सिग्नल की स्ट्रेंथ को नियंत्रित करता है।

लर्निंग ऑब्जेक्टिव को एक नए कंट्रास्टिव लॉस $L^{(d)}_\delta(\theta, \omega)$ को मिनिमाइज करने के लिए संशोधित किया गया है, जो स्टैंडर्ड स्पेक्ट्रल लॉस $L^{(d)}_0$ (जो $T$ को एप्रोक्सिमेट करता है) को आउटकम से प्राप्त रेगुलराइजेशन टर्म के साथ जोड़ता है:
$L^{(d)}_\delta(\theta, \omega) = L^{(d)}_0(\theta) - 2\delta E[Y \psi^{(d)}_\theta(Z)]^\top \omega + \omega^\top C_{\psi^{(d)}_\theta} \omega$
यहाँ, $\psi^{(d)}_\theta$ और $\phi^{(d)}_\theta$ क्रमशः $Z$ और $X$ के लिए न्यूरल नेटवर्क फीचर मैप्स हैं, और $\omega$ एक ऑक्जिलरी वेरिएबल है। इस लॉस को मिनिमाइज करना सैद्धांतिक रूप से ऑगमेंटेड ऑपरेटर $T_\delta$ के बेस्ट रैंक- $d$ एप्रोक्सिमेशन को खोजने के समान है।

2. सैद्धांतिक तंत्र (Theoretical Mechanism)

$T$ को आउटकम सिग्नल $r_0$ के साथ ऑगमेंट करके, यह विधि $T$ के उन सिंगुलर कंपोनेंट्स को एम्प्लीफाई करती है जो $h_0$ के लिए प्रासंगिक हैं। भले ही $h_0$ , $T$ के एक "बुरे" (लो सिंगुलर वैल्यू) डायरेक्शन के साथ अलाइन हो, परटर्बेशन $T_\delta$ के डोमिनेंट सिंगुलर सबस्पेस को $h_0$ के साथ अलाइन करने के लिए शिफ्ट कर सकता है। यह सीखे गए फीचर्स को $Y$ प्रेडिक्ट करने के लिए आवश्यक सिग्नल को कैप्चर करने की अनुमति देता है, भले ही स्टैंडर्ड स्पेक्ट्रल फीचर्स इसे मिस कर दें।

3. एस्टीमेशन प्रोसीजर

यह फ्रेमवर्क टू-स्टेज लीस्ट स्क्वायर्स (2SLS) एस्टीमेटर के साथ इंटीग्रेट होता है।

स्टेज 1: एक डेटासेट $\tilde{D}_m$ पर एम्पिरिकल ऑगमेंटेड लॉस को मिनिमाइज करके फीचर्स $\phi^{(d)}_\theta$ और $\psi^{(d)}_\theta$ को सीखें।
स्टेज 2: एक अलग डेटासेट $D_n$ पर सीखे गए फीचर्स का उपयोग करके स्टैंडर्ड 2SLS रिग्रेशन के माध्यम से स्ट्रक्चरल फंक्शन $h_0$ का अनुमान लगाएं।

मुख्य योगदान

सीमा की पहचान: लेखकों ने औपचारिक रूप से पहचान की कि मौजूदा स्पेक्ट्रल मेथड्स NPIV के लिए आउटकम-अग्नोस्टिक हैं, जिससे स्पेक्ट्रल मिसअलाइनमेंट के कारण प्रदर्शन में गिरावट आती है।
ऑगमेंटेड फ्रेमवर्क: उन्होंने ऑगमेंटेड स्पेक्ट्रल फीचर लर्निंग का प्रस्ताव दिया, जिसमें ऑपरेटर $T_\delta$ और एक संबंधित कंट्रास्टिव लॉस पेश किया गया है जो फीचर लर्निंग प्रक्रिया में आउटकम जानकारी को शामिल करता है।
सैद्धांतिक गारंटी:
- 2SLS एस्टीमेटर के लिए एक नॉन-एसिम्प्टोटिक, हाई-प्रोबेबिलिटी एरर बाउंड प्रदान किया गया है, जो एप्रोक्सिमेशन एरर को स्टैटिस्टिकल एरर से अलग करता है।
- विश्लेषण यह दर्शाता है कि यह विधि "बुरे" परिदृश्यों (स्पेक्ट्रल मिसअलाइनमेंट) में भी मजबूत बनी रहती है जहाँ स्टैंडर्ड SpecIV विफल हो जाता है। विशेष रूप से, यदि सिग्नल-टू-नॉइज़ रेशियो पर्याप्त है, तो यह विधि $h_0$ को एक सिंगल फीचर के साथ रिकवर कर सकती है, भले ही $h_0$ , $T$ के लो-सिंगुलर-वैल्यू कंपोनेंट के साथ अलाइन हो।
एम्पिरिकल वैलिडेशन: दृष्टिकोण को सिंथेटिक डेटा, सेमी-सिंथेटिक dSprites बेंचमार्क (एक नए, अधिक चुनौतीपूर्ण स्ट्रक्चरल फंक्शन सहित), और रिइंफोर्समेंट लर्निंग में ऑफ-पॉलिसी इवैल्यूएशन (OPE) टास्क पर वैलिडेट किया गया है।

प्रयोगात्मक परिणाम

सिंथेटिक डेटा: खराब स्पेक्ट्रल अलाइनमेंट वाले परिदृश्यों में (जहाँ $h_0$ , $T$ के लो सिंगुलर वैल्यूज के साथ अलाइन है), $\delta$ बढ़ाने से स्टैंडर्ड SpecIV ( $\delta=0$ ) की तुलना में MSE में महत्वपूर्ण कमी आती है।
dSprites बेंचमार्क:
- स्टैंडर्ड "वेल-अलाइन्ड" बेंचमार्क पर, यह विधि मामूली सुधार दिखाती है।
- एक नए "मिसअलाइन्ड" बेंचमार्क ( $h_{new}$ ) पर, जहाँ स्ट्रक्चरल फंक्शन रोटेशन (एक लो-सिंगुलर-वैल्यू फीचर) पर निर्भर करता है, वैनिला SpecIV बहुत खराब प्रदर्शन करता है। आउटकम-अवेयर मेथड, ट्यून्ड $\delta$ के साथ, DFIV (एक मजबूत प्रतियोगी) के प्रदर्शन के बराबर या उससे थोड़ा बेहतर प्रदर्शन करता है।
ऑफ-पॉलिसी इवैल्यूएशन (OPE): रिइंफोर्समेंट लर्निंग सेटिंग्स (CartPole, Mountain Car, Catch) में, यह विधि मजबूती प्रदर्शित करती है। हालांकि कोई भी एक विधि सभी टास्क में हावी नहीं थी, ऑगमेंटेड SpecIV ने स्टैंडर्ड SpecIV की तुलना में स्पेक्ट्रल मिसअलाइनमेंट के प्रति बेहतर अनुकूलन क्षमता दिखाई, विशेष रूप से CartPole एनवायरनमेंट में।

महत्व और दावे

यह पेपर दावा करता है कि ऑगमेंटेड स्पेक्ट्रल फीचर लर्निंग वर्तमान स्पेक्ट्रल मेथड्स की एक मौलिक सीमा को संबोधित करता है, यह सुनिश्चित करके कि सीखे गए रिप्रेजेंटेशन्स न केवल ट्रीटमेंट के प्रेडिक्टिव हैं बल्कि कॉज़ल आउटकम के लिए भी प्रासंगिक हैं। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण उन रेजिम्स में मजबूती प्रदान करता है जहाँ स्टैंडर्ड मेथड्स स्पेक्ट्रल मिसअलाइनमेंट के कारण विफल हो जाते हैं।

यह कार्य अधिक एडेप्टिव NPIV एस्टीमेशन की दिशा में एक कदम के रूप में स्थित है। लेखक नोट करते हैं कि जबकि उनका वर्तमान दृष्टिकोण रैंक-वन ऑगमेंटेशन पर निर्भर करता है, फ्रेमवर्क को हायर-रैंक परटर्बेशंस (जैसे, $Y$ के कई फंक्शन्स का उपयोग करके) तक विस्तारित करना भविष्य के अनुसंधान के लिए एक आशाजनक दिशा है। पेपर निष्कर्ष निकालता है कि उनकी विधि स्पेक्ट्रल फीचर-बेस्ड NPIV की प्रयोज्यता को व्यापक बनाती है, विशेष रूप से ऑफ-पॉलिसी इवैल्यूएशन जैसे जटिल सेटिंग्स में जहाँ टारगेट फंक्शन डायनामिक रूप से बदल सकता है।