📊 statistics

Estimating Bidirectional Causal Effects with Large Scale Online Kernel Learning

यह शोध पत्र एक स्केलेबल ऑनलाइन कर्नेल लर्निंग फ्रेमवर्क प्रस्तावित करता है जो बड़े पैमाने पर, स्ट्रीमिंग और उच्च-आयामी डेटा में द्विदिश (bidirectional) कारण प्रभावों का सटीक और कुशल अनुमान लगाने के लिए रैंडम फूरियर फीचर्स और एडेप्टिव ग्रेडिएंट डिसेंट के साथ हेटेरोस्केडास्टिसिटी-आधारित पहचान को जोड़ता है।

मूल लेखक: Masahiro Tanaka

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Masahiro Tanaka

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप दो ऐसी चीजों के बीच के संबंध को समझने की कोशिश कर रहे हैं जो लगातार एक-दूसरे को प्रभावित करती हैं, जैसे कि एक जंगल में शिकारी और उसका शिकार, या कर्मचारियों का मनोबल और कंपनी का प्रदर्शन। वास्तविक दुनिया में, ऐसे संबंध शायद ही कभी एकतरफा होते हैं। उच्च मनोबल प्रदर्शन को बढ़ावा दे सकता है, लेकिन उच्च प्रदर्शन भी मनोबल को बढ़ा सकता है। इसे द्विदिश कारण प्रभाव (bidirectional causal effect) कहा जाता है।

समस्या यह है कि पारंपरिक सांख्यिकीय उपकरण (statistical tools) एक एकतरफा दर्पण की तरह हैं; वे यह देखने में तो माहिर हैं कि A कैसे B को प्रभावित करता है, लेकिन वे तब भ्रमित हो जाते हैं जब A और B एक साथ नाच रहे हों, यानी एक-दूसरे के कदमों को एक साथ बदल रहे हों। इसके अलावा, वास्तविक दुनिया का डेटा अव्यवस्थित, विशाल और अक्सर एक तेज़ गति वाली धारा (जैसे सूचना का फव्वारा) के रूप में आता है, जिससे पुराने तरीकों के लिए बिना कंप्यूटर क्रैश किए तालमेल बिठाना कठिन हो जाता है।

यह शोध पत्र इस पहेली को सुलझाने के लिए एक नया, स्मार्ट टूल पेश करता है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ तोड़कर समझाया गया है:

1. जासूस का नया सुराग: "डगमगाता विचरण" (The Wobbly Variance)

आमतौर पर, कारण और प्रभाव को समझने के लिए वैज्ञानिक एक "जादुई स्विच" (एक उपकरण) की तलाश करते हैं जो एक चीज़ को बदलता है लेकिन दूसरी को नहीं। लेकिन क्या होगा यदि आपके पास कोई जादुई स्विच न हो?

यह शोध पत्र विषमक विचलन (heteroskedasticity) पर आधारित एक चतुर तकनीक का उपयोग करता है। इसे केवल औसत के बजाय डेटा की स्थिरता को देखने के रूप में समझें।

कल्पना कीजिए कि दो दोस्त, एलिस और बॉब, एक-दूसरे के मूड को प्रभावित करते हैं।
कभी-कभी, एलिस का मूड बहुत स्थिर (कम विचरण/variance) होता है, लेकिन बॉब का मूड बहुत उतार-चढ़ाव वाला (उच्च विचरण) होता है।
अन्य समय में, इसके विपरीत होता है।
लेखकों की विधि एक ऐसे जासूस की तरह काम करती है जो इस "डगमगाहट" या अस्थिरता के बदलावों को नोटिस करता है। यह देखते हुए कि एक व्यक्ति का 'वोबल' (अस्थिरता) दूसरे के स्थिर रहने के दौरान कैसे बदलता है, यह विधि गणितीय रूप से यह सुलझा सकती है कि कौन किसे प्रभावित कर रहा है, भले ही आपके पास कोई जादुजी स्विच न हो।

2. "अनंत आकार बदलने वाला" (Kernel Learning)

वास्तविक जीवन सीधी रेखा नहीं है। चरों (variables) के बीच का संबंध अक्सर घुमावदार, ऊबड़-खाबड़ और जटिल होता है।

पुराने तरीके एक घुमावदार सड़क पर सीधा स्केल (रूलर) फिट करने की कोशिश करते थे। यह ठीक से काम नहीं करता था।
यह नई विधि कर्नेल लर्निंग (Kernel Learning) नामक चीज़ का उपयोग करती है। एक आकार बदलने वाले (shape-shifter) की कल्पना करें जो डेटा के साथ पूरी तरह फिट होने के लिए किसी भी वक्र या उभार का रूप ले सकता है। यह डेटा को एक सीधी रेखा में मजबूर नहीं करता है; यह वास्तविकता के अनुरूप खुद को मोड़ लेता है।

3. "जादुई शॉर्टकट" (Random Fourier Features)

यहाँ एक पेच है: यदि आपके पास एक ऐसा आकार बदलने वाला है जो कोई भी आकार ले सकता है, तो उसे गणना करने के लिए एक सुपरकंप्यूटर और अनंत मेमोरी की आवश्यकता होगी। यह एक गैलेक्सी के हर एक पिक्सेल की तस्वीर बनाने की कोशिश करने जैसा है।

इसे ठीक करने के लिए, लेखक रैंडम फूरियर फीचर्स (Random Fourier Features) का उपयोग करते हैं।

इसे एक जादुय शॉर्टकट के रूप में सोचें। हर एक पिक्सेल को पेंट करने के बजाय, यह विधि "ब्रशस्ट्रोक" (रैंडम तरंगों) का एक विशिष्ट सेट चुनती है, जो मिलकर एक ऐसी तस्वीर बनाते हैं जो लगभग सटीक रूप से जटिल वास्तविकता जैसी दिखती है।
यह कंप्यूटर को बिना थके भारी मात्रा में डेटा (हजारों चर) को संभालने की अनुमति देता है। यह एक पूरी लाइब्रेरी को याद करने बनाम उस पूरी लाइब्रेरी का सारांश देने वाली कुछ प्रमुख कहानियों को सीखने के बीच का अंतर है।

4. "स्ट्रीमिंग ट्रेन" (Online Learning)

अधिकांश पुराने तरीकों के लिए आपको ट्रेन को रोकना पड़ता है, सारा माल (डेटा) उतारना पड़ता है, उसे प्रोसेस करना पड़ता है, और फिर फिर से शुरू करना पड़ता है। यह धीमा है और उस डेटा के लिए असंभव है जो कभी रुकता नहीं है (जैसे सोशल मीडिया फीड या शेयर बाजार)।

यह नया तरीका ऑनलाइन लर्निंग (Online Learning) का उपयोग करता है।

एक कन्वेयर बेल्ट की कल्पना करें जहाँ डेटा एक-एक करके आता है।
एल्गोरिदम जैसे ही कोई आइटम आता है, उससे सीखता है, अपनी समझ को अपडेट करता है, और अगले आइटम की ओर बढ़ जाता है। यह कभी नहीं रुकता, इसे पूरे डेटासेट को फिर से लोड करने की आवश्यकता नहीं होती है, और यह हर नई जानकारी के साथ स्मार्ट होता जाता है।

उन्होंने क्या पाया?

लेखकों ने अपने तरीके का परीक्षण दो अन्य दृष्टिकोणों के विरुद्ध किया:

"एकल-दृष्टि" (Single-Look) विधि: जो इस तथ्य को नजरअंदाज करती है कि चर एक-दूसरे को प्रभावित करते हैं (और गलत उत्तर देती है)।
"पुराना-स्कूल बहुपद" (Old-School Polynomial) विधि: जो जटिल गणितीय सूत्रों का उपयोग करने की कोशिश करती है लेकिन धीमी और अस्थिर है।

परिणाम:

सटीकता (Accuracy): उनकी नई विधि सबसे सटीक थी। इसने डेटा के अव्यवस्थित और गैर-रेखीय होने के बावजूद कारण-और-प्रभाव संबंधों को सही ढंग से पहचाना।
गति (Speed): यह सरल (लेकिन गलत) विधि के लगभग बराबर तेज़ थी और पुराने जटिल तरीके की तुलना में काफी तेज़ थी।
स्केलेबिलिटी (Scalability): इसने 1,000 चरों वाले विशाल डेटासेट को आसानी से संभाला, जबकि पुराना जटिल तरीका धीमा होकर थम गया।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र एक व्यावहारिक, तेज़ और सटीक तरीका प्रस्तावित करता है जिससे यह पता लगाया जा सके कि दो चीजें एक जटिल, उच्च-गति वाली दुनिया में एक-दूसरे को कैसे प्रभावित करती हैं। यह अर्थशास्त्र के तर्क (विचरण में सुराग ढूंढना) को आधुनिक मशीन लर्निंग (आकार बदलने वालों और जादुई शॉर्टकट का उपयोग करना) के साथ जोड़कर एक ऐसी समस्या को हल करता है जो लंबे समय से कठिन रही है।

सीमाएँ: लेखक स्वीकार करते हैं कि उनका वर्तमान टूल तब सबसे अच्छा काम करता है जब डेटा का "वोबल" (डगमगाहट) एक विशिष्ट, सममित पैटर्न का पालन करता है। यदि डेटा अत्यधिक विषम (skewed) है या संबंध बहुत अजीब तरीके से गैर-रेखीय है, तो टूल को भविष्य के अपग्रेड की आवश्यकता हो सकती है। लेकिन फिलहाल, यह बिग डेटा में आपसी निर्भरता को समझने के लिए एक शक्तिशाली नया इंजन है।

तकनीकी सारांश: बड़े पैमाने पर ऑनलाइन कर्नेल लर्निंग के साथ द्विदिशीय कारण प्रभावों का अनुमान लगाना

समस्या विवरण

यह शोध पत्र उन प्रणालियों में द्विदिशीय कारण प्रभावों (bidirectional causal effects) का अनुमान लगाने की चुनौती को संबोधित करता है जो पारस्परिक निर्भरता और हेटेरोस्केडास्टिसिटी (heteroskedasticity) से युक्त होती हैं। जबकि पारंपरिक कारण अनुमान (causal inference) अक्सर एकदिशीय संबंधों पर ध्यान केंद्रित करते हैं, कई वास्तविक दुनिया की प्रणालियाँ (जैसे शिकारी-शिकार गतिशीलता, नीतिगत हस्तक्षेप, और मस्तिष्क-व्यवहार अंतःक्रियाएं) पारस्परिक कारणता प्रदर्शित करती हैं। बड़े पैमाने पर, उच्च-आयामी (high-dimensional) और स्ट्रीमिंग डेटा को संभालने के मामले में एक महत्वपूर्ण पद्धतिगत अंतराल मौजूद है।

मौजूदा दृष्टिकोण दो प्राथमिक सीमाओं का सामना करते हैं:

इंस्ट्रूमेंटल वेरिएबल (IV) विधियाँ: पारंपरिक IV विधियाँ उपचार चरों (treatment variables) के 'कंडीशनल मीन' में बाह्य बदलावों पर निर्भर करती हैं। वे द्विदिशीय प्रणालियों के साथ संघर्ष करती हैं जब तक कि ऐसे वैध इंस्ट्रूमेंट्स उपलब्ध न हों जो एक वक्र को बदलते हुए दूसरे को स्थिर छोड़ दें।
हेटेरोस्केडास्टिसिटी-आधारित पहचान (Identification): हालांकि यह दृष्टिकोण (जो बाह्य विविधताओं यानी 'कंडीशनल वेरिएंस' पर निर्भर करता है) बिना किसी बाहरी इंस्ट्रूमेंट के सिमुल्टेनियस इक्वेशन मॉडल्स (SEMs) की पहचान करने की अनुमति देता है, लेकिन पारंपरिक कार्यान्वयन के लिए अक्सर नमूनों को उप-नमूनों (subsamples) में विभाजित करने या जटिल बहुपद सन्निकटन (polynomial approximations) की आवश्यकता होती है। इन विधियों में गैर-रेखीय कंडीशनल वेरिएंस और मीन को मॉडल करने में लचीलेपन की कमी हो सकती है, या वे उच्च-आयामी सेटिंग्स में कम्प्यूटेशनल अक्षमता से ग्रस्त हो सकती हैं।

कार्यप्रणाली

प्रस्तावित ढांचा हेटेरोस्केडास्टिसिटी-आधारित पहचान को बड़े पैमाने पर ऑनलाइन कर्नेल लर्निंग के साथ एकीकृत करता है। इसके मुख्य घटक हैं:

1. मॉडल विनिर्देश (Model Specification)

लेखक एक सिमुल्टेनियस इक्वेशन मॉडल (SEM) को परिभाषित करते हैं जिसमें दो एंडोजेनस चर ( $y_1, y_2$ ) और एक्सोजेनस कोवेरिएट्स ( $x$ ) हैं:
$\begin{aligned} y_{1,i} &= \gamma_1 y_{2,i} + h_1(x_i, \beta_1) + \varepsilon_{1,i} \\ y_{2,i} &= \gamma_2 y_{1,i} + h_2(x_i, \beta_2) + \varepsilon_{2,i} \end{aligned}$
महत्वपूर्ण रूप से, एरर टर्म्स के कंडीशनल वेरिएंस को कोवेरिएट्स के फलन (functions) के रूप में मॉडल किया गया है:
$g_{j,i} = V(\varepsilon_{j,i}|x_i) = \exp(f_j(x_i, \alpha_j))$
लक्ष्य कारण मापदंडों $\gamma_1$ और $\gamma_2$ के साथ-साथ अज्ञात फलनों $h_j$ और $f_j$ का अनुमान लगाना है।

2. पहचान रणनीति (Identification Strategy)

यह विधि क्वासी-मैक्सिमम लाइकलीहुड (QML) अनुमान पर निर्भर करती है। पहचान तब प्राप्त होती है जब दोनों समीकरणों के कंडीशनल वेरिएंस एक-दूसरे के समानुपाती नहीं होते हैं ( $g_1 \not\propto g_2$ )। यह विधि स्ट्रक्चरल समीकरणों के ढलानों (slopes) को एरर वेरिएंस के उतार-चढ़ाव के माध्यम से पहचानने की अनुमति देती है, जो कि इंस्ट्रूमेंटल वेरिएबल दृष्टिकोण का एक रूपांतर है जो मीन शिफ्ट के बजाय हेटेरोस्केडास्टिसिटी का लाभ उठाता है।

3. रैंडम फूरियर फीचर्स के माध्यम से फलन सन्निकटन (Function Approximation)

गैर-रेखीयता और उच्च-आयामीता को संभालने के लिए, अज्ञात फलनों $h_j(\cdot)$ और $f_j(\cdot)$ को कर्नेल-आधारित कार्यात्मक निरूपणों का उपयोग करके सन्निकट किया जाता है।

पूर्ण कर्नेल मैट्रिक्स को संग्रहीत करने के बजाय (जो बड़े $N$ के लिए कम्प्यूटेशनल रूप से निषेधजनक है), लेखक रैंडम फूरियर फीचर्स (RFF) का उपयोग करते हैं।
बोचनर के प्रमेय (Bochner's theorem) के आधार पर, शिफ्ट-इनवेरिएंट कर्नेल्स (जैसे गॉसियन) को रैंडम साइनुसोइडल प्रोजेक्शन का उपयोग करके इनपुट $x$ को एक परिमित-आयामी फीचर स्पेस $z(x)$ में मैप करके अनुमानित किया जाता है:
$z(x) = (\sin(u_1^\top x), \cos(u_1^\top x), \dots, \sin(u_m^\top x), \cos(u_m^\top x))^\top$
यह कर्नेल विधि को फीचर स्पेस में एक रैखिक मॉडल में बदल देता है, जिससे कुशल गणना संभव होती है।

4. ऑनलाइन अनुकूलन (Online Optimization)

मापदंडों का अनुमान एक अनुकूली ऑनलाइन ग्रेडिएंट डिसेंट एल्गोरिदम का उपयोग करके लगाया जाता है:

लॉस फंक्शन (Loss Function): लॉग-गॉसियन क्वासी-लाइकलीहुड से व्युत्पन्न।
अनुकूलन (Optimization): एल्गोरिदम डेटा को स्ट्रीमिंग फैशन में प्रोसेस करता है (एक समय में एक अवलोकन या छोटे बैचों में)।
अनुकूलन क्षमता (Adaptivity): यह स्टेप-साइज़ ट्यूनिंग के लिए Adam ऑप्टिमाइज़ेशन और स्थिरता सुनिश्चित करने के लिए एडेप्टिव ग्रेडिएंट क्लिपिंग का उपयोग करता है। क्लिपिंग थ्रेशोल्ड को पिछले ग्रेडिएंट नॉर्म्स के बायस-करेक्टेड एक्सपोनेंशियल मूविंग एवरेज के रूप में अपडेट किया जाता है।

मुख्य योगदान

स्केलेबल द्विदिशीय अनुमान: यह शोध पत्र विशेष रूप से हेटेरोस्केडास्टिसिटी-आधारित पहचान का उपयोग करके SEMs में द्विदिशीय कारण प्रभावों को संयुक्त रूप से अनुमानित करने के लिए डिज़ाइन किए गए पहले स्केलेबल ऑनलाइन लर्निंग फ्रेमवर्क का प्रस्ताव करता है।
लचीला गैर-रेखीय मॉडलिंग: RFF को QML के साथ एकीकृत करके, यह विधि बहुपद सन्निकटन की कठोरता या पूर्ण कर्नेल मैट्रिसेस की कम्प्यूटेशनल लागत के बिना गैर-रेखीय कंडीशनल मीन और वेरिएंस को लचीले ढंग से मॉडल करती है।
कम्प्यूटेशनल दक्षता: यह दृष्टिकोण अवलोकनों और कोवेरिएट्स की संख्या के सापेक्ष लगभग-रैखिक कम्प्यूटेशनल स्केलिंग प्राप्त करता है, जो इसे उच्च-आयामी ( $d=1000$ ) और बड़े-नमूना ( $N=20,000$ ) स्ट्रीमिंग डेटा के लिए उपयुक्त बनाता है।
सैद्धांतिक आधार: यह विधि आधुनिक मशीन लर्निंग तकनीकों के साथ अर्थशास्त्र की पहचान सिद्धांत (विशेष रूप से हेटेरोस्केडास्टिसिटी के तहत SEMs के लिए स्थानीय पहचान स्थितियों) को जोड़ती है।

प्रयोगात्मक परिणाम

लेखकों ने अपने तरीके का मूल्यांकन दो बेसलाइनों के विरुद्ध किया:

सिंगल-कर्नेल (Single-Kernel): समीकरणों का स्वतंत्र रूप से अनुमान लगाता है (सिमुल्टेनियटी को अनदेखा करता है)।
SEM-PAB: बीटा फंक्शन वेट्स और बॉक्स-कॉक्स ट्रांसफॉर्मेशन के साथ बहुपद सन्निकटन का उपयोग करता है (पूर्व कार्य [11] में सबसे लचीला विनिर्देश)।

निष्कर्ष:

सटीकता (Accuracy): प्रस्तावित SEM-Kernel विधि ने विभिन्न डेटा जनरेटिंग प्रोसेसेज (DGPs), जिनमें जटिल गैर-रेखीय और हेटेरोस्केडास्टिक परिदृश्य (DGP-3) शामिल हैं, में लगातार कम बायस और रूट मीन स्क्वेर्ड एरर (RMSE) प्राप्त किया।
बेसलाइन में बायस: सिंगल-कर्नेल विधि ने व्यवस्थित बायस दिखाया, जो पुष्टि करता है कि एंडोजेनिटी (endogeneity) को अनदेखा करने से अनुमान असंगत हो जाते हैं। SEM-PAB विधि ने संख्यात्मक अस्थिरता और काफी अधिक त्रुटियां दिखाईं।
स्केलेबिलिटी:
- सटीकता बनाम फीचर्स: रैंडम फूरियर घटकों ( $m$ ) की संख्या बढ़ाने से $m \approx 500$ तक सटीकता में सुधार हुआ, जिसके बाद लाभ नगण्य हो गया।
- कम्प्यूटेशनल समय: SEM-Kernel विधि को सिंगल-कर्नेल बेसलाइन की तुलना में केवल थोड़ा अधिक समय लगा (उदाहरण के लिए, $N=20,000, d=1000$ के लिए ~4.5s बनाम ~3.0s), लेकिन यह SEM-PAB (जिसने >100s लिया) की तुलना में कई गुना तेज़ था।
मजबूती (Robustness): विधि ने बिना पुन: अंशांकन (recalibration) की आवश्यकता के विभिन्न नमूना आकारों और फीचर आयामों में स्थिरता बनाए रखी।

महत्व और दावे

शोध पत्र का दावा है कि प्रस्तावित ढांचा प्राकृतिक/सामाजिक विज्ञान, नीति निर्धारण और व्यावसायिक अनुप्रयोगों में जहाँ पारस्परिक निर्भरता मौजूद है, वहां बड़े पैमाने पर कारण अनुमान के लिए एक व्यावहारिक, स्केलेबल और सैद्धांतिक रूप से सुदृढ़ समाधान प्रदान करता है।

अर्थशास्त्र की पहचान तर्क को आधुनिक मशीन लर्निंग तकनीकों के साथ जोड़कर, यह विधि जटिल द्विदिशीय कारण प्रभावों को लगभग-रैखिक कम्प्यूटेशनल स्केलिंग के साथ प्रभावी ढंग से कैप्चर करती है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण पारंपरिक एकदिशीय कारण अनुमान की सीमाओं और पिछले हेटेरोस्केडास्टिसिटी-आधारित तरीकों की कम्प्यूटेशनल बाधाओं को दूर करता है।

सीमाएं और भविष्य का कार्य:
लेखक विनम्रतापूर्वक नोट करते हैं कि वर्तमान ढांचा केवल रैखिक कारण प्रभावों (स्ट्रक्चरल मापदंडों $\gamma$ के संदर्भ में) का अनुमान लगाता है और सममित त्रुटि पदों (symmetric error terms) को मानता है। वे गैर-रेखीय कारण संबंधों और अत्यधिक विषम (skewed) डेटा को समायोजित करने के लिए ढांचे का विस्तार करने को भविष्य के अनुसंधान के लिए महत्वपूर्ण दिशा के रूप में पहचानते हैं।