📊 statistics

GenAI Powered Dynamic Causal Inference with Unstructured Data

यह शोध पत्र एक नवीन सांख्यिकीय ढांचे को प्रस्तुत करता है जो अनस्ट्रक्चर्ड डेटा पर गतिशील कारण अनुमान (डायनेमिक कॉज़ल इन्फरेंस) को सक्षम करने के लिए जनरेटिव एआई का लाभ उठाता है, जिससे शोधकर्ताओं को यह अनुमान लगाने की अनुमति मिलती है कि टेक्स्ट और वीडियो जैसी अनुक्रमों (सीक्वेंस) के भीतर ट्रीटमेंट फीचर्स की स्थिति परिणामों को कैसे प्रभावित करती है, साथ ही वैध कॉन्फिडेंस इंटरवल भी प्रदान करती है।

मूल लेखक: Kentaro Nakamura, Kosuke Imai

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kentaro Nakamura, Kosuke Imai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि भाषण का ठीक कौन सा वाक्य किसी श्रोता को अपना मन बदलने के लिए मनाने में सफल रहा।

अतीत में, शोधकर्ता पूरे भाषण (या एक फोटो, या एक वीडियो) को एक एकल, स्थिर ब्लॉक के रूप में देखते थे। वे पूछते थे, "क्या यह भाषण काम आया?" लेकिन वे यह नहीं बता पाते थे कि, "क्या तीसरे वाक्य ने पहले वाले की तुलना में बेहतर काम किया?" या "क्या तर्कों का क्रम मायने रखता है?"

यह शोध पत्र, जिसे केंटारो नाकामुरा और कोसुके इमाई द्वारा लिखा गया है, इन सवालों के जवाब देने का एक नया तरीका पेश करता है। वे इसे GenAI-पावर्ड डायनेमिक कॉज़ल इन्फरेंस (GenAI-Powered Dynamic Causal Inference) कहते हैं। यह कैसे काम करता है, यहाँ सरल अवधारणाओं और उपमाओं के माध्यम से बताया गया है।

1. समस्या: "स्थिर फोटो" बनाम "मूवी"

पुराने तरीके टेक्स्ट के एक टुकड़े को एक फोटोग्राफ की तरह मानते हैं। आप पूरी तस्वीर देखते हैं और तय करते हैं कि वह "अच्छी" है या "बुरी"। लेकिन वास्तविक जीवन एक मूवी की तरह है। दृश्य एक के बाद एक चलते हैं। सीन 3 में क्या होता है, यह इस पर निर्भर करता है कि सीन 1 और 2 में क्या हुआ था।

यदि आप एक फिल्म देख रहे हैं और कोई पात्र कुछ चौंकाने वाली बात कहता है, तो आपकी प्रतिक्रिया इस बात पर निर्भर करती है कि उन्होंने वह बात शुरुआत में कही (जब आप अभी उन्हें जान ही रहे थे) या अंत में (जब आप पहले से ही उनकी पृष्ठभूमि जानते थे)। पुराने तरीके इस "टाइमिंग" प्रभाव को मापने में सक्षम नहीं थे। वे बस पूरी फिल्म को देखते थे और उसे एक स्कोर देते थे।

2. समाधान: "जादुई अनुवादक" (GenAI)

लेखक जेनरेटिव एआई (GenAI) का उपयोग एक विशेष उपकरण के रूप में करते हैं। GenAI को एक सुपर-स्मार्ट अनुवादक के रूप में सोचें जो न केवल शब्दों को पढ़ता है; बल्कि उनके पीछे के गहरे "वाइब" या "अर्थ" को भी समझता है।

जब आप इस AI में एक वाक्य डालते हैं, तो यह केवल अक्षरों को नहीं देखता; यह वाक्य को एक छिपे हुए कोड (जिसे "इंटरनल रिप्रेजेंटेशन" कहा जाता है) में बदल देता है। यह कोड उस विशिष्ट वाक्य के अर्थ, लहजे और संदर्भ को पकड़ लेता है।

लेखक इस AI का उपयोग दो चीजों के लिए करते हैं:

"शोर" (Noise) का अनुवाद करना: हर वाक्य में मुख्य बिंदु (ट्रीटमेंट) और कई अन्य विवरण (कन्फाउंडर्स, जैसे फॉन्ट, व्याकरण, या आसपास के शब्द) होते हैं। AI मुख्य बिंदु को शोर से अलग करने में मदद करता है।
एक "डीकन्फाउंडर" (Deconfounder) बनाना: कल्पना कीजिए कि आप यह देखने की कोशिश कर रहे हैं कि क्या कोई विशेष सामग्री केक का स्वाद बेहतर बनाती है। लेकिन हर बार जब आप वह सामग्री डालते हैं, तो बेकर ओवन का तापमान भी बदल देता है। आप यह नहीं बता सकते कि किस वजह से बदलाव हुआ! AI एक जादुई फिल्टर की तरह कार्य करता है जो गणितीय रूप से "ओवन के तापमान को स्थिर रखता है" ताकि आप केवल उस एक सामग्री के वास्तविक प्रभाव को देख सकें, भले ही आप भौतिक रूप से बेकर को बदलने से न रोक सकें।

3. विधि: रिवाइंडिंग और फास्ट-फॉरवर्डिंग

शोधकर्ता जानना चाहते हैं: "क्या होता अगर हम इस विशिष्ट वाक्य को किसी अलग स्थान पर रखते?"

चूंकि वे वास्तव में समय में पीछे जाकर भाषण को फिर से रिकॉर्ड नहीं कर सकते, इसलिए वे स्टोकेस्टिक इंटरवेंशन (Stochastic Intervention) नामक एक सांख्यिकीय ट्रिक का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि आपके पास ताश के पत्तों की एक गड्डी है जो भाषण के विभिन्न क्रमों का प्रतिनिधित्व करती है। एक विशिष्ट क्रम लागू करने के बजाय (जो असंभव या अवास्तविक हो सकता है), वे गड्डी को धीरे से "धक्का" देते हैं। वे पूछते हैं, "यदि हम इस वाक्य के यहाँ दिखने की संभावना को वहाँ के बजाय थोड़ा बढ़ा दें, तो दर्शकों की प्रतिक्रिया कैसे बदलेगी?"

वे इस खेल के नियमों को सीखने के लिए एक न्यूरल नेटवर्क (कंप्यूटर मस्तिष्क का एक प्रकार) का उपयोग करते हैं। यह AI के "जादुई अनुवादक" कोडों को देखता है, छिपे हुए पैटर्न को समझता है, और टेक्स्ट के प्रत्येक खंड के लिए कारण-और-प्रभाव संबंध की गणना करता है।

4. वास्तविक दुनिया का परीक्षण: हांगकांग विरोध प्रदर्शन

इसे सिद्ध करने के लिए, उन्होंने हांगकांग विरोध प्रदर्शनों के बारे में एक वास्तविक प्रयोग पर इसका परीक्षण किया।

सेटअप: लोगों को छोटे टेक्स्ट (विनेट्स) दिखाए गए जो इस बात पर तर्क दे रहे थे कि अमेरिका को प्रदर्शनकारियों का समर्थन क्यों करना चाहिए। इन टेक्स्ट में कई वाक्य थे।
ट्विस्ट: मुख्य तर्क (अमेरिकी कानूनी प्रतिबद्धताओं के बारे में) अलग-अलग टेक्स्ट में अलग-अलग स्थानों पर दिखाई दिया। कभी-कभी यह पहला वाक्य था; कभी-कभी यह अंतिम वाक्य था।
पुराना तरीका: यह केवल कहता कि "टेक्स्ट काम कर गया।"
नया तरीका: लेखकों की विधि ने पाया कि समय (Timing) मायने रखता है। तर्क का प्रभाव तब बहुत अधिक था जब वह टेक्स्ट में शुरुआत में आया, तुलना में जब वह बाद में आया। "जादुई फिल्टर" ने सफलतापूर्वक यह अलग किया कि तर्क को कब सुना गया, उसके प्रभाव को उस से अलग किया कि तर्क क्या था।

5. गारंटी: यह केवल एक अनुमान नहीं है

पेपर केवल यह नहीं कहता कि "ऐसा लगता है कि यह काम करता है।" वे सुनिश्चित करने के लिए दो चीजें कीं:

सिमुलेशन: उन्होंने नकली डेटा बनाया जहाँ वे उत्तर पहले से जानते थे। उनकी विधि ने हर बार सही उत्तर पाया, जैसे कोई छात्र अभ्यास टेस्ट में 100% अंक प्राप्त करता है।
गणितीय प्रमाण: उन्होंने यह साबित करने के लिए भारी-भरक गणित का उपयोग किया कि जैसे-जैसे आपके पास अधिक डेटा आता है, उनकी विधि अधिक सटीक होती जाती है और उनके कॉन्फिडेंस इंटरवल (त्रुटि की गुंजाइश) भरोसेमंद होते हैं।

सारांश

संक्षेप में, यह पेपर शोधकर्ताओं को अनस्ट्रक्चर्ड डेटा के लिए एक नया सूक्ष्मदर्शी (Microscope) प्रदान करता है। पूरे टेक्स्ट को एक धुंधले धब्बे के रूप में देखने के बजाय, अब वे AI का उपयोग करके विशिष्ट वाक्यों पर ज़ूम कर सकते हैं, उनके छिपे हुए संदर्भ को समझ सकते हैं, और ठीक से माप सकते हैं कि सूचना का क्रम और समय लोगों के मन को कैसे बदलता है। यह एक स्थिर "क्या यह काम आया?" के प्रश्न को एक गतिशील "कैसे और कब यह काम आया?" के उत्तर में बदल देता है।

तकनीकी सारांश: असंरचित डेटा के साथ GenAI संचालित डायनेमिक कॉज़ल इन्फरेंस (Dynamic Causal Inference)

समस्या विवरण (Problem Statement)

असंरचित डेटा (टेक्स्ट, इमेज, वीडियो) से कारण प्रभावों (causal effects) का अनुमान लगाने वाली मौजूदा विधियाँ आमतौर पर इन वस्तुओं को एक एकल, स्थिर अवलोकन (static observation) के रूप में मानती हैं। यह दृष्टिकोण ऐसे डेटा की अंतर्निहित अनुक्रमिक प्रकृति (sequential nature) की अनदेखी करता है, जहाँ विशेषताएँ समय के साथ विकसित होती हैं (जैसे, टेक्स्ट में वाक्य दर वाक्य, वीडियो में फ्रेम दर फ्रेम)। गतिशील सेटिंग्स में, बाद की विशेषताओं का दिखना अक्सर पहले की विशेषताओं पर निर्भर करता है, जिससे जटिल कन्फाउंडिंग संरचनाएं (confounding structures) बनती हैं। मानक समायोजन विधियाँ यहाँ विफल हो जाती हैं क्योंकि कन्फाउंडिंग विशेषताएँ उच्च-आयामी (high-dimensional), अज्ञात और समय के साथ विकसित होने वाली होती हैं। इसके अलावा, पारंपरिक कॉज़ल इन्फरेंस फ्रेमवर्क उच्च-आयामी गतिशील सेटिंग्स में "पॉजिटिविटी" (positivity) धारणा के साथ संघर्ष करते हैं, जहाँ पूर्व अनुक्रम (prior sequences) उपचार असाइनमेंट को लगभग निर्धारित कर सकते हैं, जिससे नियत हस्तक्षेप (deterministic interventions) अव्यवहार्य हो जाते हैं।

कार्यप्रणाली (Methodology)

लेखक एक डायनेमिक जेनेरेटिव एआई-पावर्ड इन्फरेंस (GPI) फ्रेमवर्क का प्रस्ताव करते हैं जो असंरचित डेटा में डायनेमिक हस्तक्षेपों को संभालने के लिए जनरेटिव आर्टिफिशियल इंटेलिजेंस (GenAI) का लाभ उठाता है। यह कार्यप्रणाली चार मुख्य घटकों से बनी है:

1. वैचारिक ढांचा और धारणाएं (Conceptual Framework and Assumptions)

अनुक्रमिक संरचना (Sequential Structure): असंरचित डेटा $X_i$ को खंडों के एक क्रमबद्ध अनुक्रम $X_{i1}, \dots, X_{iS_i}$ के रूप में मॉडल किया गया है।
उपचार और कन्फाउंडर्स (Treatment and Confounders): प्रत्येक खंड के लिए, एक नियत फलन (deterministic function) कच्चे डेटा को एक बाइनरी ट्रीटमेंट फीचर $W_{is}$ और अनऑब्जर्वड कन्फाउंडिंग फीचर्स के एक निम्न-आयामी वेक्टर $U_{is}$ में मैप करता है।
अनुक्रमिक पृथक्करणीयता (Sequential Separability): एक प्रमुख धारणा जो यह बताती है कि एक विशिष्ट खंड के कन्फाउंडिंग फीचर्स उसी खंड के ट्रीटमेंट फीचर के फलन नहीं हैं, हालांकि ट्रीटमेंट फीचर्स कन्फाउंडर्स पर निर्भर हो सकते हैं।
डीप जेनेरेटिव मॉडल्स (Deep Generative Models): फ्रेमवर्क डीप जेनेरेटिव मॉडल (जैसे, LLMs) से आंतरिक प्रतिनिधित्व ( $R_{is}$ ) का उपयोग करता है। यह एक "फैक्टराइज्ड डिटरमिनिस्टिक डिकोडिंग" (Factorized Deterministic Decoding) को मानता है जहाँ आउटपुट सेगमेंट मॉडल की हिडन स्टेट का एक नियत फलन होता है। यह अनुमति देता है कि अनऑब्जर्वड कन्फाउंडर्स को इन आंतरिक लेटेंट स्टेट्स के फलन के रूप में दर्शाया जा सके।

2. स्टोकेस्टिक हस्तक्षेपों के माध्यम से पहचान (Identification via Stochastic Interventions)

गतिशील सेटिंग्स में सामान्य रूप से देखी जाने वाली 'पॉजिटिविटी' धारणा के उल्लंघन को संबोधित करने के लिए, लेखक एक डायनेमिक स्टोकेस्टिक इंटरवेंशन फ्रेमवर्क (Kennedy, 2019 पर आधारित) अपनाते हैं।

नियत उपचार थोपने के बजाय, हस्तक्षेप प्रत्येक चरण $s$ पर उपचार असाइनमेंट की संभावना को एक वृद्धिशील पैरामीटर $\delta_s$ द्वारा संशोधित करता है।
लक्षित एस्टिमैंड (target estimand) $\Psi(\delta)$ इस स्टोकेस्टिक हस्तक्षेप के तहत औसत संभावित परिणाम (average potential outcome) है, जहाँ उपचार की संभावनाओं को देखे गए डेटा-जनरेटिंग प्रोसेस के सापेक्ष बदला जाता है।
नॉनपैरामीट्रिक आइडेंटिफिकेशन (Nonparametric Identification): लेखक सिद्ध करते हैं कि एक "डीकन्फ़ाउंडर" (आंतरिक प्रतिनिधित्व $R_{is}$ का एक निम्न-आयामी सारांश) के लिए समायोजन करके, कॉज़ल मात्रा को नॉनपैरामेट्रिक रूप से पहचाना जा सकता है। महत्वपूर्ण रूप से, डीकन्फ़ाउंडर को वास्तविक कन्फाउंडर्स को सटीक रूप से रिकवर करने की आवश्यकता नहीं है; इसे केवल आउटकम के सापेक्ष एक मीन-इंडिपेंडेंस (mean-independence) स्थिति को संतुष्ट करना आवश्यक है।

3. अनुमान रणनीति (Estimation Strategy)

अनुमान प्रक्रिया न्यूरल नेटवर्क को सेमीपैरामीट्रिक इन्फरेंस के साथ जोड़ती है:

न्यूरल नेटवर्क आर्किटेक्चर: एक साझा न्यूरल नेटवर्क आर्किटेक्चर को एक साथ सीखने के लिए प्रशिक्षित किया जाता है:
1. डीकन्फ़ाउंडर फलन $f(R_{is}, s)$ , जो आंतरिक प्रतिनिधित्व को एक निम्न-आयामी स्थान में मैप करता है।
2. आउटकम रिग्रेशन मॉडल $\mu$ , जो ट्रीटमेंट हिस्ट्री और डीकन्फ़ाउंडर्स के आधार पर आउटकम की भविष्यवाणी करता है।
सेमीपैरामीट्रिक इन्फरेंस (Semiparametric Inference): वैध इन्फरेंस सुनिश्चित करने के लिए, लेखक लक्षित पैरामीटर के लिए एक इन्फ्लुएंस फंक्शन (influence function) व्युत्पन्न करते हैं। यह फंक्शन न्युसेंस पैरामीटर्स (डीकन्फ़ाउंडर, प्रोपेंसिटी स्कोर और आउटकम मॉडल्स) में अनुमान त्रुटियों को ध्यान में रखता है।
क्रॉस-फिटिंग (Cross-Fitting): न्युसेंस फंक्शन्स और लक्षित पैरामीटर का अनुमान लगाने के लिए एक $K$ -फोल्ड क्रॉस-फिटिंग प्रक्रिया का उपयोग किया जाता है, जो लचीले मशीन लर्निंग मॉडल्स का उपयोग करने पर भी एसिम्प्टोटिक नॉर्मलिटी (asymptotic normality) और वैध कॉन्फिडेंस इंटरवल सुनिश्चित करती है।

4. सैद्धांतिक गारंटी (Theoretical Guarantees)

यह पेपर स्थापित करता है कि रेगुलैरिटी कंडीशंस (बाउंडेड ओवरलैप और न्युसेंस फंक्शन्स की लिप्सचिट्ज़ निरंतरता सहित) के तहत, प्रस्तावित एस्टिमेटर:

कंसिस्टेंट (Consistent) है: यह वास्तविक कॉज़ल प्रभाव की ओर अभिसरित (converge) होता है।
एसिम्प्टोटिकली नॉर्मल (Asymptotically Normal) है: एस्टिमेटर एक गॉसियन वितरण का पालन करता है, जिससे वैध कॉन्फिडेंस इंटरवल का निर्माण संभव होता है।
अभिसरण की दर (Rate of Convergence): न्युसेंस फंक्शन्स (डीकन्फ़ाउंडर, प्रोपेंसिटी स्कोर आदि) को $N^{-1/4}$ की दर से अनुमानित किया जाना चाहिए, जो मानक डीप न्यूरल नेटवर्क के साथ प्राप्त करना संभव है।

मुख्य परिणाम (Key Results)

सिमुलेशन अध्ययन (Simulation Studies)

लेखकों ने सीमित-नमूना प्रदर्शन (finite-sample performance) का मूल्यांकन करने के लिए मोटिवेटिंग उदाहरण (हांगकांग विरोध प्रदर्शन) के आधार पर संख्यात्मक सिमुलेशन किए।

सटीकता (Accuracy): प्रस्तावित एस्टिमेटर ने विभिन्न नमूना आकारों ( $N \in \{2000, \dots, 5000\}$ ) और हस्तक्षेप मापदंडों ( $\delta$ ) के तहत लक्षित कॉज़ल प्रभावों को सटीक रूप से रिकवर किया।
कवरेज (Coverage): अधिकांश परिदृश्यों में 95% कॉन्फिडेंस इंटरवल ने नाममात्र स्तर (0.95) के करीब कवरेज प्राप्त किया। लेखक कुछ मामलों में मामूली अंडर-कवरेज का उल्लेख करते हैं जहाँ डेटा-जनरेटिंग प्रोसेस लिप्सचिट्ज़ निरंतर (Lipschitz continuous) नहीं था, जो सिमुलेशन डिज़ाइन के लिए एक आवश्यक शर्त है।

एम्पिरिकल एप्लीकेशन (Empirical Application)

इस पद्धति को फॉन्ग और ग्रिमर (2023) द्वारा किए गए एक रैंडमाइज्ड एक्सपेरिमेंट पर लागू किया गया, जो हांगकांग प्रदर्शनकारियों के प्रति अमेरिकी समर्थन से संबंधित था।

सेटअप: टेक्स्ट विनेट (vignettes) कई तर्क घटकों से मिलकर बने थे। रुचि का उपचार (हांगकांग के प्रति अमेरिकी प्रतिबद्धता) टेक्स्ट के भीतर विभिन्न स्थानों पर दिखाई दिया।
निष्कर्ष: अध्ययन ने खुलासा किया कि उपचार विशेषता का कॉज़ल प्रभाव उसकी स्थिति के आधार पर विषम (heterogeneous) है। पहले वाक्य में लागू किए गए हस्तक्षेपों ने औसत काउंटरफैक्चुअल रिस्पॉन्स को महत्वपूर्ण रूप से बदल दिया, जबकि जब वही विशेषता दूसरे वाक्य में दिखाई दी, तो प्रभाव काफी कम हो गया।
वैधीकरण (Validation): यह परिणाम ऑर्डर इफेक्ट्स (जैसे, Krosnick और Alwin, 1987) पर मौजूदा सर्वेक्षण अनुसंधान के अनुरूप है, लेकिन यह प्रस्तावित पद्धति की उन डायनेमिक्स का पता लगाने की क्षमता को प्रदर्शित करता है जिन्हें पारंपरिक स्टैटिक विधियाँ मिस कर देतीं।

महत्व और दावे (Significance and Claims)

यह पेपर साहित्य में तीन प्राथमिक योगदानों का दावा करता है:

असंरचित डेटा के लिए डायनेमिक कॉज़ल इन्फरेंस: यह GPI फ्रेमवर्क (Imai और Nakamura, 2024, 2025) को स्टैटिक से डायनेमिक सेटिंग्स में विस्तारित करता है, जिससे शोधकर्ताओं के लिए टेक्स्ट या वीडियो में उपचार विशेषताओं के अनुक्रम और उनके विशिष्ट स्थानों के कॉज़ल प्रभावों का अनुमान लगाना संभव हो जाता है।
GenAI और कॉज़ल इन्फरेंस का एकीकरण: यह प्रदर्शित करता है कि कैसे जनरेटिव एआई मॉडल्स के आंतरिक प्रतिनिधित्व मैन्युअल फीचर इंजीनियरिंग की आवश्यकता के बिना उच्च-आयामी, विकसित होते कन्फाउंडिंग स्ट्रक्चर के लिए वैध डीकन्फ़ाउंडर के रूप में कार्य कर सकते हैं।
मेथडोलॉजिकल रिगर (Methodological Rigor): यह कंसिस्टेंसी और एसिम्प्टोटिक नॉर्मलिटी के औपचारिक प्रमाणों के साथ एक सेमीपैरामीट्रिक एस्टीमेशन फ्रेमवर्क प्रदान करता है, जो स्टोकेस्टिक सेटिंग्स में डायनेमिक हस्तक्षेपों के लिए वैध कॉन्फिडेंस इंटरवल प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि वर्तमान अनुप्रयोग टेक्स्ट पर केंद्रित है, यह कार्यप्रणाली वीडियो और ऑडियो जैसे अन्य मोडैलिटीज के लिए विस्तार योग्य है, और इसे अनुक्रमिक परिणामों वाले सेटिंग्स के लिए और विकसित किया जा सकता है। यह कार्य इस बात पर जोर देता है कि असंरचित डेटा की अनुक्रमिक संरचना की अनदेखी करने से भ्रामक कॉज़ल निष्कर्ष निकल सकते हैं, और सटीक इन्फरेंस के लिए फीचर्स के समय और प्लेसमेंट को ध्यान में रखना महत्वपूर्ण है।