🤖 machine learning

Interventional Time Series Priors for Causal Foundation Models

यह शोध पत्र CausalTimePrior पेश करता है, जो टाइम सीरीज़ में इन-कॉन्टेक्स्ट कॉज़ल इफ़ेक्ट एस्टीमेशन के लिए प्रायर-डेटा फिटेड नेटवर्क्स (PFNs) के प्रशिक्षण को सक्षम करने हेतु युग्मित अवलोकनात्मक (observational) और हस्तक्षेप संबंधी (interventional) डेटा के साथ सिंथेटिक टेम्पोरल स्ट्रक्चरल कॉज़ल मॉडल्स उत्पन्न करने के लिए एक नवीन फ्रेमवर्क है।

मूल लेखक: Dennis Thumm, Ying Chen

प्रकाशित 2026-03-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dennis Thumm, Ying Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को यह समझाने की कोशिश कर रहे हैं कि वास्तविक दुनिया में कारण और प्रभाव (cause and effect) कैसे काम करता है।

अभी, हमारे पास ऐसे रोबोट हैं जो संख्याओं के स्प्रेडशीट को देखने और यह अनुमान लगाने में माहिर हैं कि आगे क्या होने वाला है (जैसे कल की शेयर की कीमत बताने के लिए आज के डेटा का उपयोग करना)। लेकिन ये रोबोट इस सवाल का जवाब देने में बहुत खराब हैं: "अगर मैं कुछ बदल दूँ तो क्या होगा?"

उदाहरण के लिए, यदि आप एक सामान्य रोबोट से पूछते हैं, "अगर मैं एयर कंडीशनिंग (AC) बंद कर दूँ तो आइसक्रीम की बिक्री पर क्या असर पड़ेगा?" तो वह शायद सिर्फ इतना कहेगा, "आमतौर पर जब गर्मी होती है, तो लोग ज्यादा आइसक्रीम खरीदते हैं।" वह यह नहीं समझता कि आपका एसी बंद करना एक नया एक्शन है जो सामान्य पैटर्न को तोड़ देता है। उसने दुनिया को देखने (watching) और दुनिया को बदलने (changing) के बीच के अंतर को नहीं सीखा है।

यह पेपर इस समस्या को ठीक करने के लिए CausalTimePrior नामक एक नया टूल पेश करता है, जो विशेष रूप से उन चीजों के लिए है जो समय के साथ बदलती रहती हैं (जैसे मौसम, शेयर बाजार, या हृदय गति)।

यहाँ इसका सरल शब्दों में विवरण दिया गया है:

1. समस्या: रोबोट ने कभी "क्या-होता-अगर" (What-If) परिदृश्य नहीं देखा है

रोबोट को कारण और प्रभाव समझने के लिए सिखाने हेतु, आपको उसे हस्तक्षेप (interventions) के उदाहरण दिखाने होंगे।

अवलोकन (Observation): एक गेंद को पहाड़ी से नीचे लुढ़कते हुए देखना।
हस्तक्षेप (Intervention): गेंद के लुढ़कते समय उसे लात मारना।

मौजूदा अधिकांश टाइम-सीरीज डेटासेट एक सुरक्षा कैमरे के फुटेज की तरह हैं। वे आपको दिखाते हैं कि क्या हुआ, लेकिन वे आपको यह कभी नहीं दिखाते कि क्या होता अगर आपने उस गेंद को लात मारी होती। इन "लात मारने" वाले उदाहरणों के बिना, रोबोट बदलाव के बाद भविष्य की भविष्यवाणी करना नहीं सीख सकता।

2. समाधान: एक "सिमुलेशन फैक्ट्री"

लेखकों ने CausalTimePrior बनाया है, जो मूल रूप से एक फैक्ट्री है जो नकली "टाइम-ट्रैवल" परिदृश्य बनाती है।

वास्तविक दुनिया के प्रयोगों (जो महंगे और खतरनाक होते हैं) का इंतजार करने के बजाय, यह फैक्ट्री लाखों सिंथेटिक टाइम-सीरीज डेटासेट तैयार करती है। यह हर कहानी के दो संस्करण बनाती है:

"प्राकृतिक" संस्करण (The "Natural" Version): दुनिया अपने आप कैसे व्यवहार करती है।
"हस्तक्षेप" संस्करण (The "Intervention" Version): क्या होता है जब हम एक विशिष्ट बदलाव करने के लिए मजबूर करते हैं (जैसे "अगर तापमान अचानक गिर जाए तो क्या होगा?")।

यह फैक्ट्री विशेष है क्योंकि यह बहुत जटिल कहानियाँ बना सकती है:

नॉन-लीनियर (Non-linear): चीजें केवल सीधी रेखाओं में ऊपर या नीचे नहीं जातीं; वे मुड़ सकती हैं, अचानक बढ़ सकती हैं, या अजीब व्यवहार कर सकती हैं।
रेजीम-स्विचिंग (Regime-Switching): कल्पना कीजिए कि एक कार सड़क पर चल रही है जो अचानक दलदल में बदल जाती है। ड्राइविंग के नियम बदल जाते हैं। यह फैक्ट्री नियमों के उन अचानक बदलावों (रेजीम स्विच) को सिम्युलेट कर सकती है।
"किक" के विभिन्न प्रकार: आप फैक्ट्री को बता सकते हैं कि किसी वेरिएबल को "हार्ड स्टॉप" करें (उसे शून्य पर लाएं), "सॉफ्टली नज़" (हल्का सा धक्का) दें, या समय के साथ धीरे-धीरे बदलें।

3. "फाउंडेशन मॉडल" (छात्र)

एक बार जब फैक्ट्री इन लाखों "प्राकृतिक बनाम हस्तक्षेप" कहानियों को तैयार कर लेती है, तो वे एक फाउंडेशन मॉडल (एक प्रकार का AI, विशेष रूप से एक प्रायर-डेटा फिटेड नेटवर्क या PFN) को इस पर प्रशिक्षित करते हैं।

इस AI को एक मेडिकल छात्र के रूप में सोचें जिसने लाखों मेडिकल टेक्स्टबुक (सिंथेटिक डेटा) पढ़ी हैं, लेकिन उसने कभी वास्तविक मरीज नहीं देखा है।

परीक्षण: आप AI को एक नया वास्तविक-दुनिया का डेटासेट देते हैं जिसे उसने पहले कभी नहीं देखा है।
सवाल: "यहाँ एक मरीज की हृदय गति का इतिहास है। अब, कल्पना कीजिए कि हम दोपहर 2:00 बजे उन्हें एक विशिष्ट दवा देते हैं। 2:30 बजे उनकी हृदय गति क्या होगी?"
परिणाम: क्योंकि AI ने फैक्ट्री में "क्या-होता-अगर" वाले परिदृश्यों का अध्ययन किया था, इसलिए वह इस प्रश्न का उत्तर बिना उस विशिष्ट मरीज पर फिर से प्रशिक्षित हुए दे सकता है। यह "इन-कॉन्टेक्स्ट लर्निंग" का उपयोग करता है, जिसका अर्थ है कि यह नियमों को तुरंत समझ लेता है, ठीक वैसे ही जैसे एक मानव विशेषज्ञ करता है।

4. यह क्यों महत्वपूर्ण है (उपमा)

कल्पना कीजिए कि आप गाड़ी चलाना सीख रहे हैं।

पुराना तरीका: आप एक कार में बैठते हैं और किसी दूसरे व्यक्ति को 10 साल तक गाड़ी चलाते हुए देखते हैं। आप जानते हैं कि कार आमतौर पर कैसा व्यवहार करती है। लेकिन यदि आप कार में बैठते हैं और कोई चिल्लाकर कहता "बाएं मुड़ो!" (एक हस्तक्षेप), तो आप घबरा सकते हैं क्योंकि आपने कभी उस विशिष्ट परिदृश्य का अभ्यास नहीं किया है।
नया तरीका (CasiualTimePrior): आप 10 साल एक ड्राइविंग सिम्युलेटर में बिताते हैं जो आपके सामने अचानक बाधाएं फेंकता है, सड़क की स्थितियां बदल देता है, और आपको अचानक मोड़ लेने के लिए मजबूर करता है।
परिणाम: जब आप अंततः एक वास्तविक कार में बैठते हैं, तो आपको उस विशिष्ट कार पर अभ्यास करने की आवश्यकता नहीं होती है। आप पहले से ही जानते हैं कि "क्या-होता-अगर" वाली स्थितियों को कैसे संभालना है क्योंकि आपके सिम्युलेटर प्रशिक्षण ने हर संभावित मोड़ और बदलाव को कवर किया था।

पेपर की उपलब्धियों का सारांश

अपनी तरह का पहला: यह पहला टूल है जो "देखने" और "बदलने" दोनों वाले परिदृश्यों के साथ टाइम-सीरीज डेटा उत्पन्न करता है, जिसमें जटिल नियम-परिवर्तन (रेजीम स्विचिंग) भी शामिल हैं।
काम करने का प्रमाण: उन्होंने इस डेटा पर एक साधारण AI को प्रशिक्षित किया। जब इसे नए, अनदेखे डेटा पर टेस्ट किया गया, तो AI सफलतापूर्वक हस्तक्षेप के परिणामों की भविष्यवाणी करने में सक्षम था, जिससे वह उन चीजों के बीच अंतर कर सका जो वास्तव में जुड़ी हुई हैं (कारण/causal) और वे जो केवल संयोग से एक साथ चलती हैं (सहसंबंध/correlation)।
भविष्य: यह "कारणता के लिए फाउंडेशन मॉडल" (Foundation Models for Causality) का मार्ग प्रशस्त करता है। भविष्य में, हमारे पास एक विशाल AI हो सकता है जो किसी भी समय-आधारित सिस्टम (वित्त, जलवायु, जीव विज्ञान) के लिए कारण और प्रभाव को समझता है, बिना हर नई समस्या के लिए फिर से प्रशिक्षित हुए।

संक्षेप में: लेखकों ने एक टाइम-ट्रैवल सिम्युलेटर बनाया है जो AI को दुनिया को देखने और उसे बदलने के बीच के अंतर को सिखाता है, ताकि AI हस्तक्षेप के बाद भविष्य के बारे में बेहतर भविष्यवाणी कर सके।

यहाँ ICLR 2026 में प्रस्तुत शोध पत्र "Interventional Time Series Priors for Causal Foundation Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र प्रायर-डेटा फिटेड नेटवर्क्स (PFNs)—जो इन-कॉन्टेक्स्ट लर्निंग में सक्षम फाउंडेशन मॉडल्स का एक वर्ग है—को टाइम सीरीज़ कॉज़ल इन्फरेंस (समय श्रृंखला कारण अनुमान) पर लागू करने में आने वाली एक महत्वपूर्ण बाधा को संबोधित करता है।

अंतराल (The Gap): जबकि PFNs ने सिंथेटिक स्ट्रक्चरल कॉज़ल मॉडल्स (SCMs) और इंटरवेंशनल डेटा पर प्रशिक्षण देकर टैबुलर कॉज़ल इन्फरेंस (जैसे, Do-PFN, CausalFM) में सफलता दिखाई है, इस दृष्टिकोण को टाइम सीरीज़ तक विस्तारित नहीं किया गया है।
बाधा (The Obstacle): मौजूदा टाइम सीरीज़ कॉज़ल बेंचमार्क (जैसे, CausalTime, TimeGraph, CauseMe) ग्राउंड-ट्रुथ कॉज़ल ग्राफ के साथ ऑब्जर्वेशनल डेटा तो प्रदान करते हैं, लेकिन उनमें इंटरवेंशनल डेटा का अभाव है। युग्मित (paired) ऑब्जर्वेशनल और इंटरवेंशनल डेटासेट के बिना, मॉडल काउंटरफैक्चुअल परिणामों (अर्थात, "क्या होगा यदि हम हस्तक्षेप करें?") की भविष्यवाणी करना नहीं सीख सकते, जो कॉज़ल इन्फरेंस का मूल कार्य है।
मौजूदा जनरेटरों की सीमाएँ (Limitations of Existing Generators): इंटरवेंशनल सपोर्ट वाले वर्तमान जनरेटर (जैसे, CAnDOIT, TECDI, CaTSG) स्थिर हस्तक्षेपों (static interventions), रैखिक तंत्रों (linear mechanisms), या विश्लेषणात्मक सैंपलिंग के बजाय अलग-अलग जनरेटिव मॉडल्स (जैसे डिफ्यूजन मॉडल्स) पर निर्भरता से सीमित हैं। इनमें से कोई भी रेजीम-स्विचिंग डायनेमिक्स (समय के साथ बदलते कॉज़ल स्ट्रक्चर) को विविध इंटरवेंशनल लक्ष्यों के साथ संयोजित नहीं करता है।

2. कार्यप्रणाली: CausalTimePrior

लेखक CausalTimePrior प्रस्तावित करते हैं, जो टेम्पोरल स्ट्रक्चरल कॉज़ल मॉडल्स (TSCMs) को सैंपल करने के लिए एक सिद्धांतवादी ढांचा (principled framework) है, ताकि फाउंडेशन मॉडल्स के प्रशिक्षण के लिए उपयुक्त युग्मित ऑब्जर्वेशनल और इंटरवेंशनल टाइम सीरीज़ उत्पन्न की जा सके।

A. टेम्पोरल SCM परिभाषा (Temporal SCM Definition)

यह ढांचा डिस्क्रीट-टाइम एसिक्लिक (acyclic) SCM को मॉडल करता है जिसे निम्नलिखित द्वारा परिभाषित किया जाता है:

ग्राफ स्ट्रक्चर ( $G$ ): एक टाइम-लैग्ड डायरेक्टेड एसाइक्लिक ग्राफ (DAG) जिसमें इंस्टेंटेनियस एडजेस ( $G_0$ ) और लैग $K$ तक के लैग्ड एडजेस ( $G_k$ ) शामिल हैं।
स्ट्रक्चरल इक्वेशन्स ( $F$ ): नॉनलीन ऑटो-रिग्रेसिव मैकेनिज्म जहाँ $X_t^{(i)} = f_i(Pa(X_t^{(i)})) + \epsilon_t^{(i)}$ ।
नॉइज़ ( $\epsilon$ ): विविध वितरणों (Gaussian, Uniform, Laplace) से सैंपल किया गया।

B. प्रायर डिस्ट्रीब्यूशन ( $\Pi$ )

यह ढांचा निम्नलिखित को कवर करने वाले प्रायर डिस्ट्रीब्यूशन से TSCMs को सैंपल करता है:

ग्राफ प्रायर (Graph Prior): वेरिएबल काउंट ( $N$ ), मैक्स लैग ( $K$ ), और एज प्रोबेबिलिटी को सैंपल करता है। इंस्टेंटेनियस एडजेस को एसाइक्लिसिटी सुनिश्चित करने के लिए टोपोलॉजिकल ऑर्डरिंग के साथ Erdős-Rényi मॉडल्स के माध्यम से सैंपल किया जाता है; लैग्ड एडजेस समय के साथ घटती संभावनाओं के साथ होते हैं।
मैकेनिज्म प्रायर (Mechanism Prior): रैंडम वेट्स और बायस के साथ विविध नॉनलीन फंक्शन्स (identity, sin, cos, tanh, absolute value, square, exponential) का समर्थन करता है।
रेजीम-स्विचिंग एक्सटेंशन (Regime-Switching Extension): एक प्रमुख नवाचार जहाँ कॉज़ल स्ट्रक्चर ( $G$ ) और मैकेनिज्म ( $F$ ) एक मार्कोव चेन ( $d_t$ ) के आधार पर $R$ रेजीम के बीच स्विच करते हैं। यह मॉडल को स्ट्रक्चरल ब्रेक्स के तहत कॉज़ल इन्फरेंस सीखने की अनुमति देता है।

C. इंटरवेंशन के प्रकार (Intervention Types)

यह ढांचा तीन अलग-अलग प्रकार के इंटरवेंशन के लिए डेटा उत्पन्न करता है, जो स्ट्रक्चरल इक्वेशन्स को तदनुसार संशोधित करते हैं:

हार्ड इंटरवेंशन ($do$-operator): $X_t^{(i)} = c$ सेट करता है, जिससे इनकमिंग एडजेस टूट जाते हैं।
सॉफ्ट इंटरवेंशन (Soft Interventions): स्ट्रक्चरल इक्वेशन में शिफ्ट $\delta$ जोड़कर मैकेनिज्म को विक्षेपित (perturb) करता है।
टाइम-वेरिंग इंटरवेंशन (Time-Varying Interventions): $X_t^{(i)} = c(t)$ सेट करता है, जहाँ $c(t)$ एक डायनेमिक प्रोफाइल (step, ramp, sinusoidal) का पालन करता है।

D. डेटा जनरेशन पाइपलाइन (Data Generation Pipeline)

प्रत्येक ट्रेनिंग इंस्टेंस के लिए:

प्रायर से एक TSCM ( $S$ ) सैंपल करें।
इंटरवेंशन स्पेसिफिकेशन (टारगेट्स, टाइम्स, टाइप, वैल्यूज) सैंपल करें।
फॉरवर्ड सिमुलेशन के माध्यम से एक ऑब्जर्वेशनल सीरीज़ ( $X_{1:T}^{obs}$ ) उत्पन्न करें।
$do $-ऑपरेटर के तहत सिस्टम को सिम्युलेट करके एक **इंटरवेंशनल सीरीज़** ($ X_{1:T}^{int}$) उत्पन्न करें।
एक ट्रेनिंग टुपल बनाएँ: $(X_{1:T}^{obs}, \text{intervention spec}, Y_{\tau}^{int})$ ।

3. मुख्य योगदान (Key Contributions)

CausalTimePrior फ्रेमवर्क: पहला सिंथेटिक डेटा जनरेटर जो युग्मित ऑब्जर्वेशनल और इंटरवेंशनल डेटा के साथ रेजीम-स्विचिंग डायनेमिक्स वाली टाइम सीरीज़ उत्पन्न करता है।
व्यापक इंटरवेंशन सपोर्ट: नॉनलीन, लैग्ड कॉज़ल स्ट्रक्चर्स के भीतर हार्ड, सॉफ्ट और टाइम-वेरिंग इंटरवेंशन का समर्थन करता है, जो पिछले जनरेटर्स की सीमाओं को पार करता है।
फाउंडेशन मॉडल पाथवे: यह प्रदर्शित करता है कि इस प्रायर पर प्रशिक्षित PFNs, बिना किसी टास्क-स्पेसिफिक फाइन-ट्यूनिंग के, होल्ड-आउट TSCMs पर इन-कॉन्टेक्स्ट कॉज़ल इफेक्ट एस्टीमेशन कर सकते हैं।
ओपन सोर्स: भविष्य के टाइम सीरीज़ कॉज़ल फाउंडेशन मॉडल्स के अनुसंधान को सुगम बनाने के लिए इस फ्रेमवर्क को ओपन-सोर्स लाइब्रेरी के रूप में जारी किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 1,00,000 TSCMs पर प्रशिक्षित एक प्रूफ-ऑफ-कॉन्सेप्ट 2-लेयर GRU-आधारित PFN को प्रशिक्षित किया और इसे 1,000 होल्ड-आउट TSCMs पर मूल्यांकित किया।

कॉज़ल अंडरस्टैंडिंग (Causal Understanding): मॉडल ने सफलतापूर्वक कॉज़ल और नॉन-कॉज़ल क्वेरीज़ के बीच अंतर किया।
- इंटरवेंड क्वेरीज (Intervened Queries): Pred/GT रेश्यो 0.95 (उच्च सटीकता)।
- डाउनस्ट्रीम क्वेरीज (Downstream Queries): Pred/GT रेश्यो 0.85।
- नॉन-कॉज़ल क्वेरीज (Non-Causal Queries): Pred/GT रेश्यो 0.46, जो दर्शाता है कि मॉडल स्प्यूरियस कोरिलेशन के बावजूद लगभग शून्य प्रभाव की सही भविष्यवाणी करता है।
बेसलाइन्स के साथ तुलना (Comparison to Baselines):
- PFN ने एक वेक्टर ऑटो-रिग्रेशन (VAR-OLS) बेसलाइन के समान RMSE (176.4 बनाम 176.5) प्राप्त किया, लेकिन इसके लिए किसी प्रति-डेटासेट फिटिंग की आवश्यकता नहीं थी, जबकि VAR को हर नए डेटासेट पर प्रशिक्षण की आवश्यकता होती है।
- हालांकि PCMCI+ (जो प्रति सैंपल ग्राफ खोजता है) का RMSE कम था, लेकिन यह कंप्यूटेशनल रूप से महंगा है और इन-कॉन्टेक्स्ट लर्नर नहीं है।
एब्लेशन स्टडीज (Ablation Studies):
- इंटरवेंशन विविधता (Intervention Diversity): केवल हार्ड इंटरवेंशन पर प्रशिक्षण की तुलना में मिश्रित इंटरवेंशन प्रकारों (हार्ड, सॉफ्ट, टाइम-वेरिंग) पर प्रशिक्षण ने प्रभाव दिशा सटीकता (70.4%) और साइज कोरिलेशन में सुधार किया।
- आउट-ऑफ-डिस्ट्रीब्यूशन (OOD): मॉडल ने OOD डेटा (बड़े/घने ग्राफ, जटिल मैकेनिज्म) पर गिरावट दिखाई, लेकिन कॉज़ल और नॉन-कॉज़ल पाथ के बीच अंतर करने की क्षमता बनाए रखी।
- स्प्यूरियस कोरिलेशन हैंडलिंग (Spurious Correlation Handling): उच्च नकारात्मक कोरिलेशन वाले विशिष्ट मामलों में, जहाँ कोई कॉज़ल पाथ नहीं था, PFN ने सही ढंग से लगभग शून्य कॉज़ल प्रभाव की भविष्यवाणी की, जबकि VAR-OLS विफल रहा (177x अधिक त्रुटि), जो सिद्ध करता है कि मॉडल ने केवल कोरिलेशन के बजाय कॉज़ल स्ट्रक्चर सीखा है।

5. महत्व और भविष्य के कार्य (Significance and Future Work)

महत्व: यह कार्य कॉज़ल फाउंडेशन मॉडल्स और टाइम सीरीज़ विश्लेषण के बीच के अंतर को पाटता है। एक सिद्धांतवादी तरीके से इंटरवेंशनल टाइम सीरीज़ डेटा उत्पन्न करके, यह उन मॉडल्स के प्रशिक्षण को सक्षम बनाता है जो बिना रिट्रेनिंग के गतिशील वातावरण में "क्या-होगा" (what-if) परिदृश्यों के बारे में तर्क कर सकते हैं।
भविट्य की दिशाएँ (Future Directions):
- अनियमित रूप से सैंपल किए गए डेटा को संभालने के लिए कंटीन्यूअस-टाइम डायनेमिक्स (जैसे, Neural SDEs के माध्यम से) तक विस्तार करना।
- नॉन-मार्कोवियन कन्फाउंडिंग को शामिल करना।
- कवरेज में सुधार के लिए कैनोनिकल कॉज़ल मोटिफ्स (कन्फाउंडर्स, मीडिएटर्स, कॉलाइडर्स) पर स्पष्ट रूप से स्ट्रैटिफाई करना।
- ऑब्जर्वेशनल डेटा से प्राप्त रियल-वर्ल्ड सेमी-सिंथेटिक डेटासेट्स के विरुद्ध सत्यापन करना।

निष्कर्षतः, CausalTimePrior जटिल, गतिशील और रेजीम-स्विचिंग वातावरण में इन-कॉन्टेक्स्ट लर्निंग के लिए टाइम सीरीज़ कॉज़ल फाउंडेशन मॉडल्स की ओर एक मौलिक कदम स्थापित करता है।