📊 statistics

Counterfactual Forecasting for Panel Data

यह शोध पत्र FOCUS को प्रस्तुत करता है, जो पैनल डेटा में लुप्त प्रविष्टियों वाले काउंटरफैक्चुअल परिणामों के पूर्वानुमान के लिए एक नवीन विधि है, जो लेटेंट फैक्टर्स की टाइम सीरीज़ डायनेमिक्स का लाभ उठाने के लिए मैट्रिक्स कम्प्लीशन का विस्तार करती है, जिससे बेहतर भविष्यवाणी सटीकता प्राप्त होती है और मोबाइल हेल्थ अध्ययनों जैसे अनुप्रयोगों के लिए सैद्धांतिक गारंटी स्थापित होती है।

मूल लेखक: Navonil Deb, Raaz Dwivedi, Sumanta Basu

प्रकाशित 2026-02-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Navonil Deb, Raaz Dwivedi, Sumanta Basu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कोच हैं जो अगले सप्ताह के मैचों में अपनी टीम के प्रदर्शन की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास प्रत्येक खिलाड़ी के पिछले प्रदर्शन का डेटा वाला एक स्प्रेडशीट है, लेकिन इसमें दो बड़ी समस्याएँ हैं:

लुप्त डेटा (Missing Data): कुछ खिलाड़ियों ने अभ्यास छोड़ दिया या वे कुछ मैचों में नहीं खेले, जिससे आपके स्प्रेडशीट में खाली स्थान रह गए।
छिपे हुए पैटर्न (Hidden Patterns): खिलाड़ी केवल यादृच्छिक (random) व्यक्ति नहीं हैं; वे अदृश्य "मूड" या "टीम डायनेमिक्स" (जैसे थकान, मनोबल, या मौसम) से प्रभावित होते हैं जो समय के साथ बदलते रहते हैं और सभी को अलग तरह से प्रभावित करते हैं।

यह शोध पत्र एक नया टूल पेश करता है जिसे FOCUS (Forecasting Counterfactuals Under Stochastic Dynamics) कहा जाता है ताकि इसे हल किया जा सके। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

समस्या: "क्या होता अगर" वाला अनुमान लगाने का खेल

विज्ञान और नीति निर्धारण में, हम अक्सर जानना चाहते हैं: "क्या होता अगर हमने Y के बजाय X किया होता?" इसे काउंटरफैक्चुअल (counterfactual) कहा जाता है।

उदाहरण के लिए, एक मोबाइल स्वास्थ्य ऐप में, हम जानना चाह सकते हैं: "यदि हमने इस उपयोगकर्ता को शाम 5 बजे चलने का रिमाइंडर भेजा होता, तो उन्होंने कितने कदम चले होते?" लेकिन हम रिमाइंडर भेज भी सकते हैं और नहीं भी भेज सकते, दोनों एक साथ नहीं कर सकते। हम केवल वही देखते हैं जो होता है जब हम रिमाइंडर भेजते हैं। "क्या होता अगर" वाला परिदृश्य (काउंटरफैक्चरल) गायब है।

आमतौरता पर, सांख्यिकीविद इन खाली जगहों को भरने के लिए डेटा में पैटर्न खोजने की कोशिश करते हैं। हालाँकि, अधिकांश मौजूदा उपकरण समय को एक स्थिर फोटो की तरह मानते हैं—वे भविष्य का अनुमान लगाने के लिए अतीत को देखते हैं लेकिन इस तथ्य को अनदेखा करते हैं कि समय बहता है। वे इस तथ्य को चूक जाते हैं कि यदि कोई उपयोगकर्ता आज थका हुआ है, तो वह कल भी थका हुआ होने की संभावना है।

समाधान: FOCUS

लेखकों ने FOCUS को एक समय यात्रा करने वाले जासूस (time-traveling detective) की तरह बनाया है। डेटा को एक सपाट ग्रिड के रूप में देखने के बजाय, FOCUS समझता है कि छिपे हुए "मूड" (जिन्हें लेटेंट फैक्टर्स कहा जाता है) एक कहानी की तरह चलते और विकसित होते हैं।

यहाँ वह चरण-दर-चरण प्रक्रिया है जिसका उपयोग FOCUS करता है:

अदृश्य धागों को खोजना (Factor Estimation):
कल्पना कीजिए कि डेटा एक विशाल टेपेस्ट्री (तंतुकी बुनाई) है जिसमें छेद हैं। FOCUS पहले दृश्य धागों को देखकर टेपेस्ट्री के अंतर्निर्निहित पैटर्न को समझने की कोशिश करता है। यह इन छिपे हुए "मूड्स" का अनुमान लगाने के लिए एक गणितीय तकनीक का उपयोग करता है (जो एक गाने के मुख्य विषयों को खोजने के समान है), भले ही डेटा गायब हो।
अगला अध्याय अनुमानित करना (Time Series Dynamics):
यही मुख्य जादुई तत्व है। एक बार जब FOCUS जान जाता है कि कल और परसों के "मूड" क्या थे, तो वह केवल कल के लिए अंदाज़ा नहीं लगाता। यह भविष्य की भविष्यवाणी करने के लिए एक टाइम मशीन (विशेष रूप से, एक गणितीय मॉडल जिसे VAR कहा जाता है) का उपयोग करता है।

उपमा: यदि आप जानते हैं कि एक कार 60 मील प्रति घंटे की रफ्तार से उत्तर की ओर बढ़ रही है, तो आप एक घंटे में अनुमान लगा सकते हैं कि वह कहाँ होगी। यदि आप केवल कार की फोटो देखते हैं, तो आप ऐसा नहीं कर सकते। FOCUS कार की गति और दिशा (समय की गतिशीलता) को देखता है ताकि भविष्य की भविष्यवाणी की जा सके।

खाली स्थानों को भरना (Forecasting):
भविष्य के अनुमानित "मूड्स" के साथ, FOCUS स्प्रेडशीट में खाली जगहों को भर देता है। यह आपको बताता है, "छिपे हुए पैटर्न और वे आमतौर पर कैसे चलते हैं, इसके आधार पर, उपयोगकर्ता के कदमों की संख्या क्या होती यदि आपने उन्हें प्रेरित किया होता।"

यह पुराने तरीकों से बेहतर क्यों है?

शोध पत्र FOCUS की तुलना दो अन्य लोकप्रिय तरीकों से करता है:

mSSA: यह तरीका एक ऐसे चित्रकार की तरह है जो केवल कैनवास पर रंगों को देखता है लेकिन ब्रश के स्ट्रोक को अनदेखा कर देता है। यह मानता है कि पैटर्न स्थिर हैं और बिना किसी बदलाव के रहते हैं।
SyNBEATS: यह एक बहुत ही भारी, धीमे रोबोट की तरह है जिसे काम करने के लिए अतीत की एक पूर्ण और सटीक फोटो की आवश्यकता होती है। यदि डेटा में छेद हैं, तो यह संघर्ष करता है।

FOCUS जीतता है क्योंकि:

यह लुप्त हिस्सों को संभालता है: यह तब भी काम कर सकता है जब डेटा में बहुत सारे छेद हों (जो वास्तविक जीवन में अक्सर होता है)।
यह यादृच्छिकता (randomness) को समझता है: यह जानता है कि भविष्य केवल अतीत की एक सटीक प्रति नहीं है; यह छिपे हुए मूड में होने वाले शोर (noise) और यादृच्छिक परिवर्तनों को भी ध्यान में रखता है।
यह तेज़ है: यह भारी रोबोट (SyNBEATS) की तुलना में बहुत तेज़ी से चलता है, जिससे यह बड़े डेटासेट के लिए व्यावहारिक बन जाता है।

वास्तविक दुनिया का परीक्षण: HeartSteps अध्ययन

लेखकों ने FOCUS का परीक्षण एक वास्तविक मोबाइल स्वास्थ्य अध्ययन पर किया जिसे HeartSteps कहा जाता है। इस अध्ययन में, उपयोगकर्ताओं को चलने के लिए संकेत दिए गए थे।

निष्कर्ष: शोधकर्ताओं ने देखा कि एक उपयोगकर्ता की एक समय अंतराल (जैसे शाम 4 बजे) में गतिविधि, अगले अंतराल (जैसे शाम 5 बजे) की गतिविधि से मजबूती से जुड़ी हुई थी। यदि वे 4 बजे बहुत अधिक चले, तो संभावना थी कि वे 5 बजे कम चलेंगे (शायद क्योंकि वे थक गए थे)।
परिणाम: क्योंकि FOCUS ने इस "थकान" के पैटर्न (समय की गतिशीलता) को समझा, इसने अन्य तरीकों की तुलना में भविष्य के कदमों की संख्या की बहुत अधिक सटीकता से भविष्यवाणी की। इसने उपयोगकर्ता के दिन की "कहानी" का उपयोग करके अगले अध्याय का सफलतापूर्वक अनुमान लगाया।

मुख्य निष्कर्ष

FOCUS उन स्थितियों में भविष्य की भविष्यवाणी करने का एक नया तरीका है जहाँ डेटा अव्यवस्थित और अधूरा है। छिपे हुए पैटर्न को स्थिर चित्रों के बजाय चलते और विकसित होते कहानियों के रूप में मानकर, यह हमें एक स्पष्ट दृश्य देता है कि "क्या होता अगर" हमने अलग विकल्प चुने होते। यह शोधकर्ताओं और नीति निर्माताओं को अधिक सटीक भविष्यवाणियों के आधार पर बेहतर निर्णय लेने में मदद करता है।

तकनीकी सारांश: पैनल डेटा के लिए काउंटरफैक्चुअल फोरकास्टिंग (Counterfactual Forecasting)

समस्या विवरण (Problem Statement)

यह शोध पत्र पैनल डेटा की उन चुनौतियों को संबोधित करता है जहाँ डेटा गायब (missing entries) होता है और उसमें टेम्पोरल डिपेंडेंट लेटेंट फैक्टर्स (temporally dependent latent factors) मौजूद होते हैं। यह परिदृश्य कारण अनुमान (causal inference) में बहुत प्रचलित है, विशेष रूप से जब भविष्य के निर्णय लेने के लिए अप्राप्त संभावित परिणामों (unobserved potential outcomes) का अनुमान लगाना आवश्यक हो (जैसे, एक इकाई के लिए क्या होगा यदि उसे एक ऐसा उपचार दिया जाए जो अभी तक आवंटित नहीं किया गया है)।

कारण अनुमान के मौजूदा तरीके, जैसे कि सिंथेटिक कंट्रोल्स (Synthetic Controls), डिफरेंस-इन-डिफरेंस (Difference-in-Differences), और मैट्रिक्स कम्प्लीशन (Matrix Completion), आमतौर पर इकाइयों और समय के बीच साझा भिन्नता को मॉडल करने के लिए लो-रैंक धारणाओं (low-rank assumptions) पर निर्भर करते हैं। हालाँकि, ये दृष्टिकोण अक्सर लेटेंट फैक्टर्स को स्टेटिक या i.i.d. मानते हैं, जिससे वे अंतर्निहित टेम्पोरल डायनेमिक्स (जैसे, ऑटोरेग्रेसिव स्ट्रक्चर) का लाभ उठाने में विफल रहते हैं। इसके अलावा, कई मौजूदा फोरकास्टिंग विधियाँ सीमित मिसिंगनेस (limited missingness) मानती हैं या पूरी तरह से ऑब्जर्व्ड प्री-ट्रीटमेंट पैनल की आवश्यकता होती है, जो काउंटरफैक्चुअल एस्टीमेशन के लिए अनुपयुक्त है जहाँ डिज़ाइन के अनुसार डेटा मैट्रिक्स का एक बड़ा हिस्सा अनऑब्जर्व्ड होता है।

कार्यप्रणाली: FOCUS

लेखक FOCUS (FOrecasting Counterfactuals Under Stochastic dynamics) प्रस्तावित करते हैं, जो लेटेंट फैक्टर्स के टाइम सीरीज़ डायनेमिक्स को शामिल करके पारंपरिक मैट्रिक्स कम्प्लीशन का विस्तार करने के लिए डिज़ाइन किया गया है।

मुख्य एल्गोरिदम (Core Algorithm)

FOCUS दो प्राथमिक चरणों में कार्य करता है:

फैक्टर एस्टीमेशन (Factor Estimation): यह विधि एक विशिष्ट उपचार (या नियंत्रण) स्थिति के तहत देखे गए पैनल को प्रतिबंधित करती है, जिसमें अनऑब्जर्व्ड एंट्रीज को 'मिसिंग' माना जाता है। यह आंशिक रूप से देखे गए डेटा से लेटेंट फैक्टर्स ( $\hat{F}_t$ ) और लोडिंग्स ( $\hat{\Lambda}_i$ ) का अनुमान लगाने के लिए एक PCA एल्गोरिदम (विशेष रूप से Xiong & Pelger, 2023 द्वारा विकसित कंसिस्टेंट एस्टीमेटर) का उपयोग करता है। यह चरण सामान्य ऑब्जर्वेशन पैटर्न, जिसमें मिसिंग कम्प्लीटली एट रैंडम (MCAR) और स्टैगर्ड अडॉप्शन डिज़ाइन शामिल हैं, को समायोजित करता है।
डायनेमिक फोरकास्टिंग (Dynamic Forecasting): एक बार फैक्टर्स का अनुमान लग जाने के बाद, FOCUS अनुमानित फैक्टर्स $\{\hat{F}_t\}$ पर एक टाइम सीरीज़ मॉडल (विशेष रूप से ऑर्डर 1 का वेक्टर ऑटोरेग्रेसिव मॉडल, VAR(1)) फिट करता है। कोएफिशिएंट मैट्रिक्स $\hat{A}$ का अनुमान OLS के माध्यम से लगाया जाता है। यूनिट $i$ के लिए क्षितिज $h$ पर औसत संभावित परिणाम का पूर्वानुमान एक प्लग-इन एस्टीमेटर के रूप में निर्मित किया जाता है:
$\hat{\theta}_{i, T:T+h} = \hat{\Lambda}_i^\top \hat{A}^h \hat{F}_T$
यह दृष्टिकोण प्रभावी रूप से टाइम सीरीज़ स्मूथिंग/फिल्टरिंग तकनीकों को मैट्रिक्स कम्प्लीशन के साथ जोड़ता है।

सैद्धांतिक ढांचा (Theoretical Framework)

शोध पत्र मानक रेगुलैरिटी कंडीशंस के तहत सैद्धांतिक गारंटी स्थापित करता है:

फैक्टर मॉडल: लेटेंट फैक्टर्स एक स्टेशनरी VAR(1) प्रक्रिया ( $F_t = A F_{t-1} + \eta_t$ ) का पालन करते हैं जहाँ $\rho(A) < 1$ है।
नॉइज़ और लोडिंग्स: आइडियोसिंक्रेटिक नॉइज़ और फैक्टर लोडिंग्स को स्वतंत्र माना जाता है जिनके बाउंडेड मोमेंट्स हैं।
ऑब्जर्वेशन मैकेनिज्म: ऑब्जर्वेशन मैट्रिक्स $W$ , फैक्टर्स और नॉइज़ से स्वतंत्र है, जिसमें पर्याप्त ओवरलैप सुनिश्चित करने वाली शर्तें (जैसे, $|Q_{s,t}| \geq Nq$ ) शामिल हैं।

प्रमुख सैद्धांतिक परिणाम:

एरर बाउंड्स (Error Bounds): लेखक फोरकास्ट एस्टीमेटर $\hat{\theta}_{i, T:T+h}$ के लिए एक एरर बाउंड प्राप्त करते हैं, जो दर्शाता है कि यह $O_P(\delta_{NT}^{-1})$ की दर से अभिसरित (converge) होता है, साथ ही इसमें $h$ और $A$ के स्पेक्ट्रल रेडियस पर निर्भर एक पद भी शामिल है।
एसिम्प्टोटिक नॉर्मलिटी (Asymptotic Normality): ऑब्जर्वेशन पैटर्न पर अतिरिक्त रेगुलैरिटी कंडीशंस के तहत, एस्टीमेटर को $\min\{\sqrt{N}, \sqrt{T}\}$ -कंसिस्टेंट और एसिम्प्टोटिकली नॉर्मल दिखाया गया है।
कॉन्फिडेंस इंटरवल्स (Confidence Intervals): शोध पत्र एसिम्प्टोटिकली वैध कॉन्फिडेंस इंटरवल्स बनाने के लिए एक ढांचा प्रदान करता है, जिसमें एसिम्प्टोटिक वेरिएंस का अनुमान लगाया जाता है, जिसमें फैक्टर एस्टीमेशन अनिश्चितता और फोरकास्टिंग अनिश्चितता दोनों के घटक शामिल हैं।

प्रमुख योगदान (Key Contributions)

प्रथम एंट्री-बाय-एंट्री आउट-ऑफ-सैंपल फोरकास्टिंग: लेखकों के ज्ञान के अनुसार, FOCUS मिसिंग डेटा और स्टोकेस्टिक फैक्टर डायनेमिक्स की उपस्थिति में काउंटरफैक्टुअल्स की एंट्री-बाय-एंट्री आउट-ऑफ-सैंपल फोरकास्टिंग को संबोधित करने वाला पहला कार्य है।
डायनेमिक्स और मिसिंग डेटा का एकीकरण: उन मैट्रिक्स कम्प्लीशन विधियों के विपरीत जो टेम्पोरल डायनेमिक्स को अनदेखा करती हैं या उन डायनेमिक फैक्टर मॉडल्स के विपरीत जो सीमित मिसिंगनेस मानती हैं, FOCUS व्यापक ऑब्जर्वेशन पैटर्न को संभालते हुए स्टोकेस्टिक टेम्पोरल डिपेंडेंसीज़ (जैसे, ऑटोरेग्रेसिव कंपोनेंट्स) का लाभ उठाता है।
सैद्धांतिक विस्तार: यह कार्य i.i.d. लेटेंट फैक्टर्स से टेम्पोरली डिपेंडेंट फैक्टर्स तक Xiong & Pelner (2023) के सैद्धांतिक परिणामों का विस्तार करता है, यह सत्यापित करते हुए कि डिपेंडेंट फैक्टर प्रोसेस जनरल सेंट्रल लिमिट थ्योरम (CLT) धारणाओं को पूरा करते हैं।
स्केलेबिलिटी (Scalability): एल्गोरिदम कम्प्यूटेशनल रूप से कुशल है, जिसका रनटाइम $T$ आयाम बढ़ने के साथ अनुकूल रूप से स्केल होता है, जिससे यह बड़े- $T$ सेटिंग्स के लिए उपयुक्त बनता है।

अनुभवजन्य परिणाम (Empirical Results)

लेखक FOCUS का मूल्यांकन दो बेंचमार्क के विरुद्ध करते हैं: mSSA (मल्टीवेरिएट सिंगुलर स्पेक्ट्रम एनालिसिस) और SyNBEATS (एक न्यूरल नेटवर्क-आधारित सिंथेटिक कंट्रोल मेथड)।

सिमुलेशन अध्ययन: चार डेटा जनरेटिंग प्रोसेस (DGPs) में, जिनमें विभिन्न ऑब्जर्वेशन पैटर्न (MCAR, सिमल्टेनियस अडॉप्शन) के साथ AR(1), ARMA, और VARMA प्रक्रियाएं शामिल हैं, FOCUS लगातार दोनों बेंचमार्क की तुलना में कम मीन स्क्वेर्ड फोरकास्ट एरर (MSFE) प्राप्त करता है। विशेष रूप से, FOCUS $T$ बढ़ने के साथ एरर के तेजी से घटने की दर प्रदर्शित करता है। यह मॉडल मिसस्पेसिफिकेशन (जैसे, जब वास्तविक फैक्टर्स ARMA प्रक्रियाओं का पालन करते हैं लेकिन मॉडल VAR(1) मानता है) के तहत भी बेंचमार्क से बेहतर प्रदर्शन करता है।
कम्प्यूटेशनल दक्षता: FOCUS, mSSA की तुलना में तेज़ और SyNBEATS की तुलना में काफी अधिक तेज़ चलता है।
वास्तविक दुनिया का अनुप्रयोग (HeartSteps): इस पद्धति को हार्टस्टेप्स (HeartSteps) V1 मोबाइल हेल्थ स्टडी पर लागू किया गया है, जिसमें 37 उपयोगकर्ता वॉकिंग प्रॉम्प्ट प्राप्त करते हैं। अध्ययन यह रेखांकित करता है कि स्टेप काउंट्स में लगातार निर्णय स्लॉट्स के बीच नकारात्मक सहसंबंध (negative correlations) होता है। लेटेंट फैक्टर्स में इन टेम्पोरल पैटर्न को कैप्चर करके, FOCUS mSSA की तुलना में हस्तक्षेप के तहत भविष्य के स्टेप काउंट्स का अधिक सटीक पूर्वानुमान प्रदान करता है, और प्रशिक्षण क्षितिज $T$ बढ़ने के साथ प्रदर्शन का अंतर भी बढ़ता जाता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि FOCUS प्रोस्पेक्टिव काउंटरफैक्टुअल इवैल्यूएशन के लिए एक स्केलेबल और सैद्धांतिक रूप से सुदृढ़ ढांचा प्रदान करता है। इसका प्राथमिक महत्व कारण अनुमान (handling missing counterfactuals) और टाइम सीरीज़ फोरकास्टिंग (handling temporal dynamics) के बीच के अंतर को पाटने में निहित है।

लेखक इस बात पर जोर देते हैं कि जबकि कई मौजूदा विधियाँ पोस्ट-ट्रीटमेंट एस्टीमेशन पर ध्यान केंद्रित करती हैं या पूरी तरह से ऑब्जर्व्ड प्री-ट्रीटमेंट डेटा मानती हैं, FOCUS अधूरे डेटा के मामले में काल्पनिक हस्तक्षेपों के तहत भविष्य के परिणामों का पूर्वानुमान लगाने के लिए अद्वितीय रूप से सक्षम है। यह विधि विशेष रूप से तब प्रभावी होती है जब लेटेंट फैक्टर्स ऑटोरेग्रेसिव डायनेमिक्स प्रदर्शित करते हैं, जो व्यवहारिक और आर्थिक डेटा की एक सामान्य विशेषता है। शोध पत्र स्टेशनारिटी (stationarity) पर निर्भरता जैसी सीमाओं को नोट करते हुए समाप्त होता है, और नॉन-स्टेशनरी सेटिंग्स (जैसे, स्टेट-स्पेस मॉडल) और डबली रोबस्ट एस्टीमेटर्स सहित भविष्य की दिशाओं का सुझाव देता है।