📊 statistics

Combining Evidence Across Filtrations

यह शोध पत्र एक "एडजस्ट-देन-कंबाइन" (समायोजित-फिर-संयोजित) ढांचे को प्रस्तुत करता है जो विभिन्न फिल्ट्रेशन्स (filtrations) के माध्यम से निर्मित ई-प्रक्रियाओं (e-processes) को वैध रूप से एकत्रित करने के लिए एडजस्टर्स का उपयोग करता है, जिससे वित्तीय परीक्षण जैसे जटिल अनुक्रमिक परिवेशों में 'एनीटाइम-वैलिड' (किसी भी समय वैध) अनुमान सक्षम होता है और इस प्रकार ऐसे फिल्ट्रेशन को मोटा (coarsening) करने की लॉगरिदमिक लागत को मापा जा सकता है।

मूल लेखक: Yo Joong Choe, Aaditya Ramdas

प्रकाशित 2026-03-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yo Joong Choe, Aaditya Ramdas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: क्या घटनाओं का एक क्रम वास्तव में यादृच्छिक (random) है, या क्या वहां कोई छिपा हुआ पैटर्न है?

सांख्यिकी (statistics) की दुनिया में, हमारे पास विशेष उपकरण होते हैं जिन्हें E-processes कहा जाता है। एक E-process को एक "संदेहवादी के बटुए" (Skeptic's Wallet) के रूप में सोचें।

यदि घटनाएँ वास्तव में यादृच्छिक हैं (जिसे "नल हाइपोथीसिस" कहा जाता है), तो बटुआ छोटा ही रहना चाहिए। संदेहवादी को यादृच्छिकता के विरुद्ध दांव लगाकर अमीर नहीं होना चाहिए।
यदि कोई पैटर्न है (जिसे "अल्टरनेटिव" कहा जाता है), तो बटुआ बहुत बड़ा हो जाना चाहिए, जो यह साबित करे कि संदेहवादी का यादृच्छिकता के विरुद्ध दांव लगाना सही था।

यह समस्या कुछ हद तक दो अलग-अलग जासूसों की रिपोर्टों को मिलाने जैसी है जो सूचना के अलग-अलग स्तरों के साथ काम कर रहे हैं।

समस्या: "दृष्टि वाला" बनाम "अंधा" जासूस

कल्पना कीजिए कि एक ही मामले की जांच कर रहे दो जासूस हैं:

जासूस A (दृष्टि वाला): वह सब कुछ देखता है। वह कच्चा डेटा (raw data), सटीक संख्याएं और हर विवरण देखता है। उसका "बटुआ" (e-process) वैध रहता है, चाहे वह जांच कब भी रोकने का निर्णय ले।
जासूस B (अंधा वाला): वह केवल एक सारांश देखता है। शायद वह केवल "उच्च अस्थिरता" (High Volatility) या "निम्न अस्थिरता" (Low Volatility) वाले दिन देखता है, लेकिन सटीक संख्याएं नहीं। उसका "बटुआ" केवल तभी वैध होता है जब वह अपने सीमित दृष्टिकोण के आधार पर विशिष्ट समय पर रुकता है।

जाल:
यदि आप उनके बटुओं को बस औसत निकाल कर मिला देते हैं, तो आप एक नकली बटुआ बना देते हैं। क्यों? क्योंकि जासूस B का बटुआ बहुत बड़ा दिख सकता है यदि आप जांच को ऐसे समय पर रोक देते हैं जो कच्चे डेटा पर निर्भर हो (जिसे जासूस B देख नहीं सकता था)। यदि आप उस संयुक्त बटुए का उपयोग निर्णय लेने के लिए करते हैं, तो आपको धोखा मिल सकता है। यह एक वैध कानूनी अनुबंध को कागज के एक टुकड़े के साथ मिलाने जैसा है जो केवल विशिष्ट स्थितियों के तहत ही समझ में आता है—परिणाम कानूनी रूप से बेकार है।

यह अक्सर वित्त (finance) में होता है (यह जांचने के लिए कि क्या शेयर बाजार की गिरावट यादृच्छिक है) या मौसम के पूर्वानुमान में। आप किसी भी तरह के पैटर्न को पकड़ने के लिए विभिन्न परीक्षण विधियों को जोड़ना चाहते हैं, लेकिन आप उन्हें तब तक नहीं मिला सकते जब तक कि वे अलग-अलग सूचना सेटों पर आधारित न हों।

समाधान: "एडजस्टर" (बीमा पॉलिसी)

लेखक एक चतुर समाधान प्रस्तावित करते हैं जिसे "एडजस्ट-देन-कंबाइन" (Adjust-then-Combine) कहा जाता है।

जासूस B के बटुए को एक नाजुक कांच के फूलदान के रूप में सोचें। यह सुंदर और मूल्यवान है, लेकिन यदि आप इसे एक स्थिर मेज (उनके सीमित दृश्य) से हटाकर एक डगमगाते फर्श (पूर्ण डेटा दृश्य) पर रखते हैं, तो यह टूट सकता है।

इसे ठीक करने के लिए, आपको एक "एडजस्टर" की आवश्यकता है।

एडजस्टर "बबल रैप" (सुरक्षात्मक आवरण) की तरह है। यह केवल फूलदान को लपेटता नहीं है; यह इसे थोड़ा सिकोड़ देता है ताकि इसे स्थानांतरित करने के लिए पर्याप्त मजबूत बनाया जा सके।
गणितीय रूप से, एडजस्टर "रनिंग मैक्सिमम" (बटुआ अधिकतम कितना बढ़ा) को लेता है और उस पर एक विशेष फलन (function) लागू करता है। यह फलन एक "छोटा टैक्स" (लॉगैरिद्मिक लागत) लेता है ताकि यह सुनिश्चित हो सके कि बटुआ दृष्टि वाले जासूस द्वारा देखे जाने पर भी वैध बना रहे।

प्रक्रिया:

एडजस्ट (Adjust): जासूस B के बटुए को लें, उसे "एडजस्टर" बबल रैप में लपेटें। अब यह किसी भी कोण से देखने के लिए सुरक्षित है।
कंबाइन (Combine): अब, आप दृष्टि वाले जासूस के बटुए को समायोजित (adjusted) अंधे जासूस के बटुए के साथ सुरक्षित रूप से औसत निकाल सकते हैं।
परिणाम: आपको एक "सुपर-बटुआ" मिलता है जो वैध है चाहे आप कभी भी रुकें, और यह दोनों जासूसों की शक्तियों से लाभ उठाता है।

यह क्यों महत्वपूर्ण है (वास्तविक दुनिया का प्रभाव)

यह शोध पत्र वित्तीय डेटा के साथ इसका प्रदर्शन करता है।

परिदृश्य: एक पोर्टफोलियो मैनेजर यह जानना चाहता है कि क्या "उच्च अस्थिरता वाले दिन" (क्रैश के दिन) यादृच्छिक हैं या वे एक साथ क्लस्टर (समूह) बना रहे हैं (पूर्वानुमानित हैं)।
द्वंद्व: एक सांख्यिकीय विधि "मार्कोवियन" (Markovian) पैटर्न (आज कल पर निर्भर है) को पहचानने में अच्छी है, लेकिन "चेंजपॉइंट्स" (अचानक बदलाव) को पहचानने में खराब है। दूसरी विधि चेंजपॉइंट्स को पहचानने में अच्छी है, लेकिन मार्कोवियन पैटर्न में खराब है।
पुराना तरीका: आप उन्हें जोड़ नहीं सकते थे क्योंकि उन्होंने अलग-अलग "फिल्ट्रेशन" (डेटा को देखने के अलग-अलग तरीके) का उपयोग किया था।
नया तरीका: "एडजस्ट-देन-कंबाइन" पद्धति का उपयोग करके, मैनेजर अब दोनों विधियों का एक साथ उपयोग कर सकता है। यदि बाजार किसी भी तरह से अजीब व्यवहार करने लगता है, तो संयुक्त बटुआ बहुत बड़ा हो जाता है, और मैनेजर को अलार्म मिल जाता है।

सुरक्षा की "कीमत"

पेपर स्वीकार करता है कि इसकी एक कीमत चुकानी पड़ती है। "एडजस्टर" बटुए को थोड़ा सिकोड़ देता है।

उपमा: यह बीमा खरीदने जैसा है। आप एक प्रीमियम (आप थोड़ा संभावित लाभ खो देते हैं) देते हैं ताकि किसी दुर्लभ घटना के मामले में आप दिवालिया न हो जाएं।
समझौता (Trade-off): आप कमजोर पैटर्न का पता लगाने की अपनी "शक्ति" (संवेदनशीलता) को थोड़ा खो देते हैं, लेकिन आप नियमों को तोड़े बिना प्रयोग को कभी भी रोकने की क्षमता प्राप्त करते हैं। एडजस्टर के बिना, आपको एक कठोर कार्यक्रम का पालन करना पड़ता, जो वास्तविक दुनिया में अव्यवहारिक है।

एक वाक्य में सारांश

यह पेपर एक गणितीय "एडाप्टर" प्रदान करता है जो हमें सूचना के विभिन्न स्तरों के तहत एकत्र किए गए विभिन्न सांख्यिकीय साक्ष्यों को सुरक्षित रूप से मिलाने की अनुमति देता है, यह सुनिश्चित करते हुए कि हमारे निष्कर्ष वैध बने रहें, भले ही हम डेटा को देखना कब बंद करना है, इस बारे में अपना विचार बदल दें।

यहाँ यो जोंग चोए और आदित्य रामदास के शोध पत्र "Combining Evidence Across Filtrations" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सीक्वेंशियल एनीटाइम-वैलिड इन्फरेंस (SAVI) की एक मौलिक चुनौती को संबोधित करता है: एक ही शून्य परिकल्पना (null hypothesis) के लिए विभिन्न फिल्ट्रेशन्स (सूचना संरचनाओं) के तहत निर्मित साक्ष्य प्रक्रियाओं (विशेष रूप से e-processes) को कैसे संयोजित किया जाए।

संदर्भ: SAVI में, एक e-process एक गैर-ऋणात्मक अनुकूलित प्रक्रिया (non-negative adapted process) है जो किसी भी स्टॉपिंग टाइम $\tau$ के लिए वैकल्पिक रुकने के गुण (optional stopping property - $E_P[e_\tau] \leq 1$ ) को संतुष्ट करती है। यह शोधकर्ताओं को डेटा के आधार पर बिना टाइप I एरर (Type I error) बढ़ाए किसी भी समय डेटा संग्रह रोकने की अनुमति देता है।
द्वंद्व (The Conflict): जबकि एक ही फिल्ट्रेशन के अंतर्गत परिभाषित e-processes को आसानी से संयोजित किया जा सकता है (जैसे कि औसत निकालकर), अलग-अलग फिल्ट्रेशन्स के तहत परिभाषित e-processes को नहीं किया जा सकता।
- यदि फिल्ट्रेशन $\mathcal{G}$ , $\mathcal{F}$ का एक सब-फिल्ट्रेशन (कोarser) है, तो $\mathcal{G}$ में वैध e-process, $\mathcal{F}$ में आवश्यक रूप से वैध नहीं होगा।
- प्रेरक उदाहरण: वित्तीय समय श्रृंखला (financial time series) की यादृच्छिकता (randomness) का परीक्षण करने में, कोई यूनिवर्सल इन्फरेंस (UI) e-process (जो पूर्ण डेटा फिल्ट्रेशन $\mathcal{F}$ में वैध है) और एक कॉन्फॉर्मल टेस्ट मार्टिंगेल (CTM) (जो केवल एक मोटे फिल्ट्रेशन $\mathcal{G}$ में वैध है) का उपयोग कर सकता है। इन दोनों प्रक्रियाओं का औसत निकालना विफल हो जाता है क्योंकि CTM $\mathcal{F}$ में परिभाषित स्टॉपिंग टाइम्स पर उम्मीद (expectation) 1 से अधिक हो सकता है, भले ही वह $\mathcal{G}$ में वैध हो।
लक्ष्य: एक सामान्य विधि विकसित करना जो e-processes को एक मोटे फिल्ट्रेशन से महीन (finer) फिल्ट्रेशन में "लिफ्ट" (lift) कर सके ताकि उन्हें वैध रूप से संयोजित किया जा सके।

2. कार्यप्रणाली (Methodology)

लेखक एडजस्टर्स (adjusters) और लिफ्टिंग लेम्मा (lifting lemmas) पर आधारित एक ढांचा प्रस्तावित करते हैं।

2.1 मुख्य अवधारणाएं (Key Concepts)

फिल्ट्रेशन्स (Filtrations): $\mathcal{G} \subseteq \mathcal{F}$ , जहाँ $\mathcal{G}$ में $\mathcal{F}$ की तुलना में कम जानकारी है।
P-processes बनाम E-processes:
- P-processes (सीक्वेंशियल p-values) $P(p_\tau \leq \alpha) \leq \alpha$ को संतुष्ट करते हैं।
- E-processes $E_P[e_\tau] \leq 1$ को संतुष्ट करते हैं।
असममिति (The Asymmetry): यह शोध पत्र स्थापित करता है कि p-processes को $\mathcal{G}$ से $\mathcal{F}$ में बिना किसी संशोधन के "मुफ्त" में लिफ्ट किया जा सकता है, जबकि e-processes को आमतौर पर ऐसा नहीं किया जा सकता।

2.2 "एडजस्ट-देन-कंबाइन" प्रक्रिया (The "Adjust-Then-Combine" Procedure)

मुख्य कार्यप्रणाली में दो चरण शामिल हैं:

एडजस्टर के माध्यम से लिफ्टिंग: एक मोटे फिल्ट्रेशन $\mathcal{G}$ $G$ से एक महीन फिल्ट्रेशन $\mathcal{F}$ $F$ में e-process $e'$ $e^{'}$ को लिफ्ट करने के लिए, प्रक्रिया के रनिंग मैक्सिमम ( $e^*_t = \sup_{i \leq t} e_i$ $e_{t}^{*} = sup_{i \leq t} e_{i}$ ) पर एक एडजस्टर फंक्शन $A$ $A$ लागू करना होगा।
- एडजस्टर की परिभाषा: एक फंक्शन $A: [1, \infty] \to [0, \infty)$ एक एडजस्टर है यदि $\int_1^\infty \frac{A(e)}{e^2} de \leq 1$ हो।
- लिफ्टेड प्रोसेस: नया प्रोसेस $e^{adj}_t = A(e^*_t)$ के रूप में परिभाषित है।
- थ्योरम 2 (e-lifting): यदि $e$ , $\mathcal{G}$ में एक e-process है, तो $A(e^*)$ किसी भी महीन फिल्ट्रेशन $\mathcal{F}$ में एक e-process है।
संयोजन (Combination): एक बार जब लिफ्ट किया गया प्रोसेस $\mathcal{F}$ $F$ में एक e-process बन जाता है, तो इसे $\mathcal{F}$ $F$ में अन्य e-processes (जैसे UI e-process) के साथ सरल औसत के माध्यम से संयोजित किया जा सकता है।
- कोरोलरी 2: $\bar{e}_t = \gamma e_t + (1-\gamma)A(e'^*_t)$ एक वैध e-process $\mathcal{F}$ में है।

2.3 सैद्धांतिक लक्षण वर्णन (Theoretical Characterization)

लेखक एक लक्षण वर्णन प्रमेय (Theorem 3) सिद्ध करते हैं जो दिखाता है कि एडजस्टर्स का उपयोग करना न केवल पर्याप्त है बल्कि किसी भी arbitrary e-processes को लिफ्ट करने के लिए आवश्यक भी है। यदि कोई फंक्शन किसी भी उप-फिल्ट्रेशन में किसी भी e-process के रनिंग मैक्सिमम को एक वैध e-process में मैप करता है, तो वह फंक्शन अनिवार्य रूप से एक एडजस्टर ही होगा। यह "लिफ्टिंग की लागत" को औपचारिक रूप देता है: वैधता पुनः प्राप्त करने के लिए आपको (एडजस्टर के इंटीग्रल कंस्ट्रेंट के माध्यम से) कुछ साक्ष्य का त्याग करना होगा।

3. मुख्य योगदान (Key Contributions)

फिल्ट्रेशन की समस्या की पहचान: यह शोध पत्र कठोरता से पहचान करता है कि विभिन्न सूचना सेटों के बीच e-processes को संयोजित करना बिना सुधार के अमान्य है, जो कि सीक्वेंशियल टेस्टिंग साहित्य में अक्सर अनदेखी की जाने वाली सूक्ष्म समस्या है।
e-Lifting Theorem: यह प्रदान करता है कि किसी भी e-process को एक मोटे फिल्ट्रेशन से महीन फिल्ट्रेशन में एक वैध e-process में बदलने के लिए रनिंग मैक्सिमम पर एडजस्टर लगाकर रूपांतरित किया जा सकता है।
एडजस्टर्स की आवश्यकता: लक्षण वर्णन प्रमेय सिद्ध करता है कि एडजस्टर्स ही एकमात्र फंक्शन क्लास हैं जो arbitrary e-processes के लिए यह लिफ्ट करने में सक्षम हैं।
P और E लिफ्टिंग के बीच अंतर: यह स्पष्ट करता है कि जहाँ p-processes "मुफ्त" लिफ्टिंग का आनंद लेते हैं (Theorem 1), वहीं e-processes को समान गुण प्राप्त करने के लिए एक "टैक्स" (एडजस्टर) की आवश्यकता होती है।
व्यावहारिक "एडजस्ट-देन-कंबाइन" रेसिपी: विविध सीक्वेंशियल टेस्ट्स (जैसे मार्कोवियन बनाम चेंजपॉइंट डिटेक्टर्स) को संयोजित करने के लिए एक सामान्यीकरण योग्य एल्गोरिदम जो पहले फिल्ट्रेशन बाधाओं के कारण असंगत थे।

4. परिणाम और प्रयोग (Results and Experiments)

लेखक अपने सिद्धांत को सिमुलेशन और वास्तविक दुनिया के वित्तीय डेटा के माध्यम से सत्यापित करते हैं।

सिमुलेशन (यादृच्छिकता परीक्षण):
- सेटअप: बाइनरी डेटा के लिए IID रैंडमनेस का परीक्षण करने के लिए एक UI e-process (मार्कोवियन विकल्पों के विरुद्ध शक्तिशाली) और एक कॉन्फॉर्मल टेस्ट मार्टिंगेल (चेंजपॉइंट्स के विरुद्ध शक्तिशाली) का उपयोग किया गया।
- निष्कर्ष: दोनों प्रक्रियाओं का अन-एडजस्टेड औसत डेटा-डिपेंडेंट स्टॉपिंग टाइम्स पर वैधता जांच में विफल रहता है (मीन > 1)। एडजस्टेड संस्करण (मिक्सचर एडजस्टर $A_{mix}$ का उपयोग करके) वैधता बनाए रखता है (मीन $\leq 1$ )।
- पावर (Power): संयोजित, एडजस्टेड प्रोसेस मार्कोवियन डिपेंडेंसी और चेंजपॉइंट्स दोनों का सफलतापूर्वक पता लगाता है, जिससे दोनों घटकों की ताकत का लाभ मिलता है। हालांकि एडजस्टर एक लॉगरिदमिक "लागत" (रॉ एवरेज की तुलना में ग्रोथ रेट को थोड़ा कम करना) वहन करता है, संयोजित प्रोसेस शक्तिशाली बना रहता है।
वास्तविक दुनिया का अनुप्रयोग (वित्तीय डेटा):
- कार्य: S&P 500, Amazon, Nike और USD-CNY डेटा (2019-2023) के उच्च अस्थिरता वाले दिनों की यादृच्छिकता का क्रमवार परीक्षण करना।
- परिणाम: संयोजित e-process ने गैर-यादृच्छिकता के विशिष्ट कालखंडों का पता लगाया। उदाहरण के लिए, 2020 की महामारी के दौरान, UI घटक सिग्नल को संचालित करता था (मार्कोवियन क्लस्टरिंग), जबकि 2022 के मुद्रास्फीति स्पाइक्स के दौरान, कॉन्फॉर्मल घटक (चेंजपॉइंट) सिग्नल को संचालित करता था। संयोजित प्रक्रिया ने दोनों विचलन कैप्चर किए, जबकि व्यक्तिगत प्रक्रियाएं एक को मिस कर सकती थीं।
अतिरिक्त उपयोग के मामले:
- स्वतंत्रता परीक्षण (Independence Testing): पेयरवाइज बेटिंग e-processes और रैंक-आधारित e-processes को संयोजित करना।
- पूर्वानुमान मूल्यांकन (Forecast Evaluation): $h$ -स्टेप-अहेड फोरकास्टर्स की तुलना करना जहाँ साक्ष्य स्टैगर्डेड सब-फिल्ट्रेशन्स में एकत्र किए जाते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

सैद्धांतिक प्रभाव: यह शोध पत्र SAVI के सिद्धांत में एक अंतराल को भरता है। यह सिद्ध करता है कि यदि किसी मोटे फिल्ट्रेशन में शक्तिशाली e-processes मौजूद हैं, तो डेटा फिल्ट्रेशन में भी शक्तिशाली e-processes हमेशा मौजूद होते हैं (Corollary 3)। यह टेस्ट मार्टिंगल्स के विपरीत है, जहाँ पूर्ण फिल्ट्रेशन में शक्तिशाली मार्टिंगल्स मौजूद नहीं हो सकते हैं।
व्यावहारिक प्रभाव: यह शोधकर्ताओं को विशेष परीक्षण रणनीतियों (जैसे बेटिंग रणनीतियाँ, कॉन्फॉर्मल विधियाँ, यूनिवर्सल इन्फरेंस) को मिलाने की अनुमति देकर जटिल परिकल्पनाओं (जैसे यादृच्छिकता या स्वतंत्रता) के लिए मजबूत, एनीटाइम-वैलिड टेस्ट बनाने में सक्षम बनाता है जो फिल्ट्रेशन बाधाओं के कारण पहले असंगत थे।
वैधता की लागत: यह शोध पत्र ट्रेड-ऑफ को मापता है: महीन फिल्ट्रेशन में वैधता प्राप्त करने के लिए सांख्यिकीय शक्ति (साक्ष्य संचय) में लॉगरिदमिक हानि की आवश्यकता होती। हालाँकि, यह लागत आवश्यक है ताकि "डेटा पीकिंग" (data peeking) परीक्षण को अमान्य न कर दे।
भविष्य की दिशाएँ: लेखक सुझाव देते हैं कि जबकि arbitrary e-processes के लिए एडजस्टर्स आवश्यक हैं, विशिष्ट समस्या संरचनाएं अधिक शक्तिशाली, गैर-एडजस्टर लिफ्ट की अनुमति दे सकती हैं, और बेहतर सुधार के लिए एक संभावित मार्ग के रूप में रैंडमाइज्ड लिफ्टिंग रणनीतियों की खोज कर सकती हैं।

संक्षेप में, यह शोध पत्र विविध सीक्वेंशियल टेस्टिंग विधियों को एकीकृत करने के लिए गणितीय मशीनरी प्रदान करता है, यह सुनिश्चित करते हुए कि संयोजित साक्ष्य (combined evidence) वैध रहता है चाहे प्रयोग कभी भी या कैसे भी रोका जाए, जिससे जटिल, वास्तविक दुनिया के परिदृश्यों में सीक्वेंशियल इन्फरेंस की विश्वसनीयता बढ़ती है।