📊 statistics

Bet on Features: Anytime-Valid and Feature-Aware Auditing of Conditional Quantile Forecasters

यह शोधपत्र एक वितरण-मुक्त (distribution-free), गेम-थ्योरेटिक ढांचे को प्रस्तुत करता है जो फीचर-डिपेंडेंट सूचना सेटों को ध्यान में रखते हुए ब्लैक-बॉक्स कंडीशनल क्वांटाइल फोरकास्टर्स के निरंतर ऑडिटिंग के लिए है, जो i.i.d. मान्यताओं पर निर्भर किए बिना मिसकैलिब्रेशन के व्याख्यात्मक और 'एनीटाइम-वैलिड' (anytime-valid) पता लगाने में सक्षम बनाता है।

मूल लेखक: Ivane Antonov, Sohom Mukherjee, Richard Pibernik, Yo Joong Choe

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ivane Antonov, Sohom Mukherjee, Richard Pibernik, Yo Joong Choe

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रेफरी हैं जो एक रहस्यमय "ब्लैक बॉक्स" ओरेकल (oracle) द्वारा किए जा रहे जादू के खेल को देख रहे हैं। यह ओरेकल भविष्य की भविष्यवाणी करता है, विशेष रूप से यह बताता है, "90% संभावना है कि अगली संख्या इस रेखा से नीचे होगी।" वास्तविक दुनिया में, व्यवसाय इस तरह की भविष्यवाणियों का उपयोग यह तय करने के लिए करते हैं कि शेल्फ पर कितना स्टॉक रखना है या जोखिमों के लिए कितना पैसा अलग रखना है।

द दशकों से, रेफरी इन भविष्यवाणियों की जांच एक सरल नियम से करते आए हैं: "क्या संख्याएँ लगभग 90% समय रेखा के नीचे रहीं?" यदि उत्तर हाँ है, तो ओरेकल को पासिंग ग्रेड मिलता है। लेकिन समस्या यह है कि पुराना नियम एक पूरे वर्ष के औसत तापमान को देखने जैसा है। यह औसतन तो एकदम सही लग सकता है, लेकिन यह जुलाई के हर एक मंगलवार को पूरी तरह से गलत हो सकता है। यदि ओरेकल विशिष्ट दिनों पर लगातार गलत होता है, तो उस पर भरोसा करने वाला व्यवसाय पैसा खो देगा, भले ही "औसत" ठीक दिख रहा हो।

नया खेल: विवरणों पर दांव लगाना

इस शोध पत्र के लेखक, इवाने एंटोनोव और उनकी टीम, इन भविष्यवाणियों को रेफरी करने का एक नया तरीका प्रस्तावित करते हैं। केवल कुल सफलताओं को गिनने के बजाय, वे ऑडिट को एक निरंतर सट्टेबाजी के खेल (continuous betting game) में बदल देते हैं।

कल्पना कीजिए कि ऑडिटर एक जुआरी है जिसे हर दिन दांव लगाने का मौका मिलता है।

ओरेकल एक भविष्यवाणी करता है।
वास्तविक संख्या आती है।
ऑडिटर इस बात पर दांव लगाता है कि ओरेकल सही था या गलत, लेकिन एक शर्त के साथ: ऑडिटर केवल उसी जानकारी का उपयोग कर सकता है जो दांव लगाने से पहले उसे दिखाई देती है।

यदि ओरल वास्तव में निष्पक्ष (कैलिब्रेटेड) है, तो ऑडिटर चाहे जैसा भी दांव लगाए, वह कभी भी बड़ी संपत्ति नहीं बना पाएगा। उसकी संपत्ति स्थिर रहेगी, जैसे एक सिक्का जो सिर और पूंछ दोनों बराबर लाता है। लेकिन यदि ओरेकल गुप्त रूप से धोखाधड़ी कर रहा है—जैसे, शनिवार को या सेल के दौरान हमेशा चूक जाना—तो समझदार ऑडिटर इस पैटर्न को पकड़ सकता है। उन विशिष्ट दिनों पर विशेष रूप से दांव लगाकर, ऑडिटर की संपत्ति बढ़ने लगेगी।

"फीचर-अवेयर" ट्विस्ट (विशेषता-जागरूक मोड़)

पेपर की सबसे बड़ी खोज यह है कि आप क्या जानते हैं, यह बदल देता है कि आप क्या साबित कर सकते हैं।

सोचिए कि ऑडिटर का ज्ञान चश्मे की तरह है।

"मार्जनल" चश्मा (धुंधला): ये चश्मे केवल कुल स्कोर दिखाते हैं। यदि आप इन्हें पहनते हैं, तो आप इस तथ्य को मिस कर सकते हैं कि ओरेकल शनिवार को बिक्री की भविष्यवाणी करने में खराब है। इस स्थिति में ऑडिटर सुरक्षित रहता है (वे एक निष्पक्ष ओरेकल पर झूठा आरोप नहीं लगाएंगे), लेकिन वे धोखाधड़ी के प्रति अंधे होते हैं।
"फीचर-अवेयर" चश्मा (साफ): ये चश्मे ऑडिटर को विशिष्ट विवरण देखने देते हैं, जैसे "क्या आज शनिवार है?" या "क्या कोई प्रमोशन चल रहा है?" जब ऑडिटर ये चश्मे पहनता है, तो वह देख सकता है कि ओरेकल विशेष रूप से शनिवार को विफल हो रहा है।

लेखक दिखाते हैं कि यदि आप केवल धुंधले चश्मे का उपयोग करते हैं, तो आपको लग सकता है कि ओरेकल एकदम सही है, भले ही वह वास्तविक दुनिया में बुरी तरह विफल हो रहा हो। लेकिन यदि आप स्पष्ट चश्मे का उपयोग करते हैं और विशिष्ट विशेषताओं (जैसे "शनिवार") पर दांव लगाते हैं, तो धोखाधड़ी स्पष्ट हो जाती है।

उन्होंने क्या पाया (और क्या नहीं पाया)

टीम ने इस विचार का परीक्षण दो तरीकों से किया:

एक सिमुलेशन में: उन्होंने एक काल्पनिक दुनिया बनाई जहाँ वे जानते थे कि ओरेकल या तो पूर्णतः सटीक है या गुप्त रूप से पक्षपाती है। उन्होंने पाया कि उनकी "फीचर-अवेयर" सट्टेबाजी की रणनीति पूर्वाग्रह को जल्दी पकड़ सकती थी, जबकि पुराना "धुंधला" तरीका इसे पूरी तरह से मिस कर गया। इन सिमुलेशन में, नया तरीका अधिकांश मामलों में धोखाधड़ी को सही ढंग से पहचान सका जब पूर्वाग्रह मौजूद था, और तब शायद ही कभी "फौल" चिल्लाया जब ओरेकल वास्तव में निष्पक्ष था।
वास्तविक दुनिया में: उन्होंने एक लोकप्रिय, अत्याधुनिक AI मॉडल जिसे Chronos-2 कहा जाता है, उसे वास्तविक स्टोर सेल्स डेटा (Rossmann डेटासेट) और सिंथेटिक डेटा के खिलाफ टेस्ट किया। परिणाम क्या था? AI मॉडल पुराने, धुंधले परीक्षणों में पास हो गया। लेकिन जब लेखकों ने अपने "फीचर-अवेयर" चश्मे पहने और प्रमोशन और शनिवार जैसी चीजों पर दाв लगाया, तो AI की संपत्ति तेजी से बढ़ी, जिससे यह साबित हुआ कि वह मिसकैलिब्रेटेड (miscalibrated) है। AI विशेष रूप से उन दिनों पर लगातार गलत था, भले ही वह औसदन में ठीक दिख रहा था।

वे क्या खारिज करते हैं

यह पेपर स्पष्ट रूप से इस विचार के विरुद्ध तर्क देता है कि आप केवल "औसत" प्रदर्शन की जांच करके यह सुनिश्चित कर सकते हैं कि पूर्वानुमान अच्छा है। वे दिखाते हैं कि एक पूर्वानुमान औसतन एकदम सही दिख सकता है जबकि विशिष्ट संदर्भों में खतरनाक रूप से गलत हो सकता है। वे "स्वतंत्र और समान रूप से वितरित" (i.i.d.) डेटा की आवश्यकता को भी खारिज करते हैं, जो पुराने सांख्यिकी का एक सामान्य अनुमान है। उनका तरीका काम करता है भले ही डेटा अव्यवस्थित हो, समय के साथ बदल रहा हो, या कल जो हुआ उस पर निर्भर हो।

वे कितने आश्वस्त हैं?

लेखक अपने गणित पर बहुत आश्वस्त हैं। उन्होंने सिद्ध किया कि यदि कोई फोरकास्टर (पूर्वानुमान लगाने वाला) उस तरह से धोखाधड़ी कर रहा है जो ऑडिटर द्वारा देखी जा सकने वाली विशेषताओं के माध्यम से दृश्यमान है, तो ऑडिटर की संपत्ति बढ़ेगी, और वे अंततः धोखेबाज को पकड़ लेंगे। यह केवल एक अनुमान नहीं है; यह एक गणितीय गारंटी है।

हालाँकि, वे सावधानी बरतते हैं कि उनका तरीका तभी काम करता है जब ऑडिटर के पास सही "चश्मे" हों। यदि ऑडिटर के पास उस विशिष्ट विशेषता तक पहुंच नहीं है जो धोखाधड़ी को उजागर करती है (जैसे यह न जानना कि आज शनिवार है), तो वे अभी भी इसे मिस कर सकते हैं। यह विधि शक्तिशाली है, लेकिन यह उतनी ही अच्छी है जितनी कि ऑडिटर को दी गई जानकारी।

संक्षेप में, यह पेपर सुझाव देता है कि एक ब्लैक-बॉक्स फोरकास्टर पर वास्तव में भरोसा करने के लिए, आप केवल बड़े चित्र को देखकर काम नहीं चला सकते। आपको विवरणों पर दांव लगाना होगा, और आपको यह जानने की आवश्यकता है कि कौन से विवरण मायने रखते हैं। यदि आप ऐसा करते हैं, तो आप उन धोखेबाजों को पकड़ सकते हैं जिन्हें पुराने तरीके बच निकलने देते हैं।

तकनीकी सारांश: फीचर्स पर दांव (Bet on Features)

समस्या विवरण
ब्लैक-बॉक्स कंडीशनल क्वांटाइल फोरकास्टर्स (conditional quantile forecasters) का उपयोग विषम लागतों (asymmetric costs) वाले अनुक्रमिक निर्णय लेने, जैसे कि इन्वेंटरी प्लानिंग और रिस्क मैनेजमेंट के लिए तेजी से बढ़ रहा है। हालांकि, तैनात होने के बाद, ये मॉडल दो गंभीर चुनौतियों का सामना करते हैं: (1) डेटा स्ट्रीम अक्सर ड्रिफ्ट होती है या नए रेजिम में बदल जाती है, जिससे 'ऑप्शनल स्टॉपिंग' के कारण मानक फिक्स्ड-होराइजन बैकटेस्ट अमान्य हो जाते हैं; और (2) मौजूदा कैलिब्रेशन टेस्ट अक्सर फोरकास्टर और ऑडिटर के बीच सूचना विषमता (information asymmetry) को ध्यान में रखने में विफल रहते हैं। एक फोरकास्टर के पास समृद्ध आंतरिक संदर्भ (जैसे, प्रमोशन, विशिष्ट स्टोर आइडेंटिफायर) हो सकता है, जबकि एक बाहरी ऑडिटर केवल एक व्यापक दृश्य (जैसे, कुल बिक्री) देख सकता है। फलस्वरूप, एक पूर्वानुमान एक मार्जिनल ऑडिटर के लिए कैलिब्रेटेड प्रतीत हो सकता है, लेकिन विशिष्ट, अवलोकन योग्य फीचर्स के सापेक्ष व्यवस्थित रूप से मिसकैलिब्रेटेड हो सकता है। वर्तमान ढांचे आम तौर पर या तो 'एनीटाइम-वैलिडिटी' (निरंतर निगरानी के तहत सुरक्षित) की आवश्यकता को संतुष्ट करते हैं, या 'कंडीशनल सेंसिटिविटी' की आवश्यकता को, लेकिन शायद ही कभी दोनों को, और वे अक्सर कैलिब्रेशन नल (null) को ऑडिटर की उपलब्ध जानकारी के आधार पर स्पष्ट रूप से इंडेक्स करने वाले तंत्र की कमी रखते हैं।

कार्यप्रणाली (Methodology)
लेखक "बेटिंग द्वारा परीक्षण" (testing by betting) के आधार पर कंडीशनल क्वांटाइल फोरकास्टर्स के ऑडिट के लिए एक डिस्ट्रीब्यूशन-फ्री, गेम-थ्योरेटिक फ्रेमवर्क प्रस्तावित करते हैं।

सूचना-इंडेक्स्ड कैलिब्रेशन नल्स (Information-Indexed Calibration Nulls): पेपर एक विशिष्ट मॉनिटरिंग सूचना संरचना $\mathcal{H}$ के सापेक्ष कंडीशनल क्वांटाइल कैलिब्रेशन को औपचारिक रूप देता है। मान लें कि $Z_t = \mathbb{1}\{Y_t \le \hat{q}_t\} - \alpha$ एक सेंटर्ड हिट है। नल हाइपोथीसिस $P_0(\mathcal{H})$ को उन कानूनों के सेट के रूप में परिभाषित किया गया है जहाँ $\mathbb{E}_P[Z_t | \mathcal{H}_{t-1}] = 0$ लगभग निश्चित रूप से (almost surely) सत्य है। लेखक नल्स का एक पदानुक्रम स्थापित करते हैं: मार्जिनल कैलिब्रेशन ( $\mathcal{H}^{marg}$ ) सबसे कमजोर है, उसके बाद सिंगल-फीचर कैलिब्रेशन ( $\mathcal{H}^w$ ), और फुल-फीचर कैलिब्रेशन ( $\mathcal{H}^\phi$ ) है। महत्वपूर्ण रूप से, $P_0(\mathcal{H}^\phi) \subseteq P_0(\mathcal{H}^w) \subseteq P_0(\mathcal{H}^{marg})$ । इसका तात्पर्य यह है कि एक कोसेर (coarser) नल (जैसे, मार्िनल) के लिए वैध टेस्ट समृद्ध नल्स के लिए भी वैध रहता है, लेकिन एक कोसेर टेस्ट में उन उल्लंघनों का पता लगाने की शक्ति नहीं हो सकती जो समृद्ध सूचना सेटों में दिखाई देते हैं।
एनीटाइम-वैलिड ई-प्रोसेस (Anytime-Valid E-Processes): ऑडिटर एक 'स्केप्टिक' (skeptic) के रूप में एक अनुक्रमिक बेटिंग गेम में कार्य करता है। प्रत्येक समय $t$ पर, स्केप्टिक एक नो-बैंकप्टसी अंतराल $\Lambda_\alpha = [-1/(1-\alpha), 1/\alpha]$ से अपने सूचना $\mathcal{H}_{t-1}$ के आधार पर एक बेटिंग मल्टीप्लायर $\lambda_t$ चुनता है। वेल्थ प्रोसेस $M_t = \prod (1 + \lambda_i Z_i)$ एक टेस्ट सुपरमार्टिंगेल (और इस प्रकार एक ई-प्रोसेस) बनाता है। विले के इनइक्वालिटी (Ville's inequality) के अनुसार, यह प्रक्रिया एनीटाइम-वैलिड साक्ष्य प्रदान करती: यदि $M_t$ , $1/\gamma$ से अधिक हो जाता है, तो टेस्ट को $\gamma$ के अधिकतम टाइप-I एरर प्रोबेबिलिटी के साथ खारिज कर दिया जाता है, चाहे टेस्ट कब भी रोका गया हो।
फीचर-अवेयर कॉन्टेक्स्टुअल बेटिंग (Feature-Aware Contextual Betting): फीचर-विशिष्ट मिसकैलिब्रेशन के विरुद्ध शक्ति प्राप्त करने के लिए, लेखक एक प्रेडिक्टेबल फीचर डिक्शनरी $\phi_t$ (जैसे, कैलेंडर इंडिकेटर्स, लैग्ड एरर्स) का उपयोग करते हुए और बेटिंग वेट्स $\theta_t$ को अनुकूलित करने के लिए एक ऑनलाइन कॉन्वेक्स ऑप्टिमाइज़ेशन (OCO) लर्नर का उपयोग करते हुए कॉन्टेक्स्टुअल बेटिंग पेश करते हैं। बेट को $\lambda_t(\theta) = \langle \theta, \phi_t \rangle$ के रूप में परिभाषित किया गया है। लर्नर एक फिक्स्ड कंपैरेटर $\theta^*$ के विरुद्ध रिग्रेट को कम करता है, जिसे लॉस $g_t(\theta) = -\log(1 + \langle \theta, \phi_t \rangle Z_t)$ के माध्यम से परिभाषित किया गया है।
रिग्रेट-टू-पावर गारंटी (Regret-to-Power Guarantees): पेपर सीमित-समय डिटेक्शन गारंटी प्राप्त करता है। यदि वैकल्पिक कानून $Q$ एक "प्रेडिक्टेबल एज" प्रदर्शित करता है (अर्थात, कंडीशनल मिसकैलिब्रेशन एक लीनियर फीचर दिशा के साथ संरेखित है ताकि क्वाड्रेटिक एज $b^Q_t(\theta^*) \ge \kappa$ ), तो कॉन्टेक्स्टुअल स्केप्टिक की वेल्थ घातीय रूप से बढ़ती है। विशेष रूप से, यदि OCO लर्नर एक पाथवाइज रिग्रेट बाउंड $r_T$ प्राप्त करता है, तो वैकल्पिक कानून के तहत स्टॉपिंग टाइम $\tau_\gamma$ प्रायिकता 1 के साथ परिमित होता है, और अपेक्षित स्टॉपिंग टाइम रिग्रेट और एज स्ट्रेंथ के फलन द्वारा सीमित होता है।

प्रमुख योगदान (Key Contributions)

सूचना-इंडेक्स्ड एनीटाइम-वैलिड ऑडिट्स: पेपर निरंतर ऑडिटिंग को एक अनुक्रमिक गेम के रूप में औपचारिक रूप देता है जो ऑडिटर की मॉनिटरिंग सूचना द्वारा इंडेक्स्ड है। यह सिद्ध करता है कि प्रेडिक्टेबल नो-बैंकप्टसी बेट्स, i.i.d. डेटा, स्टेशनैरिटी, या पैरामीट्रिक मॉडल की धारणा के बिना किसी भी मॉनिटरिंग स्ट्रक्चर के लिए वैध ई-प्रोसेस उत्पन्न करते हैं।
वैलिडिटी और पावर का पदानुक्रम: यह स्थापित करता है कि वैधता (validity) कोसेर से समृद्ध नल्स में स्थानांतरित होती है, लेकिन पावर (power) नहीं। एक मार्जनल ऑडिट पूरी तरह से वैध हो सकता है फिर भी फीचर-विशिष्ट उल्लंघनों के प्रति अंधा हो सकता है।
फीचर-अवेयर कॉन्टेक्टुअल बेटिंग: लेखक एक विधि विकसित करते हैं जहाँ एक ऑनलाइन लर्नर एक फीचर डिक्शनरी पर लीनियर बेट्स को अनुकूलित करता है। वे सिद्ध करते हैं कि निरंतर फीचर-अलाइन्ड प्रेडिक्टेबल एज के तहत, कोई भी OCO एल्गोरिदम जो सबलीनियर रिग्रेट प्राप्त करता है, वह परिमित-समय डिटेक्शन गारंटी प्रदान करता है।
मिसकैलिब्रेशन का अनुभवजन्य सत्यापन: फ्रेमवर्क को सिंथेटिक डेटा और रॉस्मन (Rossmann) सेल्स डेटा पर क्रोनोस-2 (Chronos-2) फोरकास्टर का उपयोग करके सत्यापित किया गया है।

परिणाम (Results)

वैलिडिटी: एक कैलिब्रेटेड नेगेटिव-बिनोमियल ओरकल पर, विभिन्न क्वांटाइल स्तरों और स्केप्टिक कॉन्फ़िगरेशन (मार्जनल, सिंगल-फीचर, फुल-फीचर) के माध्यम से बेटिंग ऑडिट के अनुभवजन्य रिजेक्शन रेट्स नाममात्र 5% विले लेवल के अनुरूप हैं, जो टाइप-I एरर कंट्रोल की पुष्टि करते हैं।
पावर गैप: एक नियंत्रित मार्कोव हिट प्रोसेस में प्रयोगों में, मार्जनल स्केप्टिक्स ने उल्लंघनों का पता लगाने में विफलता दिखाई (क्षितिज तक सेंसर किया गया), जबकि $Z_{t-1}$ से अवगत स्केप्टिक्स ने जल्दी रिजेक्ट किया, जो प्रेडिक्टेड पावर गैप को प्रदर्शित करता है।
वास्तविक दुनिया के निष्कर्ष: जब रॉस्मन स्टोर-सेल्स डेटा और सिंथेटिक नेगेटिव-बिनोमियल सीरीज़ पर क्रोनोस-2 फोरकास्ट्स पर लागू किया गया, तो फीचर-अवेयर स्केप्टिक्स ने महत्वपूर्ण कंडीशनल मिसकैलिब्रेशन का पता लगाया जिसे मार्जनल ऑडिट मिस कर गया। विशेष रूप से, ऑडिट ने खुलासा किया कि पूर्वानुमान प्रमोशन स्टेटस, सैटरडे इंडिकेटर, और लॉग-प्राइस के संबंध में व्यवस्थित रूप से मिसकैलिब्रेटेड थे। मार्जनल ऑडिट वेल्थ फ्लैट रही, जबकि फीचर-अवेयर वेल्थ ने रिजेक्शन थ्रेशोल्ड को पार कर लिया।

महत्व और दावे (Significance and Claims)
पेपर दावा करता है कि यह पहला फ्रेमवर्क प्रदान करता है जो ब्लैक-बॉक्स कंडीशनल क्वांटाइल फोरकास्टर्स के लिए एनीटाइम-वैलिडिटी और फीचर-अवेयरनेस को एक साथ संतुष्ट करता है। ऑडिटर के सूचना सेट को स्पष्ट रूप से मॉडल करके, यह फ्रेमवर्क वैधता (सुरक्षा) और पावर (पता लगाने की क्षमता) के बीच अंतर करता है। लेखक तर्क देते हैं कि यह उन परिचालन सेटिंग्स के लिए आवश्यक है जहाँ ऑडिटर्स के पास फोरकास्टर्स की तुलना में सीमित दृश्यता होती है। अनुभवजन्य परिणाम बताते हैं कि लोकप्रिय फाउंडेशन मॉडल्स जैसे क्रोनोस-2, हालांकि संभावित रूप से औसत पर अच्छी तरह से कैलिब्रेटेड हो सकते हैं, विशिष्ट व्यावसायिक फीचर्स (जैसे प्रमोशन) के आधार पर व्यवस्थित, प्रेडिक्टेबल त्रुटियां प्रदर्शित करते हैं, जिन्हें मानक मार्जनल बैकटेस्ट नहीं पकड़ पाते हैं। यह कार्य गेम-थ्योरेटिक स्टैटिस्टिक्स, ऑनलाइन लर्निंग और फोरकास्ट इवैल्यूएशन को जोड़ता है, जो गैर-स्थिर वातावरण में संभाव्य पूर्वानुमानों की निरंतर, व्याख्या योग्य निगरानी के लिए एक उपकरण प्रदान करता है।

इसी तरह के और पेपर