📊 statistics

Anytime-Valid Confirmation of Label-Shift Corrections

यह शोध पत्र एक 'एनीटाइम-वैलिड' (anytime-valid) अनुक्रमिक परीक्षण ढांचे का प्रस्ताव करता है जो छोटे-बैच सेटिंग्स में पूर्व-निर्धारित लेबल-शिफ्ट सुधारों की पुष्टि करने के लिए प्रति-अवलोकन लाइकलीहुड रेश्यो (per-observation likelihood ratios) के रनिंग प्रोडक्ट का उपयोग करता है, जो कि तब एक सांख्यिकीय रूप से कठोर विकल्प प्रदान करता है जब लेबल किए गए लक्षित परिणाम दुर्लभ होते हैं।

मूल लेखक: Seungjin Choi

प्रकाशित 2026-06-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Seungjin Choi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) की सरल भाषा और रोज़मर्रा के उदाहरणों के साथ व्याख्या दी गई है।

बड़ी समस्या: "दुर्लभ लेबल" (Scarce Label) की दुविधा

कल्पना कीजिए कि आप एक डॉक्टर हैं जिसके पास एक डायग्नोस्टिक टूल है जिसे अस्पताल A (स्रोत/Source) के मरीजों पर प्रशिक्षित किया गया है। अब, आप इस टूल को अस्पताल B (लक्ष्य/Target) में तैनात करते हैं। आप जानते हैं कि मरीजों का मिश्रण अलग है—शायद अस्पताल B में बुजुर्ग मरीजों की संख्या अधिक है या किसी विशिष्ट स्थिति वाले लोग अधिक हैं। इसे लेबल शिफ्ट (Label Shift) कहा जाता है।

आमतौर पर, अपने टूल को ठीक करने के लिए, आपको अस्पताल B से ज्ञात परिणामों (लेबल वाले डेटा) के साथ एक विशाल डेटासेट की आवश्यकता होगी ताकि यह सटीक रूप से गणना की जा सके कि मरीजों का मिश्रण कैसे बदला है। लेकिन कई वास्तविक दुनिया के वैज्ञानिक या चिकित्सा परिदृश्यों में, लेबल वाला डेटा दुर्लभ (scarce) होता है। आपको एक समय में केवल कुछ ही नए परिणाम मिल सकते हैं, या वे धीरे-धीरे आते हैं। आप अपने मॉडल को फिर से प्रशिक्षित करने के लिए एक विशाल डेटासेट का इंतज़ार नहीं कर सकते।

हालाँकि, आपके पास एक अंदाज़ा (hunch) है। शायद कोई नियामक नियम, कोई पिछला छोटा प्रयोग, या विशेषज्ञ ज्ञान यह सुझाव देता है: "मुझे लगता है कि अस्पताल B में मरीजों का मिश्रण बुजुर्गों की ओर लगभग 10% झुका हुआ है।"

प्रश्न: यह पूछने के बजाय कि "सटीक बदलाव क्या है?" (जिसके लिए बहुत अधिक डेटा की आवश्यकता होती है), यह शोध पत्र पूछता है: "क्या मेरा अंदाज़ा (प्रस्तावित सुधार) उन कुछ नए डेटा पॉइंट्स द्वारा समर्थित है जो हमें मिल रहे हैं?"

समाधान: "कॉन्फिडेंस एक्यूमुलेटर" (Confidence Accumulator)

लेखक आपके अंदाज़ का परीक्षण करने का एक नया तरीका प्रस्तावित करते हैं। वे इस समस्या को साक्ष्य संचय (accumulating evidence) के खेल में बदल देते हैं, जो एक घुड़दौड़ पर दांव लगाने वाले जुआरी के समान है, लेकिन इसमें सख्त नियम हैं ताकि आप भाग्य के भरोसे न फंसें।

1. दो भविष्यवाणियाँ

कल्पना कीजिए कि आपके पास दो मौसम विज्ञानी हैं:

पुराना भविष्य विज्ञानी (स्रोत/Source): पुराने डेटा (अस्पताल A) के आधार पर बारिश की भविष्यवाणी करता है।
समायोजित भविष्य विज्ञानी (Tilted): पुराने डेटा के साथ-साथ आपके इस अंदाज़ के आधार पर बारिश की भविष्यवाणी करता है कि जलवायु बदल गई है (अस्पताल B)।

2. "ई-वैल्यू" (E-Value - दांव का चिप)

हर बार जब एक नया मरीज का परिणाम आता है (जैसे, "बारिश हुई" या "मरीज ठीक हो गया"), तो आप दोनों भविष्य विज्ञानियों की तुलना करते हैं:

क्या समायोजित भविष्य विज्ञानी ने पुराने भविष्य विज्ञानी की तुलना में इस परिणाम की बेहतर भविष्यवाणी की?
यदि हाँ, तो आप एक "दांव का चिप" (e-value) जीतते हैं।
यदि नहीं, तो आप एक चिप हार जाते हैं।

शोध पत्र गणितीय रूप से सिद्ध करता है कि यदि आपका अंदाज़ा गलत है (और पुराना भविष्य विज्ञानी ही सत्य है), तो औसतन आप बराबर रहेंगे या चिप हारेंगे। आप केवल भाग्य के बल पर अमीर नहीं बनेंगे।

3. "मार्टिंगेल" (Martingale - रनिंग स्कोर)

आप अपने चिप्स का कुल योग रखते हैं। इस कुल योग को मार्टिंगेल (Martingale) कहा जाता है।

नियम: यदि पुराना भविष्य विज्ञानी वास्तव में सही है, तो आपके चिप कुल (chip total) के बहुत अधिक होने (एक विशिष्ट सीमा को पार करने) की संभावना बहुत कम है (उदाहरण के लिए, 5% से कम)।
"एनीटाइम-वैलिड" (Anytime-Valid) सुपरपावर: यह इस शोध पत्र का सबसे बड़ा नवाचार है। आमतौर पर, सांख्यिकी (statistics) में, आपको शुरू करने से पहले तय करना होता है कि आप कितने मरीजों का परीक्षण करेंगे। यदि आप इसलिए रुक जाते हैं क्योंकि आपको "लगता है" कि आपके पास पर्याप्त डेटा है, तो आपकी सांख्यिकी अमान्य हो जाती है।
- यह विधि आपको जब चाहे तब रुकने की अनुमति देती है। आप 5 मरीजों, 50 मरीजों या 500 मरीजों के बाद स्कोर की जांच कर सकते हैं। जब तक आपने सीमा पार नहीं की है, नियम लागू रहते हैं। यदि आप सीमा पार कर लेते हैं, तो आप विश्वास के साथ कह सकते हैं: "डेटा मेरे अंदाज़ का समर्थन करता है।"

"लॉग-वेल्थ" (Log-Wealth) का उदाहरण

शोध पत्र में NLPD (नेगेटिव लॉग-प्रेडिक्टिव डेंसिटी) का उल्लेख है। इसे एक "आश्चर्य स्कोर" (surprise score) के रूप में समझें।

यदि एक भविष्य विज्ञानी किसी परिणाम से हैरान होता है, तो उसे उच्च स्कोर मिलता है (बुरा)।
यदि उसने अच्छी भविष्यवाणी की, तो उसे कम स्कोर मिलता है (अच्छा)।
शोध पत्र दिखाता है कि आपका "चिप टोटल" वास्तव में इस बात का अंतर है कि पुराना भविष्य विज्ञानी कितना हैरान था बनाम समायोजित भविष्य विज्ञानी कितना हैरान था।
अस्वीकृति (Rejection): यदि आपका "चिप टोटल" पर्याप्त रूप से बढ़ जाता है, तो इसका मतलब है कि समायोजित भविष्य विज्ञानी लगातार पुराने वाले की तुलना में कम हैरान रहा है। यह पुष्टि करता है कि आपका अंदाज़ा संभवतः सही है।

महत्वपूर्ण सीमाएँ (जो शोध पत्र कहता है)

यह शोध पत्र बहुत सावधान है कि यह उपकरण क्या कर सकता है और क्या नहीं:

यह एक "हाँ/नहीं" परीक्षण है, माप (Measurement) नहीं: यदि परीक्षण कहता है, "हाँ, आपका अंदाज़ा समर्थित है," तो यह आपको सटीक रूप से यह नहीं बताता कि बदलाव कितना बड़ा है। यह केवल यह कहता है कि बदलाव सही दिशा और परिमाण में है ताकि वह तर्कसंगत हो सके। यदि आपको सटीक संख्या चाहिए, तो आपको अभी भी बहुत अधिक डेटा और विभिन्न उपकरणों की आवश्यकता होगी।
"गारबेज इन" (Garbage In) चेतावनी: परीक्षण यह मानता है कि पुराना भविष्य विज्ञानी अच्छी तरह से कैलिब्रेटेड (well-calibrated) है। यदि पुराना भविष्य विज्ञानी खराब है (उदाहरण के लिए, वह सोचता है कि बारिश की संभावना 50% है जबकि वास्तव में 90% है), तो परीक्षण आपको गलत अलार्म दे सकता है। आपको मूल मॉडल की आधारभूत सटीकता पर भरोसा करना चाहिए।
अंदाज़ (Hunch) निश्चित होना चाहिए: आपको अपना "अंदाज़ा" (सुधार) नए डेटा को देखना शुरू करने से पहले तय करना होगा। आप डेटा देख सकते हैं, अपने अंदाज़ को बदल सकते हैं, और फिर परीक्षण चला सकते हैं, ऐसा नहीं कर सकते। इससे गणित टूट जाता है।

सारांश

यह शोध पत्र वैज्ञानिकों को औपचारिक रूप से यह कहने का एक तरीका देता है कि, "मेरे पास एक सिद्धांत है कि मेरा डेटा कैसे बदला है। भले ही मेरे पास कुछ ही नए डेटा पॉइंट्स हों, मैं गणितीय रूप से सिद्ध कर सकता हूँ कि मेरा सिद्धांत मेरे पुराने मॉडल की तुलना में इन नए पॉइंट्स पर बेहतर बैठता है, और इसके लिए मुझे एक विशाल डेटासेट का इंतज़ार करने की आवश्यकता नहीं है।"

यह मॉडल मॉनिटरिंग को एक कठोर, चरण-दर-चरण पुष्टि के खेल में बदल देता है जहाँ आप पर्याप्त प्रमाण मिलने पर खेल को तुरंत रोक सकते हैं।

तकनीकी सारांश: लेबल-शिफ्ट सुधारों का 'एनीटाइम-वैलिड' (Anytime-Valid) पुष्टिकरण

1. समस्या विवरण

छोटे-बैच वाले वैज्ञानिक डिप्लॉयमेंट में, लेबल किए गए लक्षित परिणाम (labeled target outcomes) पारंपरिक अनलेबल-टारगेट विधियों जैसे कि BBSE या MLLS का उपयोग करके लेबल शिफ्ट (जहाँ $p(y)$ का मार्जिनल वितरण बदलता है जबकि $p(x|y)$ स्थिर रहता है) का विश्वसनीय अनुमान लगाने के लिए बहुत कम होते हैं। इन परिदृश्यों में, चिकित्सकों के पास अक्सर डोमेन ज्ञान, नियामक विशिष्टताओं, या ब्रिजिंग प्रयोगों से प्राप्त एक पूर्व-निर्दिष्ट कैंडिडेट सुधार (candidate correction) उपलब्ध होता है।

मुख्य समस्या जिस पर ध्यान केंद्रित किया गया है वह शिफ्ट का अनुमान लगाना नहीं है, बल्कि यह पुष्टि करना है कि क्या आने वाले लेबल किए गए परिणाम, एक स्रोत प्रेडिक्टिव मॉडल के सापेक्ष, एक निर्धारित निश्चित लेबल-शिफ्ट सुधार का समर्थन करते हैं। इसे अनुमान की समस्या के बजाय एक पुष्टिकरण (confirmation) समस्या के रूपட்டாக फ्रेम किया गया है, जिसके लिए एक ऐसे सांख्यिकीय उपकरण की आवश्यकता है जो बिना किसी पूर्व-निर्दिष्ट सैंपल साइज के अनुक्रमिक डेटा (sequential data) को संभाल सके, और वैकल्पिक स्टॉपिंग (optional stopping) के तहत टाइप I एरर को नियंत्रित कर सके।

2. कार्यप्रणाली

यह शोध पत्र e-values और e-processes (Vovk & Wang, 2021; Shafer, 2021) पर आधारित एक अनुक्रमिक परीक्षण ढांचा प्रस्तावित करता है।

मुख्य निर्माण:
एक निश्चित स्रोत प्रेडिक्टिव $p_s(y|x, D_{tr})$ और एक कैंडिडेट वेट $w(y)$ को देखते हुए, जो डोमेन ज्ञान से प्राप्त किया गया है, लेखक एक टिल्टेड प्रेडिक्टिव (tilted predictive) को परिभाषित करते हैं:
$\tilde{p}_w(y|x, D_{tr}) \propto w(y) p_s(y|x, D_{tr})$
परीक्षण, टिल्टेड प्रेडिक्टिव और सोर्स प्रेडिक्टिव के बीच प्रति-अवलोकन लाइकलीहुड रेशियो (likelihood ratio) को संचित करता है:
$e_i = \frac{\tilde{p}_w(y_i|x_i, D_{tr})}{p_s(y_i|x_i, D_{tr})} = \frac{w(y_i)}{Z_w(x_i)}$
जहाँ $Z_w(x_i)$ नॉर्मलाइजेशन कांस्टेंट (normalization constant) है।

सैद्धांतिक गारंटी:

कंडीशनल ई-वैल्यू (Conditional E-Value): प्रेडिक्टिव नल हाइपोथेसिस $H_0^{pred}$ (जहाँ परिणाम सोर्स प्रेडिक्टिव $p_s$ का पालन करते हैं) के तहत, पिछले डेटा और वर्तमान इनपुट के सापेक्ष $e_i$ का प्रत्याशा (expectation) 1 है। अतः, $e_i$ एक वैध कंडीशनल ई-वैल्यू है।
मार्टिंगेल प्रॉपर्टी (Martingale Property): रनिंग प्रोडक्ट $M_t = \prod_{i=1}^t e_i$ एक नॉन-नेगेटिव मार्टिंगेल (एक e-process) बनाता है।
एनीटाइम-वैलिड नियम (Anytime-Valid Rule): विले के इनइक्वालिटी (Ville's inequality) द्वारा, स्टॉपिंग रूल $\tau^* = \inf\{t : M_t > 1/\alpha\}$ बिना किसी पूर्व-निर्दिष्ट सैंपल साइज के, वैकल्पिक स्टॉपिंग के तहत $\alpha$ स्तर पर टाइप I एरर को नियंत्रित करता है।
NLPD गैप आइडेंटिटी (NLPD Gap Identity): लॉग-वेल्थ $\log M_t$ , सोर्स और टिल्टेड प्रेडिक्टिव के बीच संचयी नेगेटिव लॉग-प्रेडिक्टिव डेंसिटी (NLPD) के अंतर के बराबर है:
$\log M_t = \sum_{i=1}^t (\text{NLPD}_i(p_s) - \text{NLPD}_i(\tilde{p}_w))$
अस्वीकरण (rejection) तब होता है जब टिल्टेड प्रेडिक्टिव $\log(1/\alpha)$ से अधिक लॉग-स्कोर लाभ संचित करता है।

गौसियन प्रोसेस के लिए क्लोज्ड-फॉर्म (Closed-Form for Gaussian Processes):
गौसियन प्रोसेस (GP) सोर्सेज और गौसियन लेबल-शिफ्ट रेश्यो के लिए, लेखक नॉर्मलाइजेशन कांस्टेंट $Z_w(x)$ और प्रति-सैंपल लॉग ई-वैल्यू के लिए क्लोज्ड-फॉर्म एक्सप्रेशन निकालते हैं। यह केवल GP पोस्टीरियर आउटपुट्स ( $\mu_s, \sigma^2_s$ ) और शिफ्ट पैरामीटर्स का उपयोग करके कुशल गणना की अनुमति देता है।

मल्टीपल टेस्टिंग:
$K$ स्ट्रीम्स के समानांतर परीक्षण के लिए, यह शोध पत्र बॉनफेरोनी सुधारों (Bonferroni corrections) के बजाय FDR को नियंत्रित करने के लिए बैच ई-वैल्यूज का उपयोग करते हुए e-BH प्रक्रिया (Wang & Ramdas, 2022) की सिफारिश करता है।

3. मुख्य योगदान

NLPD-गैप आइडेंटिटी: केली-ऑप्टिमल बेटिंग को मॉडल मूल्यांकन से जोड़ना, यह दिखाना कि संचयी NLPD गैप एक वैध e-process का लॉग-वेल्थ है।
एनीटाइम-वैलिड कन्फर्मेशन टेस्ट: एक निश्चित पोसिटेड शिफ्ट के लिए एक औपचारिक अनुक्रमिक परीक्षण प्रदान करना, जिसमें कोई पूर्व-निर्दिष्ट सैंपल साइज की आवश्यकता नहीं होती और जो वैकल्पिक स्टॉपिंग के तहत टाइप I एरर को नियंत्रित करता है।
क्लोज्ड-फॉर्म GP ई-वैल्यूज: गौसियन लेबल-शिफ्ट टिल्ट्स के तहत एनालिटिकल सॉल्यूशंस को व्युत्पन्न करना, जो GP रिग्रेशन में व्यावहारिक कार्यान्वयन को सक्षम बनाता है।
ग्रोथ-रेट कैरेक्टराइजेशन: यह सिद्ध करना कि अल्टरनेटिव (सही स्पेसिफिकेशन) के तहत, परीक्षण में एसिम्प्टोटिक पावर वन होती है, जिसका ग्रोथ रेट टिल्टेड और सोर्स प्रेडिक्टिव्स के बीच औसत KL डाइवर्जेंस के बराबर होता है।
एम्पिरिकल वैलिडेशन: यह विधि टाइप I कंट्रोल, फाईनाइट-सैंपल पावर, मिसकैलिब्रेशन के प्रति संवेदनशीलता और शोर वाले पुनर्मूल्यांकन (noisy re-estimation) के ऊपर एक विश्वसनीय प्रायर (prior) के उपयोग के लाभ को प्रदर्शित करती है।

4. प्रयोगात्मक परिणाम

लेखकों ने एंड-टू-एंड GP रिग्रेशन सिमुलेशन का उपयोग करके अपनी विधि को मान्य किया है:

टाइप I कंट्रोल: प्रेडिक्टिव नल के तहत, अनुभवजन्य फाल्स-अलार्म दर सभी हॉरिज़न्स में नाममात्र $\alpha$ (0.05) से सख्ती से नीचे रहती है, जो एनीटाइम-वैलिड गारंटी की पुष्टि करती है।
फिक्स्ड-सैंपल LRT के विरुद्ध पावर: विशिष्ट सैंपल साइज के लिए कैलिब्रेटेड फिक्स्ड-सैंपल लाइकलीहुड रेशियो टेस्ट (LRT) बड़े हॉरिज़न्स पर थोड़ी अधिक पावर दिखाते हैं, लेकिन e-process किसी भी स्टॉपिंग टाइम के तहत वैधता बनाए रखता है, जो पावर और लचीलेपन के बीच एक मौलिक ट्रेड-ऑफ पेश करता है।
स्मॉल-बैच एडवांटेज: छोटे टारगेट बैच साइज ( $n_t=10$ ) वाले परिदृश्यों में, एक विश्वसनीय प्रायर करेक्शन (ओरेकल) होल्ड-आउट NLPD के मामले में एडेप्टिव री-एस्टीमेशन की तुलना में काफी बेहतर प्रदर्शन करता है। कन्फर्मेशन टेस्ट ऐसे प्रायर्स का उपयोग करने के समर्थन में औपचारिक साक्ष्य प्रदान करता है।
मिसकैलिब्रेशन संवेदनशीलता: परीक्षण सोर्स प्रेडिक्टिव मिसकैलिब्रेशन के प्रति अत्यधिक संवेदनशील है। सोर्स GP द्वारा वेरिएंस का कम अनुमान (जैसे कारक $c=2$ ) टाइप I एरर में भारी वृद्धि (36.45% तक) का कारण बनता है, जो यह रेखांकित करता है कि वैधता गारंटी इस बात पर निर्भर करती है कि सोर्स मॉडल अच्छी तरह से कैलिब्रेटेड है।
मिसस्पेसिफिकेशन रोबस्टनेस: जब पोसिटेड शिफ्ट मिसस्पेसिफाइड (गलत परिमाण या दिशा) होता है, तो परीक्षण की पावर कम हो जाती है, लेकिन जब तक वेट (weight) को टेस्टिंग से पहले फिक्स किया जाता है, तब तक टाइप I एरर नियंत्रित रहता है। परीक्षण गलत स्पेसिफिकेशन के कारण झूठा अस्वीकरण नहीं करता है; यह केवल अस्वीकार करने में विफल रहता है।

5. महत्व और दावे

यह शोध पत्र मॉडल डिप्लॉयमेंट में एक विशिष्ट, अक्सर अनदेखी की जाने वाली स्थिति के लिए एक आवश्यक उपकरण प्रदान करने का दावा करता है: अनुमान (Estimation) के बजाय पुष्टि (Confirmation)।

अनुमान से अंतर: लेखक जोर देते हैं कि अस्वीकरण यह पुष्टि करता है कि पोसिटेड करेक्शन, सोर्स के सापेक्ष डेटा के साथ संगत (consistent) है, लेकिन यह सटीक रूप से शिफ्ट की डिग्री को मापता नहीं है। मात्रात्मक अनुमान के लिए, अनलेबल-टारगेट विधियाँ ही उपयुक्त उपकरण बनी रहती हैं।
व्यावहारिक उपयोगिता: यह विधि चिकित्सकों को डोमेन-नॉलेज-आधारित सुधारों (जैसे नियामक विशिष्टताएँ) को डेटा आते ही औपचारिक रूप से मान्य करने की अनुमति देती है, जिससे कम लेबल वाले डेटा से शिफ्ट को पुनर्मूल्यांकित करने की अविश्वसनीयता से बचा जा सकता है।
सीमाएँ: लेखक स्पष्ट रूप से कहते हैं कि टाइप I कंट्रोल की गारंटी प्रेडिक्टिव नल (अर्थात, सोर्स मॉडल अच्छी तरह से कैलिब्रेटेड होना चाहिए) पर सशर्त है। परीक्षण अतिरिक्त कैलिब्रेशन लेयर्स के बिना मनमाने मॉडल मिसस्पेसिफिकेशन के प्रति रोबस्ट नहीं है। इसके अलावा, टेस्टिंग स्ट्रीम शुरू होने से पहले कैंडिडेट वेट को फिक्स करना अनिवार्य है; टेस्टिंग स्ट्रीम से प्राप्त डेटा का उपयोग वेट को अनुमानित करने के लिए करना e-value प्रॉपर्टी को अमान्य कर देता है।

संक्षेप में, यह शोध पत्र एक पूर्व-निर्दिष्ट लेबल-शिफ्ट सुधार की पुष्टि करने के लिए एक कठोर, एनीटाइम-वैलिड ढांचा प्रदान करता है, जो डेटा-दुर्लभ वातावरण में डोमेन ज्ञान और अनुक्रमिक सांख्यिकीय साक्ष्य के बीच के अंतर को पाटता है।