📊 statistics

Classifier-Based Nonparametric Sequential Hypothesis Testing

यह शोध पत्र स्तर- $\alpha$ की पावर-वन अनुक्रमिक परिकल्पना परीक्षणों (sequential hypothesis tests) के निर्माण के लिए एक सामान्य ढांचे का प्रस्ताव करता है जो शून्य वितरण (null distribution) को कई विकल्पों से अलग करने के लिए ऑफलाइन डेटा पर प्रशिक्षित मल्टी-क्लास क्लासिफायर का उपयोग करते हैं, जबकि रुकने के समय (stopping time), वास्तविक वितरण की पहचान और वितरण बेमेल (distribution mismatches) के प्रति मजबूती पर सैद्धांतिक गारंटी प्रदान करते हैं।

मूल लेखक: Chia-Yu Hsu, Shubhanshu Shekhar

प्रकाशित 2026-03-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chia-Yu Hsu, Shubhanshu Shekhar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक हाई-टेक म्यूजियम के सुरक्षा गार्ड हैं। आपका काम भीड़ में से एक जालसाज (forger) को पहचानना है।

पुराने दिनों में, आपको एक "असली" पेंटिंग कैसी दिखती है और एक "नकली" पेंटिंग कैसी दिखती है, इसका एक सटीक, गणितीय विवरण दिया जाता। आप हर आगंतुक की तुलना उन ब्लूप्रिंट्स से करते जाते।

लेकिन वास्तविक दुनिया में, जालसाज बहुत चालाक होते हैं, और कला जटिल होती है। आपके पास सटीक ब्लूप्रिंट नहीं हैं। इसके बजाय, आपके पास एक विशाल फोटो एल्बम (आपका ऑफलाइन डेटासेट) है जिसमें असली पेंटिंग्स की हजारों तस्वीरें और ज्ञात नकली पेंटिंग्स की हजारों तस्वीरें भरी हुई हैं। आपके पास एक सुपर-स्मार्ट AI असिस्टेंट (एक क्लासिफायर) भी है, जिसे आपने उस फोटो एल्बम पर प्रशिक्षित (train) किया है। यह AI एक तस्वीर को देखकर चिल्लाने में बहुत माहिर है, "यह नकली है!" या "यह असली है!"

समस्या यह है: आप इस AI का उपयोग वास्तविक समय (real-time) में जालसाज को पकड़ने के लिए कैसे कर सकते हैं, बिना घंटों तक हर एक व्यक्ति की जांच किए?

यही वह समस्या है जिसे चिया-यू हू (Chia-Yu Hsu) और शुभंशु शेखर (Shubhanshu Shekhar) का पेपर हल करता है। उन्होंने एक नया "सुरक्षा प्रोटोकॉल" बनाया है जो आपके प्रशिक्षित AI का उपयोग करके यथाशीघ्र निर्णय लेता है, जबकि यह गारंटी भी देता है कि आप गलती से किसी असली आगंतुक को बाहर नहीं निकालेंगे (एक "फॉल्स अलार्म")।

यहाँ उनके समाधान का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:

1. "सत्य पर दांव लगाने" का खेल

केवल AI से यह पूछने के बजाय कि, "क्या यह नकली है?", लेखक इस प्रक्रिया को एक सट्टेबाजी के खेल (betting game) में बदल देते हैं।

सेटअप: आप $1 की "विश्वास राशि" (confidence money) से शुरुआत करते हैं।
नियम: जैसे ही एक नया आगंतुक आता है, AI उसे देखता है और एक अनुमान लगाता है।
- यदि AI को लगता है कि वे एक असली व्यक्ति हैं (Null hypothesis), तो आप दांव लगाते हैं कि वे वास्तव में असली हैं।
- यदि AI को लगता है कि वे एक नकली व्यक्ति हैं (Alternative hypothesis), तो आप दांव लगाते हैं कि वे असली नहीं हैं।
ट्विस्ट: लेखक एक विशेष गणितीय ट्रिक (जिसे e-process कहा जाता है) का उपयोग करते हैं ताकि यह गणना की जा सके कि AI के अनुमान के आधार पर आपकी "विश्वास राशि" कितनी बढ़नी या घटनी चाहिए।
- यदि आगंतुक वास्तव में असली है, तो आपका पैसा कम रहता है या घट जाता है (क्योंकि आपको उनके नकली होने पर बड़ा दांव नहीं लगाना चाहिए)।
- यदि आगंतुक वास्तव में एक जालसाज है, तो आपका पैसा तेजी से बढ़कर ऊपर की ओर विस्फोट (explode) करता है।

निर्णय: आप एक-एक करके आने वाले आगंतुकों को देखते रहते हैं। जैसे ही आपकी "विश्वास राशि" एक विशिष्ट रेखा (threshold) को पार करने के लिए पर्याप्त बड़ी हो जाती है, आप चिल्लाते हैं, "रुको! वह व्यक्ति एक जालसाज है!" और उन्हें बाहर निकाल देते हैं।

2. यह "पावर-वन" (Power-One) क्यों है?

सांख्यिकी (statistics) में, "पावर-वन" सुनने में फैंसी लगता है, लेकिन इसका सीधा सा अर्थ है: "यदि भीड़ में एक जालसाज है, तो हम निश्चित रूप से उन्हें पकड़ लेंगे।"

गारंटी: यदि व्यक्ति निर्दोष है, तो आपके द्वारा गलती से "रुको!" चिल्लाने की संभावना बहुत कम है (इसे $\alpha$ जैसे नंबर द्वारा नियंत्रित किया जाता है, जैसे 5%)।
जादू: यदि व्यक्ति वास्तव में एक जालसाज है, तो आपकी "विश्वास राशि" इतनी तेजी से बढ़ती है कि आप अंततः उस रेखा को पार कर लेंगे और उन्हें पकड़ लेंगे। आपको हमेशा के लिए इंतजार नहीं करना पड़ता।

3. "ऑफलाइन ट्रेनिंग" का गुप्त मंत्र (Secret Sauce)

इस पेपर का सबसे बड़ा नवाचार यह है कि वे इस बात को कैसे संभालते हैं कि उन्हें दुनिया के "वास्तविक नियम" पता नहीं हैं। वे पूरी तरह से उस फोटो एल्बम (ऑफलाइन डेटा) पर भरोसा करते हैं जिसका उपयोग AI को प्रशिक्षित करने के लिए किया गया है।

चुनौती: क्या होगा यदि फोटो एल्बम बहुत छोटा है? या क्या होगा यदि AI बहुत मंदबुद्धि है?
समाधान: लेखकों ने यह पता लगाया है कि उन्हें कितने बड़े फोटो एल्बम की आवश्यकता है।
- यदि जालसाज और असली कलाकार एक जैसे दिखते हैं (पहचानना कठिन है), तो आपको एक अच्छा AI प्रशिक्षित करने के लिए एक विशाल फोटो एल्बम की आवश्यकता है।
- यदि वे बहुत अलग दिखते हैं, तो एक छोटा फोटो एल्बम पर्याप्त है।
- उन्होंने गणितीय रूप से सिद्ध किया कि यदि आपके पास पर्याप्त डेटा और एक स्मार्ट AI है, तो आप एक ऐसा डिटेक्टर बना सकते हैं जो पूरी तरह से काम करता है।

4. क्या होगा यदि दुनिया बदल जाए? (डिस्ट्रीब्यूशन शिफ्ट)

कल्पना कीजिए कि आपने अपने AI को 1990 के जालसाजों की तस्वीरों पर प्रशिक्षित किया है, लेकिन अब, जालसाज 2024 की तकनीक का उपयोग कर रहे हैं। AI भ्रमित हो सकता है।

लेखकों ने दिखाया है कि उनका तरीका मजबूत (robust) है। जब तक AI अभी भी "काफी हद तक सही" (separable) है (भले ही नए, थोड़े अलग जालसाजों के साथ), तब तक सट्टेबाजी का खेल काम करता रहेगा। यह एक ऐसे गार्ड की तरह है जो जालसाज को तब भी पहचान सकता है जब जालसाज ने फोटो एल्बम में मौजूद टोपी से थोड़ी अलग टोपी पहनी हो।

5. "सुपर-टीम" रणनीति

प्रयोगों में, उन्होंने कुछ दिलचस्प आजमाया: क्या होगा यदि आप एक के बजाय दो AI का उपयोग करें?

AI #1 ब्रश स्ट्रोक पहचानने में अच्छा है।
AI #2 रंग के पैटर्न पहचानने में अच्छा है।
केवल एक को चुनने के बजाय, वे अपनी "विश्वास राशि" को एक ही बर्तन (pot) में मिला देते हैं।
परिणाम: टीम ने जालसाज को अकेले किसी भी एक AI की तुलना में अधिक तेज़ी से पकड़ा। यह एक ही व्यक्ति को देख रहे दो सुरक्षा गार्डों की तरह है; यदि एक को संदेह होता है, तो दूसरा पुष्टि करता है, और आप जल्दी निर्णय लेते हैं।

सारांश: मुख्य निष्कर्ष

यह पेपर हमें एक नया तरीका देता है जिससे हम वास्तविक समय में निर्णय ले सकते हैं जब हमारे पास पूर्ण नियम नहीं होते, लेकिन हमारे पास पिछला बहुत सारा डेटा होता है।

एक AI को प्रशिक्षित करें अपने ऐतिहासिक डेटा पर।
एक सट्टेबाजी का खेल चलाएं जहाँ AI के अनुमान यह निर्धारित करते हैं कि आपकी "साक्ष्य राशि" (evidence) कितनी तेजी से जमा होती है।
तुरंत रुकें जब साक्ष्य अत्यधिक (overwhelming) हो जाएं।

यह तरीका सुरक्षित है (बहुत कम गलत अलार्म), तेज़ है (वास्तविक समस्याओं को जल्दी पकड़ता है), और लचीला है (यह तब भी काम करता है जब डेटा थोड़ा बदल जाता है या यदि आप कई AI का उपयोग करते हैं)। यह सांख्यिकी के जटिल गणित को "पैसों का पीछा करने" के एक सरल, विश्वसनीय खेल में बदल देता है।

यहाँ चिया-यू हू (Chia-Yu Hsu) और शुभंशु शेखर (Shubhanshu Shekhar) के शोध पत्र "Classifier-Based Nonparametric Sequential Hypothesis Testing" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र नॉनपैरामेट्रिक (nonparametric) परिवेश में अनुक्रमिक परिकल्पना परीक्षण (sequential hypothesis testing) की समस्या को संबोधित करता है, जहाँ शून्य (null) और वैकल्पिक (alternative) वितरण विश्लेषणात्मक रूप से ज्ञात नहीं होते हैं, बल्कि उन्हें अप्रत्यक्ष रूप से ऑफलाइन (ऐतिहासिक) डेटासेट के माध्यम से निर्दिष्ट किया जाता है।

सेटअप (Setup):
- $L+1$ अज्ञात डेटा-जनरेटिंग वितरण उपलब्ध हैं: $\mathcal{P} = \{P_0, P_1, \dots, P_L\}$ ।
- ऑफलाइन डेटा: प्रत्येक वितरण $P_\vartheta$ ( $\vartheta \in \{0, \dots, L\}$ ) के लिए $N$ नमूनों का एक निश्चित डेटासेट उपलब्ध है।
- ऑनलाइन स्ट्रीम: एक अज्ञात वितरण $P_\theta$ ( $\theta \in \{0, \dots, L\}$ ) से i.i.d. अवलोकनों की एक नई स्ट्रीम $\{X_t\}_{t \ge 1}$ उत्पन्न होती है।
- लक्ष्य: शून्य परिकल्पना $H_0: \theta = 0$ और वैकल्पिक परिकल्पना $H_1: \theta \in \{1, \dots, L\}$ के बीच अनुक्रमिक रूप से निर्णय लेना।
बाधाएं और मानदंड (Constraints & Criteria):
- विधि को लेवल- $\alpha$ पावर-वन (Level- $\alpha$ Power-One) मानदंड को संतुष्ट करना चाहिए:
  1. टाइप-I त्रुटि नियंत्रण (Type-I Error Control): $H_0$ के तहत, परिमित समय (finite time) में रुकने की प्रायिकता $\le \alpha$ है।
  2. पावर-वन (Power-One): किसी भी $H_1$ के तहत, परिमित समय में रुकने की प्रायिकता 1 (लगभग निश्चित/almost sure) है।
- दृष्टिकोण नॉनपैरामेट्रिक होना चाहिए (वितरण के रूप पर कोई कड़े अनुमान नहीं) और वितरण की संरचना को सीखने के लिए ऑफलाइन डेटा पर निर्भर होना चाहिए।

2. कार्यप्रणाली (Methodology)

मुख्य नवाचार एक क्लासिफायर-आधारित अनुक्रमिक परीक्षण (classifier-based sequential test) है जो e-processes (बेटिंग-बाय-टेस्टिंग) का उपयोग करके ऑफलाइन मशीन लर्निंग को ऑनलाइन अनुक्रमिक विश्लेषण के साथ जोड़ता है।

A. पृथक्करणीयता की स्थिति (The Separability Condition)

लेखक एक क्लासिफायर परिवार $\mathcal{G}$ द्वारा परिभाषित "पृथकरणीय" वितरण टुपल्स (tuples) की एक श्रेणी $\mathcal{P}_{sep}$ को परिभाषित करते हैं। एक टुपल तब पृथकरणीय होता है जब एक ऐसा क्लासिफायर $g \in \mathcal{G}$ मौजूद हो कि किसी भी वास्तविक वितरण $P_\theta$ के लिए, क्लासिफायर द्वारा सही लेबल $\theta$ की भविष्यवाणी करने की प्रायिकता, किसी अन्य लेबल $m \neq \theta$ की भविष्यवाणी करने की प्रायिकता से अधिक हो:
$P(g(X) = \theta | X \sim P_\theta) > \max_{m \neq \theta} P(g(X) = m | X \sim P_\theta)$
इस अंतर को $\Delta_\theta = p_\theta[\theta] - p_\theta[0]$ द्वारा मापा जाता है, जहाँ $p_\theta[m]$ लेबल $m$ की भविष्यवाणी करने की प्रायिकता है।

B. स्टॉपिंग रूल (The Stopping Rule - e-Process Construction)

परीक्षण क्लासिफायर भविष्यवाणियों $\{g(X_t)\}_{t \ge 1}$ के अनुक्रम से निर्मित बहु-गुणात्मक बेटिंग रणनीति (multiplicative betting strategy/e-process) का उपयोग करता है:

प्रशिक्षण (Training): एक मल्टी-क्लास क्लासिफायर $g$ को $L+1$ वर्गों के बीच अंतर करने के लिए ऑफलाइन डेटा पर प्रशिक्षित किया जाता है।
ऑनलाइन बेटिंग (Online Betting): प्रत्येक समय चरण $t$ पर, क्लासिफायर एक लेबल $g(X_t)$ की भविष्यवाणी करता है।
अनुकूली बेटिंग (Adaptive Betting): एल्गोरिदम पिछले भविष्यवाणियों की अनुभवजन्य आवृत्ति (empirical frequency) को ट्रैक करता है ताकि सबसे संभावित वैकल्पिक लेबल $\hat{j}_t$ $\hat{j}_{t}$ का अनुमान लगाया जा सके। यह एक बेटिंग वेल्थ प्रोसेस $W_n$ $W_{n}$ का निर्माण करता है जो शून्य ($0$) के विरुद्ध दांव लगाता है जब भविष्यवाणी शून्य से विचलित होती है या अनुमानित विकल्प के अनुरूप होती है।
- वेल्थ अपडेट में मजबूती और इष्टतम स्टॉपिंग टाइम बाउंड सुनिश्चित करने के लिए बेटिंग पैरामीटर्स $\lambda \in (-1, 0]$ पर एक इंटीग्रल शामिल है।
- $W_n$ , $H_0$ के तहत एक नॉन-नेगेटिव सुपरमार्टिंगेल (supermartingale) है।
रुकना (Stopping): परीक्षण तब रुक जाता है और $H_0$ को अस्वीकार कर देता है जब $W_n \ge 1/\alpha$ हो जाता है।

C. पहचान तंत्र (Identification Mechanism)

शून्य को अस्वीकार करने के अलावा, प्रक्रिया वास्तविक अंतर्निहित वितरण इंडेक्स $\theta$ की पहचान करती है। एल्गोरिदम भविष्यवाणियों के अनुभवजन्य मोड ( $\hat{j}_t$ ) को ट्रैक करता है, जो $t \to \infty$ होने पर लगभग निश्चित रूप से वास्तविक $\theta$ की ओर अभिसरित (converge) होता है।

3. प्रमुख योगदान और सैद्धांतिक परिणाम (Key Contributions & Theoretical Results)

A. सांख्यिकीय गारंटी (Statistical Guarantees)

लेवल- $\alpha$ नियंत्रण (Level- $\alpha$ Control): विले के अनिरत (Ville's) असमानता के अनुसार, चूंकि $W_n$ , $H_0$ के तहत एक नॉन-नेगेटिव सुपरमार्टिंगेल है, इसलिए गलत अस्वीकरण की प्रायिकता $\alpha$ द्वारा सीमित है।
पावर-वन (Power-One): $H_1$ के तहत, पृथक्करणीयता की स्थिति वेल्थ प्रोसेस को तेजी से बढ़ाती है, जो प्रायिकता 1 के साथ परिमित स्टॉपिंग टाइम की गारंटी देती है।
अपेक्षित स्टॉपिंग टाइम (Expected Stopping Time): शोध पत्र $H_1$ के तहत अपेक्षित स्टॉपिंग टाइम के लिए एक गैर-एसिम्प्टोटिक (non-asymptotic) ऊपरी बाउंड व्युत्पन्न करता है:
$E_\theta[\tau] = O\left( \frac{\log(1/(\alpha \Delta_\theta))}{\Delta_\theta^2} \right)$
यह दर्शाता है कि स्टॉपिंग टाइम क्लासिफायर के पृथक्करणीयता गैप ( $\Delta_\theta$ ) के वर्ग के व्युत्क्रमानुपाती (inversely proportional) होता है।

B. ऑफलाइन प्रशिक्षण की भूमिका (Role of Offline Training - Sample Complexity)

लेखक विश्लेषण करते हैं कि ऑफलाइन डेटा का आकार ( $N$ ) और क्लासिफायर परिवार ( $\mathcal{G}$ ) परीक्षण को कैसे प्रभावित करते हैं:

पर्याप्त स्थिति (Sufficient Condition): एम्पिरिकल रिस्क मिनिमाइजेशन (ERM) और VC-डायमेंशन तर्कों का उपयोग करते हुए, वे दिखाते हैं कि यदि $N$ पर्याप्त बड़ा है (जो $1/\Delta^2$ के अनुपात में स्केल करता है), तो उच्च प्रायिकता के साथ एक पृथकरणीय क्लासिफायर पाया जा सकता है।
आवश्यक स्थिति (Necessary Condition): वे $N$ के लिए आवश्यक निचली सीमा (lower bound) स्थापित करते हैं, जो किसी भी टेस्ट को यूनिफॉर्मली पावर-वन मानदंड प्राप्त करने के लिए आवश्यक है। निकटवर्ती वितरण (कम KL डाइवर्जेंस) के लिए बड़े $N$ की आवश्यकता होती है।
मिनिमैक्स लोअर बाउंड (Minimax Lower Bound): टाइप-II त्रुटि (स्टॉपिंग टाइम की टेल प्रोबेबिलिटी) के लिए एक निचली सीमा व्युत्पन्न की गई है, जो दिखाती है कि अनंत प्रशिक्षण डेटा के साथ भी, स्टॉपिंग टाइम क्लासिफायर की क्षमता और हाइपोथेसिस टेस्ट की अंतर्निहित कठिनाई (KL डाइवर्जेंस) द्वारा सीमित होता है।

C. विस्तार (Extensions)

प्रशिक्षण-परीक्षण बेमेल (Training-Testing Mismatch): ढांचा वितरण बदलाव (distribution shifts) के प्रति मजबूत है। यदि परीक्षण वितरण $\tilde{P}$ , प्रशिक्षण वितरण $P$ के करीब है (KL डाइवर्जेंस द्वारा मापा गया), तो क्लासिफायर पृथकरणीय रहता है, और परीक्षण वैध रहता है, हालांकि स्टॉपिंग टाइम बढ़ सकता है।
अनुक्रमिक परिवर्तन-बिंदु पहचान (Sequential Change-Point Detection - SCD): इस पद्धति को अज्ञात समय $T$ पर $P_0$ से $P_\theta$ तक अचानक परिवर्तनों का पता लगाने के लिए अनुकूलित किया गया है। अपेक्षित डिटेक्शन डिले (detection delay) हाइपोथेसिस टेस्टिंग परिदृश्य के सैद्धांतिक बाउंड से मेल खाता है।

4. अनुभवजन्य परिणाम (Empirical Results)

लेखक सिंथेटिक गौसियन डेटा और वास्तविक दुनिया के CIFAR-10 इमेज डेटा का उपयोग करके अपने सिद्धांत को मान्य करते हैं:

स्टॉपिंग टाइम ट्रेंड (Stopping Time Trend): प्रयोग पुष्टि करते हैं कि औसत स्टॉपिंग टाइम $1/\Delta_\theta$ के वर्ग के रूप में और $1/\alpha$ के लघुगणकीय (logarithmic) रूप में स्केल करता है, जो उनके सैद्धांतिक बाउंड से मेल खाता है।
पहचान सटीकता (Identification Accuracy): जैसे-जैसे $\alpha \to 0$ (कठोर थ्रेशोल्ड) होता है, वास्तविक वैकल्पिक इंडेक्स को सही ढंग से पहचानने की प्रायिकता 1 के करीब पहुँच जाती है।
मजबूती (Robustness): परीक्षण नियंत्रित वितरण बदलावों के तहत भी वैध रहता है, जिसमें बदलाव की तीव्रता बढ़ने के साथ स्टॉपिंग टाइम बढ़ता है।
क्लासिफायर मिश्रण (Classifier Mixture): कई क्लासिफायरों के मिश्रण (जैसे, एक कमजोर और एक मजबूत मॉडल को संयोजित करना) का उपयोग करने से एकल क्लासिफायर की तुलना में छोटा अपेक्षित स्टॉपिंग टाइम मिलता है, जो भविष्य की दिशाओं का सुझाव देता है।

5. महत्व और प्रभाव (Significance and Impact)

ML और सांख्यिकी का मिलन: यह कार्य शक्तिशाली, पूर्व-प्रशिक्षित मशीन लर्निंग क्लासिफायर्स (जैसे CNN या LLM) का औपचारिक अनुक्रमिक परिकल्पना परीक्षण में उपयोग करने के लिए एक कठोर सांख्यिकीय ढांचा प्रदान करता है, जो पैरामेट्रिक धारणाओं से परे जाता है।
ऑफलाइन-ऑनलाइन प्रतिमान: यह अज्ञात वितरणों के परीक्षण की महत्वपूर्ण समस्या को हल करता है जब केवल ऐतिहासिक डेटा उपलब्ध होता है, जो LLM डिटेक्शन (मानव बनाम AI टेक्स्ट के बीच अंतर करना) और विसंगति का पता लगाने (anomaly detection) जैसे अनुप्रयोगों में एक सामान्य परिदृश्य है।
एनीटाइम-वैलिड (Anytime-Valid): e-processes का उपयोग यह सुनिश्चित करता है कि परीक्षण किसी भी स्टॉपिंग टाइम पर वैध है, जो नमूना आकार (sample size) को पूर्व-निर्धारित किए बिना वास्तविक समय के निर्णय लेने में लचीलापन प्रदान करता है।
सैद्धांतिक सीमाएँ: ऑफलाइन डेटा के साथ नॉनपैरामेट्रिक अनुक्रमिक परीक्षण में क्या हासिल किया जा सकता है, इसकी मौलिक सीमाओं को परिभाषित करने के लिए प्रशिक्षण डेटा आकार और क्लासिफायर क्षमता पर आवश्यक और पर्याप्त स्थितियों को स्थापित करके, यह शोध पत्र मूलभूत सीमाएं निर्धारित करता है।