📊 statistics

Adaptive Off-Policy Inference for M-Estimators Under Model Misspecification

यह शोधपत्र विशेष रूप से मॉडल मिसस्पेसिफिकेशन (model misspecification) और गैर-अभिसारी उपचार नीतियों (non-converging treatment policies) की चुनौतियों को संबोधित करते हुए, विश्वसनीय विश्वास अंतराल (confidence intervals) सुनिश्चित करने के लिए, एडेप्टिवली एकत्र किए गए बैंडिट डेटा पर $M$ -एस्टिमेटर्स का उपयोग करके वैध ऑफ-पॉलिसी इन्फरेंस (off-policy inference) करने के लिए एक नवीन विधि प्रस्तावित करता है।

मूल लेखक: James Leiner, Robin Dunn, Aaditya Ramdas

प्रकाशित 2026-02-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: James Leiner, Robin Dunn, Aaditya Ramdas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक डॉक्टर हैं जो यह पता लगाने की कोशिश कर रहे हैं कि घुटने के एक विशिष्ट प्रकार के दर्द के लिए कौन सी दवा सबसे अच्छी काम करती है। हालाँकि, आप केवल यादृच्छिक रूप से दवाएँ नहीं दे रहे हैं; आप मदद के लिए एक AI असिस्टेंट का उपयोग कर रहे हैं।

यह AI एक "बैंडिट एल्गोरिदम" (Bandit Algorithm) है। यह स्मार्ट है: यह अलग-अलग दवाएँ आज़माता है, देखता है कि कौन सी काम करती है, और बेहतर परिणाम प्राप्त करने के लिए तेज़ी से "विजेता" दवा को अधिक लोगों को देना शुरू कर देता है।

समस्या: "मूविंग टारगेट" (बदलते लक्ष्य) का जाल

एक सामान्य वैज्ञानिक अध्ययन में, आप आधे लोगों को दवा A देते हैं और अन्य आधे को दवा B देते हैं, और आप चीजों को स्थिर रखते हैं। यह गणित को आसान बनाता है।

लेकिन एक AI असिस्टेंट के साथ, "नियम" हर दिन बदलते हैं। जैसे-जैसे AI सीखता है, वह "खराब" दवा देना बंद कर देता है। यदि आप परिणामों का विश्लेषण करने के लिए पुराने जमाने के गणित का उपयोग करने की कोशिश करते हैं, तो गणित टूट जाता है। यह एक तेज़ गति वाली रेस कार की लॉन्ग-एक्सपोज़र फोटोग्राफ लेने जैसा है—परिणाम बस एक धुंधला धब्बा होगा। आप यह सटीक रूप से नहीं बता सकते कि कार कितनी तेज़ थी क्योंकि वह फोकस होने के लिए पर्याप्त समय तक स्थिर नहीं रही।

इसे और भी बदतर बनाने के लिए, यहाँ "मॉडल मिसस्पेसिफिकेशन" (Model Misspecification) है। यह एक फैंसी तरीका है यह कहने का कि दवा कैसे काम करती है, इसके बारे में आपका "सिद्धांत" थोड़ा गलत है। शायद आप सोचते हैं कि दवा उम्र के आधार पर काम करती है, लेकिन वास्तव में यह वजन के आधार पर काम करती है। यदि आपका सिद्धांत गलत है और AI लगातार अपना व्यवहार बदल रहा है, तो आपके सांख्यिकीय निष्कर्ष (statistical conclusions) पूरी तरह से अविश्वसनीय हो जाते हैं। आप सोच सकते हैं कि एक दवा चमत्कारिक इलाज है जबकि वास्तव में वह बेकार है।

समाधान: "स्टेबिलाइजिंग जाइरोस्कोप" (स्थिर करने वाला जाइरोस्कोप)

शोधकर्ताओं ने एक नया गणितीय तरीका बनाया है जिससे "इन्फरेंस" (विश्वसनीय निष्कर्ष निकालना) किया जा सके, भले ही AI नियम बदल रहा हो और आपका सिद्धांत अपूर्ण हो।

यहाँ उनका तरीका कैसे काम करता है, दो रूपकों (metaphors) का उपयोग करके:

1. "ऑफ-पॉलिसी" कंपास (लक्ष्य)

चूंकि AI लगातार यह तय करता रहता है कि कौन सी दवा देनी है, इसलिए शोधकर्ताओं ने यह पूछना छोड़ दिया कि, "AI द्वारा दी गई दवा के अनुसार सबसे अच्छी दवा क्या है?" (क्योंकि यह हर सेकंड बदलता है)। इसके बजाय, वे पूछते हैं, "यदि हमारे पास दवा देने का एक स्थिर, अपरिवर्तित नियम होता, तो परिणाम क्या होते?"

एक निश्चित "काल्पनिक" नियम (एक इवैल्यूएशन पॉलिसी) चुनकर, वे एक स्थिर लक्ष्य बनाते हैं। यह एक नाविक द्वारा कहे जाने जैसा है, "मुझे इस बात से फर्क नहीं पड़ता कि अभी जहाज कितना डगमगा रहा है; मैं जानना चाहता हूँ कि यदि हम एक सीधी रेखा में चल रहे होते तो हम कहाँ होते।"

2. "स्मार्ट वेटिंग" सिस्टम (वैरिएंस स्टेबलाइज़र)

अनुकूली डेटा (adaptive data) में सबसे बड़ा सिरदर्द यह है कि "शोर" (अनिश्चितता) बहुत अधिक उतार-चढ़ाव करता है। जब AI अनिश्चित होता है, तो शोर अधिक होता है; जब AI आश्वस्त होता है, तो शोर कम होता है।

शोधकर्ताओं की बड़ी सफलता वैरिएंस को स्थिर करने (stabilize the variance) का एक तरीका है। कल्पना कीजिए कि आप समुद्र में लहरों की ऊंचाई मापने की कोशिश कर रहे हैं। यदि आप एक मानक पैमाने का उपयोग करते हैं, तो आपको हर सेकंड बिल्कुल अलग रीडिंग मिलेगी। शोधकर्ताओं ने मूल रूप से एक गणितीय जाइरोस्कोप बनाया है। यह उपकरण वास्तविक समय में खुद को समायोजित करता है, डेटा को "वेट" (भार) देता है, ताकि AI का उच्च-गति वाला डगमगाना अंतिम माप को खराब न कर सके। यह उस "धुंध" को सुचारू बनाता है ताकि आप वास्तविक संकेत को देख सकें।

यह क्यों मायने रखता है?

शोधकर्ताओं ने वास्तविक दुनिया के चिकित्सा डेटा (ऑस्टियोआर्थराइटिस इनीशिएटिव से) का उपयोग करके इसका परीक्षण किया। उन्होंने पाया कि:

पुराने तरीके (जैसे कि अधिकांश वर्तमान AI अनुसंधान में उपयोग किए जाने वाले तरीके) "अति-आत्मविश्वासी" (overconfident) थे। वे डॉक्टर को एक संकीर्ण कॉन्फिडेंस इंटरवल देंगे, जिससे उन्हें लगेगा कि वे एक परिणाम के बारे में आश्वस्त हैं, जबकि वास्तव में, वे पूरी तरह से गलत थे।
उनका नया तरीका ईमानदार रहा। इसने ऐसे "कॉन्फिडेंस सेट्स" प्रदान किए जो वास्तव में सच्चाई को कवर करते थे, भले ही AI "लालची" (greedy) हो रहा हो या शोधकर्ताओं के प्रारंभिक सिद्धांत थोड़े गलत हों।

संक्षेप में: यह पेपर उन वैज्ञानिकों के लिए एक "सुरक्षा नियमावली" प्रदान करता है जो वास्तविक समय में निर्णय लेने (जैसे कि चिकित्सा या वेब अनुशंसाओं में) के लिए AI का उपयोग कर रहे हैं, यह सुनिश्चित करता है कि भले ही AI सीख रहा हो और बदल रहा हो, मानव वैज्ञानिक अभी भी गणित पर भरोसा कर सकें।

तकनीकी सारांश: मॉडल मिसस्पेसिफिकेशन के तहत M-एस्टिमेटर्स के लिए एडेप्टिव ऑफ-पॉलिसी इन्फरेंस

1. समस्या: एडेप्टिव, मिसस्पेसिफाइड सेटिंग्स में इन्फरेंस

आधुनिक डेटा साइंस में, डेटा अक्सर एडेप्टिव एल्गोरिदम (जैसे मल्टी-आर्म्ड बैंडिट्स, रिइन्फोर्समेंट लर्निंग) के माध्यम से एकत्र किया जाता है। i.i.d. सेटिंग्स के विपरीत, एडेप्टिव डेटा संग्रह अनुक्रमिक निर्भरता (sequential dependencies) पैदा करता है: समय $t$ पर उपचार का चयन पिछले पुरस्कारों और कार्यों के इतिहास पर निर्भर करता है। इससे दो प्रमुख सांख्यिकीय बाधाएं उत्पन्न होती हैं:

अस्थिर विचरण (Unstable Variances): सामान्य बैंडिट एल्गोरिदम (जैसे UCB या थॉम्पसन सैंपलिंग) अक्सर गैर-अभिसारी (non-convergent) एक्शन प्रोबेबिलिटी का परिणाम देते हैं, जिससे मानक एस्टिमेटर्स का विचरण अत्यधिक उतार-चढ़ाव वाला हो जाता है और एसिम्प्टोटिक नॉर्मलिटी को रोकता है।
मॉडल मिसस्पेसिफिकेशन (Model Misspecification): मौजूदा पद्धतियों में से अधिकांश एडेप्टिव इन्फरेंस के लिए यह मानती हैं कि "वर्किंग मॉडल" (पुरस्कारों का वर्णन करने के लिए उपयोग किया जाने वाला गणितीय ढांचा) सही है। व्यवहार में, यदि मॉडल मिसस्पेसिफाइड है, तो अनुमानित पैरामीटर डेटा-संग्रह नीति के आधार पर बदल सकता है, जिससे लक्षित पैरामीटर अस्पष्ट या बायस्ड हो जाता है।

लेखक एक अंतराल की पहचान करते हैं: मौजूदा साहित्य या तो एक सही ढंग से निर्दिष्ट मॉडल मानता है या यह मानता है कि एडेप्टिविटी अंततः "लुप्त" (नीति अभिसरित होती है) हो जाती है। वे उस अधिक कठिन मामले को संबोधित करते हैं जहाँ मॉडल गलत है और नीति अस्थिर/गैर-अभिसारी बनी रहती है।

2. कार्यप्रणाली: MAIPWM और वेरिएंस स्टेबिलाइजेशन

इसे हल करने के लिए, लेखक ऑफ-पॉलिसी इन्फरेंस के लिए एक रूपरेखा प्रस्तावित करते हैं। एडेप्टिव नीति के पैरामीटर का अनुमान लगाने के बजाय, वे एक निश्चित, स्थिर इवैल्यूएशन पॉलिसी $\pi_e$ के सापेक्ष परिभाषित पैरामीटर $\theta^*$ को लक्षित करते हैं।

मुख्य कार्यप्रणाली घटक:

लक्षित पैरामीटर ( $\theta^*$ ): वे लक्ष्य को $\pi_e$ के तहत एक फलन $m_\theta$ के अपेक्षित मैक्सिमाइज़र के रूप में परिभाषित करते हैं। यह सुनिश्चित करता है कि लक्षित पैरामीटर स्थिर रहे, भले ही वास्तविक डेटा-संग्रह नीति $\pi_t$ अनियमित हो।
MAIPWM-एस्टिमेटर: मिसस्पेसिफाइड ऑगमेंटेड इनवर्स प्रोपेंसिटी वेटेड M-एस्टिमेटर दो विचारों को जोड़ता है:
1. इनवर्स प्रोपेंसिटी वेटिंग (IPW): एडेप्टिव नीति द्वारा उत्पन्न बायस को ठीक करने के लिए अवलोकनों को $\frac{\pi_e(a|x)}{\pi_t(a|x, H_{t-1})}$ द्वारा भारित करता है।
2. ऑगमेंटेशन (डबली रोबस्ट स्टाइल): स्कोर फंक्शन को "ऑगमेंट" करने के लिए एक प्रेडिक्टिव मॉडल $f_t$ (जो इतिहास पर प्रशिक्षित है) का उपयोग करता है, जो विचरण को कम करके सांख्यिकीय शक्ति में सुधार करता है।
टाइम-वेरिंग मैट्रिसेस के माध्यम से वेरिएंस स्टेबिलाइजेशन: एक वैध सेंट्रल लिमिट थ्योरम (CLT) प्राप्त करने के लिए, लेखक एक दो-चरणीय प्रक्रिया पेश करते हैं। वे $\hat{V}_t$ $\hat{V}_{t}$ मैट्रिसेस का एक अनुक्रम निर्मित करते हैं जो प्रत्येक समय चरण पर स्कोर फंक्शन को सामान्य (normalize) करते हैं। क्योंकि $\hat{V}_t$ $\hat{V}_{t}$ अज्ञात है, वे इसे अनुमानित करने के लिए दो व्यावहारिक तरीके प्रस्तावित करते हैं:
- एक्सटर्नल डेटा: समान फीचर डिस्ट्रीब्यूशन वाले एक स्वतंत्र डेटासेट का उपयोग करना।
- सीक्वेंशियल सैंपल स्प्लिटिंग: एडेप्टिव स्ट्रीम को दो समानांतर इतिहासों में विभाजित करना ताकि यह सुनिश्चित हो सके कि वेरिएंस एस्टिमेट, पैरामीटर एस्टिमेट से स्वतंत्र है।

3. मुख्य योगदान

सैद्धांतिक सफलता: यह पेपर एक सेंट्रल लिमिट थ्योरम (थ्योरम 1) प्रदान करता है जो गैर-लुप्त होने वाली एडेप्टिविटी और मॉडल मिसस्पेसिफिकेशन के तहत भी मान्य है। यह उन सेटिंग्स में वैध कॉन्फिडेंस इंटरवल बनाने की अनुमति देता है जहाँ पिछली पद्धतियां विफल हो जाती हैं।
नीति अस्थिरता के प्रति मजबूती (Robustness): पूर्व कार्य (जैसे गुओ और जू, 2025) के विपरीत, जो नीतियों के अभिसरण की आवश्यकता रखते हैं, यह विधि तब भी काम करती है जब उपचार नीतियां अस्थिर हों (जैसे, जब कोई अद्वितीय इष्टतम आर्म न हो)।
व्यावहारिक एल्गोरिद्मिक फ्रेमवर्क: वे एक पूर्ण एंड-टू-एंड एल्गोरिदम (एल्गोरिदम 1) प्रदान करते हैं जो जेनेलाइज्ड लीनियर मॉडल्स (GLMs) के लिए कंडीशनल मीन्स और वेरिएंस को अनुमानित करने के लिए मशीन लर्निंग (रैंडम फॉरेस्ट) को एकीकृत करता है।

4. अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने ऑस्टियोआर्थराइटिस इनिशिएटिव (OAI) से प्राप्त सेमी-सिंथेटिक डेटा का उपयोग करके अपने तरीके का परीक्षण किया। उन्होंने विभिन्न बैंडिट रणनीतियों (Epsilon-Greedy, UCB, Thompson Sampling) के तहत अपने तरीके की तुलना Naive MLE, मानक IPW और SQ-IPW से की।

कवरेज सटीकता: मॉडल मिसस्पेसिफिकेशन और हेटेरोस्केडास्टिसिटी वाले परिदृश्यों में, मौजूदा पद्धतियां (IPW, SQ-IPW) नाममात्र कवरेज बनाए रखने में विफल रहीं (अर्थात, 90% कॉन्फिडेंस इंटरवल वास्तव में 90% से बहुत कम बार कवर हुआ)। प्रस्तावित MAIPWM विधियों ने सही कवरेज बनाए रखा।
दक्षता बनाम मजबूती: उन्होंने प्रदर्शित किया कि जबकि सैंपल स्प्लिटिंग वैध कवरेज प्रदान करता है, इसके परिणामस्वरूप कॉन्फिडेंस इंटरवल चौड़े हो जाते हैं (मजबूती के लिए एक "कीमत")। हालांकि, उनका "रियूज" दृष्टिकोण (एस्टिमेशन और वेरिएंस दोनों के लिए एक ही डेटा का उपयोग करना) सैद्धांतिक रूप से सुरक्षित एक्सटर्नल डेटा पद्धति के लगभग समान प्रदर्शन करता है।

5. महत्व

यह पेपर महत्वपूर्ण है क्योंकि यह कॉज़ल इन्फरेंस (जो अक्सर निश्चित हस्तक्षेप मानता है) और रिइन्फोर्समेंट लर्निंग (जहाँ हस्तक्षेप एडेप्टिव होते हैं) के बीच के अंतर को पाटता है। यह चिकित्सकों के लिए एक गणितीय रूप से कठोर तरीका प्रदान करता है जिससे वे "ईमानदार" सांख्यिकीय इन्फरेंस कर सकें—अर्थात, वे यह बता सकते हैं कि वे एक पैरामीटर के बारे में कितने आश्वस्त हैं—भले ही उनके अंतर्निहित मॉडल अपूर्ण हों और उनका डेटा संग्रह जटिल, विकसित होते एल्गोरिदम द्वारा संचालित हो। इसके क्लिनिकल ट्रायल्स, पर्सनलाइज्ड मेडिसिन और ऑटोमेटेड रिकमेंडेशन सिस्टम्स के लिए सीधे निहितार्थ हैं।