🤖 machine learning

Online Conformal Prediction Beyond Feedback

यह शोध पत्र ऑनलाइन कॉन्फॉर्मल प्रेडिक्शन विद क्वेरीज़ (OCPQ) को प्रस्तुत करता है, जो गैर-i.i.d. डेटा स्ट्रीम्स में अनिश्चितता परिमाणीकरण के लिए एक नवीन ढांचा है, जो लेबल को रणनीतिक रूप से क्वेरी करके तैनात भविष्यवाणियों से प्रत्यक्ष फीडबैक के बिना कार्य करता है, जिससे क्वेरी लागत को कम करते हुए उप-रैखिक रिग्रेट (sublinear regret) और उच्च कवरेज गारंटी प्राप्त होती है।

मूल लेखक: Joar Skalse, Edoardo Pona, Osvaldo Simeone, Nicola Paoletti

प्रकाशित 2026-08-10

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Joar Skalse, Edoardo Pona, Osvaldo Simeone, Nicola Paoletti

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को अंधेरे, धुंधले भूलभुलैया (maze) में रास्ता खोजना सिखा रहे हैं। आप चाहते हैं कि रोबोट आगे बढ़ने के लिए पर्याप्त आत्मविश्वासी हो, लेकिन दीवारों से टकराने से बचने के लिए पर्याप्त सतर्क भी हो। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "अनिश्चितता परिमाणीकरण" (uncertainty quantification) कहा जाता है। यह रोबोट के "मुझे काफी यकीन है कि वह एक दीवार है" कहने और "मुझे कोई अंदाजा नहीं है, लेकिन मैं फिर भी अनुमान लगा लेता हूँ" कहने के बीच का अंतर है। इस सावधानी को सिखाने का एक लोकप्रिय तरीका "कॉन्फॉर्मल प्रेडिक्शन" (conformal prediction) है, एक ऐसी विधि जो केवल एक एकल उत्तर (जैसे "वह एक बिल्ली है") नहीं देती, बल्कि संभावित उत्तरों का एक सुरक्षा जाल (जैसे "यह एक बिल्ली, कुत्ता या लोमड़ी है") प्रदान करती है, जो गणितीय रूप से अधिकांश समय सत्य को शामिल करने की गारंटी देता है।

आमतौर पर, इसमें बेहतर होने के लिए, रोबोट को फीडबैक मिलता है। वह एक अनुमान लगाता है, और कोई (या कोई सेंसर) उसे बताता है, "हाँ, वह सही था," या "नहीं, वह गलत था।" रोबोट अगले दौर के लिए अपने सुरक्षा जाल को समायोजित करने के लिए इस फीडबैक का उपयोग करता है। लेकिन क्या होगा यदि रोबोट ऐसी स्थिति में हो जहाँ उसे अपने अनुमानों पर कभी फीडबैक नहीं मिल सकता? कल्पना कीजिए कि एक सुरक्षा गार्ड को यह तय करना है कि क्या कोई व्यक्ति खतरा है। यदि गार्ड अनुमान लगाता है "खतरा," तो वह गलत हो सकता है, लेकिन वह व्यक्ति से पूछ नहीं सकता, "हे, क्या तुम वास्तव में एक खतरा थे?" क्योंकि इससे सुरक्षा जांच का उद्देश्य ही समाप्त हो जाएगा। गार्ड को "असली जवाब" तभी पता चलता है जब वह रुकने और बैकअप बुलाने का निर्णय लेता है, लेकिन वह हर बार ऐसा नहीं कर सकता। यह पेचीदा "फीडबैक के परे" (beyond feedback) वाली समस्या है: आप तब कैसे सीखें कि सुरक्षित रहना है जब आप अपना काम चेक नहीं कर सकते?

यह शोध पत्र ठीक इसी पहेली को सुलझाने के लिए OCPQ (Online Conformal Prediction with Queries) नामक एक चतुर नई विधि पेश करता है। शोधकर्ता इस समस्या को एक उच्च-दांव वाले खेल की तरह देखते हैं जहाँ खिलाड़ी के पास हर मोड़ पर दो विकल्प होते हैं: या तो एक भविष्यवाणी करें (और बिल्कुल कोई फीडबैक न मिले) या एक "क्वेरी" (पूछताछ) करें ताकि सही उत्तर देख सकें (लेकिन उस दौर के लिए कोई भविष्यवाणी न मिले)। यह एक वीडियो गेम खेलने जैसा है जहाँ आप या तो शॉट ले सकते हैं और उम्मीद कर सकते हैं कि आप लक्ष्य को हिट करेंगे, या गेम को रोककर मैप देख सकते हैं, लेकिन आप एक साथ दोनों नहीं कर सकते।

टीम ने पाया कि केवल बहुत कम समय के लिए "रुककर मैप देखने" (क्वेरी करने) का चुनाव करके—विशेष रूप से हर $T^{1/3}$ राउंड में से लगभग एक बार, जहाँ $T$ कुल राउंड की संख्या है—वे अभी भी अविश्वसनीय रूप से सटीक होने के लिए पर्याप्त सीख सकते हैं। उन्होंने गणितीय रूप से सिद्ध किया कि इस मामूली मात्रा में झाँकने के बावजूद, यह विधि गारंटी देती है कि वास्तविक उत्तर रोबोट के सुरक्षा जाल में लगभग उतनी ही बार शामिल होगा जितनी बार उपयोगकर्ता चाहता है (एक उपयोगकर्ता-निर्धारित आवृत्ति $\beta$ )। इस रणनीति की "लागत" यह है कि सुरक्षा जाल थोड़ा बड़ा हो सकता है जितना कि तब होता जब रोबोट के पास पूर्ण फीडबैक होता, लेकिन यह अंतर जैसे-जैसे खेल आगे बढ़ता है, कम होता जाता है।

अपने प्रयोगों में, शोधकर्ताओं ने वास्तविक दुनिया के डेटा पर इसका परीक्षण किया, जिसमें हाथ से लिखे अंकों की छवियां और लार्ज लैंग्वेज मॉडल्स के लिए टेक्स्ट प्रॉम्प्ट शामिल थे। उन्होंने पाया कि भले ही डेटा अप्रत्याशित रूप से बदल गया हो (जैसे धूप वाले दिनों में प्रशिक्षित रोबमाट द्वारा बारिश में नेविगेट करने की कोशिश करना) या डेटा जानबूझकर भ्रामक (adversarial attacks) हो, OCPQ ने सुरक्षा जाल को विश्वसनीय बनाए रखा। उन्होंने दिखाया कि $\beta$ नामक एक एकल नॉब को ट्यून करके, उपयोगकर्ता यह तय कर सकते हैं कि वे सुरक्षित रहने बनाम सटीक होने को कितना प्राथमिकता देना चाहते हैं। परिणाम बताते हैं कि सुरक्षित रहने के लिए आपको लगातार अपना काम चेक करने की आवश्यकता नहीं है; कभी-कभी, बस कभी-कभी चेक करना ही पूरे सिस्टम को ईमानदार रखने के लिए पर्याप्त है, भले ही दुनिया आपको धोखा देने की कोशिश कर रही हो।

समस्या का निरूपण: फीडबैक से परे ऑनलाइन कॉन्फॉर्मल प्रेडिक्शन (Online Conformal Prediction Beyond Feedback)

अनिश्चितता का परिमाणीकरण (Uncertainty quantification) सुरक्षा-महत्वपूर्ण अनुप्रयोगों में मशीन लर्निंग को तैनात करने के लिए अत्यंत महत्वपूर्ण है। ऑनलाइन कॉन्फॉर्मल प्रेडिक्शन (OCP) एक सैद्धांतिक रूप से सुदृढ़ ढांचा प्रदान करता है जो गैर-i.i.d. डेटा स्ट्रीम और ब्लैक-बॉक्स क्लासिफायर के लिए भी ऐसे प्रेडिक्शन सेट (prediction sets) उत्पन्न करने की गारंटी देता है, जिनमें वास्तविक लेबल एक उपयोगकर्ता द्वारा निर्दिष्ट आवृत्ति के साथ शामिल हो। हालाँकि, मानक OCP विधियाँ एक फीडबैक लूप पर निर्भर करती हैं: एक प्रेडिक्शन सेट जारी करने के बाद, एल्गोरिदम भविष्य के सेटों को समायोजित करने के लिए फीडबैक (या तो वास्तविक लेबल या एक कवरेज सिग्नल) प्राप्त करता है, ताकि पिछले मिस-कवरेज की भरपाई की जा सके।

यह शोध पत्र एक ऐसी स्थिति को संबोधित करता है जहाँ ऐसा फीडबैक अनुपलब्ध या निषेधात्मक है। कई सुरक्षा-महत्वपूर्ण परिदृश्यों में, जैसे कि लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए लेटेंट प्रोब्स (latent probes), एक एल्गोरिदम को इनपुट को सुरक्षा श्रेणियों में वर्गीकृत करने की आवश्यकता हो सकती है। यदि प्रोब 'अब्स्टेन' (abstain) करता है (अर्थात किसी मानव या अधिक शक्तिशाली सिस्टम से प्रश्न पूछता है), तो लेबल अंततः उपलब्ध हो सकता है। हालाँकि, उन इनपुट्स के लिए जहाँ प्रोब एक तैनात निर्णय (deployed decision) लेता है, लेबल कभी भी देखा नहीं जाता है। यह "फीडबैक से परे" (beyond feedback) की स्थिति बनाता है: शिक्षार्थी (learner) को एक प्रेडिक्शन सेट आउटपुट करने या सही लेबल के लिए प्रश्न पूछने (query) के बीच चयन करना होता है, लेकिन वह दोनों कार्य एक साथ नहीं कर सकता। फलस्वरूप, शिक्षार्थी कभी यह देख नहीं पाता कि एक तैनात प्रेडिक्शन सेट सही था या नहीं, जिससे मौजूदा OCP विधियों में उपयोग किए जाने वाले मानक क्षतिपूर्ति तंत्र (compensation mechanisms) बाधित हो जाते हैं।

कार्यप्रणाली: प्रश्नों के साथ OCP (OCPQ)

लेखक प्रश्नों के साथ ऑनलाइन कॉन्फॉर्मल प्रेडिक्शन (OCPQ) का प्रस्ताव करते हैं, जो इस "फीडबैक से परे" प्रोटोकॉल के लिए डिज़ाइन किया गया है। यह दृष्टिकोण दो मुख्य चरणों में आगे बढ़ता है:

पार्शियल मॉनिटरिंग (Partial Monitoring) में न्यूनीकरण: इस समस्या को एक परिमित पार्शियल मॉनिटरिंग गेम में बदल दिया गया है। इस गेम के "आर्म्स" (arms) में थ्रेशोल्ड $M \subset [0, 1]$ का एक परिमित सेट और एक अलग क्वेरी (query) क्रिया शामिल है।
- प्रेडिक्शन एक्शन (Prediction Action): एक थ्रेशोल्ड $m \in M$ का चयन करने से एक ब्लैक-बॉक्स क्लासिफायर $C$ के आधार पर एक प्रेडिक्शन सेट $\Gamma_C(x_t, m)$ उत्पन्न होता है। यह क्रिया कोई अवलोकन (शून्य फीडबैक $\perp$ ) और कोई प्रत्यक्ष रिवॉर्ड (reward) नहीं देती है।
- क्वेरी एक्शन (Query Action): क्वेरी क्रिया का चयन करने से वास्तविक लेबल $y_t$ प्रकट हो जाता है, लेकिन यह कोई प्रेडिक्शन सेट नहीं देता और शून्य रिवॉर्ड उत्पन्न करता है।
- रिवॉर्ड संरचना (Reward Structure): एल्गोरिदम एक सहायक रिवॉर्ड फंक्शन $R(m, t)$ को परिभाषित करता है। यदि वास्तविक लेबल प्रेडिक्शन सेट द्वारा कवर किया गया है ( $y_t \in \Gamma_C(x_t, m)$ ), तो रिवॉर्ड $1 - m(1-\beta)$ है, जहाँ $\beta$ कवरेज और दक्षता के बीच ट्रेड-ऑफ को नियंत्रित करने वाला एक उपयोगकर्ता-निर्धारित पैरामीटर है। यदि लेबल कवर नहीं किया गया है, तो रिवॉर्ड 0 है। क्वेरी क्रिया हमेशा 0 रिवॉर्ड देती है। यह संरचना शिक्षार्थी को कवरेज बनाए रखते हुए कड़े थ्रेशोल्ड (छोटे $m$ ) चुनने के लिए प्रेरित करती है।
एल्गोरिदम डिज़ाइन: OCPQ, सेसा-बियान्ची, लुगोसी और स्टोट्ज़ (2004) के लेबल-कुशल एक्सपोनेंशियलली वेटेड फोरकास्टर (label-efficient exponentially weighted forecaster) को अनुकूलित करता है।
- प्रत्येक दौर $t$ में, एल्गोरिदम एक निश्चित प्रायिकता $\epsilon$ के साथ एक क्वेरी करता है।
- यदि क्वेरी की जाती है, तो वास्तविक लेबल $y_t$ देखा जाता है। एल्गोरिदम फिर एक इनवर्स प्रोबेबिलिटी वेटिंग स्कीम का उपयोग करके सभी थ्रेशोल्ड $m \in M$ के लिए संचयी रिवॉर्ड अनुमानों $\hat{Z}_{m,t}$ को अपडेट करता है, जो प्रभावी रूप से उस रिवॉर्ड को पुनर्गठित करता जो तब प्राप्त होता यदि प्रेडिक्शन किया गया होता।
- यदि कोई क्वेरी नहीं की जाती है, तो एल्गोरिदम वर्तमान अनुमानों $\hat{Z}_{m,t}$ के आधार पर एक एक्सपोनेंशियल वेट वितरण से एक थ्रेशोल्ड $m_t$ का नमूना लेता है और संगत प्रेडिक्शन सेट आउटपुट करता है। कोई फीडबैक प्राप्त नहीं होता है।

सैद्धांतिक परिणाम

यह शोध पत्र $T$ लंबाई के एक ओब्लिवियस एडवर्सरियल डेटा स्ट्रीम के तहत OCPQ के लिए परिमित-क्षित (finite-horizon) गारंटी स्थापित करता है:

रिग्रेट (Regret): सर्वोत्तम स्थिर थ्रेशोल्ड के सापेक्ष अपेक्षित रिग्रेट $O(T^{2/3})$ है। विशेष रूप से, $\epsilon = T^{-1/3}$ और $\eta = T^{-2/3}\sqrt{\ln|M|}$ के साथ, रिग्रेट $T^{2/3}(2\sqrt{\ln|M|} + 1)$ द्वारा सीमित है। लेखक नोट करते हैं कि यह दर इस वर्ग के पार्शियल मॉनिटरिंग गेम्स के लिए स्पर्शोन्मुख रूप से (asymptotically) इष्टतम है।
कवरेज (Coverage): अपेक्षित कवरेज दर $p_{cover}$ संतुष्ट करती है:
$E[p_{cover}] \ge \beta - O(T^{-1/3})$
यह गारंटी देता है कि जैसे-जैसे $T$ बढ़ता है, कवरेज उपयोगकर्ता-निर्धारित लक्ष्य $\beta$ के करीब पहुँच जाता है।
क्वेरी दर (Query Rate): एल्गोरिदम केवल $T^{-1/3}$ अंश के दौरों में लेबल के लिए क्वेरी करता है।
उच्च-प्रायिकता सीमाएँ (High-Probability Bounds): शोध पत्र रिग्रेट और कवरेज दोनों के लिए उच्च-प्रायिकता सीमाएँ भी निकालता है, जो यह दर्शाता है कि एल्गोरिदम के प्रदर्शन का विचरण (variance) नियंत्रित है और इसमें कोई दोषपूर्ण व्यवहार नहीं है।

अनुभवजन्य परिणाम (Empirical Results)

दृ pendekatan को मान्य करने के लिए वास्तविक दुनिया के डेटासेट्स पर प्रयोग किए गए:

डिस्ट्रीब्यूशन शिफ्ट (Distribution Shift): OCPQ का परीक्षण मानक बेंचमार्क (MNIST, CIFER-10, CIFER-100) पर किया गया जहाँ प्रशिक्षण वितरण (training distribution) परीक्षण वितरण से भिन्न था (जैसे, MNIST से USPS, या MNIST से MNIST-C)। परिणामों ने दिखाया कि कवरेज-दक्षता ट्रेड-ऑफ को $\beta$ पैरामीटर के माध्यम से नियंत्रित किया जा सकता था। अनुभवजन्य कवरेज लगातार सैद्धांतिक निचली सीमा से अधिक रहा।
LLM सुरक्षा निगरानी (LLM Safety Monitoring): विधि को WildGuardMix डेटासेट का उपयोग करके LLM प्रॉम्प्ट्स की सुरक्षा निगरानी के लिए लागू किया गया, जिसमें साधारण और एडवर्सरियल रूप से पुनर्गठित दोनों प्रकार के प्रॉम्प्ट शामिल हैं। बेस क्लासिफायर की सटीकता एडवर्सरियल प्रॉम्प्ट्स पर काफी गिर गई, फिर भी OCPQ ने सूचनात्मक प्रेडिक्शन सेट्स बनाए रखते हुए सैद्धांतिक सीमा से ऊपर कवरेज बनाए रखा।
तुलना: एडेप्टिव कॉन्फॉर्मल इन्फरेंस (ACI) के साथ तुलना करने पर, जो पूर्ण फीडबैक मानता है, OCPQ ने काफी कम जानकारी का उपयोग करने के बावजूद (केवल ~5% दौरों में क्वेरी करके) तुलनीय कवरेज-दक्षता फ्रंटियर प्राप्त किया।

महत्व और योगदान

शोध पत्र निम्नलिखित योगदानों का दावा करता है:

नया प्रोटोकॉल: यह OCP को "फीडबैक से परे" सेटिंग में स्वरूपित करता है जहाँ तैनात प्रेडिक्शन का कभी मूल्यांकन नहीं किया जाता है, जो सुरक्षा-महत्वपूर्ण अनुप्रयोगों में एक सामान्य परिदृश्य है जहाँ लेबल केवल क्वेरी किए गए 'अब्स्टेन' के लिए उपलब्ध होते हैं।
एल्गोरिद्मिक न्यूनीकरण: यह इस समस्या को पार्शियल मॉनिटरिंग गेम में बदल देता है और इस समस्या को हल करने के लिए लेबल-कुशल एडवर्सरियल लर्निंग तकनीकों को अनुकूलित करता है, विशेष रूप से फोरकास्टर को संशोधित करता है ताकि क्वेरी को प्रेडिक्शन के बाद के बजाय प्रेडिक्शन के विकल्प के रूप में माना जा सके।
सैद्धांतिक गारंटी: यह इस सेटिंग में OCP के लिए परिमित-क्षित अपेक्षित रिग्रेट और कवरेज गारंटी प्रदान करता है, जो दिखाता है कि केवल $O(T^{-1/3})$ लेबल क्वेरी के साथ वैध अनिश्चितता परिमाणीकरण संभव है।
व्यावहारिक प्रभावशीलता: प्रयोग दर्शाते हैं कि स्पार्स सुपरविजन (रैंडम क्वेरी) एडवर्सरियल डिस्ट्रीब्यूशन शिफ्ट के तहत भी उपयोगी कवरेज और दक्षता ट्रेड-ऑफ बनाए रखने के लिए पर्याप्त है, बिना तैनात प्रेडिक्शन से फीडबैक की आवश्यकता के।

लेखक नोट करते हैं कि हालांकि विधि रूढ़िवादी (conservative) है (अनुभवजन्य कवरेज अक्सर सीमा से अधिक होता है), यह पार्शियल मॉनिटरिंग गेम फॉर्मूलेशन के लिए आवश्यक कमजोर धारणाओं का परिणाम है। भविष्य के कार्य कम रूढ़िवादी तरीकों या एडेप्टिव एडवर्सरीज के विस्तार की खोज कर सकते हैं।

समस्या का निरूपण: फीडबैक से परे ऑनलाइन कॉन्फॉर्मल प्रेडिक्शन (Online Conformal Prediction Beyond Feedback)

कार्यप्रणाली: प्रश्नों के साथ OCP (OCPQ)

सैद्धांतिक परिणाम

अनुभवजन्य परिणाम (Empirical Results)

महत्व और योगदान

इसी तरह के और पेपर