🤖 machine learning

Drift-to-Action Controllers: Budgeted Interventions with Online Risk Certificates

यह शोध पत्र Drift2Act प्रस्तुत करता है, जो एक नियंत्रक (कंट्रोलर) है जो सेंसिंग को ऑनलाइन रिस्क सर्टिफिकेट के साथ जोड़कर वितरण विचलन (डिस्ट्रीब्यूशन ड्रिफ्ट) की निगरानी को एक बाधित निर्णय लेने (कन्स्ट्रेंड डिसीजन-मेकिंग) के रूप में पुनर्गठित करता है ताकि लागत प्रभावी हस्तक्षेपों या सुरक्षा-संरक्षण वृद्धि (सेफ्टी-प्रिजर्विंग एस्केलेशन) का गतिशील रूप से चयन किया जा सके, जिससे वास्तविक संसाधन बाधाओं के तहत शून्य के करीब सुरक्षा उल्लंघन और तीव्र रिकवरी प्राप्त की जा सके।

मूल लेखक: Ismail Lamaakal, Chaymae Yahyati, Khalid El Makkaoui, Ibrahim Ouahbi, Yassine Maleh

प्रकाशित 2026-03-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ismail Lamaakal, Chaymae Yahyati, Khalid El Makkaoui, Ibrahim Ouahbi, Yassine Maleh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक लंबी सड़क यात्रा पर एक सेल्फ-ड्राइविंग कार चला रहे हैं। इस कार को धूप वाले कैलिफोर्निया में प्रशिक्षित किया गया था, लेकिन अब यह मिनेसोटा में भारी बर्फबारी के बीच चल रही है। दुनिया बदल गई है (इसे "ड्रिफ्ट" (drift) कहा जाता है), लेकिन कार का दिमाग अभी तक यह नहीं जानता है।

वर्तमान के अधिकांश सिस्टम एक घबराए हुए यात्री की तरह हैं जो बस चिल्लाते रहते हैं, "अरे! बर्फ गिर रही है! अरे! बर्फ गिर रही है!" वे एक अलार्म बजाते हैं, लेकिन फिर वे बस वहीं बैठे रहते हैं और कार चलाते रहते हैं, इस उम्मीद में कि कार खुद को संभाल लेगी। कभी-कभी कार क्रैश हो जाती है क्योंकि वह अभी भी कैलिफोर्निया की तरह गाड़ी चलाने की कोशिश कर रही होती है। दूसरी ओर, कार घबराकर विंडशील्ड पर एक अकेले बर्फ के टुकड़े के टकराने पर भी ब्रेक मार देती है, जिससे ईंधन बर्बाद होता है और सभी परेशान होते हैं।

Drift2Act एक नया, स्मार्ट सिस्टम है। यह केवल एक यात्री नहीं है; यह एक चेकलिस्ट के साथ एक स्मार्ट सह-पायलट (co-pilot) है।

यह कैसे काम करता है, इसे सरल भागों में नीचे दिया गया है:

1. "छठी इंद्री" (Sensing Layer - संवेदन परत)

कार के पास सेंसरों का एक सेट है जो सड़क पर नज़र रखते हैं।

पुराना तरीका: यह केवल सड़क को देखता है और कहता है, "कुछ अजीब लग रहा है।"
Drift2Act: यह केवल "अजीब" नहीं कहता। यह अनुमान लगाने की कोशिश करता है कि क्या अजीब है। क्या यह केवल रोशनी (Covariate Drift) का मामला है? क्या सड़क के नियम बदल रहे हैं (Concept Drift)? या क्या यह किसी विशिष्ट प्रकार की कार की समस्या है (Subgroup Drift)?
उपमा: यह एक जासूस की तरह है जो केवल यह नहीं कहता कि "एक अपराध हुआ है," बल्कि कहता है, "ऐसा लग रहा है कि यह चोरी है, आग नहीं।" यह कार को यह तय करने में मदद करता है कि काम के लिए सही उपकरण क्या है।

2. "वास्तविकता की जाँच" (Active Risk Certificate - सक्रिय जोखिम प्रमाण पत्र)

यह सबसे महत्वपूर्ण हिस्सा है। वास्तविक दुनिया में, आप तुरंत यह नहीं जान सकते कि कार सुरक्षित रूप से चल रही है या नहीं, क्योंकि आपके पास हर सेकंड टायर चेक करने के लिए कोई इंसान नहीं होता (इसे विलंबित लेबल (delayed labels) कहा जाता है)।

पुराना तरीका: कार अनुमान लगाती है, "मुझे लगता है कि मैं ठीक हूँ," और चलती रहती है। यदि वह गलत निकली, तो दुर्घटना हो जाती है।
Drift2Act: यह रुकता है और एक छोटे सैंपल चेक के लिए पूछता है। यह कुछ यादृच्छिक (random) कारों या सड़क के संकेतों को चुनता है, उनकी तुलना एक मानव विशेषज्ञ (या डेटाबेस) से करता है, और एक "सुरक्षा स्कोर (Safety Score)" की गणना करता है।
जादू: यह एक गणितीय ट्रिक का उपयोग करता है यह कहने के लिए, "मुझे 99% यकीन है कि हमारा जोखिम इस खतरनाक रेखा से नीचे है।"
- यदि स्कोर हरा (सुरक्षित) है: तो कार चलती रहती है, शायद थोड़े बहुत समायोजन के साथ।
- यदि स्कोर लाल (असुरक्षित) है: तो यह तुरंत जोखिम लेना बंद कर देती है। यह कह सकती है, "मुझे नहीं पता कि क्या करना है, मैं यह काम इंसान को सौंप रही हूँ," या "चलिए पूरे सिस्टम को रीबूट करते हैं।"

3. "बजट मैनेजर" (The Controller - नियंत्रक)

कार के पास सीमित ईंधन है और मानव विशेषज्ञ से बात करने के लिए सीमित समय है। वह सड़क पर हर एक कार की जाँच नहीं कर सकती।

समस्या: बहुत अधिक जाँच करना महंगा और धीमा है। बहुत कम जाँच करना खतरनाक है।
Drift2Act: यह एक स्मार्ट मैनेजर है।
- यदि "छठी इंद्री" कहती है कि सब कुछ शांत है, तो यह बहुत कम बार जाँच करता है (ईंधन बचाते हुए)।
- यदि "छठी इंद्री" कहती है कि चीजें अजीब हो रही हैं, तो यह बेहतर "सुरक्षा स्कोर" प्राप्त करने के लिए अधिक जाँच करता है।
- यदि "सुरक्षा स्कोर" खराब है, तो यह केवल अनुमान नहीं लगाता; यह एक भारी कार्रवाई (जैसे पूर्ण सिस्टम रीबूट) करता है, लेकिन केवल तभी जब यह वास्तव में आवश्यक हो और यदि इसके पास "ईंधन" (बजट) हो।

यह पुराने तरीकों से बेहतर क्यों है?

"पैनिक मोड" का अंत: पुराने सिस्टम अक्सर बिना वजह भी AI को हर दिन फिर से प्रशिक्षित (retrain) करते रहते हैं। इससे पैसा और समय बर्बाद होता है। Drift2Act केवल तभी चीजों को ठीक करता है जब सुरक्षा स्कोर यह साबित करता है कि वास्तव में कुछ टूटा है।
"साइलेंट क्रैश" से बचाव: पुराने सिस्टम चलते रह सकते हैं भले ही वे विफल हो रहे हों क्योंकि उन्होंने अभी तक कोई मानवीय त्रुटि नहीं देखी है। Drift2Act के पास एक "सेफ्टी गेट" है। यदि गणित कहता है "आप असुरक्षित हो सकते हैं," तो यह दुर्घटना होने से पहले ही कार को रोक देता है।
स्मार्ट रिकवरी: जब कार भ्रमित होती है, तो Drift2Act जानता है कि इसे ठीक कैसे करना है। यदि यह केवल रोशनी का मुद्दा है, तो यह चमक को समायोजित करता है। यदि सड़क के नियम बदल गए हैं, तो यह नियमों को फिर से सीखता है। यह अखरोट तोड़ने के लिए हथौड़े का उपयोग नहीं करता।

वास्तविक दुनिया का परिणाम

शोधकर्ताओं ने इसका परीक्षण वास्तविक दुनिया के डेटा (जैसे विभिन्न अस्पतालों से मेडिकल इमेज और विभिन्न कला शैलियों की तस्वीरें) पर किया।

पुराने सिस्टम: या तो अक्सर क्रैश हो जाते थे (सुरक्षा उल्लंघन) या उन चीजों को ठीक करने में बहुत पैसा खर्च करते थे जो खराब नहीं थीं।
Drift2Act: इसने लगभग कभी क्रैश नहीं किया (शून्य के करीब सुरक्षा उल्लंघन) और समस्याओं को तेजी से ठीक किया, और यह सब एक मध्यम मात्रा में पैसा खर्च करते हुए किया।

संक्षेप में: Drift2Act "निगरानी" (monitoring) को एक साधारण अलार्म घड़ी से बदलकर एक स्मार्ट निर्णय लेने वाले में बदल देता है। यह लगातार पूछता है, "क्या हम सुरक्षित हैं?" और केवल तभी कार्रवाई करता है जब उत्तर "नहीं" होता है, जिससे यह सुनिश्चित होता है कि AI विश्वसनीय बना रहे, भले ही उसके आसपास की दुनिया बदल जाए।

यहाँ शोध पत्र "Drift-to-Action Controllers: Budgeted Interventions with Online Risk Certificates" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

तैनात किए गए मशीन लर्निंग सिस्टम बदलते परिवेश, सेंसर या उपयोगकर्ता व्यवहार के कारण डिस्ट्रीब्यूशन ड्रिफ्ट (कोवेरिएट शिफ्ट, कॉन्सेप्ट ड्रिफ्ट, या सबग्रुप ड्रिफ्ट) का सामना करते हैं। हालांकि ड्रिफ्ट का पता लगाने (अलार्म के माध्यम से) और मॉडल को अनुकूलित करने (टेस्ट-टाइम अडैप्टेशन या रिट्रेनिंग के माध्यम से) पर महत्वपूर्ण शोध मौजूद है, लेकिन एक महत्वपूर्ण अंतर बना हुआ है: परिचालन निर्णय लेने (Operational Decision-making) में:

अलार्म की सीमाएँ: अधिकांश मॉनिटरिंग पाइपलाइन केवल अलार्म ट्रिगर करने तक ही सीमित रहती हैं, जिससे प्रतिक्रिया अस्पष्ट रह जाती है। वे लेबलिंग बजट, कंप्यूट लागत, लेटेंसी (latency), या कूलडाउन अवधि जैसे परिचालन संबंधी बाधाओं को ध्यान में नहीं रखती हैं।
सुरक्षा अंतराल (Safety Gaps): अनुकूलन रणनीतियाँ अक्सर सत्यापित सुरक्षा के बिना लागू की जाती हैं। विलंबित पर्यवेक्षण (जहाँ लेबल देर से आते हैं) के तहत, सिस्टम असुरक्षित स्थितियों में काम कर सकते हैं या शोर (noise) पर अत्यधिक प्रतिक्रिया दे सकते हैं, जिससे अनावश्यक लागत आती है।
मुख्य चुनौती: ड्रिफ्ट मॉनिटरिंग को एक प्रतिबंधित निर्णय लेने वाली समस्या (Constrained Decision-making Problem) के रूप में कैसे माना जाए, जो अनुकूलतम हस्तक्षेप (पुन: अंशांकन/recalibration, अनुकूलन/adaptation, रिट्रेनिंग, या फॉलबैक/fallback) का चयन करे, जबकि बजट और लेटेंसी बाधाओं के तहत सुरक्षा सुनिश्चित करे।

2. कार्यप्रणाली: Drift2Act

लेखक Drift2Act का प्रस्ताव करते हैं, जो एक एकीकृत नियंत्रक (unified controller) है जो तीन मुख्य घटकों को एकीकृत करता है: एक सेंसिंग लेयर, एक सक्रिय जोखिम प्रमाण पत्र (active risk certificate), और एक निर्णय नियंत्रक (decision controller)।

A. सेंसिंग लेयर और बिलीफ स्टेट (Sensing Layer & Belief State)

सिस्टम अनलेबल मॉनिटरिंग सिग्नल्स के आधार पर ड्रिफ्ट प्रकारों ( $D_t \in \{\text{none, covariate, concept, subgroup}\}$ ) पर एक बिलीफ स्टेट बनाए रखता है।

मॉनिटरिंग सिग्नल्स: यह एक वेक्टर $z_t$ $z_{t}$ की गणना करता है जिसमें शामिल हैं:
- MMD: हाल के और संदर्भ एम्बेडिंग वितरणों के बीच कर्नल मैक्सिमम मीन डिसपैरिटी (Kernel Maximum Mean Discrepancy)।
- अनिश्चितता शिफ्ट (Uncertainty Shift): प्रेडिक्टिव एंट्रॉपी में परिवर्तन ( $\Delta H_t$ )।
- कैलिब्रेशन ड्रिफ्ट: विलंबित लेबल का उपयोग करके अपेक्षित कैलिब्रेशन एरर (Expected Calibration Error - $\Delta ECE_t$ ) में परिवर्तन।
बिलीफ अपडेट: एक हल्का मारकोव बिलीफ अपडेट (Markov belief update) पोस्टीरियर प्रोबेबिलिटी $b_t(d) = P(D_t=d | z_{1:t})$ की गणना करता है, जिससे सिस्टम विभिन्न प्रकार के ड्रिफ्ट के बीच अंतर करने और उपयुक्त हस्तक्षेप चुनने में सक्षम होता है।

B. सक्रिय जोखिम प्रमाण पत्र (Active Risk Certificate - द सेफ्टी लेयर)

यह इस शोध पत्र का सैद्धांतिक मूल है। केवल ड्रिफ्ट साक्ष्य पर निर्भर रहने के बजाय, सिस्टम वर्तमान विंडो वाले जोखिम $R_t$ पर एक एनीटाइम-वैलिड अपर बाउंड (anytime-valid upper bound) $U_t(\delta)$ बनाए रखता है।

तंत्र (Mechanism): नियंत्रक वर्तमान विंडो $W_t$ से यूनिफॉर्म रैंडम सैंपलिंग के माध्यम से विलंबित लेबल की एक छोटी संख्या ( $Q_t$ ) को अनुकूल रूप से अनुरोध करता है।
प्रमाणन (Certification): कॉन्फिडेंस-सीक्वेंस निर्माण (होफडिंग इनइक्वेलिटी और स्टिचिंग पर आधारित) का उपयोग करके, यह गणना करता है:
$U_t(\delta) = \hat{R}_t + \text{rad}(n_t, \delta)$
जहाँ $\hat{R}_t$ सैंपल किए गए लेबल पर एम्पिरिकल रिस्क है और $\text{rad}$ एक घटता हुआ कॉन्फिडेंस रेडियस है।
सुरक्षा गारंटी: $1-\delta$ की प्रायिकता के साथ, वास्तविक जोखिम $R_t \leq U_t(\delta)$ सभी समय चरणों $t$ के लिए बना रहता है, यहाँ तक कि एडेप्टिव स्टॉपिंग रूल्स और लेबल देरी के तहत भी।
गेटिंग लॉजिक (Gating Logic):
- यदि $U_t(\delta) \leq \tau$ (सुरक्षित): सिस्टम सामान्य रूप से कार्य करता है, कम लागत वाले विकल्प चुनता है।
- यदि $U_t(\delta) > \tau$ (असुरक्षित): सिस्टम एक फॉलबैक (अब्स्टेन/हैंडऑफ) ट्रिगर करता है और भारी हस्तक्षेप (रोलबैक/रिट्रेनिंग) की ओर बढ़ता है।

C. ड्रिफ्ट-टू-एक्शन कंट्रोलर (Drift-to-Action Controller)

नियंत्रक एक रिसिंग-होराइजन यूटिलिटी (receding-horizon utility) को अधिकतम करके डिस्क्रीट सेट (No-op, Recalibrate, Test-Time Adaptation, Query Labels, Retrain, Rollback, Abstain) से क्रियाएं $a_t$ चुनता है:
$\mathcal{U}_t(a) = \Delta_t(a) - \lambda c(a) - \gamma \text{Viol}_t(a)$

$\Delta_t(a)$ : अपेक्षित जोखिम में कमी, जिसे बिलीफ स्टेट $b_t(d)$ और एक पूर्व-कैलिब्रेटेड गेन टेबल $G(d, a)$ द्वारा भारित (weighted) किया जाता है।
$c(a)$ : परिचालन लागत (लेबलिंग, कंप्यूट, लेटेंसी)।
बाधाएं (Constraints): नियंत्रक कुल लेबलिंग बजट ( $B_{lab}$ ) और भारी कार्यों (रिट्रेनिंग/रोलबैक) के लिए कूलडाउन अवधि को लागू करता है ताकि थ्रेशिंग (thrashing) को रोका जा सके।

3. मुख्य योगदान (Key Contributions)

सक्रिय जोखिम प्रमाण पत्र (Active Risk Certificate): विलंबित लेबल के एक छोटे, एडेप्टिवली सैंपल किए गए सेट का उपयोग करके, डिप्लॉयमेंट रिस्क पर एक एनीटाइम-वैलिड, ऑनलाइन अपर बाउंड का परिचय। यह "ड्रिफ्ट साक्ष्य" को "सत्यापित सुरक्षा" से अलग करने वाला एक कठोर सुरक्षा गेट प्रदान करता है।
बिलीफ-ड्रिवन कंट्रोलर (Belief-Driven Controller): एक निर्णय लेने वाला ढांचा जो ड्रिफ्ट साक्ष्य को विशिष्ट, लागत-जागरूक हस्तक्षेपों में मैप करता है, जो ड्रिफ्ट प्रकार के आधार पर संचालित होता है और परिचालन बजट एवं कूलडाउन का सम्मान करता है।
एकीकृत मूल्यांकन प्रोटोकॉल (Unified Evaluation Protocol): एक यथार्थवादी स्ट्रीमिंग बेंचमार्क प्रोटोकॉल जो लेबल देरी के तहत सुरक्षा उल्लंघन, रिकवरी समय, डिटेक्शन डिले और परिचालन लागत को संयुक्त रूप से मापता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करना कि यह दृष्टिकोण अलार्म, निरंतर अनुकूलन, या शेड्यूल्ड रिट्रेनिंग पर निर्भर बेसलाइन की तुलना में शून्य के करीब सुरक्षा उल्लंघन के साथ मध्यम लागत प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन WILDS Camelyon17 (मेडिकल इमेजिंग), DomainNet (मल्टी-डोमेन विजन), और एक SyntheticDrift-CIFAR स्ट्रीम पर किया गया।

सुरक्षा (Safety): Drift2Act ने Camelyon17 और SyntheticDrift-CIFAR पर 0 सुरक्षा उल्लंघन प्राप्त किए और DomainNet पर केवल 1 उल्लंघन हुआ। इसके विपरीत, "Alarm-only" बेसलाइन में 46–63 उल्लंघन थे, और "Adapt-always" में 3–6 उल्लंघन थे।
रिकवरी समय (Recovery Time): नियंत्रक बेसलाइन की तुलना में काफी तेजी से रिकवर हुआ। उदाहरण के लिए, Camelyon17 पर, रिकवरी समय 62 स्टेप्स था, जबकि अलार्म-ओनली के लिए यह 210 और अडैप्ट-ऑलवेज के लिए 74 था।
लागत दक्षता (Cost Efficiency): जबकि कुल परिचालन लागत ( $C_{tot}$ ) मध्यम थी (जैसे, Camelyon17 पर 24.6), यह "Adapt-always" (58.0) और "Retrain-on-schedule" (41.5) की तुलना में बहुत बेहतर थी।
मजबूती (Robustness): सिस्टम ने उच्च वर्स्ट-ग्रुप सटीकता (Camelyon17 पर 0.81) और कम फाल्स-इंटरवेंशन रेट (FIR) बनाए रखा, जिससे सिद्ध होता है कि यह स्थिर अवधियों के दौरान अत्यधिक प्रतिक्रिया नहीं देता है।
एब्लेशन (Ablations): सर्टिफिकेट हटाने से सुरक्षा उल्लंघनों में उछाल आया (0 से 7), जो पुष्टि करता है कि सर्टिफिकेट सुरक्षा के लिए आवश्यक है। बिलीफ मॉडल हटाने से रिकवरी समय और उल्लंघन बढ़ गए, जो ड्रिफ्ट-टाइप जागरूकता की आवश्यकता की पुष्टि करता है।

5. महत्व (Significance)

यह शोध पत्र ड्रिफ्ट मॉनिटरिंग को निष्क्रिय "डिटेक्शन" कार्य से एक सक्रिय निर्णय लेने की प्रक्रिया के रूप में पुनर्गठित करता है जिसमें सुरक्षा गारंटी शामिल है।

अलार्म से एक्शन तक: यह "क्या करें" की समस्या को हल करता है, जो हस्तक्षेपों को नियंत्रित करने के लिए एक गणितीय रूप से ठोस तंत्र प्रदान करता है।
संसाधन दक्षता: यह प्रदर्शित करता है कि उच्च विश्वसनीयता के लिए निरंतर अनुकूलन या विशाल लेबलिंग बजट की आवश्यकता नहीं है; बल्कि, लक्षित, प्रमाणित सत्यापन सुरक्षा बनाए रखने के लिए पर्याप्त है।
प्रोडक्शन रेडीनेस (Production Readiness): लागत, देरी और कूलडाउन को स्पष्ट रूप से मॉडल करके, Drift2Act उन वास्तविक दुनिया के गैर-स्थिर वातावरणों में मजबूत ML सिस्टम तैनात करने के लिए एक ब्लूप्रिंट प्रदान करता है जहाँ सुरक्षा और लागत महत्वपूर्ण बाधाएं हैं।

संक्षेप में, Drift2Act ड्रिफ्ट डिटेक्शन के सिद्धांत और व्यावहारिक सिस्टम विश्वसनीयता के बीच के अंतर को पाटता है, यह सुनिश्चित करता है कि ML सिस्टम सुरक्षा से समझौता किए बिना और अत्यधिक परिचालन लागत उठाए बिना बदलते डेटा के अनुकूल हो सकें।