तकनीकी सारांश: काउंटरफैक्चुअल पॉलिसियों के साथ सुरक्षित बेयसियन ऑप्टिमाइज़ेशन (Safe Bayesian Optimization with Counterfactual Policies)

समस्या की परिभाषा

यह शोध पत्र उन स्थितियों में सेफ ऑप्ट (SafeOpt) करने की चुनौती को संबोधित करता है जहाँ सुरक्षा संबंधी बाधाएं (safety constraints) काउंटरफैक्चुअल परिणामों (counterfactual outcomes) पर निर्भर करती हैं। कई क्रमिक निर्णय लेने वाली स्थितियों (जैसे क्लिनिकल ट्रायल) में, एक नया हस्तक्षेप $x_t$ तभी सुरक्षित माना जाता है जब उसका परिणाम $Y(x_t)$, एक स्थापित मानक देखभाल नीति (standard-of-care policy), $Y(x_{soc,t})$, के परिणाम से काफी नीचे न गिरे।

मुख्य कठिनाई यह है कि $x_{soc,t}$ एक काउंटरफैक्चुअल है: समय $t$ पर मानक देखभाल नीति लागू नहीं की जाती है, इसलिए $Y(x_{soc,t})$ अवलोकित (observed) नहीं होता है। पारंपरिक SafeOpt विधियाँ सुरक्षित सेट बनाए रखने के लिए अवलोकित बाधा मानों पर निर्भर करती हैं। जब बाधा $q(x_t)$ एक अनअवलोकित काउंटरफैक्चुअल पर निर्भर करती है, तो $Y(x_{soc,t})$ के सरल पॉइंट अनुमान (point estimates) अपर्याप्त होते हैं, क्योंकि वे उपयोगकर्ता द्वारा निर्दिष्ट टॉलरेंस रेट $\alpha$ से अधिक सुरक्षा उल्लंघन का कारण बन सकते हैं।

कार्यप्रणाली: SafeOpt-CPC

लेखक SafeOpt-CPC (SafeOpt with Counterfactual Policy Constraints) प्रस्तावित करते हैं, जो एक ढांचा है जो अनअवलोकित काउंटरफैक्चुअल्स को संभालने के लिए स्प्लिट कॉन्फॉर्मल प्रेडिक्शन (split conformal prediction) को SafeOpt लूप में एकीकृत करता है।

1. काउंटरफैक्चुअल्स का कॉन्फॉर्मल अनुमान (Conformal Estimation of Counterfactuals)

काउंटरफैक्चुअल परिणाम के लिए पॉइंट अनुमान का उपयोग करने के बजाय, यह विधि स्प्लिट कॉन्फॉर्मल प्रेडिक्शन का उपयोग करके एक वैध अनिश्चितता अंतराल (uncertainty interval) (विशेष रूप से, एक एकतरफा ऊपरी सीमा $\hat{U}^{soc}_t$ या निचली सीमा $\hat{L}^{soc}_t$) का निर्माण करती है।

• डेटा विभाजन (Data Splitting): पूर्व-संग्रहित डेटा को एक ट्रेनिंग सेट $D_{train}$ (एक पॉइंट प्रेडिक्टर $\hat{Y}$ को प्रशिक्षित करने के लिए) और एक कैलिब्रेशन सेट $D_{cal}$ में विभाजित किया जाता है।
• स्कोरिंग (Scoring): एक स्कोर फंक्शन $S(x, Y(x))$ को वास्तविक परिणाम और भविष्यवाणी के बीच के अंतर के रूप में परिभाषित किया जाता है (उदाहरण के लिए, मैक्सिमाइजेशन समस्याओं के लिए $Y(x) - \hat{Y}(x)$)।
• अंतराल निर्माण (Interval Construction): ऊपरी सीमा की गणना इस प्रकार की जाती है:
  $$\hat{U}^{soc}_t(x_{soc,t}) = \hat{Y}(x_{soc,t}) + Q_{soc}\left(1 - \epsilon; \sum \tilde{w}_i \delta_{S_i} + \tilde{w}_t \delta_{+\infty}\right)$$
  जहाँ $Q_{soc}$ स्कोर का क्वांटाइल है, $\epsilon$ एक उपयोगकर्ता-निर्दिष्ट विफलता दर है, और $\tilde{w}$ भारित (weights) मान हैं।

2. कोवेरिएट शिफ्ट को संभालना (Handling Covariate Shift)

यह विधि वेटेड कॉन्फॉर्मल प्रेडिक्शन (weighted conformal prediction) का उपयोग करके कैलिब्रेशन डेटा और टेस्ट एनवायरनमेंट (जहाँ SafeOpt तैनात किया गया है) के बीच वितरण संबंधी बदलावों (distributional shifts) को ध्यान में रखती है:

• परिदृश्य 1 (अलग नीति): यदि कैलिब्रेशन डेटा एक अलग नीति के तहत एकत्र किया गया था, तो इनवर्स प्रोपेंसिटी स्कोरिंग (IPS) वेट्स का उपयोग किया जाता है: $w_i = \pi_{soc}(x_i) / \pi_{cal}(x_i)$।
• परिदृश्य 2 (कोवेरिएट शिफ्ट): यदि टेस्ट जनसंख्या कैलिब्रेशन जनसंख्या से भिन्न है (जैसे, अलग अस्पताल जनसांख्यिकी), तो वेट्स टेस्ट और कैलिब्रेशन कोवेरिएट डेंसिटी के अनुपात से प्राप्त किए जाते हैं: $w_i = P_{test}(x_i) / P_{cal}(x_i)$।
• गैर-स्थिरता (Non-stationarity): पेपर में चेंजपॉइंट्स (changepoints) (अचानक बदलाव) और ड्रिफ्ट (drift) (क्रमिक बदलाव) को संभालने के लिए एल्गोरिदम (एल्गोरिदम 3 और 4) का विवरण दिया गया है, जो वेट्स को पुनर्गणना करने या टाइम-डिकेइंग वेट्स लागू करने पर आधारित हैं।

3. सुरक्षा गारंटी समायोजन (Safety Guarantee Adjustment)

चूंकि यह विधि SafeOpt के भीतर कॉन्फॉर्मल प्रेडिक्शन को नेस्ट करती है, इसलिए लक्षित उल्लंघन दर को समायोजित किया जाना चाहिए। मान लीजिए $\epsilon'$ कॉन्फॉर्मल अनुमानों की संयुक्त विफलता संभावना है (जो कई अनुमानित पदों के लिए यूनियन बाउंड के माध्यम से प्राप्त की जाती है), एल्गोरिदम एक सख्त आंतरिक उल्लंघन दर $\alpha'$ को लक्षित करता है ताकि यह सुनिश्चित हो सके कि समग्र उल्लंघन दर $\alpha$ से नीचे रहे:
$$\alpha' \leq \frac{\alpha - \epsilon'}{1 - \epsilon'}$$
यह समायोजन इस संभावना को ध्यान में रखता है कि वास्तविक काउंटरफैक्चुअल परिणाम कॉन्फॉर्मल अंतराल के बाहर गिर सकता है।

4. SafeOpt के साथ एकीकरण (Integration with SafeOpt)

प्रत्येक टाइमस्टेप $t$ पर:

1. यदि प्रस्तावित एक्शन $x_t$ मानक देखभाल (standard of care) है, तो बाधा स्वतः संतुष्ट होती है।
2. अन्यथा, एल्गोरिदम काउंटरफैक्चुअल परिणाम के लिए कॉन्फॉर्मल अपर बाउंड $\hat{U}^{soc}_t$ की गणना करता है।
3. सुरक्षा बाधा का मूल्यांकन इस प्रकार किया जाता है: $q(x_t) = Y(x_t) - \hat{U}^{soc}_t(x_{soc,t}) + \omega \geq 0$, जहाँ $\omega$ एक टॉलरेंस पैरामीटर है।
4. मानक SafeOpt लॉजिक (Gaussian Processes और ऑनलाइन कॉन्फॉर्मल अपडेट $\beta_t$ का उपयोग करते हुए) अगले एक्शन को चुनता है जो सुरक्षित सेट को बनाए रखते हुए ऑब्जेक्टिव को मैक्सिमाइज करता है।

मुख्य योगदान (Key Contributions)

1. SafeOpt-CPC फ्रेमवर्क: एक नवीन विधि जो यह सुनिश्चित करती है कि सुरक्षित बेयसियन ऑप्टिमाइज़ेशन एक्शन, जब तक कि परिणाम अनअवलोकित हों, ज्ञात सुरक्षित नीति से $\omega$ टॉलरेंस से अधिक खराब प्रदर्शन न करें ($100(1-\alpha)\%$ नमूनों के लिए)।
2. कोवेरिएट शिफ्ट के प्रति मजबूती: विधि प्रदर्शित करती है कि कैसे री-वेटिंग मैकेनिज्म के माध्यम से कोवेरिएट शिफ्ट परिदृश्यों (पॉलिसी मिसमैच और पॉपुलेशन ड्रिफ्ट) के अनुकूल कॉन्फॉर्मल अनुमानों को बनाया जा सकता है।
3. औपचारिक सुरक्षा प्रमाण (Formal Safety Proofs): पेपर यह सिद्ध करता है (थ्योरम 4.1) कि विधि वेटेड एक्सचेंजैबिलिटी (weighted exchangeability) की धारणा के तहत सुरक्षा बाधाओं को पूरा करती है। यह उस स्थिति में भी कवरेज गैप को सीमित करता है जब यह धारणा विफल हो जाती है (परिशिष्ट B)।
4. अनुभवजन्य सत्यापन (Empirical Validation): एक केमिकल रिएक्शन सिम्युलेटर (जहाँ वास्तविक काउंटरफैक्चुअल्स ज्ञात हैं) और मूवी लेंस (MovieLens) डेटासेट (जहाँ काउंटरफैक्चुअल्स सिम्युलेट किए गए हैं) पर प्रयोग यह पुष्टि करते हैं कि विधि उल्लंघन दर को $\alpha$ से नीचे रखते हुए ऑब्जेक्टिव को ऑप्टिमाइज़ करती है।

परिणाम (Results)

• उल्लंघन दर (Violation Rates): प्रयोगों में, SafeOpt-CPC लगातार वास्तविक उल्लंघन दर को निर्दिष्ट थ्रेशोल्ड $\alpha$ (जैसे, 0.1) से नीचे बनाए रखता है। इसके विपरीत, बिना सुरक्षा बाधाओं के मानक बेयियन ऑप्टिमाइज़ेशन थ्रेशोल्ड का महत्वपूर्ण उल्लंघन करता है।
• ओरेकल (Oracle) के साथ तुलना: SafeOpt-CPC एक "ओरेकल" बेसलाइन (जो वास्तविक काउंटरफैक्चुअल जानता है) की तुलना में थोड़ा अधिक रूढ़िवादी (conservative) है, जिसके परिणामस्वरूप अधिकतम ऑब्जेक्टिव मान थोड़ा कम होता है, लेकिन यह वहां सुरक्षा की गारंटी देता है जहां ओरेकल भी नहीं दे पाता।
• टॉलरेंस संवेदनशीलता (Tolerance Sensitivity): जैसे-जैसे टॉलरेंस पैरामीटर $\omega$ बढ़ता है, एल्गोरिदम मानक देखभाल नीति की ओर कम बार लौटता है और उच्च ऑब्जेक्टिव मान प्राप्त करता है।
• गैर-स्थिरता (Non-stationarity): विधि सफलतापूर्वक चेंजपॉइंट्स और ड्रिफ्ट के अनुकूल होती है जब वेट्स को सही ढंग से पुनर्गणना किया जाता है। इन बदलावों को अनदेखा करने से कवरेज गारंटी विफल हो जाती है।
• संवेदनशीलता (Sensitivity): विधि नॉइजी डेटा और एस्टिमेटर बायस/वेरिएंस के प्रति मजबूत है, हालांकि ये कारक मानक देखभाल की ओर लौटने वाले स्टेप्स की संख्या को बढ़ा देते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि SafeOpt-CPC उच्च-जोखिम वाले अनुप्रयोगों (जैसे चिकित्सा उपचार) के लिए एक कठोर समाधान प्रदान करता है जहाँ सुरक्षा एक पूर्ण थ्रेशोल्ड के बजाय 'स्टैंडर्ड ऑफ केयर' के सापेक्ष परिभाषित होती है। लेखक इस बात पर जोर देते हैं कि:

• उल्लंघन दर को नियंत्रित करना सुरक्षा के लिए महत्वपूर्ण है, लेकिन विधि सुरक्षा बाधा अवलोकनों के संबंध में डिस्ट्रीब्यूशन-फ्री (distribution-free) होने के लिए डिज़ाइन की गई है।
• यह दृष्टिकोण किसी भी ऐसे कंस्ट्रेंट के लिए सामान्यीकृत किया जा सकता है जिसमें एक अनुमानित मात्रा की आवश्यकता होती है, न कि केवल काउंटरफैक्चुअल्स के लिए।
• विधि न्यूनतम धारणाओं (minimal assumptions) (वेटेड एक्सचेंजैबिलिटी) के तहत काम करती है और सुरक्षा उल्लंघनों पर औपचारिक सीमाएँ प्रदान करती है।

लेखक विनम्रतापूर्वक सीमाओं का उल्लेख करते हैं: यदि कॉन्फॉर्मल क्वांटाइल्स बहुत विस्तृत हैं या टॉलरेंस $\omega$ बहुत कम है, तो एल्गोरिदम अत्यधिक रूढ़िवादी हो सकता है, जिससे वह बार-बार मानक देखभाल की ओर लौट सकता है। इसके अतिरिक्त, यदि कंस्ट्रेंट में कई अनुमानित पद मौजूद हैं, तो प्रभावी उल्लंघन दर $\alpha'$ बहुत कम हो जाती है, जो संभावित रूप से अन्वेषण (exploration) को प्रतिबंधित कर सकती है। पेपर निष्कर्ष निकालता है कि हालांकि यह उल्लंघन दर नियंत्रण पर केंद्रित है, इस ढांचे को अन्य कंस्ट्रेंट फंक्शन के लिए भी विस्तारित किया जा सकता है, जो भविष्य के कार्य के लिए एक दिशा है।