तकनीकी सारांश: CANDOR – काउंटरफैक्चुअल एनोटेटेड डबली रोबस्ट ऑफ-पॉलिसी इवैल्यूएशन (Counterfactual ANnotated DOubly Robust Off-Policy Evaluation)

समस्या विवरण

ऑफ-पॉलिसी इवैल्यूएशन (OPE) स्वास्थ्य सेवा जैसे उच्च-जोखिम वाले डोमेन में कॉन्टेक्स्टुअल बैंडिट एल्गोरिदम को सुरक्षित रूप से तैनात करने के लिए आवश्यक है, जहाँ वास्तविक दुनिया में कार्यान्वयन से पहले ऐतिहासिक डेटा का उपयोग करके नई उपचार नीतियों का मूल्यांकन किया जाना चाहिए। हालाँकि, मानक OPE तकनीकें उपलब्ध व्यवहार डेटासेट (behavior dataset) के कवरेज द्वारा मौलिक रूप से सीमित होती हैं। यदि ऐतिहासिक डेटा में कुछ अवस्था-क्रिया युग्मों (state-action pairs) के अवलोकन की कमी है (जैसे कि एक नई दवा जो कभी दी नहीं गई), तो OPE विधियाँ उन कार्यों की सिफारिश करने वाली नीति के मूल्य का विश्वसनीय अनुमान लगाने में असमर्थ होती हैं।

हालिया दृष्टिकोण, जैसे कि IS+ एस्टीमेटर, विशेषज्ञ-एनोटेटेड काउंटरफैक्चुअल नमूनों (अनदेखे कार्यों के लिए अनुमानित पुरस्कार) के साथ व्यवहार डेटासेट को बढ़ाकर इस कमी को कम करने का प्रयास करते हैं। हालाँकि, ये विधियाँ आमतौर पर यह मानती हैं कि एनोटेशन पूर्ण (perfect) हैं। व्यवहार में, विशेषज्ञ एनोटेशन (या LLM द्वारा उत्पन्न किए गए) अक्सर त्रुटिपूर्ण होते हैं, जिनमें पूर्वाग्रह (bias) या शोर (noise) हो सकता है। मौजूदा एस्टीमेटर्स में ऐसे त्रुटिपूर्ण एनोटेशन को शामिल करना, बिना सावधानी के, प्रदर्शन को खराब कर सकता है, जिससे कभी-कभी एनोटेशन को पूरी तरह से अनदेखा करने की तुलना में भी खराब परिणाम मिलते हैं। यह कार्य मुख्य चुनौती यह निर्धारित करने की है कि त्रुटियों को संचित (compound) किए बिना, विशेष रूप से मिसस्पेसिफाइड रिवॉर्ड मॉडल की उपस्थिति में, त्रुटिपूर्ण काउंटरफैक्चुअल एनोटेशन को OPE एस्टीमेटर्स में कैसे एकीकृत किया जाए।

कार्यप्रणाली (Methodology)

लेखक डबली रोबस्ट (DR) ढांचे पर आधारित OPE एस्टीमेटर्स का एक परिवार प्रस्तावित करते हैं, जो इम्पोर्टेंस सैंपलिंग (IS) और एक डायरेक्ट मेथड (DM) रिवॉर्ड मॉडल को जोड़ता है। DR ढांचे को इसके अनबायस्डनेस (unbiasedness) के सैद्धांतिक आश्वासन के लिए चुना गया है, यदि प्रोपेंसिटी स्कोर (IS) या रिवॉर्ड मॉडल (DM) में से कोई भी सही ढंग से निर्दिष्ट (correctly specified) हो।

यह शोध काउंटरफैक्चुअल एनोटेशन ($g_i$) को DR एस्टीमेटर में शामिल करने के तीन विशिष्ट रणनीतियों की जांच करता है, जो इस बात से परिभाषित होता है कि एनोटेशन का उपयोग DM और IS घटकों में कैसे किया जाता है:

1. DM+-IS: रिवॉर्ड मॉडल ($\hat{R}^+$) को संवर्धित डेटासेट (तथ्यात्मक + काउंटरफैक्चुअल) पर प्रशिक्षित किया जाता है, लेकिन IS घटक केवल मूल तथ्यात्मक डेटा और मानक प्रोपेंसिटी स्कोर का उपयोग करता है।
   $$\hat{V}_{DM^+-IS} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \rho_{s_i}(a_i)(r_i - \hat{R}^+(s_i, a_i)) \right)$$
2. DM-IS+: रिवॉर्ड मॉडल ($\hat{R}$) को केवल तथ्यात्मक डेटा पर प्रशिक्षित किया जाता है, जबकि IS घटक को री-वेटिंग (IS+ दृष्टिकोण के समान) के साथ काउंटरफैक्चुअल एनोटेशन का उपयोग करके संवर्धित किया जाता है।
   $$\hat{V}_{DM-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}(s_i, a)) \right)$$
3. DM+-IS+: रिवॉर्ड मॉडल और IS घटक दोनों ही संवर्धित डेटासेट का उपयोग करते हैं।
   $$\hat{V}_{DM^+-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}^+(s_i, a)) \right)$$

सैद्धांतिक विश्लेषण (Theoretical Analysis)

लेखक तीन एनोटेशन व्यवस्थाओं (regimes) के तहत एक कठोर बायस-वेरिएंस विश्लेषण प्रदान करते हैं:

• परफेक्ट एनोटेशन (Perfect Annotations): तीनों एस्टीमेटर अनबायस्ड (unbiased) हैं।
• बायस्ड एनोटेशन (Biased Annotations): लेखक सिद्ध करते हैं कि DM+-IS एक अनबायस्ड एस्टीमेटर बना रहता है, भले ही एनोटेशन व्यवस्थित रूप से बायस्ड हों। इसके विपरीत, DM-IS+ और DM+-IS+ एनोटेशन त्रुटि ($\epsilon_G$) के आनुपातिक एक बायस टर्म पेश करते हैं, जिससे वे प्रदर्शन गिरावट के प्रति संवेदनशील हो जाते हैं।
• नॉइजी एनोटेशन (Noisy Annotations): हालांकि सभी एस्टीमेटर एनोटेशन शोर के कारण बढ़े हुए वेरिएंस का अनुभव करते हैं, सैद्धांतिक व्युत्पत्ति दिखाती है कि DM+-IS वेरिएंस के प्रभाव को रिवॉर्ड मॉडल अनुमान तक सीमित रखता है, जबकि अन्य विधियाँ री-वेटेड IS टर्म के माध्यम से शोर को संचित करती हैं।

प्रयोगात्मक परिणाम (Experimental Results)

प्रस्तावित विधियों का तीन डोमेन में मूल्यांकन किया गया:

1. Heartsteps: शारीरिक गतिविधि हस्तक्षेपों के लिए एक सेमी-सिंथेटिक मोबाइल हेल्थ सिम्युलेटर।
2. Sepsis: सेप्सिस उपचार के लिए एक सेमी-सिंथेटिक सिम्युलेटर (MDP सेटिंग से कॉन्टेक्स्टुअल बैंडिट में अनुकूलित)।
3. MIMIC-IV: इंट्रावेनस पोटेशियम रिप्लेशन पर केंद्रित एक वास्तविक दुनिया का इलेक्ट्रॉनिक हेल्थ रिकॉर्ड (EHR) डेटासेट। इस डेटासेट के लिए काउंटरफैक्चुअल एनोटेशन OpenAI के "o1" मॉडल का उपयोग करके उत्पन्न किए गए थे।

मुख्य निष्कर्ष:

• बायस के प्रति मजबूती (Robustness to Bias): बायस्ड एनोटेशन वाले परिदृश्यों में, DM+-IS ने लगातार सबसे कम रूट मीन स्क्वेर्ड एरर (RMSE) प्राप्त किया। DM+-IS का RMSE एनोटेशन बायस बढ़ने पर स्थिर रहा, जबकि DM-IS+ और DM+-IS+ ने महत्वपूर्ण प्रदर्शन गिरावट दिखाई।
• मिसस्पेसिफिकेशन के प्रति मजबूती (Robustness to Misspecification): जब मिसस्पेसिफाइड रिवॉर्ड मॉडल (एक सामान्य वास्तविक दुनिया का परिदृश्य) के साथ जोड़ा गया, तो DM+-IS सबसे मजबूत एस्टीमेटर बना रहा। इसने कवरेज में सुधार करने के लिए काउंटरफैक्चुअल डेटा का प्रभावी ढंग से लाभ उठाया बिना एनोटेशन से होने वाले बायस को विरासत में लिए।
• वास्तविक दुनिया का प्रदर्शन: MIMIC-IV डेटासेट पर, DM+-IS ने विभिन्न संख्या में काउंटरफैक्चुअल एनोटेशन के साथ सभी बेसलाइन्स (IS, DM, DR और एनोटेशन-संवर्धित वेरिएंट सहित) को पछाड़ दिया। विशेष रूप से, जैसे-जैसे एनोटेशन की संख्या बढ़ी, DM+-IS का प्रदर्शन सुधरा और फिर स्थिर (plateau) हो गया, जबकि अन्य एस्टीमेटर्स (जैसे IS+ और DM-IS+) में त्रुटि दर बढ़ गई या उच्च बनी रही।
• एनोटेशन की गुणवत्ता: प्रयोगों ने प्रदर्शित किया कि एनोटेशन बायस का एस्टीमेटर प्रदर्शन पर एनोटेशन वेरिएंस (शोर) की तुलना में कहीं अधिक नकारात्मक प्रभाव पड़ता है।

महत्व और योगदान (Significance and Contributions)

यह शोध निम्नलिखित योगदान देता है:

1. नया एस्टीमेटर परिवार: यह एक DR-प्रेरित एस्टीमेटर परिवार पेश करता है और विशेष रूप से त्रुटिपूर्ण काउंटरफैक्चुअल एनोटेशन को संभालने के लिए इसका सैद्धांतिक विश्लेषण करता है।
2. सैद्धांतिक अंतर्दृष्टि: यह पहचानता है कि काउंटरफैक्चुअल एनोटेशन को केवल डायरेक्ट मेथड (DM) घटक में शामिल करना (DM+-IS रणनीति) सबसे इष्टतम दृष्टिकोण है। यह रणनीति एस्टीमेटर की अनबायस्डनेस को बनाए रखती है, भले ही एनोटेशन बायस्ड हों—एक ऐसा गुण जो IS घटक को संवर्धित करने वाली विधियों के पास नहीं है।
3. अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक, सेमी-सिंथेटिक और वास्तविक दुनिया के स्वास्थ्य सेवा डेटा पर व्यापक प्रयोगों के माध्यम से, लेखक प्रदर्शित करते हैं कि जब रिवॉर्ड मॉडल और एनोटेशन दोनों की गुणवत्ता अज्ञात हो, तो DM+-IS सबसे मजबूत विकल्प है।

निष्कर्ष

यह कार्य काउंटरफैक्चुअल डेटा ऑग्मेंटेशन के सैद्धांतिक वादे और त्रुटिपूर्ण एनोटेशन की व्यावहारिक वास्तविकता के बीच के महत्वपूर्ण अंतर को संबोधित करता है। DM+-IS एस्टीमेटर का प्रस्ताव करके, लेखक स्वास्थ्य सेवा जैसे उच्च-जोखिम वाले सेटिंग्स में पॉलिसी इवैल्यूएशन की प्रयोज्यता को विस्तृत करने का एक तरीका प्रदान करते हैं। यह दृष्टिकोण अभ्यासकर्ताओं को उन कार्यों के मूल्यांकन के लिए विशेषज्ञ या AI-जनरेटेड त्रुटिपूर्ण एनोटेशन का सुरक्षित रूप से उपयोग करने की अनुमति देता है जो ऐतिहासिक डेटा में अच्छी तरह से कवर नहीं किए गए हैं, बिना किसी व्यवस्थित बायस को पेश करने के जोखिम के जो असुरक्षित पॉलिसी डिप्लॉयमेंट की ओर ले जा सकता है। यह शोध निष्कर्ष निकालता है कि वास्तविक परिस्थितियों में जहाँ एनोटेशन की गुणवत्ता अज्ञात है, DM+-IS ऑफ-पॉलिसी इवैल्यूएशन के लिए सबसे विश्वसनीय मार्ग प्रदान करता है।