📊 statistics

Set-Valued Policy Learning

यह शोधपत्र कई उपचारों के लिए एक सेट-वैल्यूड पॉलिसी लर्निंग फ्रेमवर्क प्रस्तुत करता है जो एक एकल अनुशंसा के बजाय संभावित हस्तक्षेपों का एक सेट आउटपुट करता है, जिससे 'ग्रेटेस्ट लोअर बाउंड' और 'कॉन्फ़ॉर्मल पॉलिसी लर्निंग' जैसी नवीन विधियों के माध्यम से अंतर्निहित अनिश्चितता परिमाणीकरण और सुदृढ़ निर्णय लेना संभव होता है।

मूल लेखक: Laura Fuentes-Vicente, Mathieu Even, Gaëlle Dormion, Antoine Chambaz, Uri Shalit, Julie Josse

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Laura Fuentes-Vicente, Mathieu Even, Gaëlle Dormion, Antoine Chambaz, Uri Shalit, Julie Josse

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक डॉक्टर हैं जो एक मरीज के लिए सबसे अच्छा उपचार तय करने की कोशिश कर रहे हैं। पारंपरिक "प्रिसिजन मेडिसिन" (सटीक चिकित्सा) की दुनिया में, AI एक सख्त GPS की तरह काम करता है। यह मरीज के डेटा को देखता है और कहता है, "यहाँ से बाएँ मुड़ें। उपचार A लें।" यह आपको एक एकल उत्तर देता है, यह दावा करते हुए कि यही स्वस्थ परिणाम के लिए सबसे अच्छा मार्ग है।

लेकिन यहाँ एक समस्या है: AI पूर्ण नहीं है। कभी-कभी, डेटा धुंधला होता है, मॉडल थोड़ा गलत हो सकता है, या दो अलग-अलग उपचार वास्तव में समान रूप से प्रभावी हो सकते हैं। यदि GPS आपको बाएँ मुड़ने के लिए मजबूर करता है जबकि दाएँ मुड़ना भी उतना ही अच्छा हो सकता था, तो आप बिना जाने एक जोखिम भरा निर्णय ले सकते हैं।

यह शोध पत्र AI के लिए एक नया तरीका प्रस्तावित करता है। एक ऐसा GPS देने के बजाय जो केवल एक मोड़ बताता है, कल्पना कीजिए कि यह एक यात्रा गाइड है जो आपको तीन या चार बेहतरीन मार्गों की एक संक्षिप्त सूची (shortlist) सौंपता है।

मुख्य विचार: "सेट-वैल्यूड" पॉलिसी (Set-Valued Policies)

लेखक इसे "सेट-वैल्यूड पॉलिसी लर्निंग" कहते हैं। "उपचार A करें" कहने के बजाय, AI कहता है, "डेटा के आधार पर, उपचार A, B और C सभी संभावित विजेता हैं। यह आपकी संक्षिप्त सूची है।"

यह बेहतर क्यों है? यह अनिश्चितता को स्वीकार करता है। यदि AI 100% आश्वस्त है, तो सूची में केवल एक ही आइटम होगा। यदि वह भ्रमित है या यदि कई उपचार समान रूप से अच्छे हैं, तो सूची लंबी हो जाएगी। सूची का आकार डॉक्टर को बताता है, "हे, मुझे पूरी तरह से यकीन नहीं है कि पूर्णतः सर्वश्रेष्ठ कौन सा है, इसलिए आप इन विकल्पों पर विचार करें।"
मानवीय भूमिका: AI अंतिम निर्णय नहीं लेता है। यह खराब विकल्पों को बाहर कर देता है और निर्णय मानव डॉक्टर को सौंप देता है, जो उन चीजों पर विचार कर सकता है जिन्हें AI माप नहीं सकता, जैसे कि दवा की लागत, दुष्प्रभावों का डर, या अस्पताल के बजट की सीमाएं।

हम यह कैसे सुनिश्चित करते हैं कि यह सुरक्षित है?

आप पूछ सकते हैं, "हमें कैसे पता चलेगा कि AI केवल अनुमान नहीं लगा रहा है और सूची में सब कुछ नहीं डाल रहा है?"

यह शोध पत्र "कॉन्फ़ॉर्मल प्रेडिक्शन" (Conformal Prediction) नामक एक गणितीय सुरक्षा जाल का उपयोग करता है। इसे एक "गुणवत्ता नियंत्रण स्टैम्प" की तरह समझें। शोधकर्ताओं ने एक ऐसी विधि विकसित की है जो गणितीय रूप से गारंटी देती है कि वास्तविक सर्वोत्तम उपचार लगभग निश्चित रूप से उस संक्षिप्त सूची के भीतर ही है। यदि AI कहता है, "सर्वोत्तम उपचार इस तीन के समूह में है," तो आप भरोसा कर सकते हैं कि सांख्यिकीय रूप से इसकी बहुत अधिक संभावना है कि वह वहीं है।

उन्होंने इन सूचियों को बनाने के दो मुख्य तरीकों का परीक्षण किया:

"कॉन्फिडेंस बाउंड्स" (Confidence Bounds) विधि: यह मौसम के पूर्वानुमान की जाँच करने जैसा है। यदि पूर्वानुमान कहता है कि बारिश की 95% संभावना है, तो आप छाता साथ रखते हैं। AI विभिन्न उपचारों के "विश्वास" (confidence) की जाँच करता है और केवल उन्हें शामिल करता है जहाँ "बारिश" (बुरा परिणाम) होने की संभावना कम होती है।
"नॉइजी लेबल" (Noisy Label) विधि: यह इस शोध पत्र का बड़ा नवाचार है। चिकित्सा में, हमें अक्सर यह नहीं पता होता कि मरीज के लिए वास्तव में सबसे अच्छा उपचार क्या है (हमें केवल यह पता होता है कि एक विशिष्ट दवा लेने के बाद क्या हुआ)। AI को अपूर्ण डेटा के आधार पर "सर्वश्रेष्ठ" उपचार का अनुमान लगाना पड़ता है। लेखकों ने महसूस किया कि यदि AI अपने अनुमानों में बहुत अधिक आत्मविश्वासी है, तो वह वास्तविक सर्वश्रेष्ठ विकल्प को छोड़ सकता है। इसलिए, उन्होंने एक "रैंडमनेस इंजेक्शन" (Randomness Injection) तकनीक पेश की।
- उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। यदि वह अति-आत्मविश्वासी है, तो वह उस विषय को छोड़ सकता है जिसे वह लगता है कि उसे आता है लेकिन वास्तव में नहीं आता। लेखकों ने AI को कहा: "कभी-कभी उत्तर न जानने का नाटक करें। थोड़ी सी रैंडम अनुमान लगाने की प्रक्रिया को मिला दें।" यह AI को विनम्र होने के लिए मजबूर करता है। यह AI को बहुत संकुचित होने से रोकता है और यह सुनिश्चित करता है कि "संक्षिप्त सूची" इतनी विस्तृत हो कि वह वास्तविक विजेता को पकड़ सके, भले ही डेटा अव्यवस्थित हो।

वास्तविक दुनिया का परीक्षण: IVF का उदाहरण

लेखकों ने इन-विट्रो फर्टिलाइजेशन (IVF) से जुड़े एक वास्तविक डेटासेट पर इसका परीक्षण किया।

स्थिति: डॉक्टरों को मरीजों के लिए हार्मोन की खुराक चुननी होती है। बहुत कम, और उपचार विफल हो जाता है। बहुत अधिक, और मरीज को ओवेरियन हाइपरस्टिम्यूलेशन सिंड्रोम (OHSS) जैसी खतरनाक स्थिति का खतरा होता है।
परिणाम: AI ने केवल यह नहीं कहा, "5 यूनिट दें।" इसने कहा, "इस मरीज के लिए, खुराक 3, 4, या 5 सभी सुरक्षित और प्रभावी विकल्प हैं।"
लाभ: इसने डॉक्टर को चुनने की अनुमति दी। यदि मरीज को OHSS का डर है, तो डॉक्टर AI की सुरक्षित सूची में से कम खुराक (3 या 4) चुन सकता है। यदि मरीज को अधिक प्रभाव की आवश्यकता है, तो वह 5 चुन सकता है। AI ने सुरक्षा जाल प्रदान किया (यह गारंटी देते हुए कि सर्वश्रेष्ठ विकल्प सूची में है), और मानव ने अंतिम, संदर्भ-आधारित निर्णय लिया।

सारांश

यह शोध पत्र तर्क देता है कि चिकित्सा जैसे उच्च-दांव वाले क्षेत्रों में, AI को बॉस बनने की कोशिश नहीं करनी चाहिए। इसके बजाय, इसे एक स्मार्ट सहायक होना चाहिए जो कहता है, "यहाँ शीर्ष 3 विकल्प हैं जिनके सांख्यिकीय रूप से काम करने की संभावना है। आप वह चुनें जो स्थिति के अनुकूल हो।"

गणित का उपयोग करके यह गारंटी देकर कि "सर्वश्रेष्ठ" उत्तर हमेशा समूह में होगा, और AI को विनम्र रखने के लिए थोड़ी सी "रैंडमनेस" का उपयोग करके, वे एक ऐसी प्रणाली बनाते हैं जो विश्वसनीय (यह सर्वश्रेष्ठ विकल्प को नहीं छोड़ेगी) और लचीली (यह मनुष्यों को अंतिम निर्णय लेने देती है) दोनों है।

तकनीकी सारांश: सेट-वैल्यूड पॉलिसी लर्निंग (Set-Valued Policy Learning)

समस्या विवरण

प्रिसिजन मेडिसिन में पारंपरिक उपचार नीति शिक्षण (treatment policy learning) आमतौर पर अपेक्षित नैदानिक परिणामों को अधिकतम करने के लिए रोगी के कोवेरिएट्स (covariates) को एक एकल अनुशंसित हस्तक्षेप (intervention) से मैप करता है। हालांकि, यह पॉइंट-वैल्यूड दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करता है:

अनिश्चितता के प्रति संवेदनशीलता: सिफारिशें अनुमानित अनिश्चितता (estimation uncertainty), मॉडल विनिर्देशन और परिमित-नमूना परिवर्तनशीलता (finite-sample variability) के प्रति अत्यधिक संवेदनशील होती हैं।
विश्वास मार्गदर्शन का अभाव: मानक नीतियां इस बात का कम संकेत देती हैं कि अनुशंसित कार्रवाई पर कितना विश्वास किया जाना चाहिए।
अस्पष्टता की अनदेखी: जब कई उपचार तुलनीय परिणाम देते हैं, तो पॉइंट-वैल्यूड नीतियां इस अस्पष्टता को पकड़ने में विफल रहती हैं, जो अनquantified लागतों या प्रतिकूल घटनाओं के संबंध में चिकित्सक की प्राथमिकताओं के साथ संघर्ष कर सकती हैं।
ग्राउंड ट्रुथ (Ground Truth) की अनुपलब्धता: कारण अनुमान (causal inference) में, केवल प्रशासित उपचार का परिणाम ही देखा जाता है; काउंटरफैक्चुअल परिणाम (और इस प्रकार वास्तविक इष्टतम उपचार) अदृश्य होते हैं, जो औपचारिक गारंटी के साथ नीतियों के निर्माण को जटिल बनाता है।

लेखक मल्टी-ट्रीटमेंट सेटिंग्स ( $K > 1$ ) के लिए एक सेट-वैल्यूड पॉलिसी लर्निंग प्रतिमान प्रस्तावित करते हैं। एक एकल सिफारिश के बजाय, नीति उपचारों के एक उपसमुच्चय (subset) को आउटपुट करती है। प्राथमिक उद्देश्य ऐसी नीतियों $C$ का निर्माण करना है कि सेट में उच्च संभावना के साथ कम से कम एक इष्टतम उपचार शामिल हो:
$P(\Pi^\star(X) \cap C(X) \neq \emptyset) \geq 1 - \alpha$
जहाँ $\Pi^\star(X)$ कोवेरिएट्स $X$ के लिए इष्टतम उपचारों का सेट है, और $\alpha$ एक उपयोगकर्ता-निर्धारित त्रुटि स्तर है। यह मॉडल की भूमिका को निर्णय निर्धारित करने से बदलकर विकल्पों के एक फ़िल्टर्ड सेट प्रदान करके निर्णय में सहायता करने की ओर स्थानांतरित करता है, जो सेट कार्डिनैलिटी (cardinality) के माध्यम से स्वाभाविक रूप से अनिश्चितता को मात्रात्मक रूप देता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र औपचारिक कवरेज गारंटी के साथ सेट-वैल्यूड नीतियां सीखने के लिए दो प्राथमिक ढांचे पेश करता है:

1. ग्रेटेस्ट लोअर बाउंड (GLB) विधि

यह दृष्टिकोण कंडीशनल मीन आउटकम एस्टिमेटर्स का उपयोग करके मल्टी-ट्रीटमेंट के लिए "लर्निंग-टू-डिफर" (learning-to-defer) ढांचे का विस्तार करता है।

तंत्र: यह कंडीशनल मीन आउटकम्स $\mu(x, a)$ के लिए विश्वसनीय लोअर ( $\ell_n$ ) और अपर ( $\text{u}_n$ ) कॉन्फिडेंस बाउंड्स पर निर्भर करता है।
निर्माण:
1. उस उपचार $a_{maxmin}$ की पहचान करें जो लोअर बाउंड को अधिकतम करता है: $a_{maxmin}(x) \in \arg\max_a \ell_n(x, a)$ ।
2. उन सभी उपचारों को शामिल करके सेट $C_\alpha(x)$ का निर्माण करें जिनका अपर बाउंड, ग्रेटेस्ट लोअर बाउंड बेंचमार्क से अधिक है:
  $C_\alpha(x) = \{a \in A : u_n(x, a) \geq \ell_n(x, a_{maxmin}(x))\}$
गारंटी: इस धारणा के तहत कि वैध कॉन्फिडेंस बाउंड्स मौजूद हैं, यह विधि कंडीशनल कवरेज प्राप्त करती है, जिसका अर्थ है मार्जिनल कवरेज।
सीमा: इसके लिए वैध बाउंड्स के गैर-तुच्छ निर्माण की आवश्यकता होती है और यह अनुमान संबंधी अशुद्धियों के प्रति संवेदनशील है।

2. कॉन्फॉर्मल सेट-वैल्यूड पॉलिसी लर्निंग (नॉइज़ी लेबल रिजीम)

यह समझते हुए कि इष्टतम उपचार अदृश्य हैं, लेखक पॉलिसी लर्निंग को एक नॉइज़ी लेबल रिजीम के तहत वर्गीकरण कार्य के रूप में फ्रेम करते हैं, जहाँ अनुमानित इष्टतम उपचार ग्राउंड ट्रुथ के प्रॉक्सी के रूप में कार्य करते हैं।

मेटा-एल्गोरिदम:
1. ब्लैक-बॉक्स लेबल जनरेशन: डेटा के एक उपसमुच्चय पर एक पॉलिसी लर्नर (जैसे, Q-learning, पॉलिसी ट्रीज़) को प्रशिक्षित करके नॉइज़ी लेबल्स $\hat{A}^*$ (इष्टतम उपचारों के अनुमान) उत्पन्न करें।
2. नॉनकॉन्फॉर्मिटी स्कोर: एक स्कोर फंक्शन $s_n(x, a)$ (जैसे, मार्जिन-आधारित) सीखें जो कैलिब्रेशन डेटा के सापेक्ष एक उम्मीदवार उपचार के संरेखण को मात्रात्मक रूप से दर्शाता है।
3. नॉइज़ी कैलिब्रेशन: नॉइज़ी लेबल्स $\hat{A}^*$ का उपयोग करके कैलिब्रेशन सेट पर स्कोर की गणना करें और एक क्वांटाइल थ्रेशोल्ड $\hat{q}_{1-\alpha}$ प्राप्त करें।
4. प्रेडिक्शन सेट: $C_\alpha(x) = \{a : s_n(x, a) < \hat{q}_{1-\alpha}\}$ को परिभाषित करें।
कवरेज अंतराल को संबोधित करना: नॉइजी लेबल्स पर मानक कॉन्फॉर्मल प्रेडिक्शन बिना धारणाओं के वास्तविक इष्टतम उपचारों के लिए कवरेज की गारंटी नहीं देता है। लेखक मार्जिनल कवरेज सुनिश्चित करने के लिए दो रणनीतियाँ प्रस्तावित करते हैं:
1. रैंक-प्रिजर्विंग धारणा: यह मानता है कि एस्टिमेटर उपचार माध्यों के क्रम को सुरक्षित रखता है। यदि यह संतुष्ट है, तो कवरेज की गारंटी है।
2. रैंडमनेस इंजेक्शन (Randomness Injection): स्ट्रिक्ट स्ट्रक्चरल धारणाओं के बिना स्टोकेस्टिक डोमिनेंस को लागू करने के लिए एक नवीन दृष्टिकोण।
  - शुद्ध रैंडम लेबल्स के साथ मिश्रण करके नॉइजी लेबल्स को प्रोबेबिलिटी $r$ के साथ विक्षेपित (perturb) करें: $\hat{A}^*_{r,i} = R_i \cdot A^{rd}_i + (1-R_i) \cdot \hat{A}^*_i$ ।
  - यह नियंत्रित रैंडमनेस नॉनकॉन्फॉर्मिटी स्कोर को स्टोकेस्टिक रूप से बढ़ाता है, जिससे यह सुनिश्चित होता है कि प्रेडिक्शन सेट्स वास्तविक इष्टतम उपचारों को कवर करने के लिए पर्याप्त कंजर्वेटिव हैं। थ्योरम 1 कवरेज सुनिश्चित करने के लिए $r$ पर एक स्थिति प्रदान करता है।

मूल्यांकन मेट्रिक्स

यह शोध पत्र सेट-पॉलिसी वैल्यू का मूल्यांकन करने के लिए सेट-पॉलिसी वैल्यू पेश करता है, क्योंकि मानक पॉलिसी वैल्यू मेट्रिक्स सेट्स के लिए अपर्याप्त हैं।

चॉइस फंक्शन ( $\delta$ ): सेट से एक एकल उपचार चुनने वाला एक मैपिंग।
यूनिफॉर्म सेट-पॉलिसी वैल्यू ( $\bar{V}_P(C)$ ): अपेक्षित परिणाम यदि सेट से यादृच्छिक रूप से (uniformly at random) एक उपचार चुना जाता है। यह उस निर्णय लेने वाले के मूल्य के निचले स्तर (lower bound) के रूप में कार्य करता है जो रैंडम सिलेक्शन से बेहतर प्रदर्शन करता है।

मुख्य परिणाम

सिंथेटिक प्रयोग

कवरेज: प्रयोगों से पता चलता है कि रैंडमनेस इंजेक्शन ( $r=0$ ) के बिना, अनुमान संबंधी त्रुटियों के कारण कवरेज गारंटी अक्सर बाधित होती है। मध्यम स्तर की रैंडमनेस (जैसे, $r=0.2$ ) पेश करने से मार्जिनल कवरेज सफलतापूर्वक बहाल हो जाता है।
ट्रेड-ऑफ्स: कवरेज सुनिश्चित करने के लिए $r$ बढ़ाने से प्रेडिक्टेड सेट्स की औसत कार्डिनैलिटी (बड़ा और अधिक कंजर्वेटिव होना) बढ़ जाती है। GLB विधि भी कवरेज प्राप्त करती है लेकिन अनुमान संबंधी त्रुटियों के प्रति संवेदनशीलता के कारण ओवर-कवर करती है।
वैल्यू: उच्च सेट-पॉलिसी वैल्यू बनाए रखने के लिए उच्च कॉन्फिडेंस लेवल (कम $\alpha$ ) या उच्च रैंडमनेस लेवल की आवश्यकता होती है, जो सेट के आकार (सूचनात्मकता) और कवरेज विश्वसनीयता के बीच संतुलन बनाता है।

वास्तविक अनुप्रयोग: इन-विट्रो फर्टिलाइजेशन (IVF)

डेटासेट: 18,538 ओवेरियन स्टिमुलेशन साइकिल और ऑर्डिनल गोनाडोट्रोपिन डोज और परिणाम (फॉलिकुलर यील्ड और एस्ट्राडियोल स्तर)।
निष्कर्ष:
- सेट-वैल्यूड पॉलिसियां चरम डोज़ को सफलतापूर्वक फ़िल्टर करती हैं, जिससे उपचारों की ऑर्डिनल संरचना बनी रहती है।
- निर्णय समर्थन: यह ढांचा माध्यमिक उद्देश्यों को एकीकृत करने की अनुमति देता है। उदाहरण के लिए, यूनिफॉर्म सैंपलिंग की तुलना में फॉलिकुलर यील्ड में मामूली कमी के साथ प्रभावी रूप से एस्ट्राडियोल स्तरों को नियंत्रित करने के लिए "मिनिमल डोज" रणनीति ( $\delta_{lower}$ ) को सेट-वैल्यूड आउटपुट पर लागू किया गया।
- कार्डिनैलिटी: सिंथेटिक सेटिंग्स की तरह, उच्च रैंडमनेस स्तरों से बड़े सेट मिले, जो सुरक्षित लेकिन संभावित रूप से अधिक बोझिल निर्णय स्थान प्रदान करते हैं।

महत्व और दावे

यह पेपर दावा करता है कि यह कारण नीति शिक्षण ढांचे के भीतर औपचारिक कवरेज गारंटी के साथ सेट-वैल्यूड नीतियां सीखने वाला पहला है। इसका महत्व निम्नलिखित में निहित है:

प्रतिमान परिवर्तन: निर्णय "निर्धारित" करने से बदलकर निर्णय लेने वालों को संभावित विकल्पों के एक सेट के साथ "समर्थन" देने की ओर, जो मल्टी-ट्रीटमेंट सेटिंग्स में "लर्निंग-टू-डिफर" ढांचे का सामान्यीकरण करता है।
अंतर्निहित अनिश्चितता मात्रात्मककरण: प्रेडिक्टेड सेट का आकार निर्णय की अस्पष्टता के स्तर को स्वाभाविक रूप से दर्शाता है, जिससे चिकित्सकों को कार्रवाई योग्य विश्वास स्तर मिलते हैं।
मॉडल एग्नोस्टिक: कॉन्फॉर्मल दृष्टिकोण मॉडल-एग्नोस्टिक है और इसे किसी विशेष मजबूती संशोधनों की आवश्यकता के बिना किसी भी ब्लैक-बॉक्स पॉलिसी लर्निंग पद्धति के साथ जोड़ा जा सकता है।
अनदेखे ग्राउंड ट्रुथ को संभालना: नॉइजी-लेबल साहित्य से अंतर्दृष्टि का लाभ उठाकर और रैंडमनेस इंजेक्शन पेश करके, यह विधि इष्टतम उपचारों के अदृश्य होने और अनुमानित नियमों के बीच के अंतर को पाटती है, जो अंतर्निध आधारभूत एस्टिमेटर के मजबूती गुणों पर निर्भर किए बिना कठोर कवरेज गारंटी प्रदान करती है।
नैदानिक प्रासंगिकता: IVF अनुप्रयोग प्रदर्शित करता है कि ये विधियां मजबूत, कार्रवाई योग्य नीतियां बनाती हैं जो प्रदर्शन और सुरक्षा के बीच संतुलन बनाने के लिए नैदानिक बाधाओं (जैसे, डोज डी-एस्केलेशन) को शामिल कर सकती हैं।

लेखक निष्कर्ष निकालते हैं कि विश्वसनीय व्यक्तिगत निर्णय लेने के लिए ऐसे तरीकों की आवश्यकता है जो सांख्यिकीय अनिश्चितता और मॉडलिंग त्रुटि की उपस्थिति में भरोसेमंद बने रहें। उनका ढांचा मानव निर्णय लेने वालों को बदलने के बजाय उनका समर्थन करता है, जिससे संदर्भ-जागरूक विकल्प सुलभ होते हैं जो माध्यमिक उद्देश्यों और नैदानिक निर्णय को शामिल करते हैं।