🤖 machine learning

Quantifying Potential Observation Missingness in Inverse Reinforcement Learning

यह शोध पत्र वास्तविक दुनिया के व्यवहार संबंधी डेटासेट में लुप्त अवलोकनों (missing observations) की समस्या को संबोधित करता है जो इनवर्स रिइन्फोर्समेंट लर्निंग (IRL) को गुमराह कर सकते हैं, और एक ऐसे एल्गोरिदम का प्रस्ताव करता है जो विशेषज्ञ कार्यों को इष्टतम (optimal) दिखाने के लिए आवश्यक न्यूनतम व्यवधानों (minimal perturbations) को परिमाणित करता है, जिससे स्वास्थ्य सेवा जैसे अनुप्रयोगों में संभावित डेटा अंतराल की पहचान करने में मदद मिलती है।

मूल लेखक: Leo Benac, Abhishek Sharma, Alihan Huyuk, Finale Doshi-Velez

प्रकाशित 2026-05-14

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Leo Benac, Abhishek Sharma, Alihan Huyuk, Finale Doshi-Velez

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि एक मास्टर शेफ हमेशा एक निश्चित समय पर नमक का एक खास चुटकी क्यों डालता है। आपके पास शेफ के खाना बनाने का एक वीडियो रिकॉर्डिंग है, लेकिन एक समस्या है: कैमरा खराब है। यह काउंटर पर रखी सामग्री और शेफ के हाथों की गतिविधियों को तो रिकॉर्ड करता है, लेकिन यह शेफ के नाक से हवा सूंघने या उनकी आँखों द्वारा टाइमर चेक करने को रिकॉर्ड करने में विफल रहता है।

वास्तविक दुनिया में, शेफ शायद यह सूंघकर जान जाता है कि सूप बहुत नमकीन हो रहा है (एक छिपी हुई जानकारी) और वह और अधिक नमक डालने का निर्णय नहीं लेता है। लेकिन आपके इस खराब वीडियो में, ऐसा लगता है जैसे शेफ सूप की स्थिति को अनदेखा कर रहा है और बेतरतीब ढंग से काम कर रहा है। यदि आप केवल इस खराब वीडियो को देखकर शेफ की "रेसिपी" (उनके लक्ष्य) का अनुमान लगाने की कोशिश करते हैं, तो आप यह निष्कर्ष निकाल सकते हैं कि शेफ खाना बनाने में बुरा है या उसकी रेसिपी अजीब और असंगत है।

यह शोध पत्र इस जासूसी कार्य को ठीक करने के बारे में है। यह एक नई विधि पेश करता है जिसे MP-IRL (मिनिमम-पर्टरबेशन इनवर्स रीइन्फोर्समेंट लर्निंग) कहा जाता है, जो एक सरल प्रश्न का उत्तर देता है: "हमें कितनी गायब जानकारी को मौजूद मानना होगा ताकि विशेषज्ञ के कार्यों को पूरी तरह से तार्किक बनाया जा सके?"

यहाँ बताया गया है कि यह कैसे काम करता है, रोजमर्रा के उपमाओं का उपयोग करते हुए:

1. समस्या: "खराब कैमरा" प्रभाव

कई क्षेत्रों में, जैसे स्वास्थ्य सेवा (healthcare) में, हम विशेषज्ञों (जैसे डॉक्टरों) के पिछले रिकॉर्ड को देखकर उनसे सीखने की कोशिश करते हैं।

परिदृश्य: एक डॉक्टर उच्च रक्तचाप वाले मरीज को दवा A देता है, और कम रक्तचाप वाले मरीज को दवा B देता है।
गायब डेटा: अस्पताल का डेटाबेस उपचार को तो रिकॉर्ड करता है, लेकिन उस सटीक क्षण पर रक्तचाप की रीडिंग को नहीं।
गलती: यदि कोई कंप्यूटर इस अधूरे डेटा से डॉक्टर के "रिवॉर्ड फंक्शन" (वे क्या हासिल करने की कोशिश कर रहे हैं) को सीखने की कोशिश करता है, तो वह भ्रमित हो जाता है। वह देखता है कि डॉक्टर कुछ मरीजों को दवा B दे रहा है और दूसरों को दवा A, जिसमें कोई स्पष्ट पैटर्न नहीं दिख रहा है। उसे लग सकता है कि डॉक्टर गलतियाँ कर रहा है या उसका रिवॉर्ड फंक्शन अव्यवस्थित है।

2. समाधान: "अदृश्य चर" (The Invisible Variable)

केवल यह कहने के बजाय कि "डेटा खराब है," यह शोध पत्र पूछता है: "हम सबसे छोटा, सरलतम 'अदृश्य चर' क्या बना सकते हैं जो विशेषज्ञ को फिर से जीनियस बना दे?"

इसे इस तरह सोचें:

आप एक व्यक्ति को क्रॉसिंग पर बाईं ओर भागते हुए देखते हैं।
आप बाद में उसी व्यक्ति को क्रॉसिंग पर दाईं ओर भागते हुए देखते हैं।
संदर्भ के बिना, वे असंगत लगते हैं।
शोध पत्र का दृष्टिकोण: यह प्रत्येक यात्रा के लिए एक छोटा, अदृश्य "संदर्भ टैग" (context tag) बनाता है।
- यात्रा 1: [संदर्भ: "लाल बत्ती"] -> क्रिया: बाईं ओर भागें।
- यात्रा 2: [संदर्भ: "हरी बत्ती"] -> क्रिया: दाईं ओर भागें।
इन छोटे टैगों को जोड़कर, व्यक्ति का व्यवहार अचानक पूरी तरह से समझ में आने लगता है। यह शोध पत्र गणना करता है कि ये टैग कितने बड़े होने चाहिए। यदि टैग बहुत बड़े हैं, तो इसका मतलब है कि बहुत सारी जानकारी गायब है। यदि वे बहुत छोटे हैं, तो गायब जानकारी कोई बड़ी बात नहीं है।

3. एल्गोरिदम कैसे काम करता है (दो-चरणीय प्रक्रिया)

लेखकों ने इन अदृश्य टैगों को खोजने के लिए एक दो-चरणीय प्रक्रिया बनाई है:

चरण 1: "सबसे अच्छा अनुमान" (Base IRL)
पहले, कंप्यूटर केवल उस डेटा का उपयोग करके विशेषज्ञ के व्यवहार को समझाने की कोशिश करता है जो उसके पास है (खराब वीडियो)। यह एक "बेस रिवॉर्ड" मॉडल बनाता है। यह यह कहने जैसा है कि, "ठीक है, जो हम देख रहे हैं उसके आधार पर, यहाँ वह सर्वश्रेष्ठ रेसिपी है जिसका हम अनुमान लगा सकते हैं।"
- परिणाम: कंप्यूटर को एहसास होता है, "मैं अभी भी इसे गलत कर रहा हूँ। विशेषज्ञ कुछ ऐसी चीजें कर रहा है जिन्हें मैं समझा नहीं सकता।"
चरण 2: "न्यूनतम सुधार" (MP-IRL)
अब, कंप्यूटर उस बेस रेसिपी को स्थिर कर देता है। वह पूछता है: "मुझे इस रेसिपी को पूरी तरह से फिट करने के लिए कितनी न्यूनतम अतिरिक्त, अदृश्य जानकारी जोड़ने की आवश्यकता है?"
- यह सटीक गायब डेटा (जैसे रक्तचाप का सटीक नंबर) का अनुमान लगाने की कोशिश नहीं करता है।
- यह केवल गायब होने की परिमाण (magnitude) की गणना करता है। यह गायब डेटा के छेद को सटीक ईंटों से भरने के बजाय, उस "छेद के आकार" को मापने जैसा है।

4. उन्होंने क्या पाया (प्रयोग)

टीम ने तीन प्रकार के "गेम्स" पर इसका परीक्षण किया:

नेविगेशन गेम्स: उन्होंने एक भूलभुलैया बनाई जहाँ एक रोबोट को बाएं या दाएं चुनना था। कभी-कभी चुनाव एक छिपे हुए रंग पर निर्भर करता था जिसे रोबोट देख सकता था, लेकिन शोधकर्ता नहीं देख पा रहे थे।
- परिणाम: जब शोधकर्ताओं ने रंग को छिपा दिया, तो मानक विधि विफल हो गई। MP-IRL ने सफलतापूर्वक पहचान लिया कि एक "छिपे हुए संदर्भ" की आवश्यकता थी और इसने उस "छिपाव" को ठीक करने के लिए आवश्यक मात्रा को सटीक रूप से मापा। इसने यह भी पता लगाया कि यदि दो छिपे हुए विकल्प थे, तो "गायब होने का आकार" बड़ा था।
कैंसर उपचार सिम्युलेटर: उन्होंने एक डॉक्टर द्वारा ट्यूमर के इलाज का अनुकरण किया।
- परिणाम: जब उन्होंने महत्वपूर्ण डेटा (जैसे ऊतक के प्रकार) को छिपाया, तो "गायब होने का आकार" बढ़ गया। जब उन्होंने महत्वहीन डेटा को छिपाया, तो आकार छोटा रहा। यह साबित करता है कि यह विधि "महत्वपूर्ण गायब जानकारी" और "अप्रासंगिक गायब जानकारी" के बीच अंतर कर सकती है।
वास्तविक ICU डेटा (MIMIC-IV): उन्होंने रक्तचाप प्रबंधन के संबंध में एक गहन देखभाल इकाई (ICU) के वास्तविक डेटा का उपयोग किया।
- परिणाम: सभी रिकॉर्ड किए गए डेटा के बावजूद, विधि ने पाया कि डॉक्टरों के निर्णयों को समझाने के लिए एक महत्वपूर्ण मात्रा में "अदृश्य संदर्भ" (जैसे डॉक्टर का बेडसाइड अंतर्ज्ञान या अनरिकॉर्डेड वाइटल्स) की आवश्यकता थी। यह सुझाव देता है कि यदि हम इस डेटा पर AI को प्रशिक्षित करने की कोशिश करते हैं, तो हम डॉक्टरों के वास्तविक लक्ष्यों को गलत समझ सकते हैं।

मुख्य निष्कर्ष

यह शोध पत्र आपको गायब डेटा वापस नहीं देता है। इसके बजाय, यह आपको गायब होने को मापने के लिए एक पैमाना (रूलर) देता है।

यह हमें बताता है: "यदि आप अपने डेटासेट में विशेषज्ञों द्वारा लिए गए निर्णयों पर भरोसा करना चाहते हैं, तो आपको यह जानना आवश्यक है कि चित्र का कितना हिस्सा गायब है। यदि 'गायब होने का आकार' बहुत बड़ा है, तो आप डेटा से AI को सिखाने के लिए भरोसा नहीं कर सकते, क्योंकि AI एक टूटे हुए चित्र से सीख रहा होगा। यदि आकार छोटा है, तो आप अधिक आश्वस्त हो सकते हैं।"

यह डेटा गुणवत्ता नियंत्रण के लिए एक उपकरण है, जो शोधकर्ताओं को यह तय करने में मदद करता है कि क्या उनका डेटासेट सीखने के लिए पर्याप्त अच्छा है या उन्हें और अधिक विवरण रिकॉर्ड करने की आवश्यकता है।

तकनीकी सारांश: इनवर्स रिइन्फोर्समेंट लर्निंग में संभावित अवलोकन विसंगति (Observation Missingness) का परिमाणीकरण

समस्या विवरण
इनवर्स रिइन्फोर्समेंट लर्निंग (IRL) विशेषज्ञ प्रदर्शनों (expert demonstrations) से रिवॉर्ड फंक्शन को अनुमानित करने के लिए उपयोग की जाती है ताकि निर्णय लेने वाले के व्यवहार को मॉडल किया जा सके। जबकि व्यक्तिपरक विश्वासों (subjective beliefs), अपूर्ण नियोजन (imperfect planning) और बदलते लक्ष्यों को संभालने के लिए IRL के विभिन्न संस्करण विकसित किए गए हैं, वास्तविक दुनिया के डेटासेट (विशेष रूप से स्वास्थ्य सेवा में) में एक महत्वपूर्ण मुद्दा जो अक्सर अनदेखा कर दिया जाता है, वह है अवलोकन विसंगति (observation missingness)। कई परिदृश्यों में, रिकॉर्ड किए गए डेटा में वे अवलोकन अनुपस्थित होते हैं जो क्रिया के समय मूल निर्णय लेने वाले के पास उपलब्ध थे।

जब ऐसी जानकारी गायब होती है, तो विशेषज्ञ की क्रियाएं एक मानक IRL एल्गोरिदम को उप-इष्टतम (suboptimal) प्रतीत हो सकती हैं, जिससे भ्रामक रिवॉर्ड अनुमान लग सकते हैं। उदाहरण के लिए, यदि किसी चिकित्सक का निर्णय एक अनरिकॉर्डेड बायोमार्कर पर निर्भर करता है, तो मानक IRL यह निष्कर्ष निकाल सकता है कि चिकित्सक उप-इष्टतम कार्य कर रहा है या रिवॉर्ड फंक्शन असंगत है, बजाय इसके कि यह पहचाना जाए कि निर्णय अनरिक録ड संदर्भ में इष्टतम था। यह शोध पत्र यह प्रस्ताव देता है कि गायब डेटा को भरने (impute करने) या गायब मानों को सटीक रूप से पुनः प्राप्त करने के प्रयास करने के बजाय, यह अधिक मूल्यवान है कि न्यूनतम विसंगति की सीमा (minimal extent of missingness) को निर्धारित किया जाए, जो देखे गए व्यवहार को इष्टतम समझाने के लिए आवश्यक है।

कार्यप्रणाली: मिनिमम-पर्टरबेशन IRL (MP-IRL)
लेखक MP-IRL प्रस्तावित करते हैं, जो एक दो-चरणीय ढांचा (two-phase framework) है जिसे रिकॉर्ड किए गए अवलोकनों में न्यूनतम विक्षेपण (perturbation) खोजने के लिए डिज़ाइन किया गया है जो विशेषज्ञ की क्रियाओं को एक इष्टतम नीति के साथ संरेखित करने के लिए आवश्यक है।

समस्या का सूत्रीकरण:
- यह सेटिंग मानती है कि एक व्यवहारिक डेटासेट $D = \{x_{nt}, a_{nt}\}$ है जहाँ $x_{nt}$ रिकॉर्ड किए गए स्टेट्स हैं और $a_{nt}$ क्रियाएं हैं। वास्तविक स्टेट में अनरिकॉर्डेड घटक $\tilde{x}_{nt}$ शामिल हैं।
- गायब डेटा की गतिशीलता (dynamics) को मॉडल करने के बजाय, यह विधि प्रत्येक प्रक्षेपवक्र (trajectory) $n$ के लिए एक स्थिर लेटेंट फैक्टर (static latent factor) $z_n$ पेश करती है, जो गायब संदर्भ का प्रतिनिधित्व करता है।
- उद्देश्य इन लेटेंट फैक्टर्स $\{z_n\}$ के परिमाण को न्यूनतम करना है, इस बाधा के अधीन कि विशेषज्ञ की क्रियाएं एक रिवॉर्ड फंक्शन $r_\theta(z_n, x_{nt}, a_{nt})$ के तहत निकट-इष्टतम (near-optimal) हों।
- यह सुनिश्चित करने के लिए कि $z_n$ का परिमाण सार्थक हो, लेखक कर्नेल फंक्शन्स (kernel functions) का उपयोग करके रिवॉर्ड को पैरामीटराइज़ करते हैं। रिवॉर्ड एक साझा बेस रिवॉर्ड $\bar{r}_\theta(x_{nt}, a_{nt})$ और कर्नेल सेंटर्स $\mu_k$ एवं गुणांकों (coefficients) $z_n$ द्वारा परिभाषित प्रक्षेपवक्र-विशिष्ट विक्षेपण पद का योग है। विसंगति के आकार को गुणांकों के $\ell_1$ नॉर्म $\|z_n\|_1$ द्वारा मापा जाता है।
एल्गोरिदम (दो-चरणीय अनुकूलन):
- चरण 1 (बेस IRL): एल्गोरिदम केवल रिकॉर्ड किए गए डेटा पर मानक IRL करता है (सभी $z_n = 0$ सेट करके)। यह सर्वोत्तम संभव बेस रिवॉर्ड $\bar{r}_\theta$ निकालता है जो बिना किसी गायब संदर्भ के व्यवहार की व्याख्या करता है।
- चरण 2 (MP-IRL): बेस रिवॉर्ड के पैरामीटर्स को फ्रीज (freeze) कर दिया जाता है। इसके बाद, एल्गोरिदम क्रिटिक नेटवर्क और प्रक्षेपवक्र-विशिष्ट लेटेंट गुणांकों $z_n$ (और वैकल्पिक रूप से कर्नेल सेंटर्स $\mu$ ) को अनुकूलित करता है।
- नियमितीकरण (Regularization): चरण 2 के ऑब्जेक्टिव फंक्शन में स्पर्सिटी पेनल्टी ( $\ell_1$ और $\ell_2$ नॉर्म्स $z_n$ पर) शामिल है ताकि "न्यूनतम-विक्षेपण" सिद्धांत को लागू किया जा सके। यह सुनिश्चित करता है कि लेटेंट वेरिएबल्स केवल उसी भिन्नता (variance) की व्याख्या करें जिसे बेस रिवॉर्ड नहीं समझा पाता, जिससे मॉडल को ओवरफिट होने या साझा रिवॉर्ड संरचना में मनमाने बदलावों के माध्यम से व्यवहार को समझाने से रोका जा सके।

प्रमुख योगदान

वैचारिक: यह शोध पत्र IRL विसंगति पर एक नया दृष्टिकोण प्रस्तुत करता है: विशेषज्ञ व्यवहार को इष्टतम दिखाने के लिए आवश्यक न्यूनतम अनरिकॉर्डेड संदर्भ को मात्रात्मक रूप से निर्धारित करना, न कि स्वयं गायब डेटा को पुनः प्राप्त करने का प्रयास करना।
तकनीकी: MP-IRL का विकास, जो एक एल्गोरिदम है जो कर्नेल-आधारित विक्षेपण और एक दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग करके इसे एक बाधा-बद्ध अनुकूलन समस्या (constrained optimization problem) के रूप में स्वरूपित करता है, जिससे साझा रिवॉर्ड संरचना और प्रक्षेपवक्र-विशिष्ट गायब संदर्भ को अलग किया जा सके।
अनुभवजन्य (Empirical): तीन सिंथेटिक निरंतर नेविगेशन कार्यों, एक कैंसर उपचार सिम्युलेटर और एक वास्तविक दुनिया के ICU हाइपोटेंशन प्रबंधन डेटासेट (MIMIC-IV) पर MP-IRL का प्रदर्शन।

प्रायोगिक परिणाम
लेखक अपने MP-IRL का मूल्यांकन तीन सिंथेटिक निरंतर नेविगेशन कार्यों, एक कैंसर उपचार सिम्युलेटर और एक वास्तविक दुनिया के ICU हाइपोटेंशन प्रबंधन डेटासेट (MIMIC-IV) पर करते हैं।

नेविगेशन कार्य: ऐसे कार्यों में जहाँ छिपे हुए बाइनरी वेरिएबल्स विशिष्ट "निर्णय क्षेत्रों" में क्रियाओं को निर्धारित करते हैं, मानक IRL इन क्षेत्रों में विशेषज्ञ क्रियाओं से मेल खाने में विफल रहता है (सटीकता ~60%)। MP-IRL इस सटीकता को लगभग 98-99% तक बहाल कर देता है। महत्वपूर्ण रूप से, सीखा गया विक्षेपण आकार ( $\|z_n\|_1$ ) गायब सूचना की जटिलता के साथ बढ़ता है: एक छिपे हुए बिट वाले कार्यों के लिए दो स्वतंत्र छिपे हुए बिट्स वाले कार्यों की तुलना में कम विक्षेपण प्राप्त हुआ।
कैंसर सिम्युलेटर: विधि का परीक्षण विभिन्न डिग्री के फीचर मास्किंग (सभी फीचर्स से लेकर केवल समय तक) के साथ किया गया। जैसे-जैसे अधिक फीचर्स छिपाए गए, मानक IRL का प्रदर्शन गिर गया (कम सटीकता, उच्च नेगेटिव लॉग-लाइक्लीहुड)। MP-IРL ने उच्च सटीकता बनाए रखी, और आवश्यक विक्षेपण आकार गायब सूचना की मात्रा के साथ निरंतर (monotonically) बढ़ा (जैसे, फीचर्स हटाने पर 0.54 से 1.65 तक)।
ICU हाइपोटेंशन कार्य: वास्तविक क्लिनिकल डेटा पर, MP-IRL ने मानक IRL की तुलना में एक्शन-मैचिंग सटीकता में महत्वपूर्ण सुधार किया (उदाहरण के लिए, ~55% से ~90% तक)। विक्षेपण का आकार कम-भविष्यवाणी वाले फीचर्स को जोड़ने पर स्थिर रहा, जो दर्शाता है कि यह मीट्रिक केवल डेटा की मात्रा के बजाय निर्णय-प्रासंगिक विसंगति को दर्शाता है।

महत्व और दावे
शोध पत्र का दावा है कि MP-IRL व्यवहारिक डेटासेट के लिए एक नैदानिक उपकरण (diagnostic tool) प्रदान करता है। यह मात्रात्मक रूप से यह निर्धारित करके कि विशेषज्ञ व्यवहार को समझाने के लिए न्यूनतम विक्षेपण कितना है, शोधकर्ता यह आकलन कर सकते हैं कि क्या डेटा में स्पष्ट उप-इष्टतमता खराब निर्णय लेने के कारण है या केवल गायब क्लिनिकल संदर्भ के कारण है।

व्यावहारिक उपयोगिता: यदि संभावित विसंगति (missingness) काफी अधिक है, तो यह सुझाव देता है कि डाउनस्ट्रीम कार्यों (जैसे पॉलिसी इवैल्यूएशन या ऑफलाइन RL) को सावधानी के साथ लिया जाना चाहिए या डेटा संग्रह प्रक्रियाओं में सुधार की आवश्यकता है।
व्याख्यात्मकता (Interpretability): यह विधि विसंगति को स्टेट स्पेस के विशिष्ट क्षेत्रों (जैसे कैंसर उपचार में विशिष्ट समय चरण या नेविगेशन में विशिष्ट निर्णय सीमाएं) में स्थानीयकृत (localize) करती है, जिससे यह अंतर्दृष्टियाँ मिलती हैं कि रिकॉर्ड किया गया डेटा कहाँ अपर्याप्त है।
सीमाएँ: लेखक स्वीकार करते हैं कि कर्नेल-आधारित प्रतिनिधित्व स्थानीयकृत कर्नेल को अनुकूलित करने की डेटा आवश्यकताओं के कारण बहुत उच्च-आयामी (high-dimensional) स्टेट स्पेस में संघर्ष कर सकता है।

यह कार्य यह दावा नहीं करता है कि यह सटीक गायब मानों को पुनः प्राप्त कर सकता है, बल्कि यह विशेषज्ञ इष्टतमता की धारणा को बनाए रखने के लिए विसंगति के स्तर पर एक मात्रात्मक सीमा प्रदान करता है।

1. समस्या: "खराब कैमरा" प्रभाव

2. समाधान: "अदृश्य चर" (The Invisible Variable)

3. एल्गोरिदम कैसे काम करता है (दो-चरणीय प्रक्रिया)

4. उन्होंने क्या पाया (प्रयोग)

मुख्य निष्कर्ष

इसी तरह के और पेपर