Multi Armed Bandit Based Adaptive Model Selection for Clinical AI Governance An Infrastructure Approach to Safer AI Use in U.S. Healthcare
यह शोध पत्र नैदानिक एआई (clinical AI) के लिए एक मल्टी-आर्म्ड बैंडिट-आधारित शासन ढांचे का प्रस्ताव करता है जो भविष्य कहनेवाला गुणवत्ता, लागत और सुरक्षा दंडों के बीच संतुलन बनाकर प्रमाणित मॉडलों के बीच गतिशील रूप से चयन करता है, और MIMIC-IV सिमुलेशन के माध्यम से यह प्रदर्शित करता है कि जबकि रिग्रेट-मिनिमाइजिंग (regret-minimizing) नीतियां स्थिर परिनियोजन की तुलना में बेहतर प्रदर्शन करती हैं, उप-इष्टतम मॉडलों को आत्मविश्वासपूर्ण तरीके से सेवानिवृत्त करने के लिए विशिष्ट नैदानिक धाराओं की तुलना में काफी अधिक डेटा की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अस्पताल के गहन देखभाल इकाई (आईसीयू) के उच्च-जोखिम वाले वातावरण में, डॉक्टर यह भविष्यवाणी करने के लिए कंप्यूटर प्रोग्रामों पर भरोसा करते हैं कि किन रोगियों के मरने की संभावना सबसे अधिक है। ये प्रोग्राम, जिन्हें क्लिनिकल आर्टिफिशियल इंटेलिजेंस (एआई) मॉडल कहा जाता है, महत्वपूर्ण संकेतों और लैब परिणामों के सूक्ष्म पैटर्न को पहचानने के लिए पिछले चिकित्सा रिकॉर्ड के विशाल डेटा पर प्रशिक्षित होते हैं। हालाँकि, अस्पतालों को अक्सर इन प्रोग्रामों के कई अलग-अलग संस्करणों के साथ जूझना पड़ता है, जिनमें से प्रत्येक को अलग-अलग टीमों द्वारा बनाया गया होता है और प्रत्येक को चलाने के लिए अलग-अलग मात्रा में डेटा की आवश्यकता होती है। कुछ सरल और सस्ते होते हैं, जिन्हें केवल हृदय गति और तापमान जैसे बुनियादी रीडिंग की आवश्यकता होती है। अन्य जटिल और महंगे होते हैं, जिन्हें रक्त परीक्षणों और उन्नत इमेजिंग के पूर्ण सेट की आवश्यकता होती है। मानक अभ्यास एक मॉडल चुनने, उसी पर टिके रहने और एक निर्धारित समीक्षा तक प्रत्येक रोगी के लिए उसका उपयोग करने का रहा है। यह स्थिर दृष्टिकोण यह मान लेता है कि एक बार के परीक्षण के दौरान चुना गया मॉडल हमेशा के लिए सर्वश्रेष्ठ विकल्प बना रहेगा, जो इस वास्तविकता की अनदेखी करता है कि रोगी आबादी बदलती है, डेटा की उपलब्धता बदलती है, और इन प्रोग्रामों को चलाने की लागत प्रतिदिन बदलती रहती है।
अस्पताल प्रशासकों के लिए चुनौती यह है कि वे बिना किसी जोखिम भरे अनुमान के इन उपकरणों के पोर्टफोलियो का प्रबंधन कैसे करें। उन्हें यह निर्णय लेने के लिए एक ऐसी प्रणाली की आवश्यकता है जो वास्तविक समय में, किसी विशिष्ट रोगी के लिए, प्रोग्राम चलाने की लागत और रोगी की सुरक्षा के बीच संतुलन बनाते हुए, सही मॉडल का चयन कर सके। यदि कोई अस्पताल बहुत जल्दी बदलाव करता है, तो वे बदकिस्मती के एक मामूली झटके के आधार पर एक अच्छे उपकरण को त्याग सकते हैं। यदि वे बहुत धीरे बदलाव करते हैं, तो वे एक महंगे या कम सटीक उपकरण का उपयोग तब तक जारी रख सकते हैं जब तक कि बेहतर विकल्प सामने न आ जाए। यह दुविधा कंप्यूटर विज्ञान और चिकित्सा शासन (मेडिकल गवर्नेंस) के मिलन बिंदु पर स्थित है, जो एक मौलिक प्रश्न पूछती है: एक पुराने मॉडल को आत्मविश्वास के साथ सेवानिवृत्त करने और नए मॉडल से बदलने के लिए वास्तव में कितने साक्ष्य आवश्यक हैं, विशेष रूप से तब जब रोगी के परिणाम (आउटकम) का पता लगने में कई दिन लग सकते हैं?
बोस्टन यूनिवर्सिटी के एक शोधकर्ता, जूलियन बोर्गेस ने इस प्रश्न का समाधान करने के लिए अस्पताल की निर्णय लेने की प्रक्रिया का एक डिजिटल सिमुलेशन बनाया। वास्तविक रोगियों पर इसका परीक्षण करने के बजाय, जो अनैतिक और संभावित रूप से खतरनाक होता, उन्होंने पिछले गहन देखभाल इकाइयों के ठहराव के एक विशाल, सार्वजनिक रूप से उपलब्ध डेटाबेस का उपयोग करके एक आभासी वातावरण बनाया। इस सिमुलेशन में, तीन अलग-अलग कंप्यूटर मॉडल को एक निर्णय लेने वाली मशीन के "आर्म्स" (arms) के रूप में माना गया। एक आर्म एक सरल मॉडल था जो केवल महत्वपूर्ण संकेतों का उपयोग करता था, दूसरा एक मध्यम-जटिलता वाला मॉडल था जो मुख्य लैब परीक्षणों का उपयोग करता था, और तीसरा एक जटिल मॉडल था जो लैब परीक्षणों के एक विस्तृत पैनल का उपयोग करता था। प्रत्येक आर्म का एक अलग "लागत" (cost) था, जो आवश्यक डेटा को एकत्र करने और संसाधित करने के परिचालन बोझ का प्रतिनिधित्व करता था। लक्ष्य यह देखना था कि क्या एक अनुकूलित (adaptive) प्रणाली प्रत्येक रोगी के लिए सबसे अच्छा आर्म चुनने में सक्षम है, या क्या यह किसी विशिष्ट आर्म का उपयोग करना पूरी तरह से बंद करने का आत्मविश्वास से निर्णय ले सकती है।
इस अध्ययन ने मॉडल चयन के बारे में सोचने का एक नया तरीका पेश किया, इसे एक बार के कॉन्फ़िगरेशन के बजाय, विकल्पों के एक निरंतर क्रम के रूप में देखा। सिस्टम को "गवर्नेंस वेट्स" (governance weights) का एक सेट दिया गया था, जो इसे पैसे बचाने बनाम जीवन बचाने को कितना महत्व देना है, यह बताता था। उदाहरण के लिए, सिस्टम को मृत्यु को मिस करने के लिए भारी दंड देने के लिए प्रोग्राम किया गया था, जबकि साथ ही जटिल मॉडलों को चलाने की लागत को भी ध्यान में रखा गया था। इसके बाद शोधकर्ताओं ने 7,383 आभासी रोगी ठहरावों पर सिमुलेशन चलाया, जो एक वास्तविक अस्पताल के प्रवाह की नकल करता है जहाँ परिणाम भविष्यवाणी किए जाने के कुछ घंटों या दिनों बाद आते हैं। उन्होंने अपने अनुकूलित सिस्टम की तुलना कई अन्य रणनीतियों से की, जिसमें वह मॉडल भी शामिल था जो कागजों पर सबसे अच्छा दिखता था और अन्य गणितीय विधियाँ भी जो 'रिग्रेट' (regret) को कम करने के लिए डिज़ाइन की गई थीं, यानी उस नुकसान को कम करना जो सही विकल्प न चुनने के कारण होता है।
इस सिमुलेशन के परिणामों ने क्लिनिकल एआई के परिवर्तन की गति के बारे में एक आश्चर्यजनक और गंभीर वास्तविकता का खुलासा किया। हजारों सिमुलेशन चलाने के बावजूद, आत्मविश्वासपूर्ण और त्रुटि-नियंत्रित निर्णय लेने के लिए डिज़ाइन किया गया अनुकूलित सिस्टम किसी भी तीन मॉडलों को सेवानिवृत्त नहीं कर सका। सरल, सस्ते मॉडल और जटिल, महंगे मॉडलों के बीच प्रदर्शन का अंतर इतना कम था कि अध्ययन की समय सीमा के भीतर निश्चितता के साथ पता नहीं लगाया जा सका। सिस्टम ने पाया कि विशिष्ट नियमों के तहत "सबसे सस्ता" मॉडल वास्तव में सबसे अच्छा विकल्प था, लेकिन अन्य मॉडलों के साथ इसका अंतर इतना कम था कि सिस्टम को सुनिश्चित होने के लिए बहुत अधिक डेटा की आवश्यकता थी। सबसे महंगे मॉडल को सबसे सस्ते मॉडल से बदतर साबित करने के लिए, सिमुलेशन ने दिखाया कि अस्पताल को उस विशिष्ट मॉडल के लिए लगभग 7,500 परिणामों को देखने की आवश्यकता होगी। सिमुलेशन में 7,383 रोगियों के प्रवाह में, यह आवश्यकता पूरी नहीं हुई।
यह निष्कर्ष बताता है कि अल्पकालिक प्रदर्शन डेटा के आधार पर क्लिनिकल एआई मॉडल को तेजी से बदलना अवास्तविक हो सकता है। अध्ययन ने यह भी गणना की कि रोगियों के आने की सामान्य दर पर, इस विशिष्ट अस्पताल में पर्याप्त साक्ष्य एकत्र करने के लिए केवल सबसे महंगे मॉडल को सेवानिवृत्त करने हेतु लगभग पांच साल के निरंतर प्रवेशों की आवश्यकता होगी। भले ही कोई मॉडल स्पष्ट रूप से खराब और खराब प्रदर्शन करने वाला हो, फिर भी सिस्टम को पूरी तरह से आश्वस्त होने के लिए प्रति मॉडल लगभग 3,000 परिणामों की आवश्यकता थी, एक ऐसी प्रक्रिया जिसमें लगभग दो साल का समय लगेगा। शोधकर्ताओं ने नोट किया कि हालांकि अन्य, तेज़ तरीके एक खराब मॉडल से अधिक तेज़ी से दूर हो सकते थे, लेकिन वे बिना किसी गारंटीकृत सुरक्षा जाल के ऐसा करते थे, जिसका अर्थ था कि हमेशा गलती करने की संभावना बनी रहती थी।
अध्ययन ने यह भी पता लगाया कि क्या होगा यदि अस्पताल द्वारा चुना गया मॉडल शुरुआत में गलत ही था। ऐसे परिदृश्यों में, जहाँ कागजों पर "सर्वश्रेष्ठ" मॉडल सिमुलेशन में खराब प्रदर्शन करता है, तेज़, रिग्रेट-मिनिमाइजिंग सिस्टम रोगियों के प्रवाह के भीतर एक बेहतर मॉडल पर स्विच करने में सक्षम थे। हालाँकि, वह सिस्टम जो अपने निर्णयों के बारे में पूरी तरह से आश्वस्त होने के लिए डिज़ाइन किया गया था, स्पष्ट रूप से विफल होने पर भी स्विच करने में बहुत अधिक समय लेता था। यह एक मौलिक ट्रेड-ऑफ (trade-off) को उजागर करता है: एक अस्पताल मॉडल को जल्दी बदल सकता है और गलती करने का जोखिम उठा सकता है, या वह पूर्ण निश्चितता के लिए प्रतीक्षा कर सकता है, लेकिन वह निश्चितता समय और संभावित रूप से एक उप-इष्टतम (suboptimal) उपकरण के निरंतर उपयोग की कीमत पर आती है।
अंततः, यह शोध प्रदर्शित करता है कि क्लिनिकल एआई मॉडल को सेवानिवृत्त करने का निर्णय केवल एक तकनीकी समस्या नहीं बल्कि एक शासन (governance) संबंधी समस्या है। एक अस्पताल कितनी तेज़ी से अपने उपकरणों को बदल सकता है, यह काफी हद तक उन नियमों पर निर्भर करता है जो वह अपने लिए निर्धारित करता है, जैसे कि वह लागत बनाम सटीकता को कितना महत्व देता है, और कार्य की अंतर्निहित कठिनाई। अध्ययन अस्पतालों की समितियों के लिए उपयोग करने के लिए एक स्पष्ट गणितीय ढांचा प्रदान करता है, जिससे वे गणना कर सकते हैं कि उन्हें सुरक्षित रूप से कोई परिवर्तन करने से पहले कितने रोगी परिणामों को एकत्र करने की आवश्यकता है। यह "शायद हमें बदलना चाहिए" की एक अस्पष्ट भावना को एक ठोस संख्या में बदल देता है, जो यह दर्शाता है कि कई वर्तमान एआई मॉडलों के लिए, साक्ष्य की क्षितिज (evidence horizon) लंबी है, और धैर्य सुरक्षित, अनुकूलित एआई उपयोग का एक आवश्यक हिस्सा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।