The Clinician's Veto: Navigating Trust, Liability, and Uncertainty in Autonomous AI Prescribing
136 अमेरिकी चिकित्सकों के एक सर्वेक्षण के आधार पर, यह शोध पत्र तर्क देता है कि सुरक्षित स्वायत्त एआई प्रिस्क्राइबिंग (नुस्खा लिखने) के लिए विशिष्ट वास्तुशिल्प विशेषताओं—जैसे कि कैलिब्रेटेड कॉन्फिडेंस थ्रेशोल्ड, विभेदित अनिश्चितता संचार, और अनुमानात्मक पारदर्शिता—की आवश्यकता है ताकि नैदानिक स्वीकृति सुनिश्चित की जा सके, सिस्टम डिजाइनरों के साथ दायित्व को संरेखित किया जा सके, और "स्वायत्त" एआई को प्रभावी ढंग से एक गहन रूप से पर्यवेक्षित निर्णय-सहायता उपकरण के रूप में पुनर्गठित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ एक कंप्यूटर प्रोग्राम बिना किसी डॉक्टर द्वारा मरीज का चार्ट देखे, दवा का नुस्खा (प्रिस्क्रिप्शन) लिख सकता है। यह वह भविष्य है जिसे कुछ नए कानून (जैसे अमेरिका में H.R. 238) और यूटा जैसे स्थानों में पायलट प्रोग्राम बनाने की कोशिश कर रहे हैं। वे चाहते हैं कि AI एक "स्वायत्त एजेंट" (autonomous agent) के रूप में कार्य करे—एक डिजिटल डॉक्टर जो अपने आप निर्णय ले सके।
हालाँकि, UVA और कॉर्नेल जैसे विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने एक महत्वपूर्ण सवाल पूछा: "क्या वास्तविक डॉक्टर वास्तव में इस पर भरोसा करेंगे, और क्या यह सुरक्षित है?"
उन्होंने 136 प्रिस्क्राइबिंग क्लिनिशियनों (डॉक्टरों, नर्स प्रैक्टिशनर्स आदि) का सर्वेक्षण किया और पाया कि हालांकि डॉक्टर AI द्वारा उनकी मदद करने के लिए तैयार हैं, लेकिन वे AI को अकेले "कार चलाने" (फैसले लेने) देने के लिए तैयार नहीं हैं। वास्तव में, शोधकर्ताओं का तर्क है कि इसे सुरक्षित बनाने के लिए, AI से उसकी बहुत सारी "स्वायत्तता" (autonomy) छीन लेनी चाहिए और उसे एक कड़े पर्यवेक्षण वाले उपकरण में बदल देना चाहिए।
उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण यहाँ दिया गया है:
1. "स्पीडोमीटर" की समस्या (कैलिब्रेटेड कॉन्फिडेंस)
समस्या: एक ऐसी सेल्फ-ड्राइविंग कार की कल्पना करें जो सोचती है कि वह बिल्कुल सही चल रही है, लेकिन वास्तव में वह दीवार से टकराने ही वाली है। यदि कार का आंतरिक "कॉन्फिडेंस मीटर" (आत्मविश्वास मीटर) खराब है (अन-कैलिब्रेटेड है), तो उसे पता नहीं चलेगा कि रुकना है।
निष्कर्ष: डॉक्टरों ने कहा कि वे तब तक AI को दवा लिखने की अनुमति नहीं देंगे जब तक कि इसमें एक विश्वसनीय "स्पीडोमीटर" (एक कैलिब्रेटेड कॉन्फिडेंस स्कोर) न हो।
- यह कैसे काम करता है: यदि AI 99% सुनिश्चित है, तो वह कार्य कर सकता है। लेकिन यदि वह केवल 60% सुनिश्चित है, तो उसे ब्रेक लगाना चाहिए और कहना चाहिए, "मुझे यकीन नहीं है, एक इंसान को इसे जांचने की जरूरत है।"
- परिणाम: डॉक्टरों ने इस "ब्रेक सिस्टम" वाले AI को बहुत अधिक सुरक्षित माना। इसके बिना, उन्हें यह बहुत खतरनाक लगा। वे इस बात पर भी काफी हद तक सहमत थे कि एक नियामक निकाय या डॉक्टरों के बोर्ड को यह नियम तय करना चाहिए कि AI कब ब्रेक लगाएगा, न कि स्वयं AI कंपनी।
2. "दो प्रकार का भ्रम" (डिफरेंशिएटेड अनसर्टेन्टी)
समस्या: कभी-कभी AI इसलिए भ्रमित होता है क्योंकि स्थिति वास्तव में जटिल है (जैसे दुर्लभ, जटिल लक्षणों वाला मरीज)। अन्य समय में, वह इसलिए भ्रमित होता है क्योंकि उसने अपने ट्रेनिंग डेटा में ऐसा मामला पहले कभी नहीं देखा है (वह बस अनजान है)।
निष्कर्ष: डॉक्टर चाहते हैं कि AI समझाए कि वह क्यों भ्रमित है, क्योंकि दोनों स्थितियों के समाधान अलग होते हैं।
- प्रकार A (जटिल मामला / एलीओरेटिक - Aleatoric): AI डेटा को जानता है, लेकिन उत्तर स्पष्ट नहीं है।
- उपमा: यह एक मौसम विज्ञानी की तरह है जो कहता है, "बारिश हो सकती है, या नहीं भी हो सकती है; यहाँ दो सबसे अच्छे पूर्वानुमान दिए गए हैं।"
- डॉक्टर की प्राथमिकता: डॉक्टर को प्रतिस्पर्धी विकल्प दिखाएं ताकि डॉक्टर अंतिम निर्णय ले सके।
- प्रकार B (अनजान मामला / एपिस्टेमिक - Epistemic): AI को समझ नहीं आ रहा है कि क्या हो रहा है क्योंकि उसने अभी तक इस पैटर्न को सीखा ही नहीं है।
- उपमा: यह एक ऐसे GPS की तरह है जो आपको उस जंगल के माध्यम से ले जाने की कोशिश कर रहा है जिसका उसके पास कोई नक्शा नहीं है।
- डॉक्टर की प्राथमिकता: AI को चुप रहना चाहिए। उसे अनुमान नहीं लगाना चाहिए या "सबसे अच्छा विकल्प" पेश नहीं करना चाहिए क्योंकि इससे डॉक्टर को एक गलत विचार का पालन करने के लिए बहकाया जा सकता है (इसे "ऑटोमेशन बायस" कहा जाता है)। AI को बस कहना चाहिए, "मुझे नहीं पता, यहाँ कच्चा डेटा (raw data) है, आप इसे समझ लें।"
3. "दोष किसे मिलेगा?" का प्रश्न (लायबिलिटी और पारदर्शिता)
समस्या: यदि AI गलत नुस्खा देता है और मरीज बीमार हो जाता है, तो जिम्मेदार कौन है? वह डॉक्टर जिसने हस्ताक्षर किए? वह कंपनी जिसने AI बनाया? या अस्पताल?
निष्कर्ष:
- जब AI अकेले कार्य करता है (मानव समीक्षा के बिना): यदि AI बिना किसी इंसान से पूछे गलती करता है, तो डॉक्टरों का मानना है कि संस्थाओं (AI कंपनी, अस्पताल, नियामक) को दोष लिया जाना चाहिए, न कि व्यक्तिगत डॉक्टर को।
- जब AI मदद मांगता है (मानव समीक्षा के साथ): यदि AI कहता है, "मैं अनिश्चित हूँ," और एक मानव डॉक्टर इसकी समीक्षा करता है और AI से सहमत होता है, तो डॉक्टर अधिक जिम्मेदारी लेने के लिए तैयार होते हैं।
- मुख्य बात: डॉक्टर केवल तभी जिम्मेदारी लेने में सहज महसूस करते हैं यदि AI अपने सोचने के तरीके के बारे में पारदर्शी हो और यह स्वीकार करे कि वह कब अनिश्चित है। यदि AI अपनी अनिश्चितता को छिपाता है, तो डॉक्टरों को लगता है कि AI की छिपी हुई गलतियों के लिए उन्हें दोषी ठहराना अनुचित है।
बड़ा निष्कर्ष: "स्वायत्तता" एक मिथक है
शोधकर्ताओं का तर्क है कि इसे सुरक्षित बनाने के लिए, हमें "स्वायत्त AI" के अर्थ को बदलना होगा।
- वर्तमान दृष्टिकोण: एक रोबोट डॉक्टर जो अकेले काम करता है।
- सुरक्षित दृष्टिकोण: एक रोबोट जो लगातार निगरानी में रहता है, जानता है कि कब रुकना है और मदद मांगनी है, अपने भ्रम को स्पष्ट रूप से समझाता है, और स्वीकार करता है कि वह कब कुछ नहीं जानता।
लेख का निष्कर्ष है कि यदि हम AI को इस तरह से बनाते हैं, तो यह एक "स्वायत्त एजेंट" होने के बजाय एक बहुत ही स्मार्ट और बहुत ही सतर्क सहायक की तरह बन जाता है।
डॉक्टरों का फैसला:
सर्वेक्षण में अधिकांश डॉक्टर वर्तमान में AI को अपने आप दवा लिखने देने के खिलाफ हैं। वे केवल तभी विचार करने को तैयार हैं यदि AI को मजबूर किया जाए कि:
- जब वह 100% आश्वस्त न हो, तो रुक जाए और मदद मांगे।
- "यह एक कठिन मामला है" और "मैं इस मामले को नहीं जानता" के बीच अंतर बताए।
- अपने तर्क के बारे में पारदर्शी रहे ताकि यदि कुछ गलत हो जाता है, तो AI बनाने वाली कंपनी को दोष मिले, न कि डॉक्टर को।
इन नियमों के बिना, डॉक्टरों को लगता है कि यह प्रणाली उपयोग के लिए बहुत जोखिम भरी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।