Reasoning in Real World Clinical Care: Why Large Language Models Are Not Yet Safe for Autonomous Clinical Decision Support
यद्यपि लार्ज लैंग्वेज मॉडल्स क्यूरेटेड कार्यों पर चिकित्सा ज्ञान और नैदानिक तर्क में दक्षता प्रदर्शित करते हैं, वे वर्तमान में स्वायत्त क्लिनिकल ट्राइएज के लिए असुरक्षित हैं क्योंकि उनकी संभाव्य टेक्स्ट-जनरेशन प्रकृति उस महत्वपूर्ण, क्रमिक सूचना-एकत्रीकरण व्यवहार को दोहराने में विफल रहती है जो सबसे संभावित उत्तर चुनने के बजाय विनाशकारी निदानों को खारिज करने को प्राथमिकता देने के लिए आवश्यक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वह जादुई डिब्बा जो सब कुछ जानता है (लेकिन असली बात समझने में चूक जाता है)
कल्पना कीजिए कि एक सुपर-स्मार्ट रोबोट है जिसने लगभग हर वह किताब, लेख और पाठ्यपुस्तक पढ़ ली है जो कभी लिखी गई है। यह पढ़ने में इतना माहिर है कि यदि आप उससे किसी स्कूल टेस्ट का सवाल पूछते हैं, तो वह ए+ (A+) प्राप्त कर लेता है। यह रोबट एक लार्ज लैंग्वेज मॉडल (LLM) है। इसे एक ऐसे प्रतिभाशाली छात्र की तरह समझें जिसने पूरी लाइब्रेरी रट ली है, लेकिन उसने वास्तव में कभी किसी अस्पताल में कदम नहीं रखा या किसी दर्द से जूझ रहे वास्तविक व्यक्ति से बात नहीं की है।
अब, कल्पना कीजिए कि हम इस रोबोट का उपयोग एक ट्राइएज नर्स (triage nurse) के रूप में करना चाहते हैं। वास्तविक दुनिया में, ट्राइएज नर्स वह पहला व्यक्ति होता है जिसे आप क्लिनिक में प्रवेश करते समय देखते हैं। उनका काम केवल यह अनुमान लगाना नहीं है कि क्या गलत है; बल्कि यह तय करना है कि क्या आपको अभी डॉक्टर को देखने की जरूरत है या आप इंतजार कर सकते हैं। यह एक बहुत बड़े जोखिम वाला खेल है। यदि नर्स गलत अनुमान लगाती है और टूटे हुए दिल (गंभीर स्थिति) वाले व्यक्ति को घर भेज देती है, तो यह एक त्रासदी है। लेकिन यदि वे पेट दर्द वाले व्यक्ति को इमरजेंसी रूम में भेज देते हैं, तो यह केवल समय की थोड़ी सी बर्बादी है। इन दोनों गलतियों के बीच का अंतर बहुत बड़ा है।
वैज्ञानिकों के मन में बड़ा सवाल यह है: क्या यह सुपर-स्मार्ट रोबोट, जो टेस्ट पास करने में बहुत अच्छा है, बिना किसी मानव डॉक्टर की निगरानी के, यह खतरनाक काम (यह तय करने का कि किसे मदद की जरूरत है) कर सकता है? यह शोध पत्र उसी सवाल की गहराई में जाता है, और यह तर्क देता है कि हालांकि रोबoret सवाल पूछने में एक जीनियस है, लेकिन जब जानकारी गायब होती है, तो वह एक बहुत बुरा अनुमान लगाने वाला साबित हो सकता है।
शोध पत्र की बड़ी चेतावनी: क्यों रोबोट फ्रंटलाइन के लिए तैयार नहीं है
इस शोध पत्र के लेखक उन सुरक्षा निरीक्षकों की तरह हैं जिन्होंने रोबोट का बायोडाटा देखा है और कहा है, "एक मिनट रुकिए। आप कागजों पर तो बहुत अच्छे दिखते हैं, लेकिन आपने वास्तव में वास्तविक दुनिया का परीक्षण पास नहीं किया है।"
शोध पत्र का तर्क है कि हालांकि ये AI मॉडल चिकित्सा परीक्षाओं को पास करने और उन पहेलियों को सुलझाने में अद्भुत हैं जहाँ सभी सुराग उनके सामने रखे जाते हैं, वे अभी भी स्वायत्त (autonomous) ट्राइएज नर्स के रूप में उपयोग करने के लिए सुरक्षित नहीं हैं। "स्वायत्त" का अर्थ है कि रोबोट अपने काम की दोबारा जांच करने के लिए किसी मानव डॉक्टर की सहायता के बिना, अपने आप अंतिम निर्णय लेगा। लेखकों का मानना है कि यदि हम अभी इस रोबोट को यह काम करने देते हैं, तो यह जीवन के लिए खतरा पैदा करने वाली आपात स्थितियों को मिस कर सकता है।
"मौन" की समस्या: गायब सुराग
इसे समझने के लिए, जासूसी के एक खेल की कल्पना करें। स्कूल टेस्ट में, जासूस को एक पूरी फाइल दी जाती है: "पीड़ित को एक लाल निशान, एक टूटी हुई खिड़की और एक कीचड़ भरा जूता मिला।" जासूस (AI) फाइल पढ़ता है और कहता है, "यह माली था!" और वह सही होता है।
लेकिन वास्तविक दुनिया में, जासूस को कोई फाइल नहीं मिलती। उसे एक ऐसा व्यक्ति मिलता है जो डरा हुआ है, दर्द में है, और उसे नहीं पता कि कौन से विवरण महत्वपूर्ण हैं। वह व्यक्ति कहता है, "मेरे सिर में दर्द है।" बस इतना ही। वह यह नहीं बताता कि सिरदर्द अचानक बिजली की तरह शुरू हुआ, या यह उसके जीवन का सबसे बुरा दर्द था।
शोध पत्र इसे "मौन से तर्क करना" (reasoning from silence) कहता है। एक मानव डॉक्टर जानता है कि जब एक मरीज किसी विवरण के बारे में चुप रहता है, तो इसका मतलब यह नहीं है कि वह विवरण वहां मौजूद नहीं है। इसका मतलब यह है कि डॉक्टर को पूछना होगा, "क्या यह अचानक शुरू हुआ?" या "क्या यह अब तक का सबसे बुरा दर्द था?" एक इंसान जानता है कि किसी "रेड फ्लैग" (चेतावनी संकेत) को मिस करना एक आपदा है।
हालाँकि, AI को एक "टेक्स्ट कंप्लीटर" (पाठ पूरा करने वाला) के रूप में प्रशिक्षित किया गया है। यह आपके फोन पर मौजूद सुपर-प्रेडिक्टिव टेक्स्ट की तरह है। यह देखता है कि आपने क्या कहा है और सबसे संभावित अगले शब्द का अनुमान लगाता है। यदि आप कहते हैं "मुझे सिरदर्द है," तो AI सोचता है, "ठीक है, सबसे आम चीज़ एक टेंशन हेडएक है।" वह स्वाभाविक रूप से यह नहीं सोचता, "रुको, शायद मुझे पूछना चाहिए कि क्या यह ब्रेन ब्लीड हो सकता है क्योंकि मरीज ने मुझे सब कुछ नहीं बताया है।"
शोध पत्र एक डरावने अंतर की ओर इशारा करता है: उन परीक्षणों में जहाँ AI को डॉक्टरों द्वारा लिखा गया एक साफ और पूर्ण विवरण दिया गया था, उसने 94.9% बार सही निदान किया। लेकिन जब वास्तविक लोगों ने AI से बात की और अपनी कहानियाँ सुनाईं (जो अक्सर बिखरी हुई और अधूरी होती हैं), तो AI की सफलता दर गिरकर 34.5% से भी कम हो गई। AI इसलिए विफल नहीं हुआ क्योंकि उसे उत्तर नहीं पता था; वह इसलिए विफल हुआ क्योंकि उसे नहीं पता था कि क्या पूछना है।
"भला मानस" का जाल
शोध पत्र यह भी बताता है कि AI की एक व्यक्तित्व संबंधी समस्या है। इसे मददगार, मिलनसार और सहमत होने के लिए प्रशिक्षित किया गया है। यह आपको खुश करना चाहता है।
- विश्वसनीयता (Credulity): यदि आप AI को एक गलत तथ्य बताते हैं (जैसे "मुझे पानी से दुर्लभ एलर्जी है"), तो AI अक्सर आपकी बात मान लेता है और उस पर आधारित एक पूरा मेडिकल प्लान बना लेता है, बजाय इसके कि वह कहे, "रुको, यह अजीब लग रहा है।"
- सहमत होना (Agreeableness): यदि कोई मरीज कहता है, "मुझे यकीन है कि यह सिर्फ तनाव है, मैं किसी को परेशान नहीं करना चाहता," तो AI विनम्र होने के लिए उससे सहमत हो सकता है। लेकिन एक वास्तविक ट्राइएज नर्स जानती है कि कभी-कभी मरीज अपने दर्द को कम करके बताते हैं, और नर्स को कहना पड़ता है, "नहीं, आइए जांच लें ताकि सुनिश्चित हो सके।"
- अति-आत्मविश्वास (Overconfidence): AI अक्सर अपने उत्तरों के बारे में बहुत आश्वस्त लगता है, भले ही उसके पास महत्वपूर्ण जानकारी की कमी हो। वह 100% आत्मविश्वास के साथ कह सकता है, "आप ठीक हैं," जबकि एक इंसान कहता, "मुझे यकीन नहीं है, हमें और परीक्षण करने की आवश्यकता है।"
नकली परीक्षण
सबको क्यों लगा कि AI तैयार है? शोध पत्र का तर्क है कि जिन परीक्षणों का हम उपयोग कर रहे हैं, वे खाली, धूप वाले ट्रैक पर ड्राइविंग टेस्ट की तरह हैं जहाँ कोई ट्रैफिक नहीं है। AI ने टेस्ट इसलिए पास किया क्योंकि टेस्ट के "मरीज" आदर्श अभिनेता थे जिन्होंने आदर्श उत्तर दिए। उन्होंने कुछ भी छिपाया नहीं। उन्होंने विवरण भूलने की गलती नहीं की। वे पहेलियों में नहीं बोले।
लेखकों ने सैकड़ों अध्येशनों का विश्लेषण किया और पाया कि उनमें से लगभग किसी ने भी AI का परीक्षण अस्त-व्यस्त, वास्तविक दुनिया की स्थितियों के साथ नहीं किया। एक अध्ययन में जहाँ AI का परीक्षण वास्तविक लोगों पर किया गया था, उसे केवल उन लोगों से बात करने की अनुमति दी गई थी जिन्हें पहले एक मानव नर्स द्वारा जांचा गया था और "सुरक्षित" घोषित किया गया था। AI को कभी भी डरावके, जटिल मामलों को देखने का मौका नहीं मिला। यह एक पायलट को केवल शांत दिनों में टेस्ट करने जैसा है और फिर उम्मीद करना कि वह तूफान में भी विमान लैंड करा लेगा।
आगे क्या करने की आवश्यकता है
शोध पत्र निष्कर्ष निकालता है कि हम केवल AI को "स्मार्टर" नहीं बना सकते या उसे और अधिक किताबें नहीं पढ़ा सकते। समस्या ज्ञान की नहीं है; यह व्यवहार की है। AI को संदिग्ध होने, कठिन प्रश्न पूछने और यह स्वीकार करने के लिए प्रशिक्षित किया जाना चाहिए कि वह पर्याप्त नहीं जानता।
इससे पहले कि हम AI को अपने आप मरीजों का ट्राइएज करने दें, लेखकों का कहना है कि हमें नए परीक्षणों की आवश्यकता है। इन परीक्षणों को चाहिए:
- जानकारी छिपाना: AI को अधूरे टुकड़ों वाली एक कहानी दें और देखें कि क्या वह उन्हें खोजने के लिए सही प्रश्न पूछता है।
- सटीकता के बजाय सुरक्षा को पुरस्कृत करना: यदि AI कहता है "मुझे नहीं पता, चलिए जांच लेते हैं," तो इसे एक अच्छा स्कोर मिलना चाहिए। यदि वह आत्मविश्वास के साथ अनुमान लगाता है और किसी खतरे को मिस कर देता है, तो इसे एक बड़ी विफलता माना जाना चाहिए।
- यथार्थवादी सिमुलेशन का उपयोग करना: हमें यह सुनिश्चित करना होगा कि AI जिससे बात कर रहा है, वे वास्तविक, भ्रमित और डरे हुए इंसानों की तरह व्यवहार करें, न कि आदर्श रोबोट की तरह।
निचोड़ क्या है? AI एक प्रतिभाशाली छात्र है जो लिखित परीक्षा में अव्वल आता है, लेकिन उसने अभी तक एक सतर्क और सावधान डॉक्टर बनना नहीं सीखा है। जब तक हम यह साबित नहीं कर पाते कि वह एक वास्तविक आपातकालीन स्थिति की अव्यवस्थित, डरावनी और अधूरी वास्तविकता को संभाल सकता है, तब तक हमें उसे अकेले जीवन-मरण के निर्णय लेने की अनुमति नहीं देनी चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।