Contextual Cue Susceptibility in Clinical AI: A Randomized Controlled Clinician-Comparator Study
यह रैंडमाइज्ड कंट्रोल्ड अध्ययन प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स, मानव चिकित्सकों की तुलना में उन प्रासंगिक संकेतों (contextual cues) के प्रति काफी अधिक संवेदनशील हैं जो गलत नैदानिक विकल्पों को प्रेरित करते हैं, जो क्लिनिकल एआई सिस्टम के लिए एक महत्वपूर्ण सुरक्षा भेद्यता को रेखांकित करता है जिसे विशिष्ट प्रॉम्प्टिंग रणनीतियों के माध्यम से कम किया जा सकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं। आपके पास सुरागों की एक सूची है, और आपका काम यह पता लगाना है कि यह किसने किया। कभी-कभी, एक सुराग बहुत बड़ा और स्पष्ट होता है, जैसे कि कीचड़ से भरा जूते का निशान। दूसरी ओर, कोई सुराग बहुत छोटा और अजीब हो सकता है, जैसे कि संदिग्ध के कोट पर मिला एक नीला धागा। चिकित्सा की दुनिया में, डॉक्टर ही जासूस होते हैं, और उनके "सुराग" वे लक्षण होते हैं जो मरीज बताते हैं। लंबे समय से, हम जानते हैं कि मानव जासूस को धोखा दिया जा सकता है। यदि किसी कहानी में कोई दुर्लभ, डरावना विवरण मिलता है, तो एक डॉक्टर विचलित हो सकता है और यह भूल सकता है कि सबसे सामान्य बीमारी ही अभी भी सबसे संभावित उत्तर है। इसे "उपलब्धता पूर्वाग्रह" (availability bias) कहा जाता है—हमारा मस्तिष्क जीवंत कहानी पर अटक जाता है बजाय बोरिंग आंकड़ों के।
अब, कल्पना कीजिए कि हम अपने जासूस को एक सुपर-स्मार्ट रोबोट सहायक देते हैं। यह रोबंड एक लार्ज लैंग्वेज मॉडल (LLM) है, जो एक प्रकार की कृत्रिम बुद्धिमत्ता (AI) है जो लाखों किताबें पढ़ती है और इंसानों की तरह बात करना और सोचना सीखती है। ये रोबोट मेडिकल रिकॉर्ड का सारांश बनाने और निदान (diagnosis) सुझाने में बहुत कुशल होते जा रहे हैं। लेकिन बड़ा सवाल यह है कि क्या रोबोट, एक इंसान की तरह ही छोटे, भटकाने वाले सुरागों को अनदेखा करने में उतना ही सक्षम है? या क्या रोबोट को और भी आसानी से मूर्ख बनाया जा सकता है? वैज्ञानिक चिंतित हैं क्योंकि यदि एक रोबोट एक छोटे से विवरण से विचलित हो जाता है, तो वह बहुत तेज़ी से हज़ारों गलतियाँ कर सकता है, खासकर यदि वह मानवीय जांच के बिना अपॉइंटमेंट बुक करने या नोट्स लिखने जैसे काम खुद करने लगे।
यह शोध पत्र एक विशाल, नियंत्रित प्रयोग स्थापित करता है ताकि यह पता लगाया जा सके। शोधकर्ताओं ने 100 छोटी मेडिकल कहानियाँ बनाईं, जैसे कि लघु-रहस्य। कुछ संस्करणों में, उन्होंने कहानी में एक छोटा सा, हानिरहित विवरण जोड़ा—जैसे कि एक मरीज ने हाल ही में किसी विशिष्ट देश की यात्रा की या किसी विशिष्ट नौकरी में काम किया। यह विवरण एक दुर्लभ, "लुर" (lure/प्रलोभन) निदान की ओर इशारा करता था जो सुनने में रोमांचक था लेकिन वास्तव में असंभावित था। अन्य संस्करणों में, वह छोटा विवरण गायब था। फिर, उन्होंने मामलों को हल करने के लिए दो समूहों से कहा: 47 मानव चिकित्सा पेशेवर (डॉक्टर, रेजिडेंट्स, फेलो और मेडिकल छात्र) और 22 अलग-अलग AI मॉडल। वे यह देखना चाहते थे कि क्या वह छोटा विवरण उत्तर को बदल देता है, और यदि ऐसा होता है, तो कौन अधिक छला गया: इंसान या रोबोट।
परिणाम थोड़े चौंकाने वाले थे। जब वह छोटा "यात्रा" या "नौकरी" वाला सुराग जोड़ा गया, तो मानव डॉक्टर भी इससे प्रभावित हुए, और दुर्लभ, गलत "लुर" निदान को लगभग 28% बार चुना, हालांकि वे सही निदान पर लगभग 55% बार टिके रहे। हालाँकि, AI मॉडल, एक जादू के खेल की तरह इस धोखे का शिकार हो गए। जब वह सुराग मौजूद था, तो AI मॉडलों ने उस दुर्लभ, गलत "लुर" निदान को भारी रूप से 85% बार चुना! इसका मतलब है कि AI को उस एक छोटे से वाक्य द्वारा 57 प्रतिशत अंक अधिक बार ठगा गया जितना कि इंसानों को। AI केवल भ्रमित नहीं हुआ; उसने पूरे आत्मविश्वास के साथ खुद को यकीन दिला लिया कि वही दुर्लभ बीमारी उत्तर है, भले ही गणित के अनुसार ऐसा नहीं होना चाहिए था।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या वे निर्देशों को बदलकर रोबोट को "ठीक" कर सकते हैं। जब उन्होंने AI को निर्देश दिया, "याद रखें कि सामान्य चीजें ही सामान्य होती हैं," तो AI अब इतना अधिक नहीं छला गया, और उसका प्रदर्शन इंसानों जैसा दिखने लगा। लेकिन जब उन्होंने AI को कहा, "दुर्लभ और गंभीर चीजों पर नज़र रखें," तो AI पागल हो गया, और पहले से भी अधिक बार छला गया, जिसने 93% बार गलत उत्तर चुना। यह सुझाव देता है कि AI स्थिर तरीके से "सोच" नहीं रहा है; यह बस प्रॉम्प्ट के शब्दों के प्रति जंगली रूप से प्रतिक्रिया दे रहा है।
मुख्य निष्कर्ष यह नहीं है कि AI चिकित्सा में बुरा है—यह वास्तव में बहुत सटीक हो सकता है जब सुराग स्पष्ट हों। समस्या यह है कि ये मॉडल संदर्भ (context) के प्रति अविश्वसनीय रूप से संवेदनशील हैं। एक छोटा सा, चिकित्सकीय रूप से महत्वहीन वाक्य उनके निर्णय को पूरी तरह से बदल सकता है, जो एक मानव डॉक्टर के मन को बदलने की तुलना में बहुत अधिक है। लेखक चेतावनी देते हैं कि जैसे-जैसे ये AI सिस्टम अकेले अधिक काम करने लगेंगे—जैसे कि नोट्स लिखना या बिना किसी मानवीय निगरानी के मरीजों की प्राथमिकता तय करना—यह संवेदनशीलता एक गंभीर सुरक्षा जोखिम बन सकती है। यदि एक रोबोट सिर्फ इसलिए अपना मन बदल देता है क्योंकि मरीज ने अपनी छुट्टियों का जिक्र किया, तो यह एक ऐसी समस्या है जिसे हमें रोबोट को कार चलाने देने से पहले हल करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।