Large language models improve physician accuracy but lead to false reliance
यद्यपि रिट्रीवल-ऑगमेंटेड एलएलएम सिस्टम CORA ने चिकित्सकों की नैदानिक सटीकता में महत्वपूर्ण सुधार किया, लेकिन अध्ययन एक गंभीर सुरक्षा जोखिम को प्रकट करता है जहाँ स्रोत-लिंक्ड उद्धरणों ने सही और गलत दोनों प्रकार की सलाह पर निर्भरता को असमान रूप से बढ़ा दिया, जिससे त्रुटिपूर्ण सिफारिशों का प्रतिरोध करने की चिकित्सकों की क्षमता कमजोर हो गई।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक पेचीदा केस सुलझाने की कोशिश कर रहे हैं। आपके पास एक शानदार, सुपर-फास्ट सहायक है जो एक सेकंड में लाखों किताबें पढ़ सकता है और समाधान सुझा सकता है। यह सहायक एक आर्टिफिशियल इंटेलिजेंस (AI) है, विशेष रूप से एक "लार्ज लैंग्वेज मॉडल" (LLM)। ये AI उन विश्वकोशों की तरह हैं जिन्होंने पूरे इंटरनेट को पढ़कर बात करना सीखा है, लेकिन कभी-कभी वे उन चीजों के बारे में भी बहुत आत्मविश्वासी हो जाते हैं जिनके बारे में वे वास्तव में नहीं जानते, जिससे ऐसे तथ्य सामने आते हैं जो सुनने में तो एकदम सही लगते हैं लेकिन गलत होते हैं। इसे ठीक करने के लिए, वैज्ञानिकों ने "रिट्रीवल-ऑगमेंटेड जनरेशन" (RAG) नामक एक तरकीब ईजाद की। RAG को ऐसे समझें जैसे आपने अपने AI सहायक को एक लाइब्रेरी कार्ड और एक नियम दे दिया हो: "आप केवल तभी उत्तर दे सकते हैं जब आप उस किताब के सटीक पन्ने की ओर इशारा कर सकें जो आपके उत्तर को सिद्ध करता हो।" इस तरह, AI केवल अनुमान नहीं लगाता; बल्कि वह अपना होमवर्क दिखाकर सबूत देता है।
लेकिन यहाँ एक बड़ा सवाल है जिस पर वैज्ञानिक अभी भी बहस कर रहे हैं: क्या होमवर्क दिखाना वास्तव में मानव जासूस की मदद करता है? या क्या यह मानव को बहुत अधिक भरोसा करने पर मजबूर कर देता है, तब भी जब सहायक गलत हो? यह एक नए अध्ययन की कहानी है जिसने इस विचार का परीक्षण करने के लिए वास्तविक डॉक्टरों का उपयोग किया। वे देखना चाहते थे कि क्या डॉक्टरों को एक ऐसा AI देने से, जो अपने स्रोतों का हवाला देता हो, त्वचा रोगों के निदान में वे बेहतर बनते हैं, या क्या यह उन्हें खतरनाक गलतियाँ करने के लिए धोखा देता है जब गलत उत्तरों को साक्ष्य द्वारा समर्थित दिखाया जाता है।
CORA और "नकली प्रमाण" के जाल की कहानी
इस अध्ययन में, शोधकर्ताओं की एक टीम ने CORA (साइटेशन-ओरिएंटेड रिट्रीवल असिस्टेंट) नामक एक विशेष AI सहायक बनाया। कल्पना कीजिए कि CORA एक सुपर-स्मार्ट रिसर्च इंटर्न है जो, जब भी कोई डॉक्टर त्वचा की स्थिति के बारे में सवाल पूछता है, तो केवल एक उत्तर नहीं देता। इसके बजाय, CORA मेडिकल टेक्स्टबुक्स, गाइडलाइन्स और केस रिपोर्ट्स की एक डिजिटल लाइब्रेरी में जाता है, प्रासंगिक पन्ने ढूँढता है, और कहता है, "यह मेरा उत्तर है, और ये वे तीन पन्ने हैं जो इसे सिद्ध करते हैं।"
शोधकर्ता यह देखना चाहते थे कि वास्तविक दुनिया में यह कैसे काम करता है। उन्होंने 21 अलग-अलग देशों के 46 डॉक्टरों को इकट्ठा किया और उन्हें त्वचा रोग की पहेलियों की एक श्रृंखला दी। पहले, डॉक्टरों को इन्हें अपने दम पर हल करना था। फिर, उन्हें CORA का उत्तर और उसके साथ "प्रमाण" (साइटेशन) दिखाया गया और पूछा गया कि क्या वे अपने मूल उत्तर पर टिके रहना चाहते हैं या उसे बदलना चाहते हैं।
अच्छी खबर: डॉक्टर अधिक समझदार हो गए
परिणामों से पता चला कि CORA एक मददगार साथी था। जब डॉक्टर अकेले काम कर रहे थे, तो वे 70.8% बार सही उत्तर दे रहे थे। लेकिन जब उन्होंने CORA का उपयोग किया, तो उनकी सटीकता बढ़कर 82.6% हो गई। AI ने उन्हें गलतियाँ सुधारने में मदद की, विशेष रूप से कठिन मामलों या दुर्लभ बीमारियों पर। यह एक ऐसी दूसरी जोड़ी आँखों की तरह था जो नियम पुस्तिका को पूरी तरह से जानती थी।
बुरी खबर: "साइटेशन ट्रैप" (उद्धरण का जाल)
हालाँकि, अध्ययन में एक छिपी हुई समस्या मिली। जो "प्रमाण" CORA दिखा रहा था, वह हमेशा वास्तविक प्रमाण नहीं होता था। कभी-कभी, CORA एक गलत उत्तर देता था लेकिन फिर भी एक ऐसा साइटेशन दिखाता था जो देखने में तो ऐसा लगता था कि उत्तर का समर्थन कर रहा है, भले ही वह वास्तव में नहीं करता था।
यहाँ मामला पेचीदा हो जाता है:
- जब CORA सही था: यदि डॉक्टरों ने एक ऐसा साइटेशन देखा जो उत्तर का समर्थन करता हुआ प्रतीत होता था, तो वे अपना मन बदलने और AI से सहमत होने के लिए बहुत इच्छुक थे। सही सलाह को अपनाने की उनकी सफलता दर बिना किसी समर्थन के महसूस किए जाने पर 34% से बढ़कर, जब उन्हें लगा कि साइटेशन समर्थन दे रहा है, तो 76.9% हो गई।
- जब CORA गलत था: यह खतरनाक हिस्सा है। यदि CORA ने एक गलत उत्तर दिया लेकिन एक ऐसा साइटेशन दिखाया जो सहायक लग रहा था, तो डॉक्टरों ने विरोध करना बंद कर दिया। सामान्यतः, डॉक्टर काफी जिद्दी होते हैं और जब AI गलत होता है, तो वे 92% बार अपने सही उत्तर पर टिके रहते हैं। लेकिन जब एक "सहायक" साइटेशन दिखाया गया, तो यह प्रतिरोध घटकर केवल 34.8% रह गया।
सबक: विश्वास करें, लेकिन प्रमाण की जाँच करें
अध्ययन ने एक "ग्राउंडिंग-मिसकैलिब्रेशन" (grounding-miscalibration) की खोज की। यह एक फैंसी तरीका है यह कहने का कि डॉक्टर प्रमाण के 'दिखावे' से ठगे गए थे। जब AI ने एक साइटेशन दिखाया, तो डॉक्टरों ने मान लिया कि उत्तर सही ही होगा, भले ही वह साइटेशन वास्तव में उस विशिष्ट बिंदु को सिद्ध न करता हो। यह एक छात्र की तरह है जो अपनी परीक्षा में एक टेक्स्टबुक का पन्ना लगाकर जमा करता है। यदि पन्ना सही विषय के बारे में है लेकिन वास्तव में प्रश्न का उत्तर नहीं देता है, तो एक शिक्षक फिर भी सोच सकता है, "ओह, इन्होंने रिसर्च की है," और उन्हें अंक दे सकता है। लेकिन चिकित्सा में, यह अंक एक गलती हो सकती है।
शोधकर्ताओं ने पाया कि हालांकि AI ने डॉक्टरों को समग्र रूप से अधिक सटीक बनाया, लेकिन इसने एक नया जोखिम भी पैदा किया: यदि AI का गलत उत्तर अच्छी तरह से समर्थित दिखता था, तो डॉक्टर अपनी सही सहज बुद्धि को छोड़ने के लिए अधिक प्रवृत्त थे। अध्ययन सुझाव देता है कि इन AI टूल्स को सुरक्षित होने के लिए, हम केवल यह नहीं देख सकते कि AI सही है या गलत। हमें यह सुनिश्चित करना होगा कि जो "प्रमाण" वह दिखाता है, वह वास्तव में उत्तर को सिद्ध करता हो, न कि केवल विषय से संबंधित हो। अन्यथा, वह चीज़ जो डॉक्टरों को सत्य को सत्यापित करने में मदद करने के लिए बनाई गई है, उन्हें झूठ पर भरोसा करने के लिए धोखा दे सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।