Self-Reported Confidence of Large Language Models in Gastroenterology: Analysis of Commercial, Open-Source, and Quantized Models
यह अध्ययन गैस्ट्रोएंटरोलॉजी बोर्ड-शैली के 300 प्रश्नों पर विभिन्न लार्ज लैंग्वेज मॉडल्स के स्व-रिपोर्ट किए गए आत्मविश्वास का मूल्यांकन करता है, जिससे पता चलता है कि जहाँ शीर्ष प्रदर्शन करने वाले मॉडल्स बेहतर सटीकता दिखाते हैं, वहीं सभी मॉडल्स लगातार अति-आत्मविश्वास प्रदर्शित करते हैं, जो स्वास्थ्य सेवा में उनके सुरक्षित परिनियोजन के लिए एक महत्वपूर्ण बाधा को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत बुद्धिमान, बहुत आत्मविश्वासी रोबोट्स से भरा एक कमरा है। ये रोबोट्स सुपर-लाइब्रेरियन की तरह हैं जिन्होंने दुनिया की लगभग हर किताब पढ़ ली है। आप उनसे पेट और आंतों (गैस्ट्रोएंटेरोलॉजी) के बारे में कुछ पेचीदा चिकित्सा प्रश्न पूछते हैं।
यहाँ एक ट्विस्ट है: जवाब देने से पहले, आप उनसे पूछते हैं, "0 से 10 के पैमाने पर, आप कितने आश्वस्त हैं कि आप सही हैं?"
यह अध्ययन इन रोबोट्स के लिए एक वास्तविकता की जाँच (रियलिटी चेक) जैसा है। शोधकर्ता यह देखना चाहते थे कि क्या ये AI "लाइब्रेरियन" वास्तव में जानते हैं कि वे कब अनुमान लगा रहे हैं और कब वे निश्चित हैं, या वे बस बिना किसी हिचकिचाहट के झूठ बोल रहे हैं।
सेटअप: द मेडिकल क्विज़ शो
शोधकर्ताओं ने अमेरिकन कॉलेज ऑफ गैस्ट्रोएंटरोलॉजी द्वारा आयोजित एक वास्तविक, कठिन चिकित्सा परीक्षा का उपयोग किया। इसे मेडिकल स्कूल के "फाइनल" की तरह समझें। इसमें 300 प्रश्न हैं जो इतने कठिन हैं कि कभी-कभी असली डॉक्टरों को भी उलझा सकते हैं।
उन्होंने 48 अलग-अलग AI मॉडल्स का परीक्षण किया। कुछ प्रसिद्ध और महंगे मॉडल थे जिन्हें आपने शायद सुना होगा (जैसे GPT-4 या Claude), और कुछ ओपन-सोर्स वाले थे जिन्हें कोई भी डाउनलोड कर सकता है। उन्होंने रोबोट्स से प्रश्नों के उत्तर देने और अपनी आत्मविश्वास रेटिंग देने के लिए कहा।
बड़ी समस्या: अति-आत्मविश्वासी 'सब कुछ जानने वाले'
यहाँ उन्हें जो मिला, वह थोड़ा डरावना है: रोबोट यह जानने में बहुत खराब हैं कि वे कब गलत हैं।
एक छात्र की कल्पना करें जो परीक्षा दे रहा है। यदि उसे प्रश्न का सही उत्तर मिलता है, तो वह कह सकता है, "मुझे लगता है कि मैं सही हूँ!" यदि वह गलत होता है, तो एक स्मार्ट छात्र कह सकता है, "हम्म, मैं पक्का नहीं हूँ, शायद मैंने अनुमान लगाया।"
लेकिन ये AI रोबोट उन छात्रों की तरह हैं जो एक प्रश्न का गलत उत्तर देते हैं, आपकी आँखों में देखते हैं, और कहते हैं, "मैं 100% निश्चित हूँ कि मैं सही हूँ," भले ही वे पूरी तरह से गलत हों।
- "कॉन्फिडेंस गैप" (आत्मविश्वास का अंतर): रोबोट लगातार अपनी सटीकता से अधिक आत्मविश्वासी थे। उदाहरण के लिए, एक बेहतरीन रोबोट ने लगभग 81% उत्तर सही दिए, लेकिन उसने दावा किया कि वह 91% निश्चित था। वह अति-आत्मविश्वासी था।
- "ब्लाइंड स्पॉट" (अंध बिंदु): यहाँ तक कि जब रोबोट गलत होते थे, तब भी उनका आत्मविश्वास स्कोर अक्सर उतना ही अधिक होता था जितना कि सही होने पर होता है। यह एक GPS की तरह है जो आपको आत्मविश्वास के साथ खाई में जाने के लिए कहता है, भले ही आप स्पष्ट रूप से गलत रास्ते पर हों।
परिणाम: कौन सबसे अच्छा रहा?
शोधकर्ताओं ने रोबोट्स को दो चीजों के आधार पर ग्रेड दिए:
- सटीकता (Accuracy): क्या उन्होंने सही उत्तर दिया?
- कैलिब्रेशन (Calibration): क्या उनका आत्मविश्वास उनकी सटीकता से मेल खाता था? (क्या वे जानते थे कि वे क्या नहीं जानते थे?)
- विजेता: नवीनतम, सबसे उन्नत मॉडल्स (जैसे GPT-o1 और Claude 3.5) "सबसे कम बुरे" थे। वे इस बात में बेहतर थे कि वे क्या जानते हैं और क्या नहीं जानते, लेकिन वे अभी भी पूर्णता से बहुत दूर थे।
- हारने वाले: पुराने या छोटे मॉडल्स अक्सर बेतहाशा अति-आत्मविश्वासी थे। वे 90% निश्चितता के साथ अनुमान लगाते थे और आधे समय में गलत होते थे।
यह क्यों मायने रखता है?
एक रोबोट डॉक्टर के उपयोग के बारे में सोचें। यदि आपके पेट में दर्द है, तो आप AI से पूछते हैं, "मुझे क्या समस्या है?"
- यदि AI कहता है, "मुझे लगता है कि यह अपच है, लेकिन मैं केवल 40% सुनिश्चित हूँ," तो आप सुरक्षित रहने के लिए एक असली मानव डॉक्टर के पास जा सकते हैं।
- लेकिन यदि AI कहता है, "मुझे 95% यकीन है कि आपको पेट का अल्सर है," तो आप उस पर भरोसा कर सकते हैं और असली डॉक्टर के पास जाने से बच सकते हैं।
यदि AI गलत है (जो चिकित्सा में अक्सर होता है), और वह आत्मविश्वास के साथ गलत है, तो यह खतरनाक है। यह एक मौसम विज्ञानी की तरह है जो तूफान के आने के बावजूद धूप वाले दिन की भविष्यवाणी पूरे आत्मविश्वास के साथ करता है।
निष्कर्ष: हम अभी "मैं निश्चित हूँ" बटन पर भरोसा नहीं कर सकते
अध्ययन का निष्कर्ष है कि हालांकि ये AI मॉडल प्रश्नों के उत्तर देने में अधिक स्मार्ट हो रहे हैं, वे अभी भी यह जानने में पर्याप्त स्मार्ट नहीं हैं कि वे कब अनुमान लगा रहे हैं।
वे उस छात्र की तरह हैं जिसने पाठ्यपुस्तक रट ली है लेकिन यह नहीं सीखा कि यह सोचना है कि वे क्या नहीं जानते। जब तक हम इन रोबोट्स को यह सिखा नहीं देते कि जब वे वास्तव में अनिश्चित हों तो "मुझे नहीं पता" या "मैं पक्का नहीं हूँ" कहना है, हम उन्हें अपने आप जीवन-मरण के चिकित्सा निर्णय लेने के लिए पूरी तरह से भरोसा नहीं कर सकते।
संक्षेप में: रोबोट बहुत आत्मविश्वासी हैं, लेकिन वे अक्सर आत्मविश्वास के साथ गलत होते हैं। हमें उन्हें अस्पताल चलाने से पहले यह विनम्रता सिखाने की आवश्यकता है कि वे कब अनुमान लगा रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।