Token Probability Beats Verbalized Condence for Error Detection in Small Open-Weight Language Models: A Medical and Psychiatric Benchmark Study
यह पायलट अध्ययन यह दर्शाता है कि चिकित्सा और मनोरोग संबंधी कार्यों के लिए लागू छोटे ओपन-वेट लैंग्वेज मॉडल्स (1.2B–9.2B पैरामीटर्स) के लिए, मॉडल्स के मौखिक रूप से व्यक्त आत्मविश्वास पर भरोसा करने की तुलना में आंतरिक टोकन संभाव्यता (internal token probabilities) निकालना त्रुटि का पता लगाने के लिए एक काफी अधिक विश्वसनीय तरीका है, विशेष रूप से सबसे छोटे मॉडल्स के लिए जहाँ मौखिक आत्मविश्वास संयोग के स्तर (chance levels) पर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, डॉक्टरों और मनोचिकित्सकों को कठिन निर्णय लेने में मदद करने के लिए शक्तिशाली कंप्यूटर प्रोग्रामों का उपयोग करने की बढ़ती इच्छा है। ये प्रोग्राम, जिन्हें लार्ज लैंग्वेज मॉडल्स (large language models) कहा जाता है, चिकित्सा साहित्य की विशाल मात्रा को पढ़ सकते हैं और मानव स्वास्थ्य के बारे में जटिल प्रश्नों के उत्तर दे सकते हैं। हालाँकि, एक गंभीर समस्या बनी हुई है: एक डॉक्टर को यह कैसे पता चलेगा कि कंप्यूटर पर कब भरोसा किया जाए? यदि मशीन कहती है कि निदान निश्चित है, लेकिन वह वास्तव में गलत है, तो इसके परिणाम गंभीर हो सकते हैं। वर्षों से, शोधकर्ताओं ने इसे इस तरह हल करने का प्रयास किया है कि कंप्यूटर को बस यह बताने के लिए कहा जाए कि वह कितना आश्वस्त है। वे मॉडल से अपने उत्तर के साथ एक प्रतिशत स्कोर जोड़ने के लिए कहते हैं, जो आत्मविश्वास की एक मौखिक रिपोर्ट है। उम्मीद यह थी कि यदि कंप्यूटर कहता है कि वह केवल पचास प्रतिशत आश्वस्त है, तो एक इंसान हस्तक्षेप कर सकता है और काम की दोबारा जाँच कर सकता है। लेकिन हाल के अध्ययनों से पता चला है कि ये स्व-रिपोर्ट किए गए स्कोर अक्सर अविश्वसनीय होते हैं, जो कभी-कभी एक रैंडम अनुमान (random guess) से भी बेहतर नहीं होते।
यह अनिश्चितता इन कंप्यूटर प्रोग्रामों के छोटे, सस्ते संस्करणों के लिए विशेष रूप से गंभीर है जो विशाल, महंगे डेटा केंद्रों के बजाय एक एकल कार्यालय कंप्यूटर पर चल सकते हैं। ये छोटे मॉडल ही हैं जिनके निजी क्लीनिकों में उपयोग किए जाने की सबसे अधिक संभावना है जहाँ रोगी का डेटा सुरक्षित रहना चाहिए और लागत कम होनी चाहिए। भारतीय प्रौद्योगिकी संस्थान खड़गपुर के कुणाल धंडा द्वारा किया गया एक नया अध्ययन इस बात की जांच करता है कि क्या इन छोटे मॉडलों पर अपनी गलतियों को पहचानने के लिए भरोसा किया जा सकता है। यह शोध निश्चितता को मापने के दो अलग-अलग तरीकों की तुलना करता है। पहला है मौखिक आत्मविश्वास (verbal confidence), जहाँ मॉडल से पूछा जाता है कि वह कितना आश्वस्त है। दूसरा है एक छिपा हुआ संकेत जिसे 'टोकन प्रोबेबिलिटी' (token probability) कहा जाता है। इसे समझने के लिए, कल्पना करें कि कंप्यूटर शब्द-दर-शब्द एक उत्तर लिख रहा है। हर कदम पर, वह अगले विशिष्ट अक्षर या शब्द को चुनने की गणितीय संभावना की गणना करता है। टोकन प्रोबेबिलिटी बस कंप्यूटर की वह आंतरिक गणना है कि उस सटीक उत्तर को चुनने की कितनी संभावना थी जिसे उसने अंततः चुना। यह अध्ययन एक सीधा प्रश्न पूछता है: क्या यह छिपा हुआ गणितीय कैलकुलेशन, मॉडल के अपने बोले गए शब्दों की तुलना में सत्य का एक बेहतर संकेतक है?
शोधकर्ताओं ने चार अलग-अलग छोटे कंप्यूटर मॉडलों का परीक्षण किया, जो बहुत संक्षिप्त से लेकर मध्यम रूप से शक्तिशाली तक के आकार के थे। उन्होंने इन मॉडलों का उपयोग मानक परीक्षाओं से लिए गए 1,600 चिकित्सा और मनोरोग संबंधी प्रश्नों के उत्तर देने के लिए किया। प्रत्येक प्रश्न के लिए, टीम ने मॉडल के बोले गए आत्मविश्वास स्कोर और उसकी आंतरिक टोकन प्रोबेबिलिटी दोनों को रिकॉर्ड किया। फिर उन्होंने सही उत्तरों के विरुद्ध उत्तरों की जाँच की ताकि यह देखा जा सके कि कौन सा संकेत त्रुटियों की भविष्यवाणी करने में बेहतर था। परिणाम सभी चार मॉडलों में स्पष्ट और सुसंगत थे। हर मामले में, आंतरिक टोकन प्रोबेबिलिटी, मौखिक आत्मविश्वास स्कोर की तुलना में, उत्तर सही होने या गलत होने की भविष्यवाणी करने में कहीं अधिक बेहतर थी। अंतर छोटा नहीं था; सबसे छोटे मॉडल के लिए, आंतरिक संकेत काफी सटीक था, जबकि बोला गया आत्मविश्वास इतना खराब था कि उसे एक सिक्के के उछाल (coin flip) से अलग नहीं माना जा सकता था।
अध्ययन ने यह भी देखा कि ये संकेत वास्तविक दुनिया के सुरक्षा तंत्र में कैसे काम करेंगे, जहाँ एक डॉक्टर कंप्यूटर के उत्तर को अनदेखा करने का निर्णय ले सकता है यदि आत्मविश्वास स्कोर बहुत कम हो। जब शोधकर्ताओं ने सबसे अनिश्चित उत्तरों को फ़िल्टर करने के लिए टोकन प्रोबेबिलिटी का उपयोग किया, तो शेष उत्तरों की सटीकता सभी चार मॉडलों के लिए लगातार सुधरी। हालाँकि, जब उन्होंने उत्तरों को फ़िल्टर करने के लिए मौखिक आत्मविश्वास स्कोर का उपयोग किया, तो परिणाम स्थिर रहे या यहाँ तक कि हानिकारक भी रहे। सबसे छोटे मॉडल के लिए, बोले गए आत्मविश्वास पर निर्भर रहने से सिस्टम वास्तव में कम सटीक हो गया, क्योंकि मॉडल उतनी ही आत्मविश्वास से गलत था जितनी बार वह आत्मविश्वास से सही होता था। यह निष्कर्ष उस अजीब व्यवहार को समझाने में मदद करता है जो पिछले प्रयोगों में देखा गया था जहाँ सबसे छोटा मॉडल तब खराब प्रदर्शन करता था जब उसे यह स्वीकार करने के लिए कहा जाता था कि वह नहीं जानता था। शोधकर्ताओं का सुझाव है कि मॉडल वास्तव में यह "जान" नहीं रहा था कि वह अनिश्चित था; वह केवल एक आत्मविश्वास स्कोर रिपोर्ट कर रहा था जिसमें कोई वास्तविक जानकारी नहीं थी, जबकि उपयोगी संकेत उसकी अपनी गणनाओं के भीतर छिपा हुआ था।
इस कार्य के निहितार्थ उन सभी के लिए व्यावहारिक और तत्काल हैं जो चिकित्सा सेटिंग में इन उपकरणों को तैनात कर रहे हैं। यदि एक स्थानीय कंप्यूटर सिस्टम अपने आंतरिक संभाव्यता स्कोर (probability scores) को प्रकट कर सकता है, तो उस डेटा का उपयोग यह तय करने के लिए किया जाना चाहिए कि किन उत्तरों की मानवीय समीक्षा की आवश्यकता है। मॉडल को अपना आत्मविश्वास बोलने पर निर्भर रहना न केवल कम प्रभावी है; सबसे छोटे मॉडलों के लिए, यह सुरक्षा का एक झूठा अहसास पैदा करता है। अध्ययन का निष्कर्ष है कि जबकि मौखिक आत्मविश्वास कुछ बड़े, अधिक उन्नत मॉडलों के लिए स्वीकार्य हो सकता है, यह उन छोटे, गोपनीयता-केंद्रित सिस्टम के लिए एक खतरनाक उपकरण है जो क्लीनिकों में आम होते जा रहे हैं। इन सिस्टमों में त्रुटियों का पता लगाने का सबसे विश्वसनीय तरीका उन नंबरों को देखना है जिन्हें कंप्यूटर पहले से ही कैलकुलेट कर रहा है लेकिन कभी भी ज़ोर से बोलकर नहीं बताता। यह दृष्टिकोण बिना किसी महंगे हार्डवेयर या जटिल नए सॉफ्टवेयर के, सुरक्षित और अधिक सटीक मेडिकल एआई के लिए एक वास्तविक मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।