Referring uncertain answers by decision-model confidence: Jev, OpenAI Decisions and Clef on Korean and US medical licensing examination questions

आर्टिफिशियल इंटेलिजेंस के तेजी से विकसित होते परिदृश्य में, एक विशिष्ट समस्या को हल करने के लिए उपकरणों का एक नया वर्ग उभरा है: यह कि मशीनों को लंबे स्पष्टीकरण लिखे बिना निश्चित विकल्पों के बीच चयन करना कैसे सिखाया जाए। पारंपरिक रूप से, बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) शब्द-दर-शब्द टेक्स्ट जेनरेट करके प्रश्नों के उत्तर देते हैं, जो एक लचीली प्रक्रिया है लेकिन धीमी और महंगी हो सकती है। एक नया दृष्टिकोण, जिसे 'डिसीजन मॉडलिंग' (निर्णय मॉडलिंग) कहा जाता है, टेक्स्ट जनरेशन को पूरी तरह से छोड़ देता है। इसके बजाय, मॉडल उपयोगकर्ता द्वारा दिए गए संभावित उत्तरों की एक सूची को देखता है और प्रत्येक को एक प्रायिकता स्कोर (प्रोबेबिलिटी स्कोर) आवंटित करता है, जो अनिवार्य रूप से कहता है, "मुझे 90 प्रतिशत विश्वास है कि यह सही विकल्प है, और 10 प्रतिशत विश्वास है कि वह वाला है।" यह विधि तेज़ और सस्ती है, लेकिन यह एक महत्वपूर्ण प्रश्न खड़ा करती है: चिकित्सा जैसे उच्च-दांव वाले क्षेत्रों के लिए: क्या ये मशीनें जान सकती हैं कि वे कब गलत हैं? यदि कोई मॉडल आश्वस्त है लेकिन गलत है, तो यह खतरनाक गलतियों का कारण बन सकता है। चुनौती इस तरीके को खोजने की है जिससे सिस्टम अपनी अनिश्चितता को पहचान सके और त्रुटि होने से पहले कठिन मामलों को किसी मानव विशेषज्ञ या अधिक शक्तिशाली कंप्यूटर को सौंप सके।

इंजे यूनिवर्सिटी कॉलेज ऑफ मेडिसिन के शोधकर्ताओं ने यह परीक्षण करने के लिए कदम उठाया कि क्या ये निर्णय मॉडल मेडिकल लाइसेंसिंग परीक्षाओं पर अपनी गलतियों को विश्वसनीय रूप से पहचान सकते हैं। उन्होंने विभिन्न कंपनियों के तीन अलग-अलग मॉडलों पर ध्यान केंद्रित किया, और उनका परीक्षण कोरियाई और अमेरिकी मेडिकल बोर्ड परीक्षाओं के सैकड़ों प्रश्नों पर किया। लक्ष्य केवल यह देखना नहीं था कि मशीनें कितने प्रश्न सही करती हैं, बल्कि यह देखना था कि उनके द्वारा उत्पन्न प्रायिकता स्कोर एक चेतावनी प्रणाली के रूप में कार्य कर सकते हैं या नहीं। शोधकर्ताओं ने पूछा: यदि एक मॉडल कहता है कि वह एक उत्तर के प्रति केवल थोड़ा ही आश्वस्त है, तो क्या वास्तव में इसका मतलब यह है कि उत्तर गलत होने की संभावना है? और यदि सिस्टम को अपने कम आश्वस्त अनुमानों को अलग करने और उन्हें दूसरे नज़रिए के लिए एक अधिक शक्तिशाली मॉडल को भेजने के लिए कहा जाता है, तो क्या यह भारी लागत के बिना समग्र सटीकता में सुधार करता है?

उत्तर खोजने के लिए, टीम ने वास्तविक परीक्षा प्रश्नों का उपयोग करके कंप्यूटर सिमुलेशन की एक श्रृंखला चलाई। उन्होंने तीन अलग-अलग निर्णय मॉडलों: जेव (Jev), ओपनएआई डिसीजन्स (OpenAI Decisions), और क्लेफ (Clef) को हजारों चिकित्सा प्रश्न दिए। प्रत्येक मॉडल से विकल्पों की एक सूची में से सही उत्तर चुनने और अपने चयन के लिए एक आत्मविश्वास स्कोर प्रदान करने के लिए कहा गया। शोधकर्ताओं ने फिर इन स्कोरों की तुलना आधिकारिक उत्तर कुंजियों (कीज़) से की ताकि यह देखा जा सके कि क्या कम आत्मविश्वास वास्तव में त्रुटियों के साथ सह-संबंधित है। उन्होंने पाया कि मॉडल वास्तव में इस आत्म-मूल्यांकन में काफी अच्छे थे। जब मॉडल अनिश्चित थे, तो वे अक्सर गलत भी थे। विशेष रूप से, मॉडलों ने कोरियाई प्रश्नों के लिए लगभग 83 से 92 प्रतिशत और अंग्रेजी प्रश्नों के लिए 85 से 88 प्रतिशत मामलों में सही उत्तर की पहचान की। इससे भी महत्वपूर्ण बात यह है कि प्रायिकता स्कोर ने त्रुटियों को सफलतापूर्वक चिह्नित किया। कोरियाई परीक्षणों में, मॉडलों के अनिश्चितता स्कोर उच्च विश्वसनीयता के साथ गलत उत्तरों को सही उत्तरों से अलग करने में सक्षम थे, और अंग्रेजी परीक्षणों के लिए भी यही सच साबित हुआ।

इसके बाद अध्ययन एक व्यावहारिक अनुप्रयोग की ओर बढ़ा: एक रेफरल सिस्टम। शोधकर्ताओं ने एक परिदृश्य का अनुकरण किया जहाँ प्रत्येक मॉडल के सबसे कम आश्वसनीय 20 प्रतिशत उत्तरों को अंतिम निर्णय के लिए एक बहुत अधिक शक्तिशाली और महंगी मॉडल, GPT-6.1 Sol, को स्वचालित रूप से भेजा गया। परिणामों ने दिखाया कि यह सरल रणनीति उल्लेखनीय रूप से अच्छी तरह काम करती है। केवल एक-पांच हिस्से उत्तरों को रेफर करके, सिस्टम ने प्रारंभिक मॉडलों द्वारा की गई त्रुटियों में से 56 से 91 प्रतिशत तक को पकड़ लिया। इस प्रक्रिया ने समग्र सटीकता को 6 से 9 प्रतिशत अंक तक बढ़ा दिया। इस सुधार की लागत उस लागत का एक अंश थी जो हर एक प्रश्न पर शक्तिशाली मॉडल चलाने में आती। रेफरल दृष्टिकोण ने उस सटीकता के लगभग आधे से लेकर लगभग सभी संभावित लाभों को प्राप्त किया जो तब उपलब्ध होते यदि एक पूर्ण "ओरेकल" (oracle) को पहले से पता होता कि कौन से उत्तर गलत हैं, और यह सब शक्तिशाली मॉडल का विशेष रूप से उपयोग करने की लागत के केवल एक चौथाई से एक-तिहाई खर्च में किया गया।

हालाँकि, शोधकर्ताओं ने कुछ महत्वपूर्ण सीमाओं का भी खुलासा किया जो बताते हैं कि ये उपकरण अभी तक अस्पताल में उपयोग के लिए तैयार नहीं हैं। हालांकि मॉडल अपनी अनिश्चितता को पहचानने में अच्छे थे, लेकिन वे पूर्ण नहीं थे। कुछ त्रुटियाँ उच्च आत्मविश्वास के साथ की गईं, जिसका अर्थ था कि मशीन गलत उत्तर के प्रति आश्वस्त थी। ये 'कॉन्फिडेंट एरर्स' (आश्वस्त त्रुटियाँ) अक्सर स्थिर थीं, जिसका अर्थ था कि उत्तरों के क्रम को बदलने पर भी वे नहीं बदलीं, और वे कभी-कभी अन्य उन्नत मॉडलों द्वारा दिए गए गलत उत्तरों से मेल खाती थीं। यह सुझाव देता है कि जब ये मॉडल आश्वस्त होते हुए भी गलत होते हैं, तो वे अक्सर समान गहरे कारणों से गलत होते हैं, जैसे कि प्रश्न में जानकारी की कमी या पुराने नियमों पर निर्भर होना। उदाहरण के लिए, कोरियाई परीक्षाओं में, कई त्रुटियों में विशिष्ट स्थानीय कानून और प्रशासनिक नियम शामिल थे जिनके साथ मॉडल संघर्ष कर रहे थे, भले ही उन्होंने कम आत्मविश्वास व्यक्त किया हो। अंग्रेजी परीक्षाओं में, कुछ प्रश्न स्वयं मानव डॉक्टरों द्वारा विवादित थे, जिससे ऐतिहासिक कुंजियों के आधार पर किसी भी मशीन के लिए "सही" उत्तर पाना कठिन हो गया था।

अध्ययन ने यह भी जांचा कि प्रश्न प्रस्तुत करने के तरीके के प्रति ये सिस्टम कितने संवेदनशील हैं। जब शोधकर्ताओं ने उत्तर विकल्पों के क्रम को घुमाया, तो मॉडलों के निर्णय लगभग 7 से 16 प्रतिशत मामलों में बदल गए। इसका अर्थ यह है कि एक मॉडल किसी प्रश्न को दूसरी बार देखने के लिए केवल इसलिए रेफर कर सकता है क्योंकि विकल्प एक अलग क्रम में सूचीबद्ध थे, भले ही चिकित्सा सामग्री समान रही हो। जबकि छोटे बदलावों के बावजूद सिस्टम की समग्र सटीकता स्थिर रही, व्यक्तिगत निर्णय पूरी तरह से सुसंगत नहीं थे। शोधकर्ताओं ने नोट किया कि यह अस्थिरता, 'कॉन्फिडेंट एरर्स' के अस्तित्व के साथ मिलकर, यह दर्शाती है कि इन मॉडलों पर अकेले काम करने के लिए भरोसा नहीं किया जा सकता है। वे एक 'फर्स्ट रीडर' (प्रथम पाठक) के रूप में सबसे अच्छा कार्य करते हैं जो आसान मामलों को संभालते हैं और कठिन मामलों को मानव डॉक्टर की समीक्षा के लिए चिह्नित करते हैं।

अंततः, अनुसंधान प्रदर्शित करता है कि निर्णय मॉडल गति और सटीकता के बीच एक आशाजनक मध्य मार्ग प्रदान करते हैं। वे चिकित्सा प्रश्नों को तेज़ी से और सस्ते में संसाधित कर सकते हैं, और उनके आंतरिक आत्मविश्वास स्कोर त्रुटियों को फ़िल्टर करने के लिए एक उपयोगी तंत्र प्रदान करते हैं। अपने अनिश्चित 20 प्रतिशत उत्तरों को एक मजबूत सिस्टम को रेफर करके, शीर्ष-स्तरीय मॉडल की अधिकांश सटीकता को बहुत कम लागत पर प्राप्त करना संभव है। फिर भी, नैदानिक उपयोग के पथ के लिए केवल इन सिमुलेशन की आवश्यकता नहीं है। 'कॉन्फिडेंट एरर्स' की उपस्थिति और प्रश्न स्वरूपण के प्रति संवेदनशीलता यह संकेत देती है कि इन उपकरणों को वास्तविक दुनिया के परिवेश में सावधानीपूर्वक सत्यापन की आवश्यकता है। इससे पहले कि वे रोगी देखभाल का मार्गदर्शन कर सकें, उन्हें वास्तविक नैदानिक वर्कफ़्लो में परीक्षण किया जाना चाहिए जहाँ मानव डॉक्टर रेफर किए गए मामलों की समीक्षा कर सकें और उन आश्वस्त उत्तरों का ऑडिट कर सकें जो अभी भी गलत हो सकते हैं। यह तकनीक अपार क्षमता दिखाती है, लेकिन यह एक ऐसा उपकरण है जिसे इसे निर्देशित करने के लिए एक मानवीय हाथ की आवश्यकता है।