Robustness Gap of Large Language Models in Nephrology
यह अध्ययन "अन्य में से कोई नहीं" प्रतिस्थापन का उपयोग करके नेफ्रोलॉजी बोर्ड प्रश्नों पर मूल्यांकित किए जाने पर अत्याधुनिक लार्ज लैंग्वेज मॉडल्स में एक महत्वपूर्ण सुदृढ़ता अंतराल (robustness gap) को प्रकट करता है, जो यह दर्शाता है कि उच्च बहुविकल्पीय सटीकता आवश्यक रूप से वास्तविक नैदानिक तर्क क्षमताओं को प्रतिबिंबित नहीं करती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस ने चिकित्सा के क्षेत्र में सहायता देना शुरू कर दिया है, जो एक ऐसे उपकरण के रूप में कार्य करता है जो बड़ी मात्रा में टेक्स्ट को पढ़ सकता है और जटिल प्रश्नों के उत्तर सुझा सकता है। किडनी केयर या नेफ्रोलॉजी जैसे क्षेत्रों में, डॉक्टरों को उपचार तय करने के लिए प्रयोगशाला परिणामों, रोगी के इतिहास और शारीरिक संकेतों को लगातार तौलना पड़ता है। वर्षों से, शोधकर्ता यह परीक्षण करते रहे हैं कि क्या ये कंप्यूटर प्रोग्राम मेडिकल परीक्षाओं को पास कर सकते हैं, जो यह देखने का एक मानक तरीका है कि क्या वे उपयोगी होने के लिए पर्याप्त ज्ञान रखते हैं। हालांकि, एक बहुविकल्पीय परीक्षा में उच्च स्कोर का मतलब यह आवश्यक रूप से नहीं है कि सिस्टम वास्तव में उत्तर के पीछे के तर्क को समझता है। यह केवल इस बात को पहचान रहा हो सकता है कि प्रश्न किस तरह से लिखे गए हैं या यह इस आधार पर अनुमान लगा रहा हो सकता है कि कौन से विकल्प सबसे परिचित लग रहे हैं। सुरक्षित चिकित्सा देखभाल के भविष्य के लिए महत्वपूर्ण प्रश्न यह है कि क्या ये मॉडल समस्या को सुलझाने के लिए तर्क कर सकते हैं जब सामान्य शॉर्टकट हटा दिए जाते हैं, या क्या वे बिना किसी परिचित सहारे के सोचने के लिए मजबूर होने पर ढह जाते हैं।
सेंट मारियाना यूनिवर्सिटी स्कूल ऑफ मेडिसिन, जापान की शोधकर्ताओं की एक टीम ने मन के लिए एक 'स्ट्रेस टेस्ट' की तरह काम करने वाली एक विधि का उपयोग करके इस विशिष्ट कमजोरी का परीक्षण करने का निर्णय लिया। उन्होंने जापान में नेफ्रोलॉजिस्ट के बोर्ड प्रमाणन को नवीनीकृत करने के लिए उपयोग किए जाने वाले 145 वास्तविक प्रश्नों का एक संग्रह लिया। ये प्रश्न किडनी रोग के प्रबंधन के लिए आवश्यक गहरे, जटिल तर्क को कवर करते हैं। शोधकर्ताओं ने फिर प्रत्येक प्रश्न का एक संशोधित संस्करण बनाया। मूल परीक्षण में, एक विशिष्ट उत्तर सही था। नए संस्करण में, उन्होंने उस सही उत्तर को "अन्य में से कोई नहीं" अर्थ वाले वाक्यांश से बदल दिया। इसने कंप्यूटर मॉडलों को कुछ कठिन करने के लिए मजबूर किया: एक सूची से सही विकल्प चुनने के बजाय, उन्हें यह महसूस करना था कि अन्य सभी विकल्प गलत थे और एकमात्र वैध विकल्प वह था जो कहता था कि उनमें से कोई भी फिट नहीं बैठता। यदि कोई मॉडल चिकित्सा तथ्यों के माध्यम से वास्तव में तर्क कर रहा होता, तो वह मूल सही उत्तर के गायब होने को पहचान पाता और "उपरोक्त में से कोई नहीं" विकल्प को चुन पाता। यदि वह केवल पैटर्न के आधार पर अनुमान लगा रहा होता, तो वह संभवतः शेष गलत विकल्पों में से किसी एक को चुन लेता।
टीम ने OpenAI और Google सहित प्रणालियों के साथ उपलब्ध चार सबसे उन्नत भाषा मॉडलों का परीक्षण किया। उन्होंने मॉडलों को मूल प्रश्न और संशोधित संस्करण अलग-अलग दिए, और हर बार उनसे सबसे अच्छा उत्तर चुनने के लिए कहा। परिणामों ने एक स्पष्ट और महत्वपूर्ण अंतर दिखाया कि मॉडल मूल प्रश्न के मौजूद होने बनाम सही उत्तर के छिपे होने पर कैसा प्रदर्शन करते हैं। जब मॉडलों का सामना मूल प्रश्नों से हुआ, तो उन्होंने काफी अच्छा प्रदर्शन किया, जिसमें सर्वश्रेष्ठ प्रणाली ने लगभग 88 प्रतिशत सही उत्तर दिए। हालांकि, जैसे ही सही उत्तर को "अन्य में से कोई नहीं" के साथ बदल दिया गया, उनका प्रदर्शन तेजी से गिर गया। जो प्रणाली उच्चतम स्कोर के साथ शुरू हुई थी, वह गिरकर लगभग 73 प्रतिशत पर आ गई, जो एक सांख्यिकीय रूप से महत्वपूर्ण गिरावट थी। अन्य मॉडलों में और भी अधिक गिरावट देखी गई, जिसमें एक मॉडल लगभग 66 प्रतिशत सही से गिरकर केवल 19 प्रतिशत पर आ गया। इसका मतलब है कि जब परिचित पैटर्न वाला सही उत्तर हटा दिया गया, तो मॉडल अपने स्वयं के चिकित्सा तर्क पर भरोसा करने में संघर्ष करते रहे और अक्सर एक गलत विकल्प को चुना जो विश्वसनीय लग रहा था, बजाय इसके कि वे स्वीकार करते कि सही विकल्प अनुपलब्ध है।
अध्ययन सुझाव देता है कि हालांकि नए मॉडल अधिक मजबूत हो रहे हैं और इन पेचीदा बदलावों को संभालने में बेहतर हो रहे हैं, वे अभी भी स्वतंत्र नैदानिक निर्णय लेने के लिए पूरी तरह से विश्वसनीय नहीं हैं। शोधकर्ताओं ने पाया कि सबसे उन्नत प्रणालियाँ भी इस विचार पर टिकी रहती हैं कि दिखाई देने वाले विकल्पों में से एक सही होना चाहिए, भले ही मामले का तर्क इसके विपरीत हो। एक वास्तविक अस्पताल सेटिंग में, यह व्यवहार खतरनाक हो सकता है। यदि एक डॉक्टर के पास जानकारी का कोई हिस्सा गायब है, जैसे कि कोई विशिष्ट लैब मान या कोई सूक्ष्म शारीरिक संकेत, तो एक सुरक्षित आर्टिफिशियल इंटेलिजेंस यह पहचान सकता है कि मामले का निर्णय नहीं लिया जा सकता और अधिक डेटा की मांग कर सकता है। इसके बजाय, ये मॉडल अक्सर एक आत्मविश्वासी लेकिन गलत अनुमान के साथ रिक्त स्थानों को भर देते हैं। लेखक निष्कर्ष निकालते हैं कि एक बहुविकल्पीय परीक्षा पास करना यह साबित करने के लिए पर्याप्त नहीं है कि एक मॉडल डॉक्टर की तरह तर्क कर सकता है। किडनी केयर के लिए वास्तव में सुरक्षित उपयोग के लिए, इन प्रversions को यह प्रदर्शित करने की आवश्यकता है कि वे अनिश्चितता को संभाल सकते हैं और यह पहचान सकते हैं कि उत्तर केवल उपलब्ध नहीं है, न कि केवल पैटर्न को मैच करके टेस्ट पर उच्चतम स्कोर प्राप्त करना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।