Performance evaluation and benchmarking across 16 large language models on a comprehensive real-world emergency department triage data set
यह अध्ययन वास्तविक दुनिया के आपातकालीन विभाग ट्राइएज डेटा पर 16 लार्ज लैंग्वेज मॉडल्स का बेंचमार्किंग करता है, जिसमें यह पाया गया कि हालांकि संरचित प्रॉम्प्टिंग गंभीरता वर्गीकरण के लिए मानव नर्सों के साथ पर्याप्त सहमति प्राप्त कर सकती है, लेकिन अधिकांश मॉडल सीमित सटीकता, खराब सेक्टर असाइनमेंट, व्यवस्थित अति-आत्मविश्वास और गैर-नियतात्मक व्यवहार प्रदर्शित करते हैं, जो यह संकेत देता है कि वे बिना आगे के सत्यापन और सुधार के नैदानिक कार्यान्वयन के लिए अभी तैयार नहीं हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक व्यस्त अस्पताल के आपातकालीन कक्ष (इमरजेंसी रूम) की कल्पना एक विशाल, अराजक रेलवे स्टेशन के रूप में करें। हर दिन, हजारों लोग अलग-अलग समस्याओं के साथ आते हैं, जैसे कि एक मामूली खरोंच से लेकर दिल का दौरा पड़ना। "स्टेशन मास्टर" (ट्राइएज नर्स) का काम यह देखना है कि प्रत्येक व्यक्ति की समस्या कितनी गंभीर है, और उन्हें बताना है कि उन्हें किस प्लेटफॉर्म पर जाना है: हाई-स्पीड एक्सप्रेस ट्रेन (गंभीर मामलों के लिए इमरजेंसी विभाग) या लोकल बस स्टॉप (मामूली समस्याओं के लिए अर्जेंट केयर क्लिनिक)।
यह काम अविश्वसनीय रूप से कठिन है। यह बहुत तेजी से, दबाव में होता है, और एक गलत निर्णय के परिणाम जीवन-मरण के हो सकते हैं।
हाल ही में, लोग पूछ रहे हैं: "क्या हम स्टेशन मास्टर की मदद करने के लिए एक सुपर-स्मार्ट एआई रोबोट (एक लार्ज लैंग्वेज मॉडल या LLM) को काम पर रख सकते हैं?" ये एआई रोबोट उन प्रतिभाशाली छात्रों की तरह हैं जिन्होंने लाइब्रेरी की लगभग हर किताब पढ़ ली है। लेकिन क्या उन्होंने वास्तव में एक रेलवे स्टेशन चलाना सीखा है?
यह पेपर 16 अलग-अलग एआई रोबोटों का रिपोर्ट कार्ड है जिनका परीक्षण एक जर्मन अस्पताल के वास्तविक डेटा पर किया गया था। यहाँ जो पाया गया है, उसे सरल भाषा में समझाया गया है:
1. "टेस्ट ड्राइव"
शोधकर्ताओं ने 16,107 वास्तविक रोगी रिकॉर्ड (गुमनाम किए गए, ताकि किसी के नाम शामिल न हों) लिए और 16 अलग-अलग एआई मॉडल को ट्राइएज नर्स के रूप में कार्य करने के लिए कहा। उन्हें दो काम करने थे:
- तत्कालता की ग्रेडिंग करना: रोगी को 1 (अभी मर रहा है) से 5 (एक मामूली असुविधा) तक का स्कोर देना।
- गंतव्य चुनना: उन्हें इमरजेंसी रूम (ER) या अर्जेंट केयर क्लिनिक भेजना।
उन्होंने एआई के उत्तरों की तुलना वास्तविक मानव नर्सों द्वारा लिए गए निर्णयों से की।
2. परिणाम: अधिकांश रोबोट अभी भी सीख रहे हैं
यदि मानव नर्सें "गोल्ड स्टैंडर्ड" (मानक) थीं, तो अधिकांश एआई रोबोट टेस्ट में शानदार प्रदर्शन नहीं कर पाए।
- "औसत" छात्र: अधिकांश एआई मॉडल का ग्रेड केवल "ठीक-ठाक" से "मध्यम" था। वे नर्सों के साथ लगभग आधी बार सहमत हुए।
- "आत्मविश्वासी" विफलता: डरावना हिस्सा यह है। भले ही एआई गलत था, वह सही होने के बारे में अत्यधिक आत्मविश्वासी था। यह एक ऐसे छात्र की तरह है जो गणित के सवाल का गलत जवाब देता है लेकिन हाथ उठाकर चिल्लाता है, "मुझे 100% यकीन है कि यही उत्तर है!" पेपर में पाया गया कि एआई का आत्मविश्वास वास्तव में उसके सही होने से लगभग पूरी तरह से अलग था।
- "अविश्वसनीय" रोबोट: यदि आप एक ही एआई से एक ही सवाल 100 बार पूछते हैं, तो वह 23% बार अलग उत्तर देता है। कल्पना कीजिए कि आप दिशा-निर्देशों के लिए जीपीएस से पूछते हैं, और वह आज कहता है "बाएं मुड़ें" लेकिन कल कहता है "दाएं मुड़ें", भले ही ट्रैफिक में कोई बदलाव न हुआ हो। अस्पताल में यह "नॉन-डिटरमिनिस्टिक" व्यवहार खतरनाक है।
3. गुप्त हथियार: "स्टेप-बाय-स्टेप" गाइड
वहाँ एक बड़ा आश्चर्य था। शोधकर्ताओं ने एक विशिष्ट तकनीक का उपयोग किया। केवल यह कहने के बजाय कि, "यह एक मरीज है, आप क्या सोचते हैं?", उन्होंने एआई को एक चेकलिस्ट दी।
- चरण 1: क्या मरीज मर रहा है?
- चरण 2: क्या उनके पास उच्च जोखिम वाले लक्षण हैं?
- चरण 3: उनके महत्वपूर्ण संकेत (वाइटल साइन्स) क्या हैं?
- चरण 4: उन्हें कितने संसाधनों की आवश्यकता होगी?
जब एआई को इस चरण-दर-चरण तर्क का पालन करने के लिए मजबूर किया गया (जैसा कि एक मानव नर्स करती है), तो इसके प्रदर्शन में उछाल आया और यह "उल्लेखनीय" हो गया। यह लगभग एक मानव नर्स के बराबर हो गया।
सबक: यह मायने नहीं रखता था कि एआई कितना "बड़ा" या "स्मार्ट" था। जो मायने रखता था वह था आप सवाल कैसे पूछते थे। एआई को एक स्पष्ट, संरचित नियम पुस्तिका देने से बिना अनुमान लगाए काम करने की तुलना में बहुत बेहतर परिणाम मिले।
4. "कहाँ जाना है" की समस्या
जबकि एआई तत्कालता स्कोर (कभी-कभी) का अनुमान लगाने में ठीक था, वह यह तय करने में बहुत खराब था कि मरीज को कहाँ जाना चाहिए (ER बनाम अर्जेंट केयर)।
- एआई अक्सर मामूली समस्याओं वाले लोगों को ER भेज देता था (ओवर-ट्राइएज), जिससे सिस्टम जाम हो जाता है।
- या, वह गंभीर समस्याओं वाले लोगों को अर्जेंट केयर भेज देता था (अंडर-ट्राइएज), जो कि खतरनाक है।
- पेपर का सुझाव है कि ऐसा इसलिए है क्योंकि एआई को उस विशिष्ट अस्पताल के "स्थानीय नियमों" का पता नहीं है, जैसे कि रात 3 बजे कौन सा क्लिनिक खुला है या किस बिल्डिंग में सही उपकरण हैं।
5. निष्कर्ष
पेपर का निष्कर्ष है कि हालांकि ये एआई रोबोट प्रभावशाली हैं, लेकिन वे अकेले बस चलाने के लिए तैयार नहीं हैं।
- वे बहुत असंगत हैं (वे अपना मन बदलते रहते हैं)।
- वे बहुत अधिक आत्मविश्वासी हैं (उन्हें नहीं पता कि वे कब गलत हैं)।
- उन्हें अपना काम चेक करने के लिए एक मानव "को-पायलट" की आवश्यकता है।
उन्हें बेहतर बनाने का एकमात्र तरीका यह है कि उन्हें जादू के डिब्बे (ब्लैक बॉक्स) के रूप में मानना बंद करें और उन्हें उन छात्रों के रूप में मानें जिन्हें एक सख्त, चरण-दर-चरण निर्देश पुस्तिका की आवश्यकता है। जब तक हम उनकी विश्वसनीयता और आत्मविश्वास की समस्याओं को ठीक नहीं कर लेते, तब तक वे अपने आप जीवन-मरण के निर्णय नहीं ले सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।