IyàwóBench: A Benchmark for Evaluating Large Language Model Clinical Triage Accuracy on Undifferentiated Febrile Illness in Nigerian Primary Health Settings
यह शोध पत्र IyàwòBench को प्रस्तुत करता है, जो नाइजीरियाई प्राथमिक चिकित्सा में अनिश्चितीकृत ज्वर संबंधी बीमारी (undifferentiated febrile illness) के नैदानिक ट्राइएज (clinical triage) के लिए लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने वाला पहला बेंचमार्क है, जो यह प्रकट करता है कि जहाँ आधुनिक मॉडल खतरनाक डाउनग्रेड्स से बचकर उच्च सुरक्षा प्रदर्शित करते हैं, वहीं उनकी नैदानिक सटीकता काफी भिन्न होती है और WHO के दिशा-निर्देशों के साथ विशेष रूप से इंजीनियर की गई प्रणालियों द्वारा इसमें पर्याप्त सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
नाइजीरिया के एक व्यस्त क्लिनिक की कल्पना करें जहाँ एक सामुदायिक स्वास्थ्य कार्यकर्ता हजारों लोगों के लिए रक्षा की पहली पंक्ति है। हर दिन, वे बुखार से पीड़ित मरीजों को देखते हैं। समस्या क्या है? बुखार एक कार के "चेक इंजन" लाइट की तरह एक जेनेरिक संकेत है। यह सर्दी जैसी किसी साधारण चीज़ के बारे में हो सकता है, या यह मेनिन्जाइटिस या गंभीर सेप्सिस जैसी जानलेवा आपात स्थिति भी हो सकती है। स्वास्थ्य कार्यकर्ता को तुरंत निर्णय लेना होता है: "क्या मैं इस व्यक्ति का इलाज यहीं करूँ?" या "क्या मुझे उन्हें तुरंत अस्पताल भेज देना चाहिए?"
इसे गलत समझना खतरनाक है। यदि आप किसी गंभीर मरीज को घर भेज देते हैं, तो उनकी मृत्यु हो सकती है। यदि आप किसी हल्के मरीज को अस्पताल भेज देते हैं, तो आप सिस्टम को जाम कर देते हैं और संसाधनों को बर्बाद करते हैं।
यह शोध पत्र एक नया "टेस्ट ड्राइव" जिसे IyàwóBench कहा जाता है, पेश करता है ताकि यह देखा जा सके कि क्या आर्टिफिशियल इंटेलिजेंस (AI) इन स्वास्थ्य कार्यकर्ताओं को सही निर्णय लेने में मदद कर सकता है।
"टेस्ट ड्राइव" (द बेंचमार्क)
शोधकर्ताओं ने एक डिजिटल सिमुलेशन बनाया, जो डॉक्टरों के लिए एक वीडियो गेम की तरह है। उन्होंने वास्तविक डेटा (1,200 वास्तविक नाइजीरियाई मरीजों पर आधारित) का उपयोग करके 200 नकली मरीज कहानियाँ (विनेट्स) बनाईं। ये कहानियाँ आठ अलग-अलग प्रकार की ज्वर संबंधी बीमारियों को कवर करती हैं, जो साधारण मलेरिया से लेकर घातक जीवाणु संक्रमणों तक फैली हुई हैं।
उन्होंने छह अलग-अलग AI मॉडल (जो "ड्राइवर" हैं) से इन कहानियों को पढ़ने और तीन में से एक क्रिया चुनने के लिए कहा:
- अभी रेफर करें (REFER NOW): तुरंत अस्पताल जाएँ (आपातकालीन)।
- आज रेफर करें (REFER TODAY): आज बाद में अस्पताल जाएँ (अर्जेंट)।
- यहाँ इलाज करें (TREAT HERE): यहीं रुकें और दवा लें (सुरक्षित)।
परिणाम: सुरक्षा बनाम सटीकता
शोधकर्ताओं ने AI का परीक्षण दो मुख्य चीजों पर किया: सुरक्षा (Safety) और सटीकता (Accuracy)।
1. सुरक्षा स्कोर (किसी को मारने से बचने वाला टेस्ट)
यह सबसे महत्वपूर्ण परिणाम था। शोधकर्ताओं ने जाँच की: क्या किसी भी AI ने कभी किसी गंभीर, जानलेवा मरीज को "यहाँ रुकें और अपना इलाज स्वयं करें" बताने की गलती की?
- परिणाम: शून्य। प्रत्येक AI मॉडल ने 100% सुरक्षा स्कोर प्राप्त किया।
- उपमा: कल्पना कीजिए कि नए ड्राइवरों का एक समूह टेस्ट दे रहा है। भले ही वे समानांतर पार्किंग (parallel parking) करने में खराब हों, लेकिन उनमें से किसी ने भी पैदल यात्रियों के समूह में गाड़ी नहीं चलाई। उन्होंने चिकित्सा आपात स्थिति के "स्टॉप" संकेतों और लाल बत्तियों को पहचान लिया। वे सबसे खतरनाक गलती करने से डर रहे थे।
2. सटीकता स्कोर (सही निर्णय वाला टेस्ट)
इसने मापा कि AI कितनी बार बिल्कुल सही स्तर की देखभाल चुनता है (जैसे, "अभी रेफर करें" कहना जब वास्तव में इसकी आवश्यकता हो)।
- परिणाम: AI मॉडल बहुत ही उतार-चढ़ाव भरे रहे।
- स्टार परफॉर्मर: एक मॉडल (Claude Sonnet) ने लगभग 67.5% सही निर्णय लिए। यह सबसे अच्छा था, लेकिन फिर भी इसने हर 3 मामलों में से 1 मामला गलत किया।
- मिडल पैक: अन्य मॉडल जैसे Llama 4 Scout ने लगभग 59.5% प्राप्त किया।
- संघर्ष करने वाले: कुछ मॉडल, जैसे Llama 3.1 8B, केवल 39% सही थे।
- "साइलेंट" विफलताएँ: दो मॉडलों (Qwen और GPT OSS) की सटीकता लगभग 0% थी।
- उपमा: इसे एक बहुविकल्पीय परीक्षा (multiple-choice test) की तरह समझें। सबसे अच्छे AI ने "C" ग्रेड प्राप्त किया। सबसे खराब "पारसेबल" AI ने "F" प्राप्त किया। जिन दो मॉडलों ने "0%" प्राप्त किया, वे इसलिए विफल नहीं हुए क्योंकि उन्हें उत्तर नहीं पता था; वे इसलिए विफल हुए क्योंकि उन्होंने उस विशिष्ट बॉक्स में उत्तर लिखने से मना कर दिया जैसा कि शिक्षक ने मांगा था। उन्होंने बॉक्स चेक करने के बजाय लंबे निबंध लिख दिए।
शोध पत्र के मुख्य निष्कर्ष
- AI सतर्क है: AI मॉडल यह पहचानने में बहुत अच्छे हैं कि स्थिति डरावनी और खतरनाक कब है। वे एक मरीज को अनावश्यक रूप से अस्पताल भेजने के बजाय जोखिम उठाना पसंद करेंगे बजाय इसके कि वे किसी गंभीर मरीज को घर भेज दें।
- आकार हमेशा बुद्धिमत्ता का पैमाना नहीं होता: शोधकर्ताओं ने पाया कि "बड़ा" दिमाग (अधिक कंप्यूटर पैरामीटर्स) होने से बेहतर स्कोर की गारंटी नहीं मिलती। नाइजीरियाई स्वास्थ्य नियमों के विशिष्ट निर्देशों के साथ एक छोटा, विशिष्ट मॉडल, एक विशाल, सामान्य उद्देश्य वाले मॉडल की तुलना में बेहतर प्रदर्शन करता है।
- "फॉर्मेट" की समस्या: दो शक्तिशाली मॉडल परीक्षण में विफल रहे क्योंकि वे परीक्षण के सख्त प्रारूप (format) का पालन नहीं कर सके। उन्होंने बेहतरीन चिकित्सा सलाह दी, लेकिन उन्होंने उसे उस सटीक कोड में नहीं लिखा जिसकी कंप्यूटर को आवश्यकता थी।
- अंतराल (The Gap): सबसे अच्छे AI (67.5%) और सबसे खराब (39%) के बीच एक बड़ा अंतर है। इसका मतलब है कि हम केवल किसी भी AI को चुनकर यह उम्मीद नहीं कर सकते कि वह काम करेगा; हमें सावधानी से चुनना होगा और शायद इसे विशेष रूप से "प्रशिक्षित" करना होगा।
यह शोध पत्र क्या नहीं कहता
यह महत्वपूर्ण है कि हम जो शोध पत्र वास्तव में कहता है, उसी तक सीमित रहें:
- यह शोध पत्र यह नहीं कहता कि AI नाइजीरिया में मानव डॉक्टरों की जगह लेने के लिए तैयार है।
- यह दावा नहीं करता कि ये मॉडल पूर्ण हैं (67.5% सटीकता का अर्थ है कि वे लगभग एक-तिहाई मामलों में गलत हैं)।
- यह इस बात का परीक्षण नहीं करता कि क्या AI सही दवा या खुराक निर्धारित कर सकता है, यह केवल यह तय करता है कि मरीज को कहाँ जाना चाहिए।
- यह इस बात का परीक्षण नहीं करता कि क्या यह AI धीमे इंटरनेट कनेक्शन वाले वास्तविक फोन पर काम करता है, बल्कि यह केवल क्लाउड सिमुलेशन में है।
निचोड़ (The Bottom Line)
यह शोध पत्र एक नया पैमाना (IyàwóBench) पेश करता है जिससे नाइजीरियाई क्लीनिकों में AI को मापा जा सके। इसने पाया कि हालांकि AI बहुत सतर्क है और सबसे घातक गलतियाँ नहीं करेगा, फिर भी यह सटीक देखभाल का स्तर समझने में असंगत है। उपयोगी होने के लिए, भविष्य के AI उपकरणों को स्थानीय डेटा पर विशेष रूप से प्रशिक्षित करने और सख्त फॉर्मेटिंग नियमों का पालन करने के लिए मजबूर करने की आवश्यकता होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।