PeruMedQA: Benchmarking Large Language Models (LLMs) on Peruvian Medical Exams -- Dataset Construction and Evaluation
यह शोध पत्र PeruMedQA प्रस्तुत करता है, जो स्पेनिश में 8,380 पेरूवियन चिकित्सा परीक्षा प्रश्नों का एक डेटासेट है, और यह प्रदर्शित करता है कि जबकि 27-बिलियन-पैरामीटर वाला MedGemma मॉडल उच्चतम बेसलाइन सटीकता प्राप्त करता है, LoRA के माध्यम से छोटे 4-बिलियन-पैरामीटर वाले MedGemma मॉडल को फाइन-ट्यून करना इसके प्रदर्शन को काफी बढ़ा देता है ताकि यह बहुत बड़े मॉडलों का मुकाबला कर सके, जो स्पेनिश भाषी लैटिन अमेरिकी संदर्भों में चिकित्सा AI के लिए एक लागत प्रभावी समाधान प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य चित्र: पेरू में एक मेडिकल परीक्षा की चुनौती
कल्पना कीजिए कि पेरू में उन डॉक्टरों के लिए उपयोग किए जाने वाले चिकित्सा प्रश्नों का एक विशाल पुस्तकालय है, जो विशेषज्ञ (जैसे हृदय सर्जन या बाल रोग विशेषज्ञ) बनना चाहते हैं। ये प्रश्न स्पेनिश में लिखे गए हैं और दुर्लभ उष्णकटिबंधीय रोगों से लेकर सामान्य पुरानी स्थितियों तक सब कुछ कवर करते हैं।
इस शोध पत्र के लेखकों ने यह देखना चाहा कि क्या आर्टिफिशियल इंटेलिजेंस (AI) इन परीक्षाओं को पास कर सकता है। उन्होंने केवल एक AI से नहीं पूछा; उन्होंने दस अलग-अलग AI मॉडलों का एक "कक्षा" (class) इकट्ठा किया (छोटे, हल्के मॉडलों से लेकर विशाल, भारी-भरकम मॉडलों तक) और उन्हें यह परीक्षा देने के लिए कहा।
सेटअप: "PeruMedQA" डेटासेट बनाना
इससे पहले कि AI परीक्षा दे सके, शोधकर्ताओं को स्वयं वह परीक्षा बनानी थी।
- स्रोत (The Source): उन्होंने 2018 से 2025 तक के पेरूवियन नेशनल काउंसिल ऑफ मेडिकल रेजिडेंसीज़ (CONAREM) के आधिकारिक परीक्षा PDF डाउनलोड किए।
- सफाई (The Cleanup): उन्होंने इन PDF को 8,380 प्रश्नों की एक डिजिटल सूची में बदलने के लिए कंप्यूटर कोड का उपयोग किया। उन्होंने यह सुनिश्चित करने के लिए कि कंप्यूटर कोई गलती न करे, एक इंसान से उत्तरों की दोबारा जांच भी करवाई (उसने 8,380 में से केवल 16 गलतियाँ कीं, जो अविश्वसनीय रूप से सटीक है)।
- मानकीकरण (The Standardization): कुछ वर्षों में 4 विकल्प (A, B, C, D) थे, और कुछ में 5 (A, B, C, D, E)। एक निष्पक्ष दौड़ बनाने के लिए, उन्होंने 4-विकल्प वाले प्रश्नों में "उपरोक्त में से कोई नहीं" (None of the above) का विकल्प जोड़ दिया ताकि प्रत्येक प्रश्न में ठीक 5 विकल्प हों।
- परिणाम: उन्होंने एक नया, ओपन-एक्सेस डेटासेट बनाया जिसे PeruMedQA कहा जाता है। इसे AI के लिए एक मानकीकृत "पेरूवियन मेडिकल बोर्ड एग्जाम" के रूप में समझें।
दौड़: छोटे बनाम बड़े AI मॉडल
शोधकर्ताओं ने दस AI मॉडलों को इस डेटासेट के माध्यम से चलाया। यहाँ विभिन्न "एथलीटों" का प्रदर्शन दिया गया है:
हेवीवेट्स (बड़े मॉडल):
- स्टार प्लेयर: medgemma-27b मॉडल (एक 27-बिलियन पैरामीटर वाला मॉडल) स्पष्ट विजेता था। इसने लगभग हर विशेषता में उच्चतम स्कोर प्राप्त किया, विशेष रूप से साइकियाट्री (Psychiatry) में लगभग 90% सटीकता हासिल की। यह ओलंपिक स्वर्ण पदक विजेता की तरह था।
- द जायंट (The Giant): Llama3-OpenBioLLM-70B (एक 70-बिलियन पैरामीटर वाला मॉडल) बहुत बड़ा और शक्तिशाली था, लेकिन यह हमेशा थोड़े छोटे 27-बिलियन मॉडल को नहीं हरा सका। इसने साबित कर दिया कि "बड़ा होना हमेशा बेहतर नहीं होता" यदि प्रशिक्षण डेटा सही नहीं है।
- विशेषज्ञ (The Specialist): OctoMed-7B (एक 7-बिलियन मॉडल) आश्चर्यजनक रूप से मजबूत था। दो विशिष्ट क्षेत्रों में—न्यूरोसर्जरी और रेडियोलॉजी में—इसने वास्तव में विशाल 27-बिलियन मॉडल को पीछे छोड़ दिया। यह एक ऐसे स्प्रिंटर की तरह था जिसने कम दूरी की दौड़ में मैराथन धावक को हरा दिया।
लाइटवेट्स (छोटे मॉडल):
- 10 बिलियन से कम पैरामीटर वाले अधिकांश मॉडल संघर्ष करते रहे। उनका स्कोर अक्सर 50% से नीचे रहा, जो अनुमान लगाने से थोड़ा ही बेहतर है।
- भ्रम की समस्या (The Hallucination Problem): कुछ छोटे मॉडल इतने भ्रमित थे कि उन्होंने नियमों का पालन भी नहीं किया। "A, B, C, D, या E" कहने के बजाय, वे नए अक्षर (जैसे "K") गढ़ देते थे या उत्तर चुनने के बजाय लंबे निबंध लिख देते थे। इसे "हैलुसिनेशन" (Hallucination) कहा जाता है। meditron-7b मॉडल सबसे खराब अपराधी था, जो 66% बार वैध उत्तर देने में विफल रहा!
गुप्त हथियार: फाइन-ट्यूनिंग (Fine-Tuning)
शोधकर्ताओं ने सबसे छोटे, संसाधन-अनुकूल मॉडल (medgemma-4b-it) को एक विशेष प्रशिक्षण सत्र दिया। इस प्रक्रिया को फाइन-ट्यूनिंग (विशेष रूप से LoRA तकनीक का उपयोग करके) कहा जाता है।
- उपमा (The Analogy): कल्पना कीजिए कि एक बुद्धिमान छात्र है जो सामान्य चिकित्सा जानता है लेकिन उसने कभी पेरूवियन परीक्षा नहीं देखी है। शोधकर्ताओं ने उस छात्र को लिया और उसे केवल पिछले 8,000 पेरूवियन प्रश्नों (2025 की परीक्षा को छोड़कर) का उपयोग करके एक क्रैश कोर्स दिया।
- परिणाम: इस "प्रशिक्षित" छोटे मॉडल (medgemma-4b-it-FT) ने एक सुपरहीरो का रूप ले लिया।
- इसने पूरी तरह से भ्रम (hallucination) पैदा करना बंद कर दिया।
- इसने सभी अन्य छोटे मॉडलों को पछाड़ दिया।
- इसने कई परीक्षणों में विशाल 70-बिलियन पैरामीटर वाले मॉडल को भी हरा दिया।
- यह एकमात्र ऐसा मॉडल था जो उन प्रश्नों को अनूठे रूप से हल कर सका जिन्हें कोई अन्य AI हल नहीं कर सका।
मुख्य निष्कर्ष
- संदर्भ मायने रखता है (Context Matters): मुख्य रूप से अमेरिकी या अंग्रेजी डेटा पर प्रशिक्षित AI मॉडल पेरू में पाए जाने वाले विशिष्ट रोगों और चिकित्सा शैलियों के साथ संघर्ष करते हैं।
- आकार सब कुछ नहीं है (Size Isn't Everything): एक विशाल 70-बिलियन पैरामीटर वाला मॉडल स्वचालित रूप से नहीं जीता। एक 27-बिलियन मॉडल जिसके पास बेहतर प्रशिक्षण डेटा है, या एक छोटा 4-बिलियन मॉडल जिसे स्थानीय डेटा पर विशेष रूप से "ट्यून" किया गया है, बेहतर प्रदर्शन करता है।
- विजेता: पेरू या इसी तरह के स्पेनिश भाषी देशों के लिए जो मेडिकल AI की आवश्यकता रखते हैं, यह पेपर सर्वोत्तम समग्र प्रदर्शन के लिए medgemma-27b-text-it का उपयोग करने की सिफारिश करता है। हालाँकि, यदि आपको कुछ ऐसा चाहिए जो छोटे कंप्यूटरों पर चल सके, तो fine-tuned medganya-4b-it एक शानदार, कुशल विकल्प है जो दिग्गजों को टक्कर देता है।
वह जो पेपर नहीं कहता
यह पेपर सख्ती से इस बात का मूल्यांकन करता है कि ये AI बहुविकल्पीय प्रश्नों (multiple-choice questions) का उत्तर कितनी अच्छी तरह देते हैं। यह दावा नहीं करता कि ये AI वास्तविक रोगियों का निदान करने, डॉक्टरों को बदलने या अस्पतालों में उपयोग किए जाने के लिए तैयार हैं। यह एक बेंचमार्क टेस्ट है, न कि किसी मेडिकल टूल का लॉन्च। लेखक इस बात पर जोर देते हैं कि वास्तविक दुनिया में इन मॉडलों का उपयोग करने से पहले, यह सुनिश्चित करने के लिए इनका सावधानीपूर्वक परीक्षण किया जाना चाहिए कि वे खतरनाक गलतियाँ न करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।