PeruMedQA: Benchmarking Large Language Models (LLMs) on Peruvian Medical Exams -- Dataset Construction and Evaluation

Sintesi Tecnica: PeruMedQA: Benchmarking di Large Language Models (LLM) su Esami Medici Peruviani

Problematica
Sebbene i Large Language Models (LLM) abbiano dimostrato una straordinaria competenza nel rispondere a esami medici, in particolare quelli basati su dataset in lingua inglese provenienti da paesi ad alto reddito, le loro prestazioni in lingua spagnola e all'interno del contesto epidemiologico specifico dell'America Latina rimangono ampiamente inesplorate. Paesi come il Perù presentano una sfida unica, combinando malattie croniche non trasmissibili con malattie infettive e tropicali, un profilo distinto rispetto alle fonti di dati utilizzate per addestrare la maggior parte degli attuali modelli medici LLM. Esiste una critica necessità di identificare LLM efficaci capaci di rispondere accuratamente a domande mediche in spagnolo da contesti sudamericani per supportare la crescente adozione di applicazioni mediche basate sull'IA nella regione.

Metodologia
Lo studio ha seguito un approccio su tre fronti: costruzione del dataset, valutazione zero-shot e fine-tuning efficiente dei parametri.

1. Costruzione del Dataset (PeruMedQA): Gli autori hanno curato un dataset di domande a scelta multipla (MCQA) denominato PeruMedQA, composto da 8.380 domande tratte da esami medici somministrati dal Consejo Nacional de Residentado Médico (CONAREME) tra il 2018 e il 2025. Il dataset copre 12 specialità e subspecialità. Le domande sono state estratte da PDF, verificate manualmente per l'accuratezza delle risposte (correggendo 16 errori su 8.380) e standardizzate per garantire l'uniformità nel numero di opzioni (aggiungendo un'opzione "Nessuna delle precedenti" dove necessario per standardizzare da quattro a cinque scelte). Le domande dell'esame 2025 sono state riservate come set di test.
2. Valutazione Zero-Shot: Dieci LLM medici, con un range da 3,8 miliardi a 70 miliardi di parametri, sono stati valutati utilizzando prompt specifici per il compito in modalità zero-shot in lingua spagnola. I modelli includevano medgemma-4b-it, medgemma-27b-text-it, OctoMed-7B, Llama3-OpenBioLLM-70B e altri. Ai modelli è stato ordinato di selezionare una singola lettera (A–E) corrispondente alla risposta corretta. Le prestazioni sono state misurate tramite l'accuratezza (risposte corrette divise per risposte valide) e il tasso di "allucinazioni" (casi in cui i modelli non hanno seguito le istruzioni di formattazione o hanno fornito opzioni non valide).
3. Fine-Tuning: Per affrontare i vincoli di risorse, gli autori hanno applicato il Parameter-Efficient Fine-Tuning (PEFT) utilizzando la Low-Rank Adaptation (LoRA) al modello medgemma-4b-it. Il modello è stato addestrato sul 90% dei dati non relativi al 2025 (6.282 domande) con una divisione di validazione del 10%, utilizzando un learning rate di 5e-5 per 10 epoche. Il modello sottoposto a fine-tuning è stato poi valutato contro il test set 2025 (mantenuto separato) e confrontato con i modelli vanilla.

Contributi Chiave

• Dataset PeruMedQA: Il documento introduce il primo dataset armonizzato e leggibile dal computer di domande di esami per la specializzazione medica e subspecializzazione peruviana. Questa risorsa viene rilasciata con accesso aperto per facilitare ulteriori ricerche e lo sviluppo dell'IA in contesti medici di lingua spagnola.
• Benchmarking Comprensivo: Lo studio fornisce una valutazione sistematica di dieci diversi LLM medici attraverso varie specialità, anni e dimensioni di parametri, specificamente all'interno di un contesto epidemiologico latinoamericano.
• Strategia di Fine-Tuning: Gli autori dimostrano un approccio efficiente dal punto di vista delle risorse per migliorare le prestazioni del modello effettuando il fine-tuning di un modello piccolo (4 miliardi di parametri), rendendo l'IA medica ad alta accuratezza più accessibile alle regioni con infrastrutture computazionali limitate.

Risultati

• Prestazioni del Modello: medgemma-27b-text-it ha raggiunto l'accuratezza complessiva più elevata, raggiungendo l'89,29% in Psichiatria. OctoMed-7B ha mostrato una leggera superiorità in Neurochirurgia e Radiologia rispetto agli altri modelli. Al contrario, la maggior parte degli LLM con meno di 10 miliardi di parametri ha mostrato un'accuratezza inferiore al 50% nel loro stato vanilla.
• Allucinazioni: È stata osservata una significativa variabilità nell'aderenza alle istruzioni. meditron-7b ha avuto il tasso di allucinazioni più alto (66,37%), mentre Llama3-OpenBioLLM-70B e il modello fine-tuned medgemma-4b-it hanno avuto lo 0,00% di risposte non valide.
• Impatto del Fine-Tuning: La versione fine-tuned di medgemma-4b-it (medgemma-4b-it-FT) ha superato significativamente la sua controparte vanilla e tutti gli altri modelli con meno di 10 miliardi di parametri. Ha eguagliato le prestazioni del modello da 70 miliardi di parametri (Llama3-OpenBioLLM-70B) in vari esami e ha risposto unicamente allo 0,72% (60 domande) del dataset totale che nessun altro modello aveva risposto correttamente.
• Limitazioni degli Attuali Modelli: Nonostante le alte prestazioni in alcune aree, il 2,27% di tutte le domande (190 domande) è stato risposto in modo errato da tutti gli LLM valutati. Questo tasso di fallimento è aumentato negli anni recenti (21,05% nel 2025), in particolare nei campi chirurgici come Oftalmologia e Chirurgia Generale.

Significato e Rivendicazioni
Il documento afferma che, sebbene gli LLM medici non addestrati primariamente su dati epidemiologici spagnoli o peruviani possano rispondere con successo a domande mediche avanzate, le loro prestazioni sono altamente variabili e dipendenti dall'architettura e dalla dimensione del modello. Lo studio conclude che, per le applicazioni di IA medica e la ricerca che richiedono basi di conoscenza di paesi di lingua spagnola con profili epidemiologici simili al Perù, medgiona-27b-text-it è l'opzione attuale più efficace. Tuttavia, una versione fine-tuned di un modello più piccolo (medgemma-4b-it-FT) o OctoMed-7B offre un'alternativa sostenibile e ricca di risorse che compete con modelli molto più grandi.

Gli autori sottolineano che l'implementazione di questi modelli richiede una valutazione attenta di compiti specifici e scenari del mondo reale. Avvertono che, sebbene il fine-tuning migliori l'accuratezza specifica del dominio, esso necessita di un monitoraggio per evitare il "dimenticanza catastrofica" (catastrophic forgetting) della conoscenza generale. Lo studio posiziona PeruMedQA come un benchmark fondamentale per migliorare le capacità degli LLM in popolazioni mediche diverse, in particolare nel Sud del mondo.