PeruMedQA: Benchmarking Large Language Models (LLMs) on Peruvian Medical Exams -- Dataset Construction and Evaluation

Resumen Técnico: PeruMedQA: Evaluación de Modelos de Lenguaje de Gran Escala (LLMs) en Exámenes Médicos Peruanos

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han demostrado una notable competencia al responder exámenes médicos, particularmente aquellos basados en conjuntos de datos en inglés de países de ingresos altos, su desempeño en español y dentro del contexto epidemiológico específico de América Latina permanece en gran medida inexplorado. Países como Perú presentan un desafío único, que combina enfermedades crónicas no transmisibles con enfermedades infecciosas y tropicales, un perfil distinto al de las fuentes de datos utilizadas para entrenar la mayoría de los LLMs médicos existentes. Existe una necesidad crítica de identificar LLMs efectivos capaces de responder con precisión preguntas médicas en español desde contextos sudamericanos para apoyar la creciente adopción de aplicaciones médicas basadas en IA en la región.

Metodología
El estudio siguió un enfoque de tres vertientes: construcción del conjunto de datos, evaluación zero-shot y ajuste fino de parámetros eficientes.

1. Construcción del Conjunto de Datos (PeruMedQA): Los autores curaron un conjunto de datos de preguntas de opción múltiple (MCQA) llamado PeruMedQA, que comprende 8,380 preguntas de exámenes médicos administrados por el Consejo Nacional de Residentado Médico (CONREME) entre 2018 y 2025. El conjunto de datos cubre 12 especialidades y subespecialidades. Las preguntas fueron extraídas de PDFs, verificadas manualmente para asegurar la exactitud de las respuestas (corrigiendo 16 errores de 8,380) y estandarizadas para garantizar la uniformidad en el número de opciones (añadiendo una opción de "Ninguna de las anteriores" donde fue necesario para estandarizar de cuatro a cinco opciones). Las preguntas del examen de 2025 se reservaron como un conjunto de prueba.
2. Evaluación Zero-Shot: Se evaluaron diez LLMs médicos que oscilan entre los 3.8 mil millones y los 70 mil millones de parámetros utilizando prompts específicos de la tarea en español bajo la modalidad zero-shot. Los modelos incluyeron medgemma-4b-it, medgemma-27b-text-it, OctoMed-7B, Llama3-OpenBioLLM-70B, entre otros. Se instruyó a los modelos para seleccionar una única letra de opción (A–E) correspondiente a la respuesta correcta. El desempeño se midió mediante la precisión (respuestas correctas divididas por respuestas válidas) y la tasa de "alucinaciones" (instancias donde los modelos fallaron en seguir las instrucciones de formato o proporcionaron opciones inválidas).
3. Ajuste Fino (Fine-Tuning): Para abordar las limitaciones de recursos, los autores aplicaron un Ajuste Fino de Parámetros Eficientes (PEFT) utilizando Adaptación de Bajo Rango (LoRA) al modelo medgemma-4b-it. El modelo fue entrenado con el 90% de los datos no pertenecientes a 2025 (6,282 preguntas) con una división de validación del 10%, utilizando una tasa de aprendizaje de 5e-5 durante 10 épocas. El modelo ajustado fue evaluado posteriormente contra el conjunto de prueba de 2025 reservado y comparado contra los modelos originales (vanilla).

Contribuciones Clave

• Conjunto de Datos PeruMedQA: El artículo presenta el primer conjunto de datos armonizado y legible por computadora de preguntas de exámenes de residencia médica y subespecialidad peruanas. Este recurso se libera como acceso abierto para facilitar la investigación adicional y el desarrollo de IA en contextos médicos de habla hispana.
• Evaluación Exhaustiva: El estudio proporciona una evaluación sistemática de diez diversos LLMs médicos a través de varias especialidades, años y tamaños de parámetros, específicamente dentro de un contexto epidemiológico latinoamericano.
• Estrategia de Ajuste Fino: Los autores demuestran un enfoque de recursos eficientes para mejorar el desempeño de un modelo (de 4 mil millones de parámetros), haciendo que la IA médica de alta precisión sea más accesible para regiones con infraestructura computacional limitada.

Resultos

• Desempeño de los Modelos: medgemma-27b-text-it logró la mayor precisión general, alcanzando un 89.29% en Psiquiatría. OctoMed-7B mostró una ligera superioridad en Neurocirugía y Radiología en comparación con otros modelos. Por el contrario, la mayoría de los LLMs con menos de 10 mil millones de parámetros exhibieron una precisión inferior al 50% en su estado original.
• Alucinaciones: Se observó una variabilidad significativa en la adherencia a las instrucciones. meditron-7b tuvo la mayor tasa de alucinación (66.37%), mientras que Llama3-OpenBioLLM-70B y el modelo ajustado medgemma-4b-it tuvieron un 0.00% de respuestas inválidas.
• Impacto del Ajuste Fino: La versión ajustada de medgemma-4b-it (medgemma-4b-it-FT) superó significativamente a su contraparte original y a todos los demás modelos con menos de 10 mil millones de parámetros. Rivalizó con el desempeño del modelo de 70 mil millones de parámetros (Llama3-OpenBioLLM-70B) en varios exámenes y respondió de manera única al 0.72% (60 preguntas) del total del conjunto de datos que ningún otro modelo respondió correctamente.
• Limitaciones de los Modelos Actuales: A pesar del alto desempeño en algunas áreas, el 2.27% de todas las preguntas (190 preguntas) fueron respondidas incorrectamente por todos los LLMs evaluados. Esta tasa de error aumentó en los años más recientes (21.05% en 2025), particularmente en campos quirúrgicos como Oftalmología y Cirugía General.

Significancia y Reivindicaciones
El artículo sostiene que, si bien los LLMs médicos que no fueron entrenados primordialmente en español o en datos epidemiológicos peruanos pueden responder con éxito preguntas médicas avanzadas, su desempeño es altamente variable y depende de la arquitectura y el tamaño del modelo. El estudio concluye que, para aplicaciones de IA médica y de investigación que requieren bases de conocimiento de países de habla hispana con perfiles epidemiológicos similares a los de Perú, medgemma-27b-text-it es la opción actual más efectiva. Sin embargo, una versión ajustada de un modelo más pequeño (medgemma-4b-it-FT) o OctoMed-7B ofrece una alternativa viable y eficiente en recursos que rivaliza con modelos mucho más grandes.

Los autores enfatizan que el despliegue de estos modelos requiere una evaluación cuidadosa de tareas específicas y escenarios del mundo real. Advierten que, aunque el ajuste fino mejora la precisión específica del dominio, esto requiere monitorear el "olvido catastrófico" del conocimiento general. El estudio posiciona a PeruMedQA como un benchmark fundamental para mejorar las capacidades de los LLMs en diversas poblaciones médicas, particularmente en el Sur Global.