PeruMedQA: Benchmarking Large Language Models (LLMs) on Peruvian Medical Exams -- Dataset Construction and Evaluation

Resumo Técnico: PeruMedQA: Avaliando Modelos de Linguagem de Grande Escala (LLMs) em Exames Médicos Peruanos

Definição do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado uma proficiência notável na resposta a exames médicos, particularmente aqueles baseados em conjuntos de dados em língua inglesa de países de alta renda, seu desempenho em espanhol e dentro do contexto epidemiológico específico da América Latina permanece amplamente inexplorado. Países como o Peru apresentam um desafio único, combinando doenças crônicas não transmissíveis com doenças infecciosas e tropicais, um perfil distinto das fontes de dados utilizadas para treinar a maioria dos LLMs existentes. Há uma necessidade crítica de identificar LLMs eficazes capazes de responder com precisão a questões médicas em espanhol de contextos sul-americanos para apoiar a crescente adoção de aplicações médicas baseadas em IA na região.

Metodologia
O estudo seguiu uma abordagem de três frentes: construção de conjunto de dados, avaliação zero-shot e ajuste fino eficiente em parâmetros.

1. Construção do Conjunto de Dados (PeruMedQA): Os autores curaram um conjunto de dados de questões de múltipla escolha (MCQA) chamado PeruMedQA, composto por 8.380 questões de exames médicos administrados pelo Consejo Nacional de Residentado Médico (CONAREME) entre 2018 e 2025. O conjunto de dados abrange 12 especialidades e subespecialidades. As questões foram extraídas de PDFs, verificadas manualmente quanto à precisão das respostas (corrigindo 16 erros em 8.380) e padronizadas para garantir a uniformidade no número de opções (adicionando uma opção "Nenhuma das anteriores" onde necessário para padronizar de quatro para cinco escolhas). As questões do exame de 2025 foram reservadas como um conjunto de teste.
2. Avaliação Zero-Shot: Dez LLMs médicos, variando de 3,8 bilhões a 70 bilhões de parâmetros, foram avaliados usando prompts específicos de tarefa em espanhol, no modo zero-shot. Os modelos incluíram medgemma-4b-it, medgemma-27b-text-it, OctoMed-7B, Llama3-OpenBioLLM-70B e outros. Os modelos receberam a instrução de selecionar uma única letra de opção (A–E) correspondente à resposta correta. O desempenho foi medido pela acurácia (respostas corretas divididas por respostas válidas) e pela taxa de "alucinações" (instâncias em que os modelos falharam em seguir as instruções de formatação ou forneceram opções inválidas).
3. Ajuste Fino (Fine-Tuning): Para lidar com as restrições de recursos, os autores aplicaram o Ajuste Fino Eficiente em Parâmetros (PEFT) usando Low-Rank Adaptation (LoRA) ao modelo medgemma-4b-it. O modelo foi treinado em 90% dos dados não referentes a 2025 (6.282 questões) com uma divisão de validação de 10%, utilizando uma taxa de aprendizado de 5e-5 ao longo de 10 épocas. O modelo ajustado foi então avaliado contra o conjunto de teste de 2025 retido e comparado contra os modelos originais (vanilla).

Principais Contribuições

• Conjunto de Dados PeruMedQA: O artigo apresenta o primeiro conjunto de dados harmonizado e computacionalmente legível de questões de exames de residência médica e subespecialidade peruanas. Este recurso é disponibilizado como acesso aberto para facilitar pesquisas futuras e o desenvolvimento de IA em contextos médicos de língua espanhola.
• Benchmarking Abrangente: O estudo fornece uma avaliação sistemática de dez LLMs médicos diversos através de várias especialidades, anos e tamanhos de parâmetros, especificamente dentro de um contexto epidemiológico latino-americano.
• Estratégia de Ajuste Fino: Os autores demonstram uma abordagem eficiente em termos de recursos para aumentar o desempenho do modelo através do ajuste fino de um modelo pequeno (4 bilhões de parâmetros), tornando a IA médica de alta acurácia mais acessível a regiões com infraestrutura computacional limitada.

Resultos

• Desempenho dos Modelos: O medgemma-27b-text-it alcançou a maior acurácia geral, atingindo 89,29% em Psiquiatria. O OctoMed-7B mostrou uma ligeira superioridade em Neurocirurgia e Radiologia em comparação com outros modelos. Por outro lado, a maioria dos LLMs com menos de 10 bilhões de parâmetros exibiu acurácia abaixo de 50% em seu estado original (vanilla).
• Alucinações: Observou-se uma variabilidade significativa na adesão às instruções. O meditron-7b teve a maior taxa de alucinação (66,37%), enquanto o Llama3-OpenBioLLM-70B e o medgemma-4b-it ajustado apresentaram 0,00% de respostas inválidas.
• Impacto do Ajuste Fino: A versão ajustada do medgemma-4b-it (medgemma-4b-it-FT) superou significativamente sua contraparte original e todos os outros modelos com menos de 10 bilhões de parâmetros. Ela rivalizou o desempenho do modelo de 70 bilhões de parâmetros (Llama3-OpenBioLLM-70B) em vários exames e respondeu de forma única a 0,72% (60 questões) do total do conjunto de dados que nenhum outro modelo respondeu corretamente.
• Limitações dos Modelos Atuais: Apesar do alto desempenho em algumas áreas, 2,27% de todas as questões (190 questões) foram respondidas incorretamente por todos os LLMs avaliados. Essa taxa de falha aumentou nos anos recentes (21,05% em 2025), particularmente em campos cirúrgicos como Oftalmologia e Cirurgia Geral.

Significância e Alegações
O artigo afirma que, embora os LLMs médicos que não foram treinados primariamente em espanhol ou em dados epidemiológicos peruanos consigam responder a questões médicas avançadas, seu desempenho é altamente variável e dependente da arquitetura e do tamanho do modelo. O estudo conclui que, para aplicações de IA médica e pesquisas que exijam bases de conhecimento de países de língua espanhola com perfis epidemiológicos semelhantes ao do Peru, o medgemma-27b-text-it é a opção atual mais eficaz. No entanto, uma versão ajustada de um modelo menor (medgemma-4b-it-FT) ou o OctoMed-7B oferece uma alternativa viável e eficiente em recursos que rivaliza com modelos muito maiores.

Os autores enfatizam que a implantação desses modelos requer uma avaliação cuidadosa de tarefas específicas e cenários do mundo real. Eles alertam que, embora o ajuste fino melhore a acurácia específica do domínio, ele exige o monitoramento do "esquecimento catastrófico" do conhecimento geral. O estudo posiciona o PeruMedQA como um benchmark fundamental para melhorar as capacidades dos LLMs em diversas populações médicas, particularmente no Sul Global.