EuropeMedQA Study Protocol: A Multilingual, Multimodal Medical Examination Dataset for Language Model Evaluation

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) têm demonstrado alto desempenho em exames médicos centrados no inglês (como o USMLE dos EUA), mas enfrentam desafios significativos em três frentes principais:

• Viés Linguístico e Cultural: O desempenho dos modelos cai drasticamente em idiomas não ingleses e em contextos clínicos específicos de diferentes países devido a disparidades nas diretrizes clínicas, terminologias e prevalência de doenças.
• Falta de Multimodalidade: A maioria dos benchmarks atuais foca apenas em texto, ignorando a necessidade de raciocínio visual (ex: interpretação de radiografias, ECGs) essencial na prática médica.
• Contaminação de Dados: A disponibilidade pública de conjuntos de dados existentes (como MedQA) cria um risco de "contaminação", onde os modelos podem ter sido treinados nessas mesmas questões, inflando artificialmente suas métricas de desempenho. Além disso, a geração sintética de questões muitas vezes falha em replicar a complexidade e as nuances culturais de exames oficiais.

2. Metodologia

O estudo descreve o desenvolvimento do EuropeMedQA, um conjunto de dados abrangente, multilíngue e multimodal, seguindo os princípios FAIR (Findable, Accessible, Interoperable, Reusable) e as diretrizes SPIRIT-AI.

• Fontes de Dados: O dataset é composto por questões de exames de licenciamento médico e admissão à residência médica oficiais de quatro países europeus: Itália, França, Espanha e Portugal.
• Critérios de Inclusão/Exclusão:
  • Inclusão: Questões emitidas por instituições governamentais centrais, disponíveis em sua língua original e forma não editada, incluindo questões de texto e baseadas em imagens (com imagens recuperáveis de fontes oficiais).
  • Exclusão: Questões de fontes não oficiais (ex: escolas preparatórias) ou imagens indisponíveis.
• Processo de Curadoria:
  • Uma equipe de seis médicos extraiu os dados, garantindo precisão linguística e clínica.
  • Uma segunda equipe de seis pesquisadores validou e cruzou os dados para resolver discrepâncias.
  • As imagens foram extraídas manualmente em formato .png de alta qualidade para evitar distorções.
  • Tradução: Um pipeline automatizado (utilizando GPT-4o mini) traduziu as questões para o inglês para permitir análise comparativa, preservando os IDs originais.
• Estrutura do Dataset:
  • Inclui metadados rigorosos (ID da questão, ano, país, links para imagens, opções de resposta).
  • Para o subset francês (ECN), onde múltiplas respostas podem ser corretas, a estrutura foi adaptada para refletir casos clínicos hierárquicos com até duas imagens distintas.
• Avaliação de Modelos (LLMs):
  • Modelos Testados: GPT-5-mini (OpenAI), Claude-3.5-Haiku e Claude Sonnet 4.5 (Anthropic).
  • Estratégia de Prompting: Zero-shot, estritamente restrito. O modelo recebe apenas o ID, o texto da questão, as opções e as imagens (se houver), sem explicações ou exemplos em contexto.
  • Controle de Viés: As opções de resposta foram embaralhadas aleatoriamente (com seed fixa 42) para eliminar viés posicional.
  • Métricas: A métrica principal é a acurácia (proporção de respostas corretas), calculada separadamente para o dataset total, questões apenas de texto e questões multimodais.

3. Principais Contribuições

• Primeiro Benchmark Europeu Multilíngue e Multimodal: O EuropeMedQA é o primeiro conjunto de dados derivado de exames regulatórios reais na Europa, preenchendo a lacuna deixada por benchmarks predominantemente em inglês ou focados em outros mercados (como Índia ou EUA).
• Resistência à Contaminação: Ao utilizar exames oficiais recentes e específicos de cada país, o dataset minimiza o risco de os modelos terem sido expostos a essas questões durante o treinamento prévio.
• Análise de Transferência Cruzada: Permite avaliar a capacidade dos modelos de transferir conhecimento médico entre idiomas (original vs. inglês) e de realizar raciocínio visual complexo.
• Transparência e Reprodutibilidade: O protocolo detalha rigorosamente a curadoria, a extração e o pipeline de avaliação, com metadados públicos e scripts de processamento para garantir a reprodutibilidade científica.

4. Resultados Esperados

Nota: Como este documento é um protocolo de estudo (arXiv:2604.14306v1), os resultados empíricos finais (as pontuações exatas dos modelos) ainda não são apresentados no texto. O documento define como esses resultados serão gerados e analisados.

• O estudo visa comparar o desempenho de modelos de texto puro versus modelos multimodais.
• Espera-se identificar lacunas no desempenho de modelos em idiomas não ingleses e em tarefas que exigem integração de imagens clínicas.
• Os resultados devem revelar se os modelos atuais conseguem generalizar práticas clínicas europeias específicas ou se permanecem enviesados para o contexto anglo-saxão.

5. Significado e Impacto

O EuropeMedQA representa um avanço crucial para o desenvolvimento de IA médica mais robusta e generalizável:

• Equidade Global: Ao focar em múltiplos idiomas e contextos clínicos europeus, o dataset ajuda a mitigar o viés linguístico, promovendo o desenvolvimento de modelos que funcionem bem em diversas jurisdições.
• Segurança Clínica: Ao testar modelos em cenários que simulam exames reais e incluem imagens, o benchmark oferece uma avaliação mais realista da prontidão desses modelos para aplicações clínicas, indo além de testes teóricos de texto.
• Futuro da Pesquisa Médica: O dataset servirá como um padrão-ouro para a avaliação de futuras gerações de modelos multimodais, fomentando avanços na pesquisa médica e na regulamentação de IA na saúde na Europa.

Em suma, o EuropeMedQA estabelece um novo padrão para a avaliação de IA na medicina, priorizando a diversidade linguística, a multimodalidade e a integridade dos dados para garantir que os modelos de linguagem sejam verdadeiramente úteis e seguros em contextos clínicos reais e diversos.