HEAD-QA v2: Expanding a Healthcare Benchmark for Reasoning

1. Problema e Contexto

O campo de raciocínio em saúde (biomédico) enfrenta desafios significativos devido à complexidade linguística e conceitual das perguntas de exames profissionais. O conjunto de dados original HEAD-QA (v1), lançado em 2019, foi um marco inicial, mas tornou-se limitado em tamanho (6.765 questões) e cobertura temporal (2013-2017) diante do avanço exponencial dos Grandes Modelos de Linguagem (LLMs).

O problema central abordado é a necessidade de um benchmark atualizado e expandido que:

• Capture a evolução do conhecimento médico ao longo de uma década.
• Permita a avaliação robusta de LLMs modernos (incluindo arquiteturas densas e Mixture-of-Experts) em cenários de raciocínio complexo.
• Forneça versões multilíngues para estudar a adaptação de domínio e viés linguístico.
• Avalie se estratégias de inferência avançadas (como RAG e Chain-of-Thought) realmente melhoram o desempenho em tarefas altamente especializadas ou se o desempenho é ditado principalmente pela escala e conhecimento intrínseco do modelo.

2. Metodologia e Construção do Dataset

Construção do Dataset (HEAD-QA v2)

• Fonte: Questões extraídas de exames oficiais de qualificação profissional da Espanha (Ministério da Saúde), abrangendo 10 anos (2013–2022).
• Escala: Expansão para 12.751 questões, mais do que o dobro do v1.
• Disciplinas: Cobertura de seis áreas: Medicina (MIR), Enfermagem (EIR), Biologia (BIR), Química (QIR), Farmácia (FIR) e Psicologia (PIR).
• Pré-processamento:
  • Conversão de PDF para texto com preservação de layout.
  • Mapeamento automático de imagens (embora o foco seja textual, 334 questões contêm imagens).
  • Filtragem de questões contestadas ou sem resposta oficial.
  • Correção manual e padronização de fórmulas químicas para notação SMILES para facilitar o processamento por ML.
  • Armazenamento eficiente em formato Parquet.
• Formato: Cada entrada contém ID, texto da questão, opções de resposta, ano, categoria e identificador do exame.

Tradução e Variantes Linguísticas

• Utilizou-se o modelo LLaMA-3.1-8B (instruído) para traduzir o dataset do espanhol para o inglês, italiano, galego e russo.
• Foram testadas configurações de prompting (zero-shot, one-shot e instrução-tuned) para garantir a integridade do formato de múltipla escolha.
• A qualidade foi validada via back-translation (tradução de volta para o espanhol) usando métricas BLEU e BERTScore, confirmando alta fidelidade semântica, especialmente em línguas próximas ao espanhol.

Estratégias de Inferência e Avaliação

Os autores avaliaram quatro modelos de código aberto (Llama 3.1 8B/70B, Mistral 7B, Mixtral 8x7B) utilizando três estratégias principais:

1. Prompting: Zero-shot, Few-shot (com exemplos de USMLE) e Chain-of-Thought (CoT).
2. Geração Aumentada por Recuperação (RAG): Uso do corpus MedCPT (18 livros-texto médicos) e modelo de recuperação MedCPT para inserir contexto relevante nas perguntas.
3. Seleção Baseada em Probabilidade (Log-probabilities): Cálculo direto da probabilidade que o modelo atribui a cada sequência de resposta, sem geração de texto autoregressivo.

3. Contribuições Principais

1. HEAD-QA v2: A liberação de um dataset expandido, multilíngue e temporalmente mais rico, disponível publicamente no Hugging Face.
2. Linhas de Base (Baselines) Robustas: Avaliação sistemática de modelos LLMs de última geração em cenários biomédicos complexos.
3. Análise de Estratégias de Inferência: Estudo empírico comparando a eficácia de prompting, RAG e métodos probabilísticos em tarefas de múltipla escolha médicas.
4. Recursos Multilíngues: Disponibilização de versões traduzidas para facilitar pesquisas sobre avaliação cruzada de línguas.

4. Resultados Experimentais

• Impacto da Escala do Modelo: O fator mais determinante para o desempenho foi o tamanho do modelo. O Llama-3.1-70B superou consistentemente todos os outros, alcançando ~83% de precisão em inglês e ~83% em espanhol. Modelos menores (7B-8B) tiveram desempenho significativamente inferior.
• Efeito da Língua: O desempenho foi geralmente superior em inglês do que em espanhol, exceto no modelo maior (70B), onde a diferença foi mínima. Modelos menores mostraram maior sensibilidade à variação linguística.
• Falha de Estratégias Avançadas:
  • CoT (Chain-of-Thought): Surpreendentemente, o uso de raciocínio passo a passo reduziu a precisão na maioria dos casos e aumentou a taxa de não-respostas, exceto no modelo de 70B.
  • RAG: A adição de contexto recuperado não trouxe melhorias consistentes sobre o zero-shot. Em alguns casos, degradou o desempenho, sugerindo que o conhecimento interno do modelo é mais confiável do que o contexto recuperado para este tipo de questão, ou que a integração do RAG introduziu ruído.
  • Seleção por Probabilidade: Esta estratégia foi a menos eficaz, com quedas drásticas de precisão (ex: ~45% para Llama-8B vs ~70% com prompting). A incapacidade de comparar alternativas conjuntamente prejudicou o raciocínio de eliminação.
• Estabilidade Temporal: O desempenho dos modelos manteve-se estável ao longo dos anos dos exames, indicando boa generalização temporal.

5. Significado e Conclusões

O estudo conclui que, para questões de múltipla escolha altamente especializadas em biomedicina, a capacidade intrínseca de conhecimento e raciocínio do modelo (ditada pela escala e arquitetura) é muito mais importante do que a sofisticação da estratégia de inferência.

• Implicações Práticas: Técnicas complexas como RAG e CoT podem não valer o custo computacional e de implementação neste domínio específico, a menos que se usem modelos de escala massiva.
• Direção Futura: O progresso no HEAD-QA v2 parece estar mais ligado ao refinamento e escalamento dos modelos base do que à criação de pipelines de inferência mais complexos.
• Limitações: O estudo não incluiu modelos proprietários de ponta (como GPT-4 ou Claude) devido a restrições de custo de API, e as traduções automáticas, embora validadas, podem conter inconsistências terminológicas menores.

Em suma, o HEAD-QA v2 estabelece um novo padrão para avaliar a evolução do raciocínio biomédico em IA, demonstrando que a "inteligência" do modelo em si é o recurso mais crítico para a precisão em diagnósticos e conhecimentos médicos especializados.