Healthy LLMs? Benchmarking LLM Knowledge of UK Government Public Health Information

Este artigo apresenta o PubHealthBench, um novo benchmark com mais de 8000 perguntas derivadas de diretrizes do governo do Reino Unido para avaliar o conhecimento de modelos de linguagem em saúde pública, revelando que, embora os modelos proprietários mais recentes superem os humanos em testes de múltipla escolha, seu desempenho em respostas livres permanece abaixo do ideal, indicando a necessidade de salvaguardas adicionais.

O essencial

Aqui está uma explicação simples e criativa do artigo, traduzida para o português:

🏥 Os "Médicos de Bolso" Digitais: O Teste de Saúde Pública da Inglaterra

Imagine que você tem um assistente superinteligente na sua mão (um Chatbot ou IA) que promete responder a qualquer pergunta sobre saúde. "Devo tomar esta vacina?", "O que fazer se tiver febre?", "Como me proteger de um vírus?". Parece ótimo, certo? Mas e se esse assistente, em vez de te dar a resposta correta, inventar uma história ou te dar um conselho perigoso?

Este artigo, escrito por especialistas da Agência de Segurança de Saúde do Reino Unido (UKHSA), é como um grande exame de qualificação para esses assistentes digitais. Eles queriam saber: Será que essas IAs realmente conhecem as regras de saúde pública do governo britânico, ou elas estão apenas "chutando" e inventando coisas?

Para descobrir, eles criaram um "campo de treinamento" chamado PubHealthBench.

📚 A Biblioteca Infinita e o Gerador de Questões

Pense nas regras de saúde pública do governo como uma biblioteca gigante e confusa, com milhares de livros (documentos) que são atualizados o tempo todo.

• O Desafio: É impossível para um humano ler todos os livros e criar perguntas de teste manualmente.
• A Solução: Os pesquisadores usaram uma IA para ler esses 687 documentos oficiais, extrair o conhecimento e criar mais de 8.000 perguntas de múltipla escolha automaticamente. Foi como ter um professor robô que escreveu um livro de exercícios gigante baseado apenas nos manuais oficiais.

🧠 O Grande Teste: Escolha Múltipla vs. Conversa Livre

Eles colocaram 24 IAs diferentes (desde as mais famosas e caras até as menores e mais simples) para fazer esse teste de duas formas:

1. O Teste de Múltipla Escolha (A Escolha Fácil):
   Imagine uma prova de concurso onde você tem que marcar "A, B, C ou D".

   • O Resultado: As IAs mais modernas e poderosas (como o GPT-4.5) foram incríveis. Elas acertaram mais de 90% das perguntas.
   • A Comparação: Elas foram até melhores do que uma pessoa comum usando o Google para procurar a resposta em 2 minutos! É como se a IA tivesse lido todos os livros da biblioteca de uma vez só.

2. O Teste de Resposta Livre (A Conversa Real):
   Aqui, não há opções A, B, C ou D. A IA tem que escrever a resposta do zero, como se estivesse conversando com você no WhatsApp.

   • O Resultado: A performance caiu drasticamente. Nenhuma IA conseguiu passar de 75%.
   • O Problema: Sem as opções para "puxar" a memória, as IAs começaram a alucinar. Elas inventaram detalhes, esqueceram regras importantes ou deram conselhos que não estavam nos manuais oficiais. Foi como pedir para um aluno que decorou a resposta de um teste de múltipla escolha explicar o conceito com suas próprias palavras: ele começa a inventar coisas.

🎯 O Que Isso Significa para Você?

• Para perguntas de "Sim ou Não" ou fatos rápidos: As IAs mais avançadas são muito confiáveis. Elas sabem onde procurar a informação correta.
• Para conselhos complexos ou conversas longas: Cuidado! Mesmo as melhores IAs podem errar quando precisam criar uma resposta do zero. Elas podem misturar informações corretas com ideias que parecem verdadeiras, mas não são.

🛡️ A Lição Final

O estudo conclui que as IAs estão se tornando ótimas "bibliotecárias" que sabem encontrar o livro certo na estante. Mas, quando precisamos que elas "escrevam o livro" sozinhas, elas ainda cometem erros.

A analogia final:
Imagine que você precisa de um conselho médico urgente.

• Se você perguntar: "Qual a dose da vacina X?", a IA moderna provavelmente te dará a resposta exata do manual (como um GPS que sabe o caminho).
• Se você perguntar: "Me explique tudo sobre como lidar com uma epidemia e o que devo fazer", a IA pode te dar uma resposta confusa ou inventada (como um turista que sabe o nome da rua, mas inventou o mapa).

Conclusão: As IAs são ferramentas poderosas para acessar informações de saúde, mas ainda precisamos de "cintos de segurança" (ferramentas de verificação) para garantir que elas não inventem regras perigosas quando conversamos com elas livremente.

Resumo técnico

Título: HEALTHY LLMS? AVALIAÇÃO DO CONHECIMENTO DE LLMs SOBRE INFORMAÇÕES DE SAÚDE PÚBLICA DO GOVERNO REINO UNIDO

1. Problema e Motivação

Com a crescente acessibilidade de Grandes Modelos de Linguagem (LLMs), torna-se crucial entender seu conhecimento em domínios específicos, especialmente em medicina e saúde pública. O Reino Unido possui diretrizes governamentais complexas e em constante atualização para orientar decisões pessoais, profissionais e clínicas.

• O Risco: Embora existam benchmarks médicos (como USMLE), há uma lacuna significativa na avaliação de LLMs no domínio da saúde pública. A falta de conhecimento atualizado pode levar a alucinações, informações incompletas ou contraditórias, impactando negativamente a população.
• A Necessidade: Com o governo do Reino Unido buscando integrar LLMs em processos reais, é imperativo avaliar se esses modelos compreendem corretamente as diretrizes atuais do UK Health Security Agency (UKHSA) e do governo britânico.

2. Metodologia: O Benchmark PubHealthBench

Os autores desenvolveram um novo benchmark chamado PubHealthBench, focado em testar o conhecimento de LLMs sobre diretrizes de saúde pública do Reino Unido.

• Coleta de Dados:
  • Extração de texto livre de 687 documentos atuais do governo do Reino Unido (gov.uk), incluindo PDFs e HTMLs.
  • Os documentos cobrem 10 áreas temáticas de saúde pública (ex.: segurança alimentar, vacinas, saúde mental, doenças infecciosas) e 352 subáreas.
• Pipeline de Geração Automatizada:
  • Pré-processamento: Conversão de documentos para Markdown e fragmentação (chunking) baseada em hierarquia de cabeçalhos.
  • Filtragem: Um LLM classifica os fragmentos para identificar apenas aqueles contendo recomendações de saúde pública relevantes, removendo detalhes operacionais irrelevantes.
  • Geração de Questões: Utilização do modelo Llama-3.3-70b-Instruct para gerar duas perguntas de múltipla escolha (MCQA) por fragmento válido. Cada questão possui 1 resposta correta e 6 distratores plausíveis.
  • Validação Automatizada: Um pipeline de detecção de erros filtra questões ambíguas ou inválidas, resultando em um conjunto final de 8.090 questões.
• Avaliação Humana:
  • Uma amostra aleatória de 800 questões (10%) foi revisada manualmente por especialistas para estimar a taxa de erro do benchmark (estimada em ~5,5%).
  • Estabelecimento de uma linha de base humana: 5 humanos responderam a 600 questões usando motores de busca (sem LLMs), com limite de 2 minutos por questão, atingindo 88% de acurácia.

3. Configuração Experimental

O estudo avaliou 24 modelos (proprietários e de pesos abertos), incluindo GPT-4.5, o1, Claude-Sonnet-3.7, Llama-3.3, Gemini e Phi-4. A avaliação foi realizada em três configurações:

1. PubHealthBench-Full: O conjunto completo de MCQA para avaliação abrangente.
2. PubHealthBench-Reviewed: Um subconjunto revisado por humanos para validação de qualidade.
3. PubHealthBench-FreeForm: O mesmo subconjunto revisado, mas onde o modelo deve gerar uma resposta de texto livre (sem opções de múltipla escolha), simulando o uso real de chatbots. A avaliação das respostas livres foi feita por um "Juiz LLM" (GPT-4o-Mini) que compara a resposta com o texto fonte original.

4. Resultados Principais

A. Desempenho em Múltipla Escolha (MCQA):

• Alta Acurácia: Os modelos proprietários mais recentes (GPT-4.5, GPT-4.1, o1) alcançaram >90% de acurácia, superando a linha de base humana (88%) e se aproximando do limite teórico superior estimado (97%).
• Modelos Abertos: Modelos menores (5-15B parâmetros) também mostraram conhecimento razoável (>75%), mas com desempenho inferior aos modelos proprietários de ponta.
• Modelos de Raciocínio: Modelos como o1 e o3-Mini não apresentaram vantagem significativa sobre modelos não-raciocinantes neste formato de MCQA.
• Variações Temáticas: O desempenho foi superior em diretrizes para o público geral (ex: 96% para GPT-4.5) e inferior em diretrizes clínicas e tópicos complexos como "Químicos e Toxicologia".

B. Desempenho em Resposta Livre (Free Form):

• Queda Significativa: O desempenho caiu drasticamente no formato de texto livre. Nenhum modelo superou 75% de acurácia.
• Diferença de Desempenho: A queda foi de até 60 pontos percentuais para alguns modelos. O melhor modelo (o1) teve 74%, uma queda de apenas 17 pontos em relação ao MCQA.
• Causas do Erro: A análise qualitativa revelou que os modelos tendem a:
  1. Omitir pontos cruciais das diretrizes.
  2. Contradizer informações oficiais (ex: sugerir intervenções clínicas no momento errado).
  3. Adicionar informações extrínsecas não presentes nas diretrizes oficiais.
• Disparidade de Tamanho: A lacuna entre modelos grandes e pequenos aumentou no formato livre, com modelos menores (ex: Llama-3.1-8B) atingindo acurácias muito baixas (~18-19%).

5. Contribuições Chave

1. PubHealthBench: A criação do primeiro benchmark abrangente e fundamentado (grounded) para avaliar LLMs em diretrizes de saúde pública do Reino Unido, contendo mais de 8.000 questões.
2. Pipeline Automatizado: Demonstração de um fluxo de trabalho escalável para gerar e validar benchmarks de MCQA a partir de documentos governamentais não estruturados.
3. Análise de Risco Realista: A comparação entre MCQA e Resposta Livre revela que, embora os LLMs "saibam" a resposta correta quando guiados, eles falham em recuperar e articular essa informação com precisão em cenários de chatbot, o que é crítico para aplicações reais.

6. Significado e Conclusão

O estudo conclui que, embora os LLMs de última geração possuam um conhecimento impressionante sobre diretrizes de saúde pública do Reino Unido (superando humanos em buscas rápidas no formato MCQA), eles ainda não são seguros para uso autônomo em respostas livres sem salvaguardas adicionais.

• Riscos: A propensão a alucinações e omissões em respostas de texto livre representa um risco significativo para a saúde pública se implementados diretamente em chatbots para o público.
• Recomendação: Para uso em produção, especialmente em contextos clínicos ou de saúde pública, é necessário o uso de ferramentas de verificação (RAG - Retrieval-Augmented Generation) ou supervisão humana, pois a precisão em formato livre ainda não atende aos padrões de segurança necessários.

Este trabalho fornece uma base essencial para pesquisadores e formuladores de políticas avaliarem a prontidão de IA para aplicações críticas em saúde pública.