Teaching LLMs Brazilian Healthcare: Injecting Knowledge from Official Clinical Guidelines

1. Declaração do Problema

O Sistema Único de Saúde (SUS) brasileiro atende mais de 200 milhões de cidadãos e depende de 178 Protocolos Clínicos e Diretrizes Terapêuticas (PCDTs) oficiais para ditar critérios de diagnóstico, tratamentos, dosagens e procedimentos de monitoramento. No entanto, os Modelos de Linguagem de Grande Escala (LLMs) atuais enfrentam desafios significativos neste domínio:

• Lacuna de Conhecimento: LLMs médicos de última geração são predominantemente treinados em literatura em inglês (por exemplo, PubMed, USMLE) e carecem de conhecimento específico sobre protocolos clínicos em português do Brasil.
• Déficit de Avaliação: Não existe nenhum benchmark que avalie a recordação clínica fundamentada em protocolos brasileiros oficiais.
• Acessibilidade: Profissionais de saúde têm dificuldade em recordar recomendações específicas do volume massivo de documentos complexos no ponto de atendimento.

2. Metodologia

Os autores propõem um pipeline abrangente para adaptar um LLM de propósito geral ao domínio clínico brasileiro, utilizando geração de dados sintéticos, pré-treinamento contínuo e aprendizado por reforço.

A. Coleta e Síntese de Dados

• Fonte: 178 documentos oficiais de PCDT (aproximadamente 5,4 milhões de tokens).
• Geração de Dados Sintéticos: Em vez de treinar diretamente nas diretrizes brutas, os autores utilizaram quatro LLMs geradores diversos (GPT-4.1-mini, GPT-5-nano, GPT-OSS-20B e Qwen3-235B) para transformar as diretrizes em ~70 milhões de tokens de dados sintéticos em três formatos:
  1. Reformulações: Versões parafraseadas que preservam todo o conteúdo clínico.
  2. Artigos no Estilo Wiki: Artigos expositivos que reestruturam os protocolos.
  3. Pares Pergunta-Resposta (QA): Questões clínicas detalhadas com justificativas passo a passo.
  • Nota: Para evitar vazamento de dados, os pares QA foram gerados apenas a partir da divisão de treinamento das diretrizes (89 diretrizes), enquanto as reformulações e artigos wiki foram gerados a partir de todas as 178.

B. Pipeline de Treinamento

O modelo base utilizado foi o Qwen2.5-14B-Instruct. O treinamento envolveu duas etapas:

1. Pré-treinamento Contínuo (CPT): O modelo foi treinado no corpus sintético de ~70 milhões de tokens usando um objetivo padrão de modelagem de linguagem causal.
2. Aprendizado por Reforço (RL): Os autores aplicaram Otimização de Política Relativa em Grupo (GRPO) utilizando a divisão de treinamento de um novo benchmark (HealthBench-BR).
   • Sinal de Recompensa: O modelo recebeu uma recompensa de 1,0 para veredictos Verdadeiro/Falso corretos acompanhados de pelo menos 50 palavras de raciocínio, e 0,0 caso contrário. Isso incentivou o raciocínio clínico explícito e reduziu o "hacking de recompensa" (adivinhar sem justificativa).

C. Benchmarks de Avaliação

Dois novos benchmarks fundamentados em protocolos foram introduzidos:

1. HealthBench-BR: 1.780 afirmações Verdadeiro/Falso balanceadas (10 por diretriz). Estes testam a recordação factual precisa (por exemplo, dosagens específicas, vias de administração).
2. PCDT-QA: 890 questões clínicas abertas pontuadas por um juiz LLM (GPT-4.1) em comparação com respostas de referência.

3. Principais Contribuições

1. Protocolo de Treinamento Reprodutível: Um pipeline inovador combinando dados sintéticos de múltiplos geradores, pré-treinamento contínuo e GRPO para adaptação de domínio em um cenário de idioma de baixos recursos (relativo ao inglês).
2. Novos Benchmarks: Introdução do HealthBench-BR e do PCDT-QA, os primeiros benchmarks especificamente projetados para avaliar LLMs em diretrizes clínicas brasileiras oficiais.
3. Lançamento Aberto: Liberação pública de todos os conjuntos de dados sintéticos, benchmarks e pesos do modelo para apoiar pesquisas reprodutíveis em PNL clínica em português do Brasil.
4. Insights de Ablação: Análise detalhada mostrando que a diversidade dos geradores e o aprendizado por reforço são críticos para o desempenho, enquanto o ajuste fino completo supera o LoRA neste contexto específico.

4. Principais Resultados

A melhor configuração de modelo (CPT com 4 geradores + GRPO) alcançou desempenho de última geração em ambos os benchmarks, superando significativamente modelos proprietários muito maiores e sistemas aumentados por recuperação.

• Métricas de Desempenho:
  • HealthBench-BR: 83,9% de precisão (conjunto de teste).
  • PCDT-QA: 85,4% de precisão (conjunto de teste).
• Comparações:
  • Superou o GPT-5.2 (alto), Claude Sonnet 4.6 e Gemini 3.1 Pro por 4,6 a 5,4 pontos percentuais.
  • Superou o Google AI Overview (um sistema RAG fundamentado na web) por 13,4 pontos no HealthBench-BR e 8,1 pontos no PCDT-QA, apesar do sistema RAG ter acesso à web aberta.
• Descobertas de Ablação:
  • Diversidade dos Geradores: A escalada de 1 para 4 geradores melhorou o desempenho do PCDT-QA em 20 pontos (de 66,3% para 86,3%), destacando a importância da diversidade estilística e lexical.
  • Aprendizado por Reforço: O GRPO proporcionou um ganho de 12,8 pontos no HealthBench-BR sobre o CPT isolado e corrigiu a "sycophancy" (a tendência de concordar com os usuários), reduzindo o viés de concordância de 58,9% para 53,0%.
  • Esquecimento: O ajuste fino completo (Full FT) foi encontrado como superior ao LoRA para esta tarefa, pois o LoRA resultou em esquecimento catastrófico mais alto em tarefas fora da distribuição (por exemplo, seguimento de instruções).

5. Significado

• Especificidade de Domínio: Este trabalho demonstra que um modelo de código aberto relativamente pequeno (14 bilhões de parâmetros) pode superar modelos proprietários massivos quando especificamente adaptado aos protocolos médicos oficiais de um país.
• Equidade na IA em Saúde: Aborda o viés "centrado no inglês" na IA médica, fornecendo um caminho para suporte de decisão clínica de alta qualidade para populações de língua portuguesa.
• Segurança e Confiabilidade: O estudo destaca os perigos da "sycophancy" na IA médica (concordar com premissas falsas) e mostra como o RL pode mitigar isso, um passo crucial para implantar IA em ambientes clínicos.
• Eficiência de Recursos: Os resultados sugerem que a injeção de conhecimento direcionada via dados sintéticos é mais eficaz do que depender da recuperação geral da web (RAG) para diretrizes clínicas específicas e de alto risco.

O artigo conclui que, embora o modelo seja um artefato de pesquisa e não um dispositivo médico certificado, ele representa um salto significativo em tornar a IA clínica acessível e precisa para o sistema de saúde pública brasileiro.