Resumo Técnico: LLMs mais Saudáveis: Geração Aumentada por Recuperação para Respostas a Perguntas de Saúde Pública

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) demonstram promessa no questionamento médico, mas enfrentam limitações críticas em aplicações de saúde pública: alucinações e a incapacidade de acompanhar a evolução rápida das orientações oficiais. Diferente do suporte à decisão clínica, que frequentemente visa o paciente individual, a orientação de saúde pública é de nível populacional, precavida e frequentemente atualizada. Confiar apenas na memória paramétrica corre o risco de disseminar conselhos desatualizados ou imprecisos, o que pode levar a decisões individuais prejudiciais ou comportamentos populacionais perigosos. Embora a Geração Aumentada por Recuperação (RAG) ofereça uma solução ao fundamentar as respostas em um corpus externo, seu desempenho de ponta a ponta na saúde pública depende fortemente de configurações de recuperação específicas e métodos de avaliação que vão além dos formatos padrão de múltipla escolha.

Metodologia

Os autores estendem o PubHealthBench, um benchmark de 7.929 questões de múltipla escolha (MCQA) e 760 questões de formato livre derivadas de orientações de saúde pública do Governo do Reino Unido, para um cenário de recuperação aumentada.

1. Dataset e Corpus

• Fonte: 687 documentos de orientação de saúde pública do Governo do Reino Unido cobrindo 10 áreas temáticas.
• Construção do Corpus: Os documentos foram convertidos para Markdown e divididos em fragmentos (chunks) com base na hierarquia de cabeçalhos, resultando em 5.358 fragmentos.
• Variantes do Corpus:
  • CF (Corpus Completo): Fragmentos originais.
  • CS (Apenas Resumos): Fragmentos resumidos pelo GPT-4o-mini para recuperação.
  • CR (Corpus Reduzido): Fragmentos com mais de 512 tokens substituídos por resumos para ajustar aos limites de contexto do modelo de embedding.

2. Estratégias de Recuperação

O estudo avaliou sistematicamente cinco configurações de recuperação através de múltiplos modelos de embedding (ex: NV-Embed-v2, Multilingual-E5, ModernBERT) e índices esparsos (BM25, TF-IDF):

• Apenas Denso: Similaridade de cosseno usando embeddings densos.
• Apenas Esparso: Sobreposição de palavras-chave (BM25/TF-IDF).
• Híbrido: Fusão de Classificação Recíproca Ponderada (RRF) de resultados densos e esparsos.
• Híbrido Baseado em Resumo: Recuperação híbrida realizada em resumos, com os fragmentos completos passados ao gerador.
• Híbrido de Corpus Reduzido: Recuperação híbrida em um corpus onde fragmentos longos são resumidos.

3. Geração e Avaliação

• Modelos: 11 LLMs variando de 1B a 70B de parâmetros (ex: Llama 3.3, Phi-4, Gemma-3, MedGemma).
• Avaliação de MCQA: Mediu a precisão no PubHealthBench-Full com variações no número de fragmentos de contexto ($k \in \{1, 3, 5, 10\}$).
• Avaliação de Formato Livre: Introduziu um LLM-como-Juiz baseado em rubrica (GPT-OSS-120B) para avaliar as respostas em quatro critérios: Fidelidade (sem novas afirmações), Completude (todos os pontos principais), Consistência Factual (precisão relativa às orientações) e Clareza.
• Validação: O juiz LLM foi validado contra anotações de especialistas humanos duplos em uma amostra de 100 respostas usando o $\kappa$ de Cohen e o macro-F1.

Principais Resultados

Desempenho de Recuperação

• Superioridade Híbrida: A recuperação híbrida superou consistentemente os métodos apenas densos e apenas esparsos em todas as métricas (Recall@k, MRR, nDCG@10).
• Sensibilidade do Modelo: Embora o NV-Embed-v2 tenha sido o modelo denso mais forte, a recuperação híbrida reduziu significamente a lacuna de desempenho entre modelos de embedding grandes e pequenos (ex: melhorando codificadores menores em 5 a 10 pontos percentuais).
• Impacto do Comprimento do Fragmento: A qualidade do ranking (Precisão@1, MRR) degradou drasticamente conforme o comprimento do fragmento alvo excedia 700–800 palavras. A recuperação baseada em resumo mitigou parcialmente isso, mas não eliminou o problema.
• Variância de Tópico: Embora o recall fosse amplamente independente do tópico, a qualidade do ranking mostrou desvios sistemáticos entre tópicos (ex: Tuberculose vs. Segurança do Sangue), sugerindo que a linguagem ou estrutura específica do tópico afeta o desempenho do embedding.

Desempenho de Geração (MCQA)

• Impacto da Recuperação: Fornecer contexto recuperado aumentou substancialmente a precisão de MCQA. Modelos menores de pesos abertos (ex: Phi-4-14B, Gemma-3-12B) com recuperação de alta qualidade igualaram ou excederam o desempenho de modelos maiores (ex: GPT-4.5) operando sem recuperação.
• Contexto Ótimo: A precisão máxima foi tipicamente alcançada com $k=3$ a $k=5$ fragmentos. Aumentar $k$ para 10 introduziu ruído com retornos decrescentes.
• Sensibilidade de Rank: Recuperar o fragmento correto na posição 1 rendeu os maiores ganhos. Modelos menores foram mais sensíveis à posição do rank do que modelos maiores, que conseguem extrair informações relevantes de contextos mais ruidosos.

Avaliação de Formato Livre e Validação do Juiz

• Confiabilidade do Juiz: O juiz LLM mostrou forte concordância com humanos em Fidelidade ($\kappa \approx 0.64$) e Completude ($\kappa \approx 0.59$). A concordância foi fraca para Consistência Factual ($\kappa \approx 0.06$) e Clareza, indicando que essas dimensões são difíceis de automatizar de forma confiável.
• Comportamento do Modelo: Modelos médios e grandes alcançaram alta completude e clareza, mas tiveram dificuldades com a Fidelidade; mesmo os melhores modelos atenderam ao critério de fidelidade em apenas ~64% dos casos, frequentemente incorporando orientações estranhas ao contexto.
• Efeito do Rank na Fidelidade: A fidelidade caiu drasticamente conforme o rank do fragmento alvo aumentava, confirmando que os modelos dependem fortemente do contexto inicial e alucinam quando a evidência mais relevante está enterrada.

Significância e Alegações

O artigo alega que a configuração de recuperação é um alavancagem primária para o questionamento de saúde pública confiável, sendo muitas vezes mais impactante do que o tamanho do modelo isoladamente.

1. RAG como Estabilizador: Fundamentar LLMs em um corpus explicitamente mantido de orientações oficiais mitiga alucinações e conselhos desatualizados, permitindo que sistemas permaneçam alinhados com políticas de saúde pública em evolução sem necessidade de retreinamento do modelo.
2. Eficiência via RAG: Uma pilha de recuperação bem desenhada permite que modelos menores de pesos abertos superem modelos maiores e fechados que dependem apenas de memória paramétrica. Isso oferece um caminho prático para instituições de saúde pública com restrições de orçamento e infraestrutura.
3. Nuance de Avaliação: O estudo destaca que benchmarks de MCQA padrão podem superestimar a capacidade devido a pistas nas opções de resposta. A avaliação de formato livre é necessária, mas exige um design de rubrica cuidadoso; atualmente, a avaliação automatizada de "consistência factual" permanece pouco confiável, exigindo supervisão humana ou o desenvolvimento de novos métodos.
4. Orientação Prática: Para implantação, os autores recomendam recuperação híbrida, fragmentação cuidadosa (evitando comprimentos excessivos) e limitar o contexto aos 3 a 5 principais fragmentos para relações de desempenho-custo ideais.

O trabalho conclui que, embora o RAG melhore significativamente a confiabilidade, os benchmarks futuros devem abordar o suporte de múltiplas evidências e consultas fora do corpus para testar totalmente a robustez do sistema em cenários reais de saúde pública.