Trust but Verify: Mitigating Medical Hallucinations via Post-Hoc Adversarial Auditing and Multi-Agent Feedback Loops

Resumo Técnico: Confie, mas Verifique – Mitigando Alucinações Médicas via Auditoria Adversária Post-Hoc e Loops de Feedback Multi-Agente

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados na saúde para suporte à decisão clínica, mas sua natureza probabilística leva a "alucinações" que representam riscos graves à segurança. Um modo de falha crítico, frequentemente negligenciado, é a obsolescência do conhecimento regulatório: os LLMs frequentemente recomendam fármacos que eram historicamente corretos, mas que agora estão banidos, retirados do mercado ou possuem avisos de caixa preta (black box warnings) por órgãos reguladores (ex: FDA, EMA). O artigo destaca que mesmo modelos de última geração (SOTA) equipados com Geração Aumentada por Recuperação (RAG) e capacidades de navegação na web falham em priorizar restrições de segurança atuais sobre os dados paramétricos de treinamento, levando a recomendações clínicas perigosas. As estratégias de mitigação existentes, como guardrails semânticos estáticos ou RAG simples, muitas vezes carecem da verificação adversária ativa necessária para detectar essas lacunas temporais de conhecimento.

Metodologia
Os autores propõem uma arquitetura modular de cinco agentes intitulada "Trust but Verify" (Confie, mas Verifique), projetada para impor conformidade regulatória através de um loop de auditoria adversária post-hoc. O sistema utiliza um único backbone de LLM (testado em famílias GPT-OSS, Llama-3 e Falcon-3), mas diferencia os agentes via redirecionamento de persona baseado em prompt, em vez de pesos de modelos heterogêneos.

O fluxo de trabalho consiste em cinco papéis funcionais:

1. Agente Roteador (Router Agent): Classifica as consultas como "Médicas" ou "Gerais". Apenas consultas médicas acionam o pipeline de segurança, otimizando latência e custo.
2. Agente Clínico Médico (Medical Clinical Agent): Atua como o motor de raciocínio primário, gerando candidatas a recomendações de tratamento baseadas na consulta de entrada.
3. Agente Extrator de Entidades (Entity Extractor Agent): Analisa a saída de linguagem natural do agente clínico em um formato JSON estruturado (extraindo o fármaco e a condição) para facilitar a verificação legível por máquina.
4. Agente Auditor de Segurança (Safety Auditor Agent): O componente central de segurança. Ele realiza buscas fundamentadas na web em tempo real (via API Tavily) contra fontes regulatórias autoritárias (FDA, NIH) para verificar o status atual do fármaco extraído. Se um fármaco for sinalizado como banido ou retirado, o auditor aciona um loop de feedback, enviando a violação de volta ao Agente Clínico para forçar uma nova tentativa ou uma recusa segura.
5. Agente de Chat Geral (General Chat Agent): Lida com interações não críticas para conservar recursos.

O sistema permite até três tentativas de repetição (retry). Se nenhuma alternativa segura for encontrada entre as opções, o sistema é projetado para emitir uma "recusa segura" em vez de uma recomendação alucinada.

Configuração Experimental
O estudo utilizou um conjunto de dados adversários de 103 Questões de Múltipla Escolha (MCQs) clínicas. Nestas questões, a resposta historicamente correta corresponde a um fármaco que foi desde então retirado ou banido. O conjunto de dados foi construído usando o DrugBank, garantindo que o rótulo "correto" no contexto dos dados de treinamento seja, na verdade, uma violação de segurança no contexto regulatório atual.

Três configurações experimentais foram avaliadas:

• Experimento I (Vanilla): Inferência de disparo único (single-shot) onde o LLM atua como um especialista clínico sem auditoria externa.
• Experimento II (Agentic): O pipeline proposto de cinco agentes com o loop de feedback adversário.
• Experimento III (Avaliação SOTA): Testando modelos proprietários líderes (ChatGPT-5.1/5.3, Gemini 3 Flash/3.1 Pro) com navegação nativa habilitada para avaliar se as soluções comerciais atuais mitigam este modo de falha específico.

Métricas Principais
O desempenho foi avaliado usando:

• Acurácia de Rótulo (Label Accuracy): Correção padrão contra o ground truth do conjunto de dados (que é inerentemente inseguro nesta configuração adversária).
• Pontuação Pontual (Pointwise Score - PS): Uma métrica especializada que penaliza recomendações definitivas para fármacos banidos (-0,25), recompensa recusas seguras (0,0) e recompensa previsões corretas seguras (+1,0).
• Taxa de Erro de Alucinação (Hallucination Error Rate - HER): A frequência de recomendações definitivas para substâncias retiradas.
• Fidelidade de Componente (Component Fidelity - CF): A razão de saídas funcionais bem-sucedidas em relação ao total de invocações de agentes, medindo a confiabilidade da orquestração multi-agente.

Resultos

• Desempenho Vanilla: Todos os modelos de acesso aberto testados exibiram alta "acurácia" (correspondendo ao fármaco banido), mas, correspondentemente, altos HERs (variando de 90,29% a 99,03%). As pontuações pointwise agruparam-se próximo a -0,25, indicando penalidades máximas de segurança.
• Desempenho Agentic: A arquitetura proposta reduziu significativamente os HERs em todos os modelos em aproximadamente 53% em média (ex: o Llama-3-70B caiu de 9% de 99,03% para 37,86%). Embora a acurácia bruta de rótulo tenha diminuído (pois o sistema corretamente recusou selecionar a resposta banida "correta"), a Pontuação Pontual deslocou-se de -0,25 para 0,0, indicando uma transição bem-sucedida para recusas seguras.
• Falha SOTA: O Experimento III revelou que mesmo modelos proprietários com raciocínio avançado e navegação falharam em prevenir a recomendação de fármacos banidos. Esses modelos frequentemente reconheceram o status de retirada em seus resultados de busca, mas acabaram priorizando seu conhecimento paramétrico para selecionar o fármaco banido como a resposta, demonstrando uma "regressão de segurança clínica".
• Integridade do Sistema: Os escores de Fidelidade de Componente para o pipeline agentic variaram entre 73,82% e 85,71%, confirmando a robustez da orquestração multi-agente.

Significância e Alegações
O artigo afirma demonstrar uma abordagem prática e independente de modelo para o implante de IA autônoma em ambientes de saúde de alta criticidade. Suas principais contribuições são:

1. Identificação de uma Lacuna Crítica: Destacar que os RAGs atuais e modelos SOTA falham em integrar dados regulatórios em tempo real de forma eficaz, levando à recomendação de substâncias banidas.
2. Inovação Arquitetônica: Propor um loop de auditoria adversária não linear, que trata a segurança como um processo de verificação determinístico, em vez de uma tarefa de geração probabilística. Ao desacoplar o raciocínio clínico (LLM) da verdade factual (auditor em tempo real), o sistema garante a conformidade sem exigir o retreinamento do modelo.
3. Segurança sobre Fluência: O framework prioriza a segurança do paciente ao converter recomendações perigosas em recusas apropriadas, mudando o objetivo do sistema de "responder corretamente" para "responder com segurança".
4. Escalabilidade: O uso de um único backbone com diferenciação de agentes baseada em prompts oferece uma solução escalável que não requer expansão de parâmetros ou retreinamento caro.

Os autores concluem que, embora a abordagem multi-agente introduza latência de inferência, esse trade-off é necessário para a segurança determinística em ambientes clínicos de alto risco. Eles posicionam este trabalho como um passo em direção à integração de dados regulatórios em tempo real em pipelines de LLM para apoiar, em vez de substituir, a tomada de decisão clínica.