Resumo Técnico: Mitigação de Alucinações em LLMs de Saúde com Verificação Fatorial Granular e Adaptação Específica de Domínio

1. Declaração do Problema

A integração de Modelos de Linguagem de Grande Escala (LLMs) na saúde oferece potencial significativo para automatizar tarefas clínicas, como a sumarização de Prontuários Eletrônicos de Saúde (EHRs). No entanto, uma barreira crítica para a adoção é a propensão dos LLMs a gerar "alucinações" — informações afirmadas com confiança, mas factualmente incorretas ou não verificadas. Em domínios críticos para a segurança, como a medicina, até mesmo imprecisões menores relacionadas a dosagens de medicamentos, diagnósticos ou valores laboratoriais podem comprometer a segurança do paciente e corroer a confiança dos clínicos.

As abordagens existentes para mitigar alucinações frequentemente dependem de avaliadores baseados em LLMs, geração aumentada por recuperação (RAG) ou pipelines complexos de verificação neural. Esses métodos sofrem frequentemente com opacidade, altos custos computacionais e falta de transparência, pois muitas vezes dependem dos próprios modelos probabilísticos que visam verificar. Além disso, muitos frameworks de avaliação operam em um nível de granularidade grosseira (por exemplo, estruturas PICO ou similaridade ao nível de sentença), falhando em detectar erros factuais específicos e granulares, como sequências temporais incorretas ou discrepâncias numéricas.

2. Metodologia

O framework proposto aborda essas limitações por meio de um pipeline modular em duas etapas: um gerador de sumarização específico de domínio e um módulo de verificação factual independente e livre de LLMs.

2.1. Sumarização Específica de Domínio (Gerador)

Para gerar resumos clinicamente coerentes, os autores ajustaram finamente o modelo LLaMA-3.1-8B utilizando Adaptação de Baixo Rank (LoRA).

• Conjunto de Dados: O modelo foi treinado em 26.104 resumos de alta extraídos do banco de dados MIMIC-III, cobrindo mais de 40.000 registros de pacientes.
• Técnica: O LoRA foi empregado para injetar matrizes de baixo rank treináveis nos pesos pré-treinados, visando especificamente as camadas de projeção de consulta ($W_q$) e valor ($W_v$) do mecanismo de atenção. Essa abordagem permite uma adaptação eficiente de domínio, mantendo a maioria dos parâmetros congelados, reduzindo a sobrecarga computacional e o uso de memória.
• Otimização: O modelo foi otimizado usando o otimizador AdamW com um agendador de taxa de aprendizado em cosseno, treinamento de precisão mista (bfloat16) e checkpointing de gradiente.

2.2. Módulo de Verificação Factual Livre de LLM (Verificador)

A inovação central é um sistema de verificação que opera independentemente de qualquer LLM durante a fase de avaliação. Ele funciona como uma camada determinística, baseada em regras, que valida resumos gerados contra dados EHR de verdade absoluta.

• Extração de Proposições: Tanto o resumo gerado quanto o EHR de origem são decompostos em proposições atômicas definidas como tuplas: $p = (e, a, v, t)$, representando Entidade (por exemplo, medicamento), Atributo (por exemplo, dosagem), Valor (por exemplo, 50mg) e Tempo (por exemplo, "no dia 2"). Essa decomposição é realizada usando pipelines determinísticos baseados em regras e Reconhecimento de Entidades Nomeadas (NER) clínico, e não modelos generativos.
• Alinhamento: As proposições do resumo são alinhadas com as proposições do EHR usando similaridade de cosseno em embeddings derivados de codificadores específicos de domínio (BioClinicalBERT e Sentence-BERT). Esta etapa identifica o candidato semanticamente mais similar para verificação, mas não determina a correção factual por si só.
• Verifica de Consistência Determinísticas: Uma vez alinhadas, pares de proposições passam por uma série de verificações lógicas e numéricas:
  1. Verificação de Negação: Detecta contradições onde uma proposição afirma presença e a outra ausência (por exemplo, "sem antibióticos" vs. "tratado com antibióticos").
  2. Verificação de Implicação: Verifica relações clinicamente dependentes (por exemplo, "pneumonia" implica "antibióticos").
  3. Consistência Temporal: Garante que a ordem cronológica dos eventos no resumo corresponda ao EHR.
  4. Exclusividade Mútua: Sinaliza estados logicamente incompatíveis ocorrendo ao mesmo tempo (por exemplo, "intubado" vs. "respirando espontaneamente").
  5. Consistência Numérica: Valida correspondências exatas para valores quantitativos e unidades (por exemplo, níveis de creatinina).
  6. Verificação de Presença: Detecta omissões clinicamente significativas onde um evento chave do EHR está ausente no resumo.
• Geração de Veredito: Cada proposição recebe um veredito binário: Suportado (passa em todas as verificações) ou Não Suportado (falha em uma ou mais verificações).

3. Contribuições Principais

O artigo descreve três contribuições primárias:

1. Módulo de Verificação Factual Livre de LLM: Um sistema de verificação que aplica lógica discreta (verificações de negação, implicação, temporal, numérica e de presença) para avaliar proposições independentemente de LLMs, garantindo transparência e reprodutibilidade.
2. Mecanismo de Verificação Determinística: Um pipeline que decompõe o texto em proposições atômicas para comparação um a um, permitindo verificação factual granular que vai além da similaridade semântica superficial.
3. Adaptação Específica de Domínio: Um modelo de sumarização ajustado finamente usando LoRA em dados MIMIC-III, que gera resumos clinicamente precisos com taxas reduzidas de alucinação, mantendo a eficiência computacional.

4. Resultados Experimentais

O framework foi avaliado em um subconjunto de 104 resumos de alta do MIMIC-III, compreendendo 3.786 proposições extraídas.

4.1. Desempenho de Sumarização

O modelo LLaMA-3.1-8B ajustado finamente com LoRA demonstrou forte alinhamento com os resumos de referência:

• ROUGE-1: 0,5797
• ROUGE-2: 0,5580
• ROUGE-L: 0,5618
• BERTScore (F1): 0,9120
  Essas métricas indicam alta fidelidade lexical e semântica às narrativas clínicas de origem.

4.2. Desempenho de Verificação Factual

O módulo de verificação independente alcançou as seguintes métricas no conjunto de testes ao nível de proposição:

• Precisão: 0,8904
• Revocação (Recall): 0,8234
• Pontuação F1: 0,8556
• Acurácia: 0,7913
• Especificidade (Não Suportado): 0,6949

4.3. Estudo de Ablação

Uma análise de ablação confirmou a necessidade de todas as seis verificações de consistência. A remoção de qualquer verificação única (particularmente Negação e Consistência Numérica) resultou em uma queda significativa no desempenho (por exemplo, a precisão caiu mais de 8% quando a verificação Numérica foi removida).

4.4. Avaliação por Especialistas

Dois especialistas clínicos revisaram os resumos e proposições gerados:

• Consistência Clínica: 93,27% (97/104) dos resumos foram considerados clinicamente precisos.
• Correção de Proposições: 95,8% das proposições extraídas estavam corretas.
• Desacordos foram mínimos e relacionados principalmente a doenças raras ou dependências temporais complexas.

4.5. Comparação com o Estado da Arte

O módulo proposto alcançou uma acurácia de 79,13% na tarefa de verificação de alegações do MIMIC-III, superando vários modelos existentes, incluindo:

• Claude-2 (DOSSIER): 78,62%
• Claude-2: 70,65%
• CodeLlama-13B (DOSSIER): 65,76%
• MedAlpaca 7B: 46,74%

5. Significado e Alegações

Os autores afirmam que este trabalho fornece uma solução transparente, reprodutível e interpretável para alucinações de LLMs na saúde. Ao desacoplar o processo de verificação dos modelos generativos, o sistema evita a natureza de "caixa preta" dos avaliadores baseados em LLMs. O framework foi projetado para servir como uma camada de segurança post-hoc que pode sinalizar contradições (por exemplo, dosagens incompatíveis, tratamentos omitidos) antes que um clínico assine um documento.

O artigo reconhece modestamente limitações, observando que a robustez do sistema pode diminuir em domínios altamente especializados (por exemplo, subtipos oncológicos raros ou casos complexos de transplante) onde os dados de treinamento são escassos ou ontologias específicas de domínio são insuficientes. Os autores enfatizam que, embora o sistema identifique efetivamente inconsistências, ele atualmente funciona como um detector e não como um agente de autocorreção, deixando a decisão final e a possível reescrita para os clínicos humanos.

Em conclusão, o estudo demonstra que combinar um gerador adaptado a domínio e eficiente em parâmetros com um verificador factual determinístico ao nível de proposição pode melhorar significativamente a confiabilidade da sumarização clínica assistida por IA, oferecendo um caminho viável para a implantação mais segura de LLMs em ambientes críticos de saúde.