Resumo Técnico: MedFabric e EtHER

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) possuem capacidades semânticas e de raciocínio robustas, mas frequentemente alucinam em domínios especializados como a medicina. Entre vários tipos de alucinação, a fabricação—a geração de afirmações fluentes, porém factualmente incorretas—apresenta o risco mais elevado em áreas de alto impacto.

As abordagens existentes para detectar alucinações médicas enfrentam duas limitações críticas:

1. Deficiências de Dados: Os conjuntos de dados atuais de alucinação médica (por exemplo, Med-HALT, MedHallu) capturam inadequadamente os fenômenos de fabricação. Eles frequentemente dependem da coleta de respostas corretas e incorretas de fontes dispersas (humano vs. LLM), criando disparidades estilísticas e deriva distribucional. Detectores treinados nesses conjuntos de dados tendem a superajustar-se a pistas estilísticas superficiais (por exemplo, distinguir estilos de escrita humana vs. IA) em vez de aprender a identificar inconsistências factuais genuínas.
2. Fragilidade do Modelo: Detectores existentes (baseados em incorporação ou LLM como juiz) performam mal quando a similaridade estrutural entre a verdade fundamental e as amostras fabricadas é alta. Modelos de incorporação falham em distinguir desvios sutis no nível de palavras, enquanto avaliadores de LLM zero-shot exibem alta variância e inconsistência devido à aleatoriedade de amostragem e sensibilidade ao prompt.

Metodologia

Os autores propõem um framework unificado, centrado em dados, compreendendo um novo pipeline de geração de conjuntos de dados (MedFabric) e um sistema de detecção modular (EtHER).

1. MedFabric: Um Pipeline de Geração Centrada em Dados

Para abordar a falta de dados de fabricação realistas, os autores desenvolveram um pipeline de três etapas para gerar fabricações no nível de palavras que preservam a fidelidade sintática e estilística enquanto introduzem desvios factuais sutis:

• Alinhamento Estilístico: Verdades fundamentais escritas por humanos são reescritas por um LLM para alinhar-se às distribuições estilísticas de LLMs, eliminando o atalho estilístico "humano vs. IA".
• Fabricação Condicionada por Evidência: As fabricações são geradas condicionando o LLM à verdade fundamental reescrita e a trechos específicos de evidência. Isso garante que o texto fabricado permaneça contextualmente coerente, mas introduza erros factuais de granularidade fina (por exemplo, mudar uma espécie de "humano" para "rato").
• Controle de Qualidade: Um processo de avaliação em duas etapas garante que as fabricações geradas sejam desafiadoras:
  • Similaridade Estrutural: Medida via recall ROUGE-L; amostras com pontuações abaixo de 0,7 são descartadas para garantir que a fabricação não seja muito divergente.
  • Dificuldade Semântica: Uma estratégia de otimização de preferência de auto-jogo (SPPO) é utilizada, onde um agente LLM tenta distinguir a fabricação da verdade fundamental reescrita. Apenas as fabricações que "cegam" o agente (ou seja, são mal classificadas) são retidas, garantindo que o conjunto de dados capture modos de falha genuínos.

2. EtHER: Um Detector Modular de Fabricação no Nível de Palavras

Para abordar as limitações dos detectores existentes, os autores introduzem o EtHER (EvaluaTe Hallucination with TablE decomposition and woRd masking), um framework projetado para avaliação de factualidade estável, interpretável e no nível de palavras. Ele consiste em três módulos:

• Decomposição Texto2Tabela: Declarações médicas não estruturadas são convertidas em tabelas estruturadas de entidade–descrição. Isso decompõe frases complexas em pares de entidade-contexto (por exemplo, "Expressão de TGFBI" $\to$ "recorrência linfática desfavorável"), aprimorando a interpretabilidade semântica e reduzindo a ambiguidade contextual.
• Mascaramento e Preenchimento de Palavras: O sistema gera versões mascaradas das tabelas de entidade–descrição. Um LLM, guiado por um sistema de Geração Aumentada por Recuperação (RAG) específico de domínio, preenche essas máscaras com frases literais da evidência recuperada. Isso cria reconstruções emparelhadas que permitem uma comparação direta e de granularidade fina entre a saída do modelo e o conhecimento verificado.
• Avaliação Híbrida de Pares de Frases: Para minimizar a aleatoriedade do LLM e melhorar a estabilidade, o sistema emprega uma abordagem híbrida:
  1. Filtragem baseada em incorporação: Pares de frases são codificados para medir a distância semântica; pares que excedem um limite são sinalizados.
  2. Raciocínio baseado em LLM: Candidatos sinalizados são reavaliados por um agente LLM para distinguir conflitos factuais de variações lexicais benignas.
  3. Agregação Baseada em Regras: Decisões finais são agregadas por meio de uma camada baseada em regras para determinar a fabricação no nível da resposta.

Resultados Chave

Avaliações empíricas no conjunto de dados MedFabric e em benchmarks existentes (MedHallu, Verdade Fundamental Reescrita) demonstram o seguinte:

• Desempenho Superior em Fabricações Sutis: O EtHER supera detectores do estado da arte (incluindo SAPLMA, RelD, TSV e GCA) em mais de 15% em benchmarks de fabricação no nível de palavras. Especificamente, no MedFabric (alta similaridade estrutural, ROUGE-L $\approx$ 0,77), o EtHER alcança um F1 geral de 60,6%, comparado a uma média de 44,3% para outros modelos.
• Melhor Recall: O EtHER recupera quase o dobro de fabricações em comparação com a média dos modelos (68,6% vs. 34,8%), mantendo desempenho comparável em respostas verdadeiras.
• Robustez à Similaridade Estrutural: Diferentemente de modelos ajustados finamente que degradam abruptamente à medida que a similaridade estrutural aumenta (caindo de ~69% F1 em dados de baixa similaridade para ~42% no MedFabric), o EtHER mantém desempenho estável (60–70% F1) em conjuntos de dados com variações de similaridade estrutural.
• Baixa Variância: Apesar de utilizar múltiplas etapas de geração, o EtHER exibe variância de previsão comparável a avaliadores zero-shot de LLM de etapa única, atribuída à natureza restrita e precisa de suas subtarefas (mascaramento e preenchimento), o que reduz a aleatoriedade autoregressiva.

Significado e Alegações

O artigo afirma estabelecer um paradigma unificado para estudar e mitigar alucinações médicas do tipo fabricação. Suas contribuições principais são:

1. Revelação de Viés Estilístico: Destacar que detectores existentes frequentemente dependem de padrões estilísticos entre a verdade fundamental e amostras fabricadas, em vez de conteúdo factual, levando a classificações espúrias.
2. Simulação Realista de Dados: Fornecer um pipeline de geração de dados que simula cenários realistas de fabricação médica, resultando no conjunto de dados MedFabric, que oferece um benchmark rigoroso com alta similaridade estrutural e desvios semânticos sutis.
3. Framework de Detecção no Nível de Palavras: Propor o EtHER, um detector que se alinha com fabricações no nível de palavras por meio de raciocínio estruturado e alinhamento factual, oferecendo uma base escalável para sistemas de LLM confiáveis em aplicações médicas de alto impacto.

Os autores posicionam este trabalho como um passo para reduzir a carga de trabalho de especialistas médicos na verificação de consultas de pacientes e melhorar a confiabilidade de LLMs em domínios onde a precisão factual é crítica.