A Lightweight Retrieval-Grounded Framework for Hallucination Detection and Correction in Large Language Models

Resumo Técnico: Uma Estrutura Leve de Base em Recuperação para Detecção e Correção de Alucinações em Grandes Modelos de Linguagem

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) tornaram-se centrais para aplicações que variam desde o questionamento até o suporte à decisão empresarial. No entanto, eles permanecem propensos a "alucinações" — saídas que parecem fluentes e plausíveis, mas são factualmente incorretas, não sustentadas por evidências ou inconsistentes com o conhecimento verificado. Este problema impõe riscos significativos em domínios de alto risco, como saúde, finanças e raciocínio jurídico. As estratégias de mitigação existentes, incluindo Geração Aumentada de Recuperação (RAG), auto-verificação, verificação de fatos assistida por ferramentas e estruturas de debate multi-agente, frequentemente sofrem de limitações específicas: podem focar apenas na detecção sem oferecer correção, dependem de inferência repetida de modelos grandes, o que aumenta os custos computacionais, ou introduzem uma orquestração complexa que dificulta a reprodutibilidade.

Metodologia
O artigo propõe uma estrutura leve de base em recuperação projetada para detectar e corrigir alucinações sem o overhead computacional da inferência multi-LLM ao vivo. O sistema é estruturado como um pipeline modular que desacopla geração, recuperação, verificação e correção.

1. Simulação de Agente Modular: Ao contrário dos sistemas multi-agentes convencionais que invocam múltiplas instâncias de LLM ao vivo, esta estrutura modela agentes como estágios de processamento modulares operando sobre respostas de benchmark pré-geradas. Este design isola a verificação e a correção da variabilidade da geração, garantindo uma avaliação controlada e reprodutível.
2. Módulo de Recuperação: O sistema utiliza TF-IDF (Term Frequency-Inverse Document Frequency) para a recuperação de evidências em vez de embeddings semânticos. Esta escolha prioriza a eficiência computacional, a interpretabilidade e a reprodutibilidade, evitando dependências de modelos de recuperação neural externos. Dada uma consulta $q$, o sistema recupera os top-$k$ documentos relevantes ($D$).
3. Agente de Verificação: Este componente avalia a consistência factual de uma resposta gerada ($r_g$) contra a evidência recuperada ($D$). Ele emprega uma pontuação de verificação ponderada combinando dois sinais:
   • Similaridade Resposta–Evidência: A similaridade de cosseno TF-IDF entre a resposta gerada e os documentos recuperados.
   • Relevância Consulta–Evidência: A similaridade de cosseno TF-IDF entre a consulta original e os documentos recuperados.
   • A pontuação é calculada como: $Score = \alpha \cdot Sim(r_g, D) + (1 - \alpha) \cdot Sim(q, D)$, onde $\alpha$ controla a importância relativa dos dois sinais.
   • Uma regra de decisão baseada em limiar ($\tau$) classifica a resposta como alucinada ($Score < \tau$) ou não alucinada ($Score \geq \tau$).
4. Agente de Correção: Quando uma resposta é sinalizada como alucinada, o agente de correção revisa o conteúdo. Ele remove afirmações não sustentadas e incorpora informações consistentes com a evidência, preservando partes relevantes da resposta original. Crucialmente, este mecanismo é projetado para ser guiado por evidência e leve, evitando etapas adicionais de inferência de LLM.

Principais Contribuições
O artigo delineia quatro contribuições primárias:

1. Uma estrutura leve de detecção e correção que evita a cara inferência multi-LLM enquanto preserva o raciocínio modular inspirado em agentes.
2. Um pipeline unificado que se estende além da mera detecção para produzir respostas corrigidas guiadas por evidências.
3. Uma formulação de verificação ponderada baseada em limiar que combina explicitamente a similaridade resposta–evidência e a relevância consulta–evidência.
4. Uma avaliação experimental reprodutível nos datasets MedHallu e TruthfulQA, demonstrando forte desempenho de detecção e redução mensurável de alucinações.

Resultados Experimentais
A estrutura foi avaliada em dois datasets: MedHallu (9.000 amostras representando alucinações no domínio médico) e TruthfulQA (817 amostras representando desafios de factualidade adversariais).

• Desempenho de Detecção: Usando um limiar ideal ($\tau = 0.55$), a estrutura alcançou um F1-score de aproximadamente 0.93 (especificamente 0.931 no conjunto combinado) e um recall de 0.891. No dataset MedHallu especificamente, o F1-score atingiu 0.942.
• Desempenho de Correção: A etapa de correção reduziu a taxa de alucinação no cenário MedHallu de 1.0000 para 0.5784, representando uma redução de 42.16% nas respostas alucinadas.
• Comparações de Baseline: Experimentos mostraram que a recuperação isolada é insuficiente para a detecção, pois falha em validar explicitamente a consistência entre a resposta e a evidência. A adição do módulo de verificação ponderada melhorou significativamente as métricas de detecção.
• Limitações Observadas: No TruthfulQA, a etapa de correção mostrou uma "taxa de regressão" de 0.2485, indicando que a correção baseada em similaridade pode, por vezes, alterar desnecessariamente respostas factuais. Isso sugere que, embora eficaz para alucinações de domínio específico, a atual abordagem baseada em similaridade requer um controle cuidadoso para consultas adversariais ou baseadas em equívocos.

Significância e Alegações
O artigo alega que sua principal significância reside em oferecer uma alternativa reprodutível e computacionalmente eficiente aos complexos sistemas de verificação multi-agente. Ao modelar agentes como estágios modulares em vez de chamadas de LLM ao vivo, a estrutura elimina a necessidade de inferência repetida de modelos grandes, tornando-a adequada para ambientes com restrição de recursos.

Os autores afirmam que a verificação explícita é essencial; a recuperação sozinha fornece contexto, mas não confirma o suporte factual. Sua formulação de pontuação ponderada aborda essa lacuna. Além disso, o trabalho enfatiza que a mitigação não deve parar na detecção; a etapa de correção proposta melhora ativamente a confiabilidade factual do output final. No entanto, o artigo reconhece modestamente que a recuperação TF-IDF e a similaridade lexical são mais fracas para casos de raciocínio intenso ou adversariais, sugerindo que futuras iterações devem incorporar embeddings semânticos e verificação baseada em implicação lógica.