Retromorphic Testing with Hierarchical Verification for Hallucination Detection in RAG

Resumo Técnico: RT4CHART para Detecção de Alucinações em RAG

1. O Problema

Os Modelos de Linguagem (LLMs) em sistemas de Geração Aumentada por Recuperação (RAG) ainda sofrem de alucinações, gerando afirmações que não são suportadas ou que contradizem o contexto recuperado. A detecção dessas falhas enfrenta desafios significativos:

• Limitações dos Detectores Atuais: A maioria dos detectores existentes opera em nível de resposta inteira (pontuação holística) ou foca em factualidade em domínio aberto, falhando em fornecer diagnósticos baseados em evidências específicas do contexto recuperado.
• Falta de Rastreabilidade: Detectores comerciais ou de código aberto muitas vezes apenas sinalizam que uma resposta é problemática ou destacam trechos suspeitos, mas não vinculam esses trechos a evidências explícitas de suporte ou contradição no documento original.
• Ruído nos Benchmarks: Benchmarks populares, como o RAGTruth, contêm falsos negativos significativos (muitas alucinações não foram anotadas), o que penaliza detectores que identificam corretamente essas falhas.

O objetivo deste trabalho é definir "fidelidade" estritamente em relação ao contexto recuperado (ignorando memória paramétrica externa) e criar um sistema que forneça auditoria granular e baseada em evidências.

2. Metodologia: RT4CHART

Os autores propõem o RT4CHART (Retromorphic Testing for Context-grounded Hallucination Assessment in Retrieval-Augmented Text), um framework baseado em Teste Retromórfico.

• Conceito de Teste Retromórfico: Em vez de comparar a saída com uma "resposta dourada" (que pode não existir ou ser única), o sistema inverte o mapeamento generativo. Ele verifica se as afirmações geradas podem ser rastreadas de volta e justificadas pelas entradas originais (o contexto recuperado).

• Pipeline de Verificação Hierárquica:

  1. Decomposição de Afirmações: A resposta gerada é dividida em afirmações atômicas e autocontidas (claims). Cada afirmação preserva qualificadores (negação, quantidades, tempo) e mantém um ponteiro para o trecho original da resposta.
  2. Verificação Local: O contexto recuperado é dividido em "chunks" (janelas deslizantes com sobreposição). Cada afirmação é verificada contra esses chunks locais para identificar evidências de suporte ou contradição. Os resultados são consolidados usando uma regra de OR-join (se qualquer chunk contradiz, a afirmação é marcada como contraditória; se algum apoia, é entailed; caso contrário, é baseless).
  3. Verificação Global: Para evitar erros causados pela fragmentação do contexto, cada afirmação é reavaliada contra o contexto completo. O resultado local serve apenas como um "hint" (dica) de onde procurar, mas o verificador global deve extrair as evidências finais do texto completo.
  4. Agregação ao Nível de Resposta: As etiquetas finais das afirmações são agregadas via AND-join. Se qualquer afirmação for não-fiel (contraditória ou sem base), toda a resposta é marcada como alucinada.

• Saída do Sistema: Para cada afirmação, o sistema retorna uma das três etiquetas: Entailed (inferido), Contradicted (contradito) ou Baseless (sem base), juntamente com os trechos exatos da resposta e as evidências de suporte ou contradição no contexto.

3. Contribuições Principais

1. Framework Retromórfico para RAG: A primeira instância de teste retromórfico aplicada à detecção de fidelidade em RAG, transformando o problema em um desafio de rastreabilidade de evidências.
2. Pipeline de Verificação Hierárquica: Combina verificação local (para eficiência e granularidade) com verificação global (para consistência), superando as limitações de verificação puramente local ou global.
3. Benchmarks Aprimorados (RAGTruth-Enhance): Os autores realizaram uma reanotação extensiva do conjunto de dados RAGTruth. A nova versão, RAGTruth-Enhance, revela que as anotações originais subestimavam drasticamente a prevalência de alucinações (encontrando 1,68x mais casos de alucinação e 3,1x mais trechos alucinados).
4. Diagnóstico Baseado em Evidências: Diferente de pontuações opacas, o sistema fornece justificativas explícitas vinculando o erro ao documento fonte.

4. Resultados Experimentais

O RT4CHART foi avaliado no RAGTruth++ (408 amostras) e no novo RAGTruth-Enhance (2.675 amostras), comparado com baselines como Lettuce, MetaQA, SelfCheckGPT e Vectara.

• Desempenho no Nível de Resposta:

  • No RAGTruth++, o RT4CHART alcançou um F1 de 0,776, superando o melhor baseline em 83% (de 0,424 para 0,776).
  • No RAGTruth-Enhance, alcançou um F1 de 0,845, uma melhoria de 17% sobre o baseline mais forte.
  • O ganho principal deve-se à alta recall, indicando que o sistema detecta alucinações parciais que métodos holísticos ignoram.

• Desempenho no Nível de Trecho (Span-level):

  • O RT4CHART obteve o melhor F1 de localização de trechos em ambos os conjuntos de dados (47,5% no RAGTruth-Enhance vs. 41,9% do Lettuce).
  • O sistema também demonstrou capacidade superior de vincular afirmações contraditórias às evidências de refutação no contexto.

• Ablação e Sensibilidade:

  • A verificação local foi identificada como o principal motor de desempenho.
  • A verificação global é complementar, sendo crucial quando as evidências estão distribuídas entre múltiplos chunks.
  • O sistema é robusto a mudanças no modelo de verificação (ex: troca de GPT-4o mini por GLM-4.7) e tem baixo custo computacional (~$0,01 por amostra).

5. Significado e Impacto

• Auditoria Transparente: O RT4CHART muda o paradigma de "pontuação de confiança" para "diagnóstico auditável", permitindo que equipes de engenharia identifiquem exatamente onde e por que um sistema RAG falhou.
• Reavaliação de Benchmarks: A descoberta de que benchmarks comuns subestimam alucinações em mais de 1,5x sugere que o estado da arte atual pode ser menos eficaz do que se pensava, e que novos padrões de avaliação são necessários.
• Aplicabilidade Prática: O baixo custo e a alta precisão tornam o framework viável para auditorias contínuas de fidelidade em ambientes de produção, especialmente onde o contexto recuperado é a única fonte de verdade autorizada (ex: suporte ao cliente, documentos legais).

Em suma, o trabalho apresenta uma solução robusta e economicamente viável para o problema de alucinação em RAG, combinando rigor teórico (teste retromórfico) com uma arquitetura prática de verificação hierárquica e dados de avaliação aprimorados.