Entropic Claim Resolution: Uncertainty-Driven Evidence Selection for RAG

Título: Resolução de Afirmação Entrópica: Seleção de Evidência Impulsionada por Incerteza para RAG

1. O Problema

Os sistemas atuais de Geração Aumentada por Recuperação (RAG) dependem predominantemente de recuperação densa baseada em relevância (busca por similaridade semântica). Embora eficazes para perguntas factuais simples, esses sistemas falham em cenários complexos do mundo real caracterizados por:

• Evidências conflitantes: Múltiplas fontes com informações contraditórias.
• Ambiguidade fundamental da consulta: Perguntas onde não há uma única resposta "verdadeira" imediata.
• Colapso Epistêmico: A tendência de recuperar informações redundantes e semanticamente similares à consulta, em vez de evidências discriminativas necessárias para resolver a incerteza.

O resultado é que os Grandes Modelos de Linguagem (LLMs) sintetizam respostas a partir de distribuições de evidência enviesadas ou incompletas, levando a alucinações não mitigadas, excesso de confiança e imprecisão factual. Sistemas agênticos existentes (como ReAct) ou baseados em grafos carecem de critérios de parada rigorosos e mecanismos de seleção de evidência baseados em teoria da decisão.

2. Metodologia: Resolução de Afirmação Entrópica (ECR)

O artigo propõe o ECR, um algoritmo de tempo de inferência que reformula o raciocínio do RAG como um processo de minimização de entropia sobre um espaço latente de hipóteses de resposta semânticas.

Principais Componentes:

• Espaço de Hipóteses ($A$): O sistema inicializa um conjunto de respostas macro possíveis (hipóteses mutuamente exclusivas) para uma consulta $Q$.
• Seleção de Evidência (Não Baseada em Relevância): Diferente do RAG tradicional, o ECR não seleciona documentos baseados na similaridade com a consulta. Em vez disso, ele seleciona afirmações atômicas (claims) que maximizam a Redução de Entropia Esperada (EER - Expected Entropy Reduction).
  • O objetivo é escolher a evidência que mais provavelmente colapsa a distribuição de probabilidade das hipóteses para uma única resposta correta (ou bifurca limpa em caso de conflito irreconciliável).
• Função de Pontuação (Proxy EER): Para viabilidade computacional em inferência de baixa latência, utiliza-se um proxy heurístico que mede a capacidade de uma afirmação de dividir o espaço de hipóteses, ponderado pela confiança da afirmação.
• Coerência e Conflito: O algoritmo incorpora um termo de regularização ($\lambda$) para priorizar a detecção de contradições explícitas. Se uma nova afirmação contradiz uma já avaliada, o sistema prioriza expor essa inconsistência em vez de tentar "médias" que escondam o conflito.
• Critério de Parada (Suficiência Epistêmica): O processo termina dinamicamente quando a entropia do espaço de hipóteses cai abaixo de um limiar definido ($H \le \epsilon$) e não há conflitos não resolvidos. Se a entropia permanecer alta devido a contradições, o sistema expõe a ambiguidade em vez de forçar uma resposta incorreta.
• Verificação Topológica: A veracidade das afirmações é validada usando metadados de proveniência e contagem de arestas de suporte/contradição em um grafo de conhecimento (EAV), aplicando suavização de Laplace.

3. Contribuições Principais

1. Algoritmo ECR: Introdução de um algoritmo de seleção de evidência baseado em teoria da decisão que muda o paradigma de "o que é mais relevante" para "o que é mais discriminativo" para resolver ambiguidades.
2. Critério de Parada Rigoroso: Definição matemática de "suficiência epistêmica" ($H(A|X) \le \epsilon$) para pipelines iterativos de RAG, eliminando a necessidade de limites de iteração fixos ou heurísticos.
3. Transição de Fase Comportamental: Demonstração de que, sob contradições estruturadas, o ECR transita de um colapso epistêmico forçado para uma exposição de ambiguidade principista, recusando-se a reduzir a incerteza quando as evidências são inerentemente inconsistentes.
4. Escalabilidade Prática: Implementação do ECR em uma arquitetura de recuperação multi-estratégia de nível de produção (CSGR++), demonstrando que é possível melhorar a robustez sem fine-tuning de modelos ou janelas de contexto maiores.

4. Resultados Experimentais

Os autores avaliaram o ECR em dois níveis:

• Avaliação Controlada (Somente Afirmações):
  • Em um conjunto de dados de negócios com 80 consultas, o ECR alcançou a suficiência epistêmica usando apenas 5 afirmações, reduzindo a entropia final para ~0.21 bits.
  • Comparado a uma seleção baseada apenas em relevância (que usou 15 afirmações e não reduziu a entropia) e a uma seleção aleatória, o ECR foi significativamente mais eficiente em colapsar a incerteza.
• Avaliação End-to-End (HotpotQA):
  • Em um benchmark de perguntas de múltiplos saltos, o ECR superou significativamente o controle aleatório e manteve desempenho comparável a uma linha de base forte baseada em relevância (EM e F1 similares).
  • Robustez a Ruído: Sob injeção de 40% de ruído (afirmações irrelevantes), o ECR degradou-se de forma previsível, sem amplificar erros ou causar alucinações excessivas.
• Teste de Contradição Estruturada (Offline):
  • O experimento mais crítico mostrou que, ao injetar contradições explícitas, o RAG tradicional permaneceu "patologicamente confiante" (colapso epistêmico).
  • O ECR, por outro lado, exibiu uma transição de fase: quando as contradições atingiram certo nível, o sistema parou de convergir, expôs a ambiguidade (entropia alta) e terminou com base em "conflito não resolvido", evitando gerar uma resposta falsa.

5. Significado e Impacto

O trabalho propõe uma mudança fundamental na forma como escalamos sistemas de IA baseados em conhecimento:

• Controle de Incerteza: A melhoria no raciocínio não depende necessariamente de modelos maiores, mas de um controle principista sobre como as evidências são selecionadas e avaliadas.
• Segurança em Alta Estaca: Para domínios críticos (medicina, direito, finanças), a capacidade de um sistema de recusar-se a responder quando as evidências são contraditórias é mais valiosa do que gerar uma resposta confiante e potencialmente errada.
• Eficiência Computacional: Ao parar a recuperação assim que a incerteza é resolvida, o ECR reduz a latência e os custos de processamento, evitando a recuperação de contextos redundantes.
• Futuro: O framework sugere uma nova direção para agentes autônomos, onde ações são tomadas para minimizar a entropia (ganho de informação) em vez de seguir heurísticas de prompt estáticas.

Em resumo, o ECR oferece uma fundação matemática para a seleção de evidências em RAG, transformando a incerteza de um problema passivo em uma variável de decisão ativa e otimizável.