Improved Evidence Extraction and Metrics for Document Inconsistency Detection with LLMs

1. Problema e Motivação

O artigo aborda a detecção de inconsistências (ou contradições) dentro de um único documento utilizando Grandes Modelos de Linguagem (LLMs). Diferente da inferência de linguagem natural (NLI) tradicional, que compara uma hipótese com uma premissa, este trabalho foca em identificar contradições internas em textos longos e complexos.

• Desafio Humano: Estudos da psicologia indicam que humanos têm dificuldade em detectar contradições em textos informativos e longos, especialmente quando as sentenças contraditórias estão distantes entre si.
• Limitação Atual: Embora existam métricas robustas para classificação binária (sim/não de inconsistência), a avaliação da extração de evidências (identificar quais sentenças são contraditórias) é negligenciada. Métodos que classificam corretamente, mas falham em extrair as evidências, são inúteis para o usuário final, pois não permitem a verificação da conclusão.
• Gap de Pesquisa: Métodos existentes de prompting (como Direct Prompting, Self-Consistency e Self-Criticism) não foram testados holisticamente para extração de evidências em nível de documento, e as métricas atuais são insuficientes para avaliar a precisão e o recall das evidências extraídas.

2. Metodologia

Os autores propõem uma nova abordagem metodológica composta por três pilares principais:

A. Novas Métricas de Avaliação

Para avaliar a extração de evidências de forma abrangente, o artigo introduz métricas que vão além da simples classificação:

• Evidence Hit Rate (EHR) e EHRC: Medem se o conjunto completo de evidências verdadeiras foi encontrado (uma métrica estrita).
• Evidence Precision Rate (EPR) e EPRC: Penalizam a extração de muitas sentenças incorretas (falsos positivos).
• Evidence Recall Rate (ERR) e ERRC: Permitem recompensar a extração parcial de evidências (subconjuntos corretos).
• Relação Matemática: Os autores estabelecem identidades que conectam essas métricas de extração com as métricas de classificação (ex: $EHR = TPR \times EHRC$).

B. Framework "Redact-and-Retry" (RnR)

Para melhorar a capacidade do LLM de encontrar múltiplas inconsistências, os autores propõem um algoritmo iterativo:

1. Redact (Rascunho): O LLM recebe o documento e identifica um conjunto de evidências.
2. Remoção: As sentenças identificadas são removidas do documento original.
3. Retry (Nova Tentativa): O LLM recebe o documento "limpo" e é solicitado a procurar por novas inconsistências.
4. Iteração: O processo repete-se até que o LLM classifique o documento como consistente ("No").
5. Agregação: O conjunto final de evidências é a união de todas as evidências encontradas em cada iteração.

C. Filtragem Constrained (Constrained Filter)

Para evitar que o framework RnR gere um volume excessivo de evidências (ruído), os autores introduzem uma chamada de filtro adicional (um LLM extra) que reanalisa o conjunto de evidências acumulado.

• Filtro Constrained (CF): O filtro é obrigado a retornar pelo menos uma sentença se a classificação inicial foi "Yes". Isso mantém a decisão de inconsistência, mas refina a lista de evidências, removendo falsos positivos sem alterar a classificação global.
• Filtro Unconstrained (UF): Permite que o filtro retorne uma lista vazia, o que poderia alterar a classificação de "Yes" para "No".
• Resultado da Abordagem: A combinação RnR+CF (Redact-and-Retry com Filtro Constrained) foi identificada como a melhor abordagem, equilibrando alta precisão na extração com um número controlado de sentenças.

D. Novo Dataset: ContraDocPaired

O dataset existente (ContraDoc) continha apenas documentos com uma única evidência ($|E|=1$), o que tornava difícil distinguir entre métricas de Hit e Recall. Os autores criaram o ContraDocPaired, um dataset semi-sintético onde cada documento positivo contém exatamente duas sentenças contraditórias ($|E|=2$), permitindo uma avaliação mais rigorosa das métricas de extração.

3. Resultados Experimentais

Os experimentos foram conduzidos utilizando dois LLMs de diferentes capacidades: GPT-4o (forte) e LLaMA3.2-90B (mais fraco), nos datasets ContraDoc e ContraDocPaired.

• Desempenho de Extração: A abordagem RnR+CF superou consistentemente os métodos de Direct Prompting (DP), Self-Consistency (S-con) e Self-Criticism (S-cri) em todas as métricas de extração de evidências (EPR, ERR, EHR).
• Precisão vs. Quantidade: O RnR+CF conseguiu manter um alto nível de precisão (EPR) enquanto mantinha o número médio de sentenças extraídas baixo (evitando o "ruído" comum em outros métodos).
• Classificação: Não houve um vencedor claro na classificação binária entre os métodos, mas o RnR+CF manteve um desempenho competitivo.
• Análise de Temperatura: A variação da temperatura no Self-Consistency não trouxe melhorias significativas na extração, mas aumentou o número de sentenças extraídas desnecessariamente.
• Eficiência: O número de tentativas (retries) no RnR foi bem controlado (mediana ≤ 3), mesmo com o aumento da complexidade no dataset ContraDocPaired.

4. Contribuições Principais

1. Novas Métricas: Introdução de um conjunto abrangente de métricas (EPR, ERR, EHR e suas variantes condicionais) para avaliar especificamente a qualidade da extração de evidências, não apenas a classificação.
2. Framework RnR+CF: Proposta de um método iterativo de "Rascunho e Nova Tentativa" com filtragem restritiva, que demonstrou superioridade técnica sobre prompting direto e estratégias de auto-correção.
3. Dataset ContraDocPaired: Criação e liberação de um novo dataset semi-sintético com múltiplas evidências por documento, preenchendo uma lacuna crítica na avaliação de tarefas de inconsistência documental.
4. Análise Empírica: Demonstração de que a extração de evidências pode ser significativamente melhorada através de iteração e filtragem, superando a limitação de modelos que apenas "adivinharam" a resposta.

5. Significado e Impacto

Este trabalho é fundamental para a aplicação prática de LLMs em domínios críticos como finanças, auditoria e análise jurídica, onde a detecção de inconsistências em documentos longos é vital.

• Confiabilidade: Ao focar na extração de evidências, o sistema torna-se mais transparente e verificável pelo usuário, resolvendo o problema de "caixa preta".
• Escalabilidade: O framework RnR demonstra ser escalável, lidando bem com documentos que possuem múltiplas inconsistências sem explodir o custo computacional (número de chamadas ao LLM).
• Direção Futura: O trabalho estabelece um novo padrão para avaliação de tarefas de detecção de inconsistências, sugerindo que futuras pesquisas devem focar não apenas em "se" há um erro, mas em "onde" e "como" ele foi encontrado.

Em resumo, o artigo demonstra que a combinação de iteração (remover o que foi encontrado e procurar novamente) com filtragem inteligente é a chave para transformar LLMs em ferramentas robustas para a análise de consistência documental.