Stress Testing Factual Consistency Metrics for Long-Document Summarization

1. Declaração do Problema

A avaliação da consistência factual (fidelidade) de resumos de texto abstrativos é um desafio crítico, particularmente para documentos longos. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham melhorado a fluência, eles frequentemente alucinam ou omitem fatos.

• Limitações das Métricas Atuais: Métricas tradicionais (por exemplo, ROUGE, BLEU) dependem de sobreposição de n-gramas e falham em capturar a correção factual. Métricas sem referência (por exemplo, FactCC, SummaC, AlignScore) mostraram promessa em documentos curtos, mas lutam com entradas de formato longo devido a:
  • Restrições de Comprimento de Entrada: Muitos modelos não conseguem processar milhares de tokens simultaneamente.
  • Evidência Dispersa: Fatos em documentos longos estão frequentemente espalhados por seções distantes ou múltiplos documentos, criando dependências de longo alcance.
  • Fragilidade: Métricas existentes são frequentemente sensíveis a mudanças léxicas superficiais (paráfrase, substituição de sinônimos) em vez do significado semântico, levando a pontuações inconsistentes para resumos semanticamente equivalentes.
• Lacuna: Há uma falta de avaliação sistemática dessas métricas sob condições de contexto longo, especificamente regarding sua robustez a perturbações que preservam o significado e sua sensibilidade à densidade de informação.

2. Metodologia

Os autores propõem um framework de teste de estresse para avaliar seis métricas de factualidade sem referência amplamente utilizadas em três conjuntos de dados diversos de documentos longos.

A. Conjuntos de Dados

O estudo utiliza três benchmarks abrangendo diferentes domínios:

1. SQuALITY: Histórias de ficção científica (domínio narrativo).
2. LexAbSumm: Sentenças do Tribunal Europeu dos Direitos Humanos (domínio jurídico).
3. ScholarQABench: Artigos de ciência da computação de múltiplos documentos (domínio científico).

B. Métricas Avaliadas

Seis métricas sem referência representando diferentes arquiteturas foram testadas:

1. BARTScore: Baseado em geração (probabilidade do resumo dado a fonte).
2. SummaC-Conv & SummaC-ZS: Baseado em entailment (modelos NLI).
3. AlignScore: Aprendizado de alinhamento contrastivo.
4. UniEval: Avaliação baseada em QA multidimensional.
5. MiniCheck: Classificador leve em nível de frase.

C. Estratégia de Teste de Estresse (Perturbações)

Para testar a robustez, os autores aplicaram sete perturbações que preservam o significado aos resumos originais usando GPT-4o. Uma métrica robusta deve atribuir pontuações semelhantes aos resumos originais e perturbados. As perturbações incluem:

1. Parafraseado: Reescrevendo com formulação alternativa.
2. Simplificado: Reduzindo estruturas de frases complexas.
3. Sinônimos Substituídos: Trocando palavras de conteúdo por sinônimos.
4. Menos Diverso: Reduzindo a variedade de vocabulário.
5. Negado: Introduzindo negações logicamente equivalentes (por exemplo, "não inimportante" $\to$ "importante").
6. Resumido: Comprimindo ainda mais o texto.
7. Texto de Fonte Adicionado: Inserindo uma frase factual da fonte não relacionada ao conteúdo principal do resumo.

D. Framework de Pontuação Baseado em Recuperação

Como a maioria das métricas não consegue ingerir documentos longos completos, os autores adotaram uma estratégia aumentada por recuperação:

1. Para cada frase do resumo, recuperar as top-$K$ frases de fonte mais similares usando embeddings SBERT.
2. Expandir essas frases recuperadas em uma janela de contexto de tamanho $w$ (frases circundantes).
3. Calcular a pontuação de factualidade para a frase do resumo contra o trecho de contexto recuperado.
4. Agregar pontuações em nível de frase para produzir uma pontuação global do resumo.
5. Os autores variaram o tamanho da janela $w$ para testar a sensibilidade à granularidade da recuperação.

E. Análise de Densidade de Informação

Os autores analisaram a relação entre a densidade de informação da afirmação (medida pela média da similaridade cosseno entre uma frase do resumo e todas as frases de fonte) e a confiabilidade da métrica. Alta similaridade implica que a afirmação está "emaranhada" com a fonte (difícil de verificar), enquanto baixa similaridade implica afirmações específicas e localizadas.

3. Resultados Principais

A. Inconsistência sob Perturbação

• Instabilidade Geral: Todas as seis métricas exibiram flutuações significativas de pontuação ao enfrentar edições que preservam o significado.
• Sensibilidade ao Domínio:
  • Jurídico (LexAbSumm): As métricas foram altamente instáveis. BARTScore mostrou deslocamentos negativos consistentes em quase todas as perturbações. AlignScore lutou com a consistência lógica em textos jurídicos estruturados.
  • Sensibilidade à Negação: A maioria das métricas (especialmente UniEval e MiniCheck) falhou ao lidar com negações logicamente equivalentes, frequentemente tratando-as como contradições factuais.
• Hierarquia de Robustez: MiniCheck e UniEval foram geralmente as mais robustas a mudanças de superfície, embora ainda lutassem com negações. AlignScore e SummaC-ZS foram as menos confiáveis em todos os domínios.

B. Impacto do Contexto de Recuperação

• Tamanho da Janela de Contexto ($w$): Aumentar a janela de contexto de recuperação geralmente melhorou as pontuações para a maioria das métricas, particularmente no domínio jurídico, onde argumentos abrangem múltiplas frases.
• Limitações do NLI: Métricas baseadas em NLI (SummaC) mostraram pouca sensibilidade ao aumento das janelas de contexto, sugerindo que dependem de comparações localizadas em vez de compreensão mais ampla do discurso.

C. Sensibilidade à Densidade de Informação

• O Problema da "Hubness": Para LexAbSumm e SQuALITY, as métricas atribuíram pontuações mais baixas a afirmações com alta sobreposição semântica (alta densidade de informação) com a fonte. Isso sugere que as métricas lutam quando a evidência está dispersa ou quando uma afirmação é uma generalização comprimida do texto.
• Exceção de Múltiplos Documentos: Em ScholarQABench (múltiplos documentos), afirmações de alta similaridade às vezes receberam pontuações mais altas, provavelmente devido à redundância entre documentos reforçando a afirmação.
• Comportamento da Métrica: AlignScore e BARTScore mostraram declínios acentuados para afirmações de alta similaridade, indicando uma dependência de alinhamento léxico local em vez de raciocínio de múltiplos trechos.

4. Contribuições Principais

1. Avaliação Sistemática: A primeira avaliação abrangente de seis métricas populares de factualidade especificamente adaptadas para configurações de resumo de documentos longos e múltiplos documentos.
2. Framework de Teste de Estresse: Introdução de uma metodologia rigorosa de perturbação (7 tipos) adaptada para contextos de formato longo para expor a fragilidade das métricas.
3. Análise Consciente da Recuperação: Demonstração de que métricas padrão comportam-se de forma inconsistente quando integradas em frameworks de pontuação baseados em recuperação, particularmente regarding o tamanho da janela de contexto.
4. Insight sobre Densidade de Informação: Identificação de um modo de falha onde as métricas degradam em afirmações "densas em informação" que estão semanticamente emaranhadas com grandes porções do texto de origem.

5. Significado e Direções Futuras

• Aviso de Confiabilidade: O estudo revela que as métricas de factualidade atuais de última geração não são confiáveis para resumo de formato longo. Elas frequentemente reagem a mudanças estilísticas de nível superficial em vez da verdade factual, levando a avaliações enganosas em domínios de alto risco como direito e medicina.
• Diretrizes de Design: Os autores propõem que métricas futuras devem ir além do alinhamento par a par local. Elas devem incorporar:
  • Raciocínio de Múltiplos Trechos: A capacidade de vincular evidências entre partes distantes de um documento.
  • Calibração Consciente do Contexto: Ajustar pontuações com base no tamanho do contexto de recuperação e na densidade de informação.
  • Treinamento Robusto: Treinamento em variações que preservam o significado para melhorar a estabilidade contra paráfrase e negação.
• Limitações: O estudo depende de perturbações geradas automaticamente (GPT-4o) em vez de edições verificadas por humanos e não inclui julgamentos factuais humanos para a configuração de documentos longos devido à escassez de tais dados anotados.

Em conclusão, o artigo argumenta que, sem abordar essas questões de robustez e consciência de contexto, a avaliação automatizada de resumo de documentos longos permanece fundamentalmente falha, potencialmente mascarando alucinações em aplicações críticas.