LongSumEval: Question-Answering Based Evaluation and Feedback-Driven Refinement for Long Document Summarization

1. Declaração do Problema

O artigo aborda dois gargalos críticos no resumo de documentos longos:

• Limitações de Avaliação: Métricas existentes (por exemplo, ROUGE, BLEU, BERTScore) dependem de sobreposição lexical ou similaridade semântica, que correlacionam-se mal com julgamentos humanos quanto à consistência factual e cobertura. Elas produzem pontuações agregadas opacas sem feedback diagnóstico, falhando em explicar por que um resumo é ruim ou como corrigi-lo. Isso é particularmente problemático para documentos longos (>10.000 palavras), onde a informação está distribuída e alucinações são comuns.
• Desconexão Geração-Avaliação: Métodos atuais de auto-refinamento frequentemente carecem de feedback estruturado e acionável. Eles operam independentemente das métricas de avaliação, o que significa que o processo de geração não recebe instruções específicas sobre quais fatos estão faltando ou incorretos, levando a melhorias iterativas ineficazes.

2. Metodologia: O Framework LongSumEval

Os autores propõem o LongSumEval, um framework unificado que conecta avaliação e geração usando um paradigma de Perguntas e Respostas (QA). O framework consiste em dois módulos interconectados:

A. Módulo de Avaliação Baseado em QA

Em vez de comparar textos diretamente, este módulo operacionaliza a qualidade como a capacidade de resposta e o alinhamento factual de pares pergunta-resposta.

1. Geração de Perguntas: Um LLM gera perguntas diversas (O quê, Quando, Onde, Quem, Como, Por que) a partir do documento de origem ($Q_d$) e do resumo gerado ($Q_s$).
2. Avaliação de Cobertura: O sistema tenta responder $Q_d$ usando apenas o resumo.
   • Métrica: Razão de perguntas respondíveis.
   • Feedback: Perguntas não respondidas são sinalizadas como lacunas de cobertura.
3. Avaliação de Consistência Factual: O sistema extrai fatos do resumo como pares QA ($Q_s, A_s$) e os verifica contra o documento de origem ($A_d$).
   • Métrica: Similaridade entre $A_s$ e $A_d$ (usando Correspondência Exata/Parcial, ROUGE-1 F1 ou Similaridade de Cosseno) acima de um limiar $\tau$.
   • Feedback: Triplets factuais inconsistentes $(q, A_s, A_d)$ são sinalizados como erros factuais com correções de verdade fundamental.
4. Saída: Pontuações quantitativas ($score_{cov}, score_{cons}$) e feedback estruturado ($F_{cov}, F_{cons}$) identificando informações específicas faltantes e alegações errôneas.

B. Módulo de Auto-Refinamento

Este módulo converte o feedback estruturado em instruções em linguagem natural para guiar a melhoria iterativa sem re-treinar o modelo.

• Processo:
  1. Gerar um resumo inicial $S^{(0)}$.
  2. Avaliar para obter feedback $F$.
  3. Converter $F$ em prompts (por exemplo, "Revise o resumo para responder a estas perguntas não respondidas..." ou "Corrija estas inconsistências factuais específicas...").
  4. Gerar um resumo refinado $S^{(i+1)}$ com base no prompt.
  5. Repetir até que os limiares de qualidade sejam atendidos ou o número máximo de iterações seja alcançado.

3. Contribuições Principais

1. Framework de Avaliação QA Interpretável: Um método inovador que produz feedback estruturado e granular (perguntas não respondidas e triplets factuais) ao lado de pontuações quantitativas, permitindo avaliação transparente e sem referência de documentos longos.
2. Auto-Refinamento Orientado por Feedback: Um mecanismo que preenche a lacuna entre avaliação e geração, convertendo resultados de avaliação em instruções executáveis para revisão direcionada.
3. Meta-Avaliação Abrangente: Validação em sete conjuntos de dados anotados por humanos abrangendo cinco domínios (Notícias, Científico, Governamental, Mídias Sociais, Patentes) e comprimentos variados (400–27.000 palavras).
4. Benchmark PatentSumEval: Introdução de um novo benchmark anotado por humanos para resumo de patentes (30 patentes, 180 resumos) com anotações de qualidade multidimensionais, abordando uma lacuna na avaliação de resumo legal/técnico.

4. Resultados Experimentais

O estudo utilizou o $\tau_b$ de Kendall para medir a correlação com julgamentos humanos e testou o refinamento em cinco conjuntos de dados.

• Desempenho de Avaliação (RQ1 & RQ2):

  • LongSumEval demonstrou acordo substancialmente mais forte com julgamentos humanos do que bases de comparação QA existentes (QuestEval, QAEval, SummaQA).
  • Consistência: Alcançou uma correlação máxima de $\tau_b = 0,683$ no SummEval e $\tau_b = 0,800$ no PatentSumEval.
  • Cobertura: Alcançou $\tau_b = 0,738$ no PatentSumEval.
  • Robustez: Desempenhou consistentemente bem em artigos curtos de notícias e documentos científicos/governamentais extremamente longos, enquanto as bases de comparação frequentemente falharam em entradas longas.
  • Escolhas de Design: Similaridade ROUGE-1 F1 e 5–7 perguntas para avaliação de consistência foram encontradas como ótimas.

• Desempenho de Auto-Refinamento (RQ3):

  • Melhoria Direcionada: O framework melhorou significativamente resumos de baixa qualidade.
    • Cobertura: Até +83,72% de melhoria em resumos de Patentes de baixa cobertura.
    • Consistência: Até +47,42% de melhoria em resumos de Patentes de baixa consistência.
  • Melhoria Geral: Mesmo em todos os resumos (não apenas os de baixa qualidade), a cobertura melhorou em até +39,71% (Patentes) e +35,51% (PubMed).
  • Compensações: O refinamento universal às vezes degradou ligeiramente a consistência em documentos longos (por exemplo, Arxiv), sugerindo a necessidade de acionamento baseado em limiar (refinar apenas quando as pontuações caem abaixo de limites específicos).

• Validação Humana:

  • Perguntas geradas foram 91,67% focadas em informações-chave, e 98% foram respondíveis a partir da fonte.
  • Respostas extraídas mostraram 99% de consistência factual com a fonte.

5. Significado e Implicações

• Mudança de Paradigma: O artigo estabelece um paradigma generalizável onde o feedback de avaliação serve como instruções executáveis para geração. Isso vai além da pontuação de "caixa preta" para controle de qualidade acionável e transparente.
• Aplicações de Alto Risco: Ao garantir precisão verificável e fornecer correções específicas, o framework é diretamente aplicável a domínios críticos como literatura biomédica, análise legal e suporte à decisão clínica, onde alucinações são inaceitáveis.
• Eficiência: A abordagem permite melhorias significativas de qualidade através de auto-refinamento sem ajuste fino do modelo, tornando-a custo-efetiva e adaptável a novos domínios.
• Reprodutibilidade: A liberação do conjunto de dados PatentSumEval e de todos os códigos/prompts facilita pesquisas futuras em geração de texto controlável e compreensão de documentos longos.

Em conclusão, o LongSumEval resolve a "desconexão geração-avaliação" usando feedback estruturado de QA não apenas para diagnosticar erros, mas também para guiar explicitamente o LLM na correção deles, resultando em resumos que são tanto mais abrangentes quanto factualmente precisos.