Resumo Técnico: A Sumarização Ainda Não Morreu

Declaração do Problema

O rápido avanço dos Grandes Modelos de Linguagem (LLMs) alimentou uma narrativa sugerindo que resumos gerados por modelos agora rivalizam ou superam as referências escritas por humanos, potencialmente tornando a sumarização um problema "resolvido". Estudos anteriores que apoiam essa visão baseiam-se frequentemente em julgamentos de preferência holísticos, protocolos de LLM-como-Juiz propensos a vieses e verificações de factualidade baseadas apenas na fonte, o que confunde conhecimento externo válido com alucinações. Este artigo contesta a conclusão de que a pesquisa em sumarização é obsoleta, argumentando que as avaliações atuais falham em separar a fluência superficial da fidelidade informacional profunda. Os autores postulam que, embora os LLMs tenham elevado o patamar de qualidade da sumarização, eles ainda não atingiram o "teto" da capacidade humana, particularmente no que diz respeito à informatividade, fidelidade e diversidade linguística.

Metodologia

Para reexaminar o estado da sumarização, os autores conduziram uma avaliação de múltiplas trilhas envolvendo cinco LLMs de última geração (GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro, Qwen3.5 e Kimi-K2.5) através de cinco conjuntos de dados diversos (CNNSum, SciNews, DiverseSumm, VISTA e EurLexSum). O framework de avaliação consiste em quatro trilhas distintas:

1. Avaliação Humana Controlada: Os anotadores avaliaram os resumos em quatro dimensões específicas (informatividade, fidelidade, coerência, concisão) usando uma escala Likert de 1 a 5 e realizaram classificações pareadas cegas. O acordo entre anotadores foi monitorado via $\alpha$ de Krippendorff.
2. LLM-como-Juiz com Mitigação de Viés: Os mesmos cinco modelos atuaram como juízes para todas as seis fontes (incluindo referências humanas). Para mitigar o viés de auto-preferência e de posição, a própria saída de cada modelo foi excluída quando este servia como juiz, e as classificações foram derivadas do consenso dos quatro modelos restantes.
3. Verificação de Factualidade: Os autores empregaram quatro métricas complementares (FaStFact, SAFE, FActScore, VeriScore) para decompor os resumos em alegações atômicas. Crucialmente, a verificação foi realizada contra fontes de conhecimento externo em vez de depender apenas do documento de origem, distinguindo entre alucinações genuínas e contextualização extrínseca válida.
4. Análise Linguística ao Nível de Corpus: O estudo analisou propriedades lexicais, sintáticas e de discurso usando sete métricas, incluindo a Razão Tipo-Token (TTR), profundidade da árvore de dependência, modificadores de sintagma nominal, progressão de tópico e razões de compressão.

Principais Contribuições

• Avaliação Específica por Dimensão: Os autores demonstram que julgamentos de preferência holísticos frequentemente confundem fluência superficial com densidade de informação. Quando avaliados independentemente, os resumos humanos retêm vantagens significativas em informatividade e fidelidade, enquanto as saídas de LLM são preferidas principalmente por sua coerência e concisão.
• Verificação de Factualidade Refinada: Ao introduzir a verificação de conhecimento externo, o estudo revela que as referências humanas são mais confiáveis para alegações que exigem raciocínio ou síntese. Os autores mostram que protocolos baseados apenas na fonte desfavorecem sistematicamente as referências humanas, que frequentemente adicionam contexto extrínseco válido, enquanto penalizam menos os LLMs por fabricações durante a geração.
• Análise de Divergência Linguística: O artigo fornece evidências de que os resumos de LLM exibem menor diversidade lexical, estruturas sintáticas mais rasas e organização de discurso mais fraca em comparação aos resumos humanos. Isso sugere um padrão de homogeneidade estilística entre diferentes famílias de modelos.
• Testes de Robustez: As descobertas sustentam-se em diferentes configurações de geração (temperatura, estratégias de prompting) e são validadas tanto por anotadores humanos quanto por juízes de LLM com mitigação de viés.

Resultados

• Preferência Humano vs. Modelo: Em avaliações pareadas humanas, as referências humanas venceram todos os cinco modelos com taxas de vitória variando de 0,66 a 0,90. Essa vantagem foi mais pronunciada na informatividade (+0,17 a +0,51) e na fidelidade, enquanto os modelos frequentemente superaram os humanos em coerência.
• Consistência do LLM-como-Juiz: Juízes de LLM com mitigação de viés corroboraram os achados humanos, atribuindo às referências humanas taxas de vitória de 0,70 a 0,95. Os juízes favoreceram consistentemente as saídas humanas em dimensões orientadas ao conteúdo, mas mostraram uma mudança em direção às saídas dos modelos em dimensões orientadas à forma.
• Factualidade: Os resumos humanos alcançaram pontuações de factualidade mais altas em todas as quatro métricas de verificação (margens médias de 0,04 a 0,13). Quando avaliados contra o conhecimento externo, a vantagem humana tornou-se mais pronunciada, particularmente em conjuntos de dados como SciNews, onde se espera contexto externo válido.
• Propriedades Linguísticas: Os resumos humanos demonstraram maior diversidade lexical (TTR e MATTR), árvores de dependência mais profundas e modificadores de sintagma nominal mais complexos. Por outro lado, os modelos aderiram mais estritamente à ordem da fonte e aplicaram compressão menos agressiva, resultando em estruturas sintáticas mais rasas.

Significância e Alegações

O artigo afirma que a sumarização ainda não morreu. Os autores argumentam que os atuais LLMs elevaram com sucesso o "piso" da qualidade da sumarização, tornando-os competentes para tarefas de nível superficial, mas o "teto" de seu desempenho permanece abaixo das capacidades humanas em termos de raciocínio profundo, compressão de informação e síntese fiel.

A significância deste trabalho reside em:

1. Corrigir a Narrativa: Ele contesta a afirmação de que LLMs de propósito geral resolveram a sumarização, destacando lacunas persistentes em informatividade e fidelidade que as avaliações de via única não detectam.
2. Rigor Metodológico: Defende a avaliação específica por dimensão e a verificação de conhecimento externo para evitar a confusão entre fluência e qualidade, e para distinguir adequadamente entre alucinação e contextualização válida.
3. Direções Futuras: Os achados sugerem que pesquisas futuras devem priorizar o raciocínio fiel, a compressão de informação e a geração linguisticamente diversa, particularmente para aplicações de downstream como Geração Aumentada de Recuperação (RAG), fluxos de trabalho profissionais e gestão de conhecimento, onde a precisão factual é crítica.

Os autores concluem que a sumarização continua sendo um problema de pesquisa aberto, servindo como um campo de teste vital para avançar as capacidades da IA em raciocínio fiel e manipulação de informações.