💬 NLP

Abstractiveness Metrics for Evaluating Text Summarization: A Refined Formulation with Empirical Validation

Este artigo introduz a Abstração de Referência, a Abstração de Resumo e a Razão de Abstração como métricas heurísticas fundamentadas para quantificar o grau de abstração em resumos de texto, demonstrando, por meio de validação empírica no conjunto de dados XSUM, que essas medidas distinguem efetivamente modelos extrativos e abstrativos, ao mesmo tempo em que identificam potenciais alucinações.

Autores originais: Praveenkumar Katwe, Rakesh Chandra Balabantaray, Kali Prasad Vittala

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC0 1.0

Autores originais: Praveenkumar Katwe, Rakesh Chandra Balabantaray, Kali Prasad Vittala

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um professor corrigindo o relatório de leitura de um aluno. O aluno tem que resumir um romance de 50 páginas em uma única página.

Por anos, os professores usaram uma ferramenta chamada ROUGE para corrigir esses relatórios. O ROUGE é como um detector de copiar e colar rigoroso. Ele dá uma pontuação alta se o relatório do aluno usar exatamente as mesmas palavras e frases da "resposta perfeita" escrita por outro professor. Mas aqui está o problema: o ROUGE não se importa se o aluno realmente leu o livro. Se o aluno apenas copiou a resposta palavra por palavra, ele tira um A. Se ele escreveu algo completamente novo, mas esqueceu algumas palavras-chave, ele tira um C.

Os autores deste artigo, Praveenkumar, Rakesh e Kali, dizem: "Espere um minuto! Precisamos de uma maneira de medir o quanto o aluno está realmente pensando e reescrevendo (abstraindo) versus apenas copiando (extraindo)." Eles também querem pegar alunos que estão inventando coisas (alucinando) que não estão no livro.

Para fazer isso, eles inventaram três novos "super-métricos": Abstração de Referência (RA), Abstração de Sumário (SA) e Razão de Abstração (AR).

As Três Novas Ferramentas

Pense no livro original como uma Fonte, na resposta perfeita como a Referência e no trabalho do aluno como o Sumário.

Abstração de Referência (RA): Mede o quanto a própria resposta do professor está reescrevendo o livro. A chave está apenas copiando frases ou está resumindo-as de forma criativa?
Abstração de Sumário (SA): Mede o quanto o sumário do aluno está reescrevendo o livro.
Razão de Abstração (AR): É a estrela do show. Ela compara a criatividade do aluno com a criatividade da resposta do professor. Ela pergunta: "O aluno está reescrevendo mais, menos ou aproximadamente a mesma quantidade que o professor fez?"

Como Eles Medem Isso (O Segredo)

Os autores não apenas contaram palavras. Eles usaram uma fórmula especial envolvendo uma média harmônica (um tipo de média que pune diferenças extremas de tamanho) e um fator de não-sobreposição cúbico.

Aqui está o truque de mágica: Eles pegam a parte do texto que não se sobrepõe ao livro original e a elevam à terceira potência (ao cubo).

Por que elevar ao cubo? Imagine que você está tentando detectar uma pequena diferença entre dois gêmeos quase idênticos. Se você olhar para eles normalmente, eles parecem iguais. Mas se você os colocar sob um microscópio que amplia as diferenças em 1000x, de repente você vê uma pequena pinta em um que o outro não tem.

Se um aluno copia 95% do texto, a parte "nova" é minúscula.
Se ele copia 98%, a parte "nova" é ainda mais minúscula.
Ao elevar a diferença ao cubo, a matemática explode essa pequena lacuna. Uma diferença de 3% na cópia torna-se uma diferença 16 vezes maior na pontuação. Isso torna o métrico super sensível a alunos que mal estão tentando reescrever nada.

O Que Eles Descobriram (O Experimento)

A equipe testou isso em 100 artigos do conjunto de dados XSUM (que usa resumos curtos e muito criativos) e do conjunto de dados CNN/DailyMail (que usa resumos de estilo mais copiar-e-colar). Eles rodaram quatro modelos de IA através do teste: BART-large-cnn, Pegasus-xsum, DistilBart e MT5-small.

Aqui é o que os números disseram a eles:

Os Copiadores: Os modelos chamados BART e DistilBart foram os copiadores definitivos. No teste XSUM, eles tiveram um SA (Abstração de Sumário) entre 0,12 e 0,26. Isso significa que eles mal estavam reescrevendo qualquer coisa; estavam apenas costurando frases do texto original.
Os Criativos: Os modelos chamados Pegasus e MT5 foram os escritores. No XSUM, seus escores de SA ficaram entre 1,15 e 1,99. Eles estavam realmente reescrevendo o conteúdo.
A Armadilha da Alucinação: Esta é a descoberta mais importante, mas depende do tipo de "resposta do professor" (Referência) que você está usando.
- Quando a "resposta do professor" (Referência) já é muito criativa (como no XSUM), os modelos geralmente reescreveram menos que o professor (AR < 1).
- No entanto, quando a "resposta do professor" é principalmente apenas copiar o livro (como no CNN/DailyMail), algo estranho aconteceu com os modelos criativos (Pegasus e MT5). O AR (Razão de Abstração) deles subiu muito acima de 1,0.
- Um AR de 1,0 significa que o aluno está reescrevendo exatamente tanto quanto o professor.
- Um AR de 3,74 (que o Pegasus atingiu no CNN/DailyMail para unigramas) significa que o aluno está reescrevendo muito mais do que o professor.
- Crucialmente, os autores descobriram que quando a Referência é extrativa (com muita cópia) e o AR > 1, isso sinaliza um alto risco de alucinação. O modelo está inventando fatos que não estão no livro apenas para parecer criativo, indo além do que a referência humana considerou necessário.

Por Que Isso Importa (E Por Que o ROUGE Não é Suficiente)

O artigo argumenta que o ROUGE é cego para isso.

O BART obteve um alto escore ROUGE (0,393) no CNN/DailyMail porque copiou o texto fielmente. Para o ROUGE, parecia perfeito.
O Pegasus obteve um ROUGE menor (0,197) porque reescreveu as coisas. O ROUGE achou que ele era pior.
MAS, o novo métrico AR mostrou que, no conjunto de dados extrativo, o Pegasus estava alucinando (inventando coisas) porque seu AR era 3,74 (para unigramas).

O artigo sugere que, sem esses novos métricos, poderíamos pensar que o copiador (BART) é o melhor modelo, enquanto o criativo (Pegasus) é na verdade perigoso porque está inventando fatos.

O Que Eles Não Alegam

Os autores são cuidadosos para não dizer que "resolveram" o problema das notícias falsas ou da sumarização perfeita.

Eles admitem que seu métrico olha apenas para palavras de superfície (n-gramas), não para o significado profundo. Se um aluno usar palavras diferentes, mas significar exatamente a mesma coisa, o métrico conta isso como "reescrita", que é o que eles querem para este teste específico.
Eles dizem que a escolha de usar a potência cúbica (3) foi uma decisão de design que testaram e viram que funcionava bem, não uma lei da física.
Eles sugerem que esses métricos são uma ferramenta de triagem. Eles sinalizam os sumários que precisam de uma revisão humana para verificar mentiras. Eles não corrigem automaticamente as mentiras; eles apenas apontam o dedo.

A Conclusão

O artigo introduz uma nova maneira de avaliar resumos de IA que não verifica apenas o copiar e colar. Ele utiliza um truque matemático especial (elevar ao cubo as partes não sobrepostas) para detectar quando uma IA está sendo criativa demais e inventando fatos.

Eles provaram que, em 100 documentos, esses métricos podiam claramente distinguir entre um modelo que copia (SA ≈ 0,12–0,26) e um que escreve (SA ≈ 1,15–1,99). Eles também mostraram que, quando a Razão de Abstração de um modelo ultrapassa 1,0 em conjuntos de dados com referências de muita cópia, isso indica que o modelo está abstraindo mais do que a referência humana, sinalizando um risco de alucinação que outros escores não detectam.

É como dar ao professor um novo microscópio que revela as pequenas pintas de "fatos inventados" que o antigo sistema de avaliação deixou passar completamente.

Resumo Técnico: Métricas de Abstração para Avaliação de Sumarização de Texto

Declaração do Problema
Os atuais paradigmas de avaliação para sumarização de texto dependem fortemente de métricas de nível superficial como ROUGE e BERTScore, que medem a sobreposição entre um resumo gerado e uma referência escrita por humanos. Embora eficazes para avaliar a qualidade em relação a uma referência, essas métricas falham em medir a fidelidade (fundamentação na fonte) ou a abstração (o grau em que um resumo diverge da cópia extrativa). Um resumo pode alcançar pontuações ROUGE elevadas ao reproduzir fielmente uma referência que, por si só, contém conteúdo alucinado, ou ao ser excessivamente extrativo. Proxies existentes para abstração, como a nova razão de n-gramas, são binários ao nível do token e não conseguem contabilizar a assimetria de comprimento do documento ou fornecer discriminação graduada através de diferentes níveis de sobreposição. Há uma carência de medidas quantitativas fundamentadas que avaliem a relação entre o texto gerado e o documento de origem de forma independente da referência.

Metodologia
Os autores propõem um conjunto de três métricas complementares de fundamentação na fonte: Abstração da Referência (RA), Abstração do Resumo (SA) e Razão de Abstração (AR). Estas métricas são projetadas para quantificar a abstração através de uma formulação que combina o peso da média harmônica do comprimento com um fator de amplificação de não-sobreposição cúbica.

Formulação:
- Abstração da Referência (RA): Mede a abstração inerente da referência padrão (gold-standard). É calculada como a média harmônica do comprimento da referência ( $R$ ) e do comprimento da fonte ( $O$ ), modulada pelo cubo da fração de não-sobreposição: $RA = \frac{2RO}{R+O} \times (1 - c_R)^3$ , onde $c_R$ é a sobreposição normalizada entre a referência e a fonte.
- Abstração do Resumo (SA): Análoga à RA, mede a abstração do resumo gerado ( $S$ ) em relação à fonte: $SA = \frac{2SO}{S+O} \times (1 - c_S)^3$ .
- Razão de Abstração (AR): Uma razão adimensional que compara a abstração do resumo gerado com a da referência. Ela isola os fatores de não-sobreposição para garantir a independência dos comprimentos absolutos dos documentos: $AR = \frac{(1 - c_S)^3}{(1 - c_R)^3 + \epsilon}$ .
Racional de Design:
- Média Harmônica: Utilizada para penalizar a assimetria extrema de comprimento, garantindo que um resumo muito curto contra uma fonte longa resulte em uma pontuação base menor, refletindo uma maior demanda de abstração.
- Amplificação Cúbica: O termo $(1-c)^3$ fornece sensibilidade não linear perto da fronteira extrativa (onde a sobreposição $c \approx 1$ ). Isso amplifica pequenas diferenças de sobreposição (por exemplo, entre 0,95 e 0,98) para permitir uma discriminação nítida entre comportamentos extrativos e abstrativos.
- Razão Adimensional: A AR é definida sem o fator de média harmônica para garantir que seja uma métrica de comparação pura, interpretável em torno de um limiar de 1,0 (onde $AR \approx 1$ indica que o resumo gerado corresponde ao nível de abstração da referência).

Principais Contribuições

Métricas Fundamentadas: A introdução de RA, SA e AR como métricas heurísticas que medem a divergência da cópia extrativa usando a fundamentação na fonte em vez do correspondência com a referência.
Graduação Contínua: Ao contrário dos detectores de fidelidade binários (ex: FactCC), estas métricas fornecem pontuações contínuas com limiares interpretáveis, permitindo a diferenciação entre paráfrase leve e fabricação severa.
Normalização de Comprimento: O uso de médias harmônicas e razões de sobreposição normalizadas aborda as limitações de trabalhos anteriores em relação à assimetria de comprimento de documentos.
Ferramenta de Triagem: As métricas servem como um mecanismo de triagem para identificar resumos que podem exigir avaliação manual para potencial alucinação, sinalizando casos onde o modelo abstrai significativamente mais do que a referência humana ($AR > 1$).

Resultados Experimentais
Os autores avaliaram as métricas em 100 documentos (50 do XSUM e 50 do CNN/DailyMail) através de quatro modelos de sumarização: BART-large-cnn, Pegasus-xsum, DistilBart e MT5-small.

Discriminação de Tipos de Modelo: As métricas distinguiram com sucesso modelos com viés extrativo (BART, DistilBart) e modelos abstrativos (Pegasus, MT5).
- Modelos Extrativos: Mostraram baixa Abstração de Resumo ( $SA \approx 0,12–0,26$ ) e Razões de Abstração muito baixas ( $AR \approx 0$ ), indicando alta sobreposição com a fonte e mínima abstração.
- Modelos Abstrativos: Mostraram valores de SA mais altos ( $SA \approx 0,96–1,77$ ).
Caracterização do Dataset: A RA confirmou que as referências do XSUM são substancialmente mais abstrativas ( $RA_1 = 3,55$ ) do que as referências do CNN/DailyMail ( $RA_1 = 0,61$ ).
Detecção de Alucinação:
- No dataset CNN/DailyMail (que possui referências extrativas), modelos abstrativos como Pegasus e MT5 produziram $AR > 1$, indicando que introduziram conteúdo novo além do que a referência justificava. Por exemplo, o Pegasus disparou uma classificação de "Alto Risco de Alucinação" em 44% dos artigos do CNN/DM.
- No XSUM (referências abstrativas), todos os modelos tiveram $AR < 1$, com o Pegasus aproximando-se mais do nível da referência ( $AR_2 = 0,92$ ).
Complementaridade com ROUGE: O estudo demonstrou que ROUGE e AR capturam dimensões independentes. Por exemplo, no CNN/DM, o BART alcançou a maior pontuação ROUGE-1 (0,393) com baixo risco de alucinação ( $AR \approx 0$ ), enquanto o Pegasus teve um ROUGE-1 menor (0,197), mas alto risco de alucinação ($AR = 3,74$). Isso sugere que o ROUGE sozinho não consegue detectar quando um modelo está "alucinando por trás de boas pontuações de qualidade".

Significância e Alegações
O artigo afirma que RA, SA e AR fornecem um complemento necessário aos quadros de avaliação existentes ao abordar o descompasso entre a qualidade do resumo (correspondência com a referência) e a fidelidade (fundamentação na fonte). Os autores posicionam estas métricas não como substitutas para o ROUGE ou BERTScore, mas como ferramentas de triagem essenciais que:

Quantificam o grau de abstração de uma maneira fundamentada e delimitada.
Identificam resumos onde o nível de abstração do modelo diverge significativamente do nível da referência humana, sinalizando potenciais alucinações para revisão manual.
Oferecem uma escala contínua que permite a priorização da avaliação manual (ex: resumos com $AR > 2,0$ exigem atenção imediata).

Os autores observam que estas métricas servem como um precursor para uma decomposição de alucinação mais refinada, como o Índice de Alucinação de Entidades (EHI), ao primeiro identificar que a alucinação existe antes de analisar sua natureza específica. O trabalho enfatiza que a alta abstração não implica inerentemente baixa qualidade, mas sim que um descompasso entre o nível de abstração do modelo e o da referência (indicado por valores extremos de AR) sinaliza a necessidade de verificação adicional.