💬 NLP

Abstractiveness Metrics for Evaluating Text Summarization: A Refined Formulation with Empirical Validation

Cet article introduit l'Abstraction de Référence, l'Abstraction de Résumé et le Ratio d'Abstraction en tant que mesures heuristiques fondées pour quantifier le degré d'abstraction dans les résumés textuels, démontrant, par une validation empirique sur le jeu de données XSUM, que ces mesures distinguent efficacement les modèles extractifs des modèles abstractifs tout en identifiant les hallucinations potentielles.

Auteurs originaux : Praveenkumar Katwe, Rakesh Chandra Balabantaray, Kali Prasad Vittala

Publié 2026-07-14

📖 7 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Praveenkumar Katwe, Rakesh Chandra Balabantaray, Kali Prasad Vittala

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un enseignant en train de corriger la fiche de lecture d'un élève. L'élève doit résumer un roman de 50 pages en une seule page.

Pendant des années, les enseignants ont utilisé un outil appelé ROUGE pour noter ces rapports. ROUGE est comme un détecteur de copier-coller strict. Il donne un score élevé si le rapport de l'élève utilise exactement les mêmes mots et phrases que la « réponse parfaite » écrite par un autre enseignant. Mais attention : ROUGE ne se soucie pas de savoir si l'élève a réellement lu le livre. Si l'élève s'est contenté de copier la réponse mot pour mot, il obtient un A. S'il a écrit quelque chose de totalement nouveau mais qu'il a manqué quelques mots-clés, il obtient un C.

Les auteurs de ce document, Praveenkumar, Rakesh et Kali, disent : « Attendez une minute ! Nous avons besoin d'un moyen de mesurer à quel point l'élève est réellement en train de réfléchir et de réécrire (abstraction) plutôt que de simplement copier (extraction). » Ils veulent également débusquer les élèves qui inventent des choses (hallucinations) qui ne sont pas du tout dans le livre.

Pour ce faire, ils ont inventé trois nouveaux « super-métriques » : l'Abstraction de la Référence (RA), l'Abstraction du Résumé (SA) et le Ratio d'Abstraction (AR).

Les trois nouveaux outils

Considérez le livre original comme la Source, la réponse parfaite comme la Référence, et le travail de l'élève comme le Résumé.

Abstraction de la Référence (RA) : Cela mesure à quel point la réponse clé elle-même réécrit le livre. La clé se contente-t-elle de copier des phrases ou résume-t-elle le contenu de manière créative ?
Abstraction du Résumé (SA) : Cela mesure à quel point le résumé de l'élève réécrit le livre.
Ratio d'Abstraction (AR) : C'est la star du spectacle. Il compare la créativité de l'élève à celle de la réponse clé. Il demande : « L'élève réécrit-il plus, moins, ou environ autant que l'enseignant ? »

Comment ils le mesurent (La recette secrète)

Les auteurs n'ont pas seulement compté les mots. Ils ont utilisé une formule spéciale impliquant une moyenne harmonique (un type de moyenne qui punit les différences extrêmes de taille) et un facteur de non-chevauchement cubique.

Voici le tour de magie : Ils prennent la partie du texte qui ne chevauche pas le livre original et l'élèvent à la trode puissance (au cube).

Pourquoi élever au cube ? Imaginez que vous essayiez de repérer une petite différence entre deux jumeaux presque identiques. Si vous les regardez normalement, ils se ressemblent. Mais si vous les placez sous un microscope qui magnifie les différences par 1000x, soudain, vous voyez une petite tache de rousseur sur l'un que l'autre n'a pas.

Si un élève copie 95 % du texte, la partie « nouvelle » est minuscule.
S'il copie 98 %, la partie « nouvelle » est encore plus minuscule.
En élevant la différence au cube, les mathématiques font exploser ce minuscule écart. Une différence de 3 % dans la copie devient un écart 16 fois plus grand dans le score. Cela rend la métrique extrêmement sensible aux élèves qui font très peu d'efforts de réécriture.

Ce qu'ils ont trouvé (L'expérience)

L'équipe a testé cela sur 100 articles provenant du jeu de données XSUM (qui utilise des résumés très créatifs et courts) et du jeu de données CNN/DailyMail (qui utilise des résumés de style plus « copier-coller »). Ils ont fait passer quatre modèles d'IA différents par le test : BART-large-cnn, Pegasus-xsum, DistilBart et MT5-small.

Voici ce que les chiffres leur ont dit :

Les imitateurs : Les modèles nommés BART et DistilBart étaient les ultimes copieurs. Sur le test XSUM, ils avaient un score SA (Abstraction du Résumé) compris entre 0,12 et 0,26. Cela signifie qu'ils réécrivaient à peine quoi que ce soit ; ils se contentaient d'assembler des phrases du texte original.
Les créatifs : Les modèles nommés Pegasus et MT5 étaient les écrivains. Sur XSUM, leurs scores SA se situaient entre 1,15 et 1,99. Ils réécrivaient réellement le contenu.
Le piège de l'hallucination : C'est la découverte la plus importante, et cela dépend du type de « réponse clé » (Référence) que vous utilisez.
- Lorsque la « réponse clé » (Référence) est déjà très créative (comme dans XSUM), les modèles réécrivent généralement moins que l'enseignant (AR < 1).
- Cependant, lorsque la « réponse clé » est principalement composée de copier-coller du livre (comme dans CNN/DailyMail), quelque chose de bizarre s'est produit avec les modèles créatifs (Pegasus et MT5). Leur Ratio d'Abstraction (AR) est monté bien au-dessus de 1,0.
- Un AR de 1,0 signifie que l'élève réécrit exactement autant que l'enseignant.
- Un AR de 3,74 (que Pegasus a atteint sur CNN/DailyMail pour les unigrammes) signifie que l'élève réécrit beaucoup plus que l'enseignant.
- Crucialement, les auteurs ont découvert que lorsque la Référence est extractive (riche en copier-coller) et que l'AR > 1, cela signale un risque élevé d'hallucination. Le modèle invente des faits qui ne sont pas dans le livre juste pour paraître créatif, allant au-delà de ce que la référence humaine jugeait nécessaire.

Le papier montre que sans ces nouvelles métriques, nous pourrions penser que le copieur (BART) est le meilleur modèle, alors que le créatif (Pegasus) est en réalité dangereux car il invente des faits.

Ce qu'ils ne prétendent pas

Les auteurs sont prudents et ne prétendent pas avoir « résolu » le problème des fausses informations ou de la perfection de la synthèse.

Ils admettent que leur métrique ne regarde que les mots de surface (n-grammes), pas le sens profond. Si un élève utilise des mots différents mais veut dire exactement la même chose, la métrique compte cela comme une « réécriture », ce qui est précisément ce qu'ils veulent pour ce test spécifique.
Ils précisent que le choix d'utiliser la puissance cubique (3) était un choix de conception qu'ils ont testé et qui a bien fonctionné, et non une loi de la physique.
Ils suggèrent que ces métriques sont un outil de dépistage. Elles signalent les résumés qui nécessitent la vérification d'un humain pour détecter les mensonges. Elles ne corrigent pas automatiquement les mensonges ; elles pointent simplement du doigt.

L'essentiel à retenir

Le document présente une nouvelle façon de noter les résumés d'IA qui ne se contente pas de vérifier le copier-coller. Il utilise un tour mathématique spécial (le cube des parties non chevauchantes) pour détecter quand une IA est trop créative et invente des choses.

Ils ont prouvé que sur 100 documents, ces métriques pouvaient clairement faire la distinction entre un modèle qui copie (SA ≈ 0,12–0,26) et un modèle qui écrit (SA ≈ 1,15–1,99). Ils ont également montré que lorsque le Ratio d'Abstraction d'un modèle dépasse largement 1,0 sur des jeux de données avec des références riches en copier-coller, cela indique que le modèle est en train d'halluciner (inventer des faits), un signal que les autres scores manquent.

C'est comme donner à l'enseignant une nouvelle loupe qui révèle les petites taches de rousseur des « faits inventés » que l'ancien système de notation ne voyait pas du tout.

Résumé Technique : Métriques d'Abstractivité pour l'Évaluation de la Résumé de Texte

Énoncé du Problème
Les paradigmes d'évaluation actuels pour le résumé de texte reposent fortement sur des métriques de surface comme ROUGE et BERTScore, qui mesurent le chevauchement entre un résumé généré et une référence écrite par un humain. Bien qu'efficaces pour évaluer la qualité par rapport à une référence, ces métiques ne parviennent pas à mesurer la fidélité (l'ancrage dans la source) ou l'abstractivité (le degré de divergence par rapport à la copie extractive). Un résumé peut obtenir des scores ROUGE élevés en reproduisant fidèlement une référence qui contient elle-même un contenu halluciné, ou en étant excessivement extractif. Les proxys existants de l'abstractivité, tels que le nouveau ratio n-gramme, sont binaires au niveau du jeton (token) et ne parviennent pas à rendre compte de l'asymétrie de longueur des documents ni à fournir une discrimination graduée à travers différents niveaux de chevauchement. Il existe un manque de mesures quantitatives et fondées pour évaluer la relation entre le texte généré et le document source indépendamment de la référence.

Méthodologie
Les auteurs proposent un ensemble de trois métriques complémentaires, ancrées dans la source : l'Abstraction de la Référence (RA), l'Abstraction du Résumé (SA) et le Ratio d'Abstraction (AR). Ces métriques sont conçues pour quantifier l'abstractivité via une formulation combinant une pondération par la moyenne harmonique de la longueur et un facteur d'amplification cubique de la non-chevauchement.

Formulation :
- Abstraction de la Référence (RA) : Mesure l'abstractivité inhérente de la référence "gold-standard". Elle est calculée comme la moyenne harmonique de la longueur de la référence ( $R$ ) et de la longueur de la source ( $O$ ), modulée par le cube de la fraction de non-chevauchement : $RA = \frac{2RO}{R+O} \times (1 - c_R)^3$ , où $c_R$ est le chevauchement normalisé entre la référence et la source.
- Abstraction du Résumé (SA) : Analogue à la RA, elle mesure l'abstractivité du résumé généré ( $S$ ) par rapport à la source : $SA = \frac{2SO}{S+O} \times (1 - c_S)^3$ .
- Ratio d'Abstraction (AR) : Un ratio sans dimension comparant l'abstractivité du résumé généré à celle de la référence. Il isole les facteurs de non-chevauchement pour assurer l'indépendance vis-à-vis des longueurs absolques de documents : $AR = \frac{(1 - c_S)^3}{(1 - c_R)^3 + \epsilon}$ .
Raisonnement de Conception :
- Moyenne Harmonique : Utilisée pour pénaliser l'asymétrie extrême de longueur, garantissant qu'un résumé très court face à une source longue produise un score de base plus faible, reflétant une exigence d'abstraction plus élevée.
- Amplification Cubique : Le terme $(1-c)^3$ fournit une sensibilité non linéaire près de la frontière extractive (où le chevauchement $c \approx 1$ ). Cela amplifie les petites différences de chevauchement (par exemple, entre 0,95 et 0,98) pour permettre une discrimination nette entre les comportements extractifs et abstractifs.
- Ratio Sans Dimension : L'AR est défini sans le facteur de moyenne harmonique pour garantir qu'il s'agisse d'une métrique de comparaison pure, interprétable autour d'un seuil de 1,0 (où $AR \approx 1$ indique que le résumé généré correspond au niveau d'abstraction de la référence).

Contributions Clés

Métriques Fondées : L'introduction de la RA, de la SA et de l'AR en tant que métriques heuristiques qui mesurent la divergence par rapport à la copie extractive en utilisant l'ancrage dans la source plutôt que la correspondance avec la référence.
Graduation Continue : Contrairement aux détecteurs de fidélité binaires (ex. FactCC), ces métriques fournissent des scores continus avec des seuils interprétables, permettant de différencier un léger paraphrasage d'une fabrication sévère.
Normalisation de la Longueur : L'utilisation des moyennes harmoniques et des ratios de chevauchement normalisés répond aux limites des travaux antérieurs concernant l'asymétrie de longueur des documents.
Outil de Criblage : Les métriques servent de mécanisme de criblage pour identifier les résumés qui peuvent nécessiter une évaluation manuelle pour une potentielle hallucination, en signalant spécifiquement les cas où le modèle abstrait nettement plus que la référence humaine ($AR > 1$).

Résultats Expérimentaux
Les auteurs ont évalué les métriques sur 100 documents (50 issus de XSUM et 50 de CNN/DailyMail) à travers quatre modèles de résumé : BART-large-cnn, Pegasus-xsum, DistilBart et MT5-small.

Discrimination des Types de Modèles : Les métriques ont réussi à distinguer les modèles à biais extractif (BART, DistilBart) des modèles abstractifs (Pegasus, MT5).
- Modèles Extractifs : Ont montré une faible Abstraction du Résumé ( $SA \approx 0,12–0,26$ ) et des Ratios d'Abstraction très faibles ( $AR \approx 0$ ), indiquant un chevauchement élevé avec la source et une abstraction minimale.
- Modèles Abstractifs : Ont montré des valeurs de SA plus élevées ( $SA \approx 0,96–1,77$ ).
Caractérisation des Datasets : La RA a confirmé que les références de XSUM sont substantiellement plus abstractives ( $RA_1 = 3,55$ ) que celles de CNN/DailyMail ( $RA_1 = 0,61$ ).
Détection d'Hallucinations :
- Sur le jeu de données CNN/DailyMail (qui possède des références extractives), les modèles abstractifs comme Pegasus et MT5 ont produit un $AR > 1$, indiquant qu'ils introduisaient du contenu nouveau au-delà de ce que la référence justifiait. Par exemple, Pegasus a déclenché une classification de "Risque d'Hallucination Élevé" dans 44 % des articles de CNN/DM.
- Sur XSUM (références abstractives), tous les modèles avaient un $AR < 1$, Pegasus étant le plus proche du niveau de la référence ( $AR_2 = 0,92$ ).
Complémentarité avec ROUGE : L'étude a démontré que ROUGE et l'AR capturent des dimensions indépendantes. Par exemple, sur CNN/DM, BART a obtenu le score ROUGE-1 le plus élevé (0,393) avec un faible risque d'hallucination ( $AR \approx 0$ ), tandis que Pegasus avait un ROUGE-1 plus faible (0,197) mais un risque d'hallucination élevé ($AR = 3,74$). Cela suggère que ROUGE seul ne peut pas détecter quand un modèle est en train de "halluciner derrière de bons scores de qualité".

Signification et Revendications
L'article affirme que la RA, la SA et l'AR constituent un complément nécessaire aux cadres d'évaluation existants en traitant le décalage entre la qualité du résumé (correspondance avec la référence) et la fidélité (ancrage dans la source). Les auteurs positionnent ces métriques non pas comme des remplaçants de ROUGE ou BERTScore, mais comme des outils de criblage essentiels qui :

Quantifient le degré d'abstraction de manière fondée et bornée.
Identifient les résumés où le niveau d'abstraction du modèle diverge significativement du niveau d'abstraction de la référence humaine, signalant ainsi des hallucinations potentielles pour une revue manuelle.
Offrent une échelle continue qui permet de prioriser l'évaluation manuelle (par exemple, les résumés avec un $AR > 2,0$ nécessitent une attention immédiate).

Les auteurs notent que ces métriques servent de précurseur à une décomposition plus fine des hallucinations, telle que l'Indice d'Hallucination d'Entité (EHI), en identifiant d'abord que l'hallucination existe avant d'analyser sa nature spécifique. Ce travail souligne qu'une haute abstractivité n'implique pas intrinsèquement une mauvaise qualité, mais qu'un décalage entre le niveau d'abstraction du modèle et celui de la référence (indiqué par des valeurs extrêmes d'AR) signale un besoin de vérification supplémentaire.