💬 NLP

ARC: Argument Representation and Coverage Analysis for Zero-Shot Long Document Summarization with Instruction Following LLMs

Cet article introduit l'Argument Representation Coverage (ARC), un cadre d'évaluation ascendant qui révèle comment les grands modèles de langage suivant les instructions omettent fréquemment des arguments critiques lors du résumé de documents longs en mode zero-shot, particulièrement dans des domaines à enjeux élevés comme le droit et les sciences, tout en identifiant des biais systématiques liés aux fenêtres de contexte et aux rôles des arguments.

Auteurs originaux : Mohamed Elaraby, Diane Litman

Publié 2026-02-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohamed Elaraby, Diane Litman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un juge demandant à un assistant très intelligent, mais légèrement distrait, de lire un dossier juridique massif de 50 pages et d'en rédiger un résumé d'une page. Vous voulez que le résumé soit parfait : il doit capturer les arguments principaux, les raisons de la décision et le verdict final, sans inventer de faits ni omettre de détails cruciaux.

Ce document présente un nouvel outil appelé ARC (Argument Representation and Coverage) pour vérifier la qualité du travail de ces assistants IA.

Voici une décomposition des conclusions de l'article en utilisant des analogies simples :

1. Le Problème : La « Botte de foin » et l'« Aiguille manquante »

Dans les domaines à enjeux élevés comme le droit ou la science, les documents sont longs et complexes. Les informations les plus importantes (les « arguments saillants ») sont souvent dispersées de manière éparse dans le texte, comme quelques aiguilles cachées dans une immense botte de foin.

Les chercheurs ont découvert que, bien que les modèles d'IA (LLM) soient excellents pour rédiger des résumés fluides et harmonieux, ils manquent souvent les aiguilles. Ils peuvent rédiger un paragraphe magnifique qui semble correct, mais qui omet le raisonnement juridique critique ou la preuve scientifique spécifique nécessaire pour comprendre le document.

2. La Solution : ARC (Le « Détective des Arguments »)

Les outils existants pour vérifier les résumés sont comme des correcteurs orthographiques ; ils cherchent des mots correspondants ou des structures de phrases générales. Ils ne comprennent pas vraiment le sens.

ARC est différent. Il agit comme un détective qui décompose un argument complexe en ses plus petites pièces atomiques (comme des faits individuels).

Étape 1 : Il prend un argument clé (ex : « Le juge a jugé que le mandat était valide parce que la police avait des motifs raisonnables ») et le décompose en minuscules faits : « Un mandat a été délivré », « La police avait des motifs », « Le juge a jugé cela valide ».
Étape 2 : Il vérifie le résumé de l'IA pour voir si ces minuscules faits sont présents.
Étape 3 : Il catégorise les erreurs. L'IA a-t-elle omis un fait (l'a-t-elle laissé de côté) ? Ou a-t-elle halluciné (inventé un fait qui n'était pas là) ?

Cela donne un score qui indique non seulement à quel point le résumé est bon, mais aussi exactement ce qui manque.

3. Les Résultats : Ce que l'IA a raté

Les chercheurs ont testé huit modèles d'IA différents sur des avis juridiques et des articles scientifiques. Voici ce qu'ils ont découvert :

Le syndrome de « l'enfant du milieu » (Biais de position) :
Imaginez lire un long livre. Vous vous souvenez très bien du début et de la fin, mais le milieu devient flou. L'article a trouvé que les modèles d'IA souffrent exactement du même problème. Ils sont biaisés en faveur du début et de la fin du document. Si un argument juridique crucial est enfoui au milieu d'un fichier de 50 pages, l'IA est susceptible de l'ignorer totalement.
L'obsession de la « Conclusion » (Biais de rôle) :
Les modèles d'IA ont un type d'information favori à inclure : les Conclusions. Ils adorent vous dire « Le tribunal a décidé X ». Cependant, ils sont beaucoup moins performants pour inclure les Problématiques (les questions posées) et les Raisons (la logique utilisée pour y parvenir). C'est comme un élève qui écrit la réponse finale à un problème de mathématiques, mais oublie de montrer son raisonnement.
Omission vs Invention :
Le plus gros problème n'était pas que l'IA mentait (hallucination) ; c'était qu'elle oubliait. L'erreur la plus courante était simplement d'omettre des faits importants, et non d'en inventer de nouveaux.
Plus grand n'est pas toujours mieux :
Bien que les modèles d'IA plus larges fassent généralement un meilleur travail que les plus petits, même les modèles les plus grands et les plus intelligents éprouvent encore des difficultés à trouver et à conserver tous les arguments importants, en particulier dans les textes juridiques où les éléments importants sont très clairsemés.

4. Pourquoi cela importe

L'article soutient que nous ne pouvons pas encore faire confiance aveuglément à l'IA pour résumer des documents importants. Si vous utilisez une IA pour résumer un cas juridique ou un article scientifique, elle peut vous donner un résumé fluide qui semble parfait, mais qui est en réalité incomplet.

ARC fournit un moyen de mesurer cette « incomplétude » de manière claire. Il montre que pour rendre l'IA fiable pour des travaux sérieux, nous devons lui apprendre à arrêter de sauter le milieu du document et à accorder une attention égale aux raisons et aux questions, et non seulement aux conclusions finales.

En bref : L'article a construit une nouvelle règle (ARC) pour mesurer la capacité de l'IA à résumer de longs documents. Il a découvert que l'IA actuelle est bonne pour écrire, mais mauvaise pour trouver et conserver les morceaux d'information les plus importants et les plus dispersés, ignorant souvent le milieu du texte et le « pourquoi » derrière les décisions.

Résumé technique : Représentation et couverture des arguments (ARC)

Énoncé du problème

Bien que les grands modèles de langage (LLM) aient atteint une grande fluidité dans la synthèse abstractive, leur fiabilité dans les domaines à enjeux élevés (tels que le droit et les sciences) est compromise par des hallucinations fréquentes et l'omission de contenus clés. Les métriques d'évaluation existantes ne parviennent souvent pas à distinguer la fluidité de la complétude factuelle, particulièrement dans la synthèse de documents longs où les arguments critiques sont dispersés de manière éparse. Les méthodes actuelles peinent à fournir des diagnostics interprétables concernant ce que l'information spécifique manquante ou mal représentée est, et si les LLM préservent intrinsèquement les structures argumentatives saillantes sans supervision explicite.

Méthodologie : Le cadre ARC

Les auteurs introduisent l'Argument Representation Coverage (ARC), un cadre d'évaluation ascendant conçu pour évaluer la capacité des résumés à préserver les arguments saillants. L'ARC opère de manière hiérarchique à travers trois niveaux de granularité :

Décomposition en faits atomiques :
- Les rôles argumentatifs saillants (par exemple, Problèmes, Raisons, Conclusions dans les textes juridiques ; Revendications propres, Revendications de contexte, Données dans les textes scientifiques) sont décomposés en ensembles de faits atomiques ( $F_r$ ) à l'aide d'un LLM puissant (GPT-4o).
- Un contrôle d'implication (entailment check) filtre les faits sur-générés pour garantir qu'ils sont strictement dérivés de l'argument original.
Évaluation au niveau des faits ( $\delta$ ) :
- Chaque fait atomique est comparé au résumé généré à l'aide d'un juge LLM.
- Le juge attribue un statut binaire (supporté ou non) et catégorise le type d'erreur : Manquant (omission) ou Non-factuel (contradiction/mauvaise représentation). Cette séparation permet de diagnostiquer si les erreurs proviennent d'une mauvaise sélection de contenu ou d'inexactitudes de génération.
Agrégation hiérarchique :
- $ARC_{role}$ : Le score de couverture pour un rôle argumentatif spécifique est la moyenne de la couverture de ses faits atomiques.
- $ARC_{score}$ : Le score global du résumé est la moyenne de tous les scores par rôle, fournissant une mesure holistique de la préservation de l'argumentation.

Jeux de données et modèles :
Le cadre est appliqué à deux domaines :

CANLII : 1 049 avis juridiques longs où les rôles argumentatifs (Problème, Raison, Conclusion) ne constituent qu'environ 7,66 % du texte d'entrée mais environ 66 % du résumé de référence, créant un défi de type « aiguille dans une botte de foin ».
DRI (DR. INVENTOR) : 40 articles scientifiques au contenu argumentatif dense (74,14 % de l'entrée).

Huit LLM à poids ouverts suivant des instructions (allant de 1B à 14B de paramètres, incluant les familles LLaMA, Mistral et Qwen) ont été évalués sur ces jeux de données.

Résultats clés

1. Limitations de la couverture et types d'erreurs

Couverture incomplète : Même les modèles les plus performants ne parviennent pas à une couverture d'argument parfaite. Dans les domaines juridiques (CANLII), les meilleurs modèles plafonnent autour d'un $ARC_{score}$ de 0,72, ce qui est nettement inférieur à la référence humaine (0,98).
Omission vs Hallucination : L'analyse au niveau des faits révèle que les faits manquants sont la source dominante d'erreur pour tous les modèles et domaines, dépassant de loin les erreurs factuelles (hallucinations). Cela suggère que le défi principal est l'extraction et la hiérarchisation du contenu saillant éparpillé plutôt que la génération de faits incorrects.
Mise à l'échelle des modèles (Scaling) : Les modèles plus larges atteignent généralement une couverture plus élevée, mais l'écart entre la performance des modèles et les références humaines reste substantiel, particulièrement dans les textes juridiques.

2. Biais de position (RQ2)

Biais en forme de U : Conformément aux travaux antérieurs, les modèles présentent un biais de position en forme de U, favorisant le contenu situé au début et à la fin de la fenêtre de contexte.
Impact sur les résumés juridiques : Dans CANLII, où les résumés de référence ne suivent pas de tendances positionnelles fixes, ce biais est corrélé négativement avec la couverture ( $ARC_{score}$ ). Les arguments situés au milieu des longs avis juridiques sont systématiquement sous-représentés.
Documents scientifiques : Dans DRI, la corrélation est plus faible, car les résumés de référence s'alignent davantage sur les biais de position naturels des LLM.

3. Biais par rôle (RQ3)

Préférences systématiques : Les LLM présentent des préférences systématiques pour certains rôles argumentatifs.
- Juridique (CANLII) : Les modèles favorisent de manière disproportionnée les Conclusions par rapport aux Problèmes et aux Raisons. Le score de biais ( $\beta$ ) est systématiquement le plus bas pour les conclusions, indiquant qu'elles sont mieux préservées.
- Scientifique (DRI) : Les Revendications de contexte (Background Claims) ont tendance à être moins bien couvertes que les Revendications propres (Own Claims), même en contrôlant la longueur de l'argument.
Effet de la taille du modèle : Les modèles plus petits (<3B de paramètres) présentent des scores de biais plus élevés, indiquant une couverture moins équilibrée entre les différents rôles argumentatifs.

4. Validation de la métrique

Corrélation avec les experts : L' $ARC_{score}$ présente la corrélation la plus élevée avec les jugements des experts humains (Kendall $\tau$ = 0,465, Pearson $\rho$ = 0,593) par rapport aux métriques standards (ROUGE, BERTScore) et aux bases de comparaison basées sur la décomposition comme FactScore.
Interprétabilité : Contrairement à FactScore, qui ne fournit qu'une couverture au niveau des faits, ARC offre une analyse multi-niveaux (par rôle et par type d'erreur), ce qui en fait un outil de diagnostic supérieur.
Robustesse du juge : Le cadre fonctionne bien avec des juges à poids ouverts (par exemple, DeepSeek-R1-Distill-Qwen-14B), qui ont obtenu des corrélations encore plus élevées que GPT-4o propriétaire dans certains contextes.

Signification et revendications

L'article affirme que l'ARC fournit un outil de diagnostic fondé sur des principes et interprétable pour évaluer la couverture de l'argumentation structurée dans la synthèse de contextes longs. Ses principales contributions sont :

Diagnostics granulaires : En distinguant les omissions des erreurs factuelles, et en analysant la couverture par rôle, l'ARC révèle pourquoi les résumés échouent (par exemple, l'omission d'arguments de milieu de texte ou l'ignorance de types de rôles spécifiques) plutôt que simplement qu'ils échouent.
Preuve de biais systématiques : L'étude révèle que les LLM actuels suivant des instructions possèdent des biais inhérents envers certains rôles argumentatifs (favorisant les conclusions) et des positions documentaires (favorisant les extrémités), ce qui entrave leur fiabilité dans les domaines à enjeux élevés où une argumentation complète est requise.
Besoin d'alignement : Les résultats soulignent que la fluidité seule est insuffisante. L'écart persistant entre la performance des modèles et les références humaines, particulièrement dans les contextes juridiques parsemés, indique un besoin de stratégies d'alignement supplémentaires (par exemple, une structure argumentative explicite dans l'entraînement ou le prompting) pour améliorer la couverture de la saillance.

Les auteurs concluent que bien que l'ARC améliore l'évaluation de la couverture, il met actuellement l'accent sur le rappel (capturer les faits saillants) plutôt que sur la précision. Les travaux futurs devraient viser à évaluer conjointement ces deux dimensions et à intégrer directement la détection de la saillance dans le pipeline de synthèse.