Attention Flows: Tracing LLM Conceptual Engagement via Story Summaries

1. Problématique et Contexte

Bien que les fenêtres de contexte des grands modèles de langage (LLM) aient considérablement augmenté (passant de milliers à des millions de jetons), la capacité de ces modèles à intégrer l'information sur de longs textes ne suit pas ce rythme. Le phénomène, récemment nommé « pourriture du contexte » (context rot), se distingue de l'échec de la simple récupération d'information (comme le test « Needle in a Haystack »). Les modèles peuvent localiser des tokens spécifiques, mais échouent souvent à intégrer de manière cohérente les informations à travers l'ensemble du document.

Les benchmarks existants souffrent de deux limites majeures :

1. Ils se concentrent souvent sur des tâches de récupération ou des textes trop courts.
2. Ils ne mesurent pas l'engagement conceptuel, c'est-à-dire la capacité du modèle à comprendre la structure narrative globale, les thèmes et les relations causales sur de longues durées.

L'article propose d'évaluer cette compréhension via la résumé de romans, une tâche qui exige une cartographie conceptuelle de l'ensemble de l'œuvre, révélant ainsi ce que l'auteur (humain ou IA) considère comme narrativement important.

2. Méthodologie

L'étude repose sur une approche comparative entre des résumés humains et ceux générés par des LLM, en utilisant une technique de traçage de l'attention via l'alignement.

A. Construction du Dataset

• Corpus : 150 romans du domaine public (anglais) provenant de Project Gutenberg, accompagnés de leurs résumés de trame (plot summaries) issus de Wikipédia.
• Prétraitement : Les romans sont segmentés en chapitres (validation manuelle) et les résumés Wikipédia sont découpés en phrases.
• Génération : Neuf LLMs de pointe (modèles open-weight et propriétaires, allant de 7B à 120B+ paramètres) ont généré des résumés pour chaque roman selon quatre conditions de prompt :
  1. Texte complet + Instructions Wikipédia.
  2. Texte complet uniquement.
  3. Titre + Auteur + Instructions.
  4. Titre + Auteur uniquement.
     Total : 5 400 résumés générés.

B. Alignement et Métriques

Pour comparer l'engagement conceptuel, chaque phrase de résumé a été alignée avec les chapitres du roman source qu'elle décrit.

• Algorithme d'alignement : Un modèle LLM (GPT-OSS 120b) a été utilisé pour mapper chaque phrase de résumé aux chapitres correspondants, car les méthodes basées sur TF-IDF ou les embeddings simples se sont révélées insuffisantes (F1 score de 80% pour le meilleur modèle d'alignement).
• Mesures d'engagement :
  • Distribution spatiale : Analyse de la densité des phrases de résumé par rapport à la position des chapitres (début, milieu, fin).
  • Linéarité : Mesure de l'ordre chronologique des événements résumés par rapport à l'ordre du texte original.
  • Omissions : Nombre de chapitres sautés (non couverts) et de phrases non alignées (hallucinations ou généralités).
  • Métriques linguistiques : Longueur, complexité syntaxique (distance de dépendance), et densité d'entités nommées.

C. Analyse des Mécanismes d'Attention

Pour un modèle spécifique (Qwen 3.5 9b), les auteurs ont comparé les alignements de résumés avec les matrices d'attention internes du modèle pour vérifier si les phrases de résumé correspondent aux zones du texte où le modèle porte le plus d'attention.

3. Résultats Clés

A. Différences Stylistiques et Structurelles

• Longueur et Complexité : Les résumés générés par les LLM sont systématiquement plus courts et moins complexes syntaxiquement que les résumés humains, sauf pour les modèles les plus grands (GPT 5.4, Llama 4 Scout).
• Entités Nominales : Les modèles utilisent moins d'entités nommées (surtout des personnes) par mot, en particulier lorsqu'ils n'ont pas accès au texte complet.

B. Biais de Position et « Pourriture du Contexte »

C'est la découverte la plus significative :

• Biais de fin (End-weighting) : Les LLM montrent un biais marqué vers la fin des textes. Alors que les résumés humains couvrent le début, le milieu et la fin de manière relativement uniforme, les résumés des LLM concentrent leur attention sur les derniers chapitres.
• Corrélation avec la taille : Ce biais s'accentue avec la taille du modèle et la présence du texte complet dans le prompt.
• Linéarité : Les résumés des LLM sont moins linéaires que ceux des humains, suggérant une réorganisation des événements qui ne respecte pas toujours la chronologie narrative.

C. Performance d'Alignement et Hallucinations

• Les modèles plus petits et ceux sans accès au texte complet sautent plus de chapitres et génèrent plus de phrases non alignées (hallucinations ou faits incorrects).
• L'inclusion des instructions de Wikipédia aide légèrement à structurer le résumé mais ne corrige pas le biais de position.

D. Analyse des Mécanismes d'Attention

L'analyse des poids d'attention de Qwen 3.5 (9b) révèle une corrélation faible (R = 0.32) entre les chapitres résumés et les zones où le modèle porte le plus d'attention. La précision pour cibler le chapitre le plus important diminue avec la longueur du texte, confirmant que le modèle a du mal à distribuer correctement son attention sur de longues séquences, ce qui explique les échecs de compréhension narrative.

4. Contributions Principales

1. Nouveau Cadre d'Évaluation : Introduction du concept d'« engagement conceptuel » comme métrique pour évaluer la compréhension de contexte long, dépassant les simples tests de récupération.
2. Dataset de Référence : Publication d'un dataset de 5 550 résumés (humains et modèles) alignés au niveau phrase-chapitre pour 150 romans, permettant des analyses fines de la distribution de l'attention.
3. Démonstration de Biais Structurel : Preuve que les LLM, même les plus avancés, présentent un biais systémique vers la fin des textes dans leurs résumés, un défaut invisible pour les benchmarks traditionnels.
4. Outils Open Source : Mise à disposition du code d'alignement, des données et des méthodes d'analyse pour la communauté de recherche.

5. Signification et Implications

Cette étude remet en question l'idée que l'augmentation de la fenêtre de contexte garantit une meilleure compréhension. Elle suggère que les LLM actuels souffrent d'une incapacité à maintenir un engagement conceptuel soutenu sur de longues durées, se concentrant de manière disproportionnée sur les informations récentes (fin du texte) au détriment du milieu.

Ces résultats ont des implications majeures pour :

• L'évaluation des modèles : Nécessité d'inclure des tâches de synthèse narrative et de traçage d'attention dans les benchmarks.
• La conception des modèles : Besoin d'architectures ou de mécanismes d'entraînement qui favorisent une attention plus uniforme et une meilleure intégration des informations à long terme.
• L'utilisation pratique : Les praticiens doivent être conscients que les LLM peuvent « oublier » ou négliger les événements centraux d'une longue histoire, même s'ils sont capables de répondre à des questions précises sur des fragments spécifiques.

En conclusion, l'article propose une méthode robuste pour visualiser et quantifier comment les IA « lisent » les longs textes, révélant des lacunes fondamentales dans leur compréhension narrative qui vont au-delà de la simple capacité de stockage de contexte.