Imaginez un assistant numérique capable de lire des bibliothèques entières, d'écrire des logiciels complexes ou de gérer un projet de recherche sur plusieurs semaines. Pour ce faire, l'assistant conserve un journal de bord de tout ce qu'il a vu et fait, une histoire qui s'allonge à chaque action. Cette histoire est stockée dans un espace de mémoire temporaire appelé fenêtre de contexte. Bien que ces fenêtres soient vastes, contenant des centaines de milliers de mots, elles ne sont pas infinies. Lorsqu'une tâche s'éternise, la mémoire se remplit et l'assistant risque d'oublier les détails les plus importants du début. Pour résoudre ce problème, les ingénieurs utilisent une technique appelée la summarisation (ou résumé). L'idée est simple : avant que la mémoire ne soit trop pleine, l'assistant condense son long historique en une version plus courte et plus dense, éliminant le bruit tout en conservant le signal, puis poursuit son travail à partir de ce résumé. C'est une forme numérique de prise de notes pour se souvenir d'une longue conversation.

Cependant, une nouvelle étude de chercheurs de l'Université d'État de Pennsylvanie suggère que ce filet de sécurité échoue de manière subtile mais critique. Les chercheurs ont cherché à savoir si ces modèles d'intelligence artificielle pouvaient réellement être instruits de conserver plus de détails lorsqu'ils résument. Ils voulaient savoir si, à mesure que l'histoire s'allongeait, le résumé pouvait lui aussi s'allonger, préservant ainsi une fraction constante de l'information originale. Au lieu de cela, ils ont découvert que les modèles ont une limite stricte. Peu importe la longueur de l'histoire, le résumé garde sensiblement la même taille, réduisant la quantité d'informations conservées à une fraction infime. Même lorsque les humains demandent explicitement à l'ordinateur d'écrire un résumé plus long, l'ordinateur refuse de s'y conformer, restant fidèle à ses propres habitudes de brièveté. Les chercheurs ont découvert que la seule façon de changer ce comportement n'est pas de demander poliment, mais de réentraîner l'ordinateur sur des exemples de résumés plus longs.

L'équipe a testé ce comportement sur onze modèles de langage différents, allant d'assistants à usage général à des outils spécialisés en codage et en raisonnement. Ils ont soumis à ces modèles des entrées qui passaient de mille mots à cent mille mots, en utilisant à la fois de longs documents et des journaux réels d'agents résolvant des problèmes de codage. Dans un système parfait, si l'entrée est cent fois plus grande, le résumé devrait croître proportionnellement pour maintenir le même niveau de détail. Au lieu de cela, les modèles se sont comportés comme s'ils étaient coincés dans une routine. Alors que l'entrée atteignait cent mille mots, les résumés n'ont presque pas grandi. En fait, à cette échelle massive, moins de un pour cent de l'entrée originale a survécu dans le résumé. Pour un document de cette taille, cela signifie que pour cent phrases dans le texte original, seule environ une phrase a été conservée dans le résumé final. Le reste a été perdu. Ce schéma s'est avéré vrai, que le modèle ait été conçu pour l'écriture de code, la conversation générale ou le raisonnement complexe. La taille du modèle n'a rien changé ; même les modèles les plus grands et les plus puissants produisaient des résumés bien trop courts pour la tâche.

Les chercheurs ont ensuite tenté une approche plus directe. Ils soupçonnaient que les modèles avaient simplement besoin d'une instruction plus claire. Ils ont pris les mêmes entrées massives et ont ajouté des commandes spécifiques au prompt, demandant aux modèles d'écrire des résumés d'une certaine longueur, mesurée en mots, caractères ou tokens. Ils ont demandé des résumés représentant un quart, un tiers ou même la moitié de la taille du texte original. Les résultats furent frustrants de constance. Bien que les modèles aient produit des résumés légèrement plus longs lorsqu'on le leur demandait, ils heurtaient un plafond très rapidement. Si les chercheurs demandaient un résumé de seize mille mots, les modèles arrêtaient d'écrire après quelques milliers, ignorant le reste de la requête. Les modèles semblaient incapables d'étirer leur production pour répondre à la demande, quels que soient la mesure de la longueur ou la formulation de la requête. Les instructions apportèrent une légère augmentation de la longueur, mais rien de suffisant pour empêcher la perte de détails critiques.

Cela a conduit les chercheurs à une conclusion surprenante : le problème ne réside pas dans le prompt ou l'entrée, mais dans les données d'entraînement. Pour le prouver, ils ont pris deux des modèles et leur ont donné un léger réentraînement, ou ajustement fin (fine-tuning), en utilisant uniquement des résumés de différentes longueurs. Un groupe a été entraîné sur des résumés très courts, et un autre sur des résumés beaucoup plus longs. Lorsqu'ils ont testé ces modèles réentraînés avec les mêmes instructions neutres, les résultats ont radicalement changé. Le modèle entraîné sur des résumés courts écrivait des textes encore plus courts, tandis que celui entraîné sur des résumés longs écrivait des textes nettement plus longs, même si le prompt ne mentionnait jamais la longueur. Cela suggère que les modèles ont appris une habitude par défaut de brièveté à partir de leurs données d'entraînement, une habitude qui supplante toute demande contraire. La longueur du résumé n'est pas un calcul flexible basé sur la taille de l'entrée ; c'est un comportement rigide ancré dans l'ADN du modèle.

Les implications pour les agents autonomes sont significatives. Ces systèmes comptent sur la summarisation pour survivre à des tâches de longue durée, mais si le résumé est trop court, des informations vitales comme un chemin de fichier, une tentative échouée ou une contrainte spécifique sont perdues à jamais. Une fois perdues, l'agent ne peut plus les récupérer et doit perdre du temps à les redécouvrir ou procéder aveuglément. L'étude montre que le simple fait de demander à un agent de « se souvenir de plus » en réclamant un résumé plus long n'est pas une solution fiable. La solution ne réside pas dans un meilleur prompting, mais dans le changement des données utilisées pour entraîner les résumeurs. Tant que les données d'entraînement n'enseigneront pas à ces modèles à préserver plus de détails à mesure que le contexte s'étend, les assistants numériques sur lesquels nous comptons pour des tâches de longue haleine continueront de perdre leur mémoire, un petit résumé immuable à la fois.