Constraint Inflation: Context Compaction in LLM Agents Rarely Loses Instructions but Often Overstates Them

Imaginez un assistant numérique capable de travailler pendant des heures sur un projet complexe, en lisant des fichiers, en utilisant des outils et en discutant avec un utilisateur humain. À mesure que cette conversation s'allonge, elle finit par devenir trop longue pour que la mémoire de l'ordinateur puisse tout contenir à la fois. Pour continuer à travailler, le système doit compresser l'historique, en remplaçant les premières parties de la discussion par un court résumé qui capture les points principaux. C'est une astuce standard en intelligence artificielle, semblable à un humain qui prend des notes pour se souvenir d'une longue réunion. Pendant des années, les chercheurs se sont inquiétés du fait que ces résumés pourraient oublier des détails importants, faisant perdre à l'assistant la trace des règles spécifiques ou des instructions de sécurité de l'utilisateur. La crainte prédominante était que la machine ne laisse simplement tomber la balle.

Cependant, une nouvelle étude suggère que le problème n'est pas que la machine oublie, mais qu'elle se souvient trop bien. En fait, elle se souvient souvent des choses de manière trop large ou trop stricte. Les chercheurs appellent cela l'« inflation de contraintes ». Cela se produit lorsqu'un résumé transforme une demande temporaire et ponctuelle en une règle permanente. Par exemple, si un utilisateur dit : « Ignore les tests pour ce fichier spécifique car Internet est en panne », un bon résumé noterait que les tests ont été ignorés pour ce fichier précis. Un résumé défectueux, en revanche, enregistrerait l'instruction comme : « Toujours ignorer les tests quand Internet est en panne ». La règle est toujours là, mais sa signification a changé, passant d'une solution temporaire à une politique permanente. Ce glissement subtil peut amener l'assistant à commettre des erreurs plus tard, en appliant une solution temporaire à toutes les tâches futures.

Pour mesurer la fréquence de ce phénomène, les chercheurs ont construit un environnement de test appelé InflateBench. Ils ont créé 240 sessions de travail réalistes réparties dans cinq domaines différents, tels que le codage, l'analyse de données et le travail de bureau. Dans chaque session, ils ont implanté six instructions spécifiques ayant une portée connue, comme une tâche unique ou une préférence temporaire. Ils ont ensuite fait passer ces sessions à travers sept méthodes différentes de résumé de la conversation, en utilisant deux types différents de modèles de langage. Le but était de voir si les résumés conservaient les instructions intactes, les perdaient entièrement, ou les élargissaient accidentellement. Ils ont également testé si ces règles élargies changeaient réellement ce que l'assistant numérique faisait ensuite.

Les résultats étaient surprenants. Les résumés n'ont presque jamais perdu une instruction ; en fait, ils en ont conservé plus de 99 pour cent. Mais s'ils oubliaient rarement, ils exagéraient fréquemment. Lorsque le système utilisait un résumé en texte libre, il gonflait environ 12 à 14 pour cent des éléments éligibles. Lorsqu'il utilisait un modèle structuré avec des sections spécifiques pour les règles et les préférences, ce chiffre grimpait à près de 20 pour cent. L'erreur la plus courante consistait à transformer une préférence en exigence, ou à traiter une tâche ponctuelle comme une règle permanente. Par exemple, une demande d'utiliser un outil spécifique uniquement pour la tâche actuelle était souvent réécrite comme une règle stipulant que l'outil doit toujours être utilisé.

L'étude a également testé deux correctifs populaires conçus pour prévenir la perte d'instructions. Une méthode consistait à extraire les règles dans une liste séparée, et l'autre consistait à les « épingler » pour qu'elles apparaissent dans chaque résumé. Les chercheurs ont constaté que ces correctifs n'aidaient pas car les instructions n'étaient pas en train d'être perdues en premier lieu. Au contraire, ces méthodes aggravaient considérablement le problème de l'inflation. La méthode de l'« épinglage », en particulier, a fait monter l'inflation à plus de 50 pour cent dans certains cas. En forçant le système à répéter les règles textuellement, les résumés perdaient le contexte qui montrait que ces règles étaient temporaires. Le système ne pouvait plus faire la distinction entre une règle établie et une requête ponctuelle.

Enfin, les chercheurs ont vérifié si ces règles gonflées changeaient réellement le comportement de l'assistant numérique. Ils ont constaté que c'était le cas. Lorsqu'un résumé contenait une règle gonflée, l'assistant était nettement plus susceptible d'appliquer cette règle à des tâches futures où elle n'avait pas sa place. Bien que les assistants ne suivent pas systématiquement les règles gonflées dans tous les cas, le taux d'erreur était suffisamment élevé pour être une préoccupation sérieuse. L'étude conclut que la manière actuelle de gérer les conversations longues doit changer. Il ne suffit pas de conserver les règles ; le système doit également suivre la durée de validité de ces règles. Sans cela, l'assistant numérique risque de devenir un travailleur rigide qui suit d'anciennes instructions temporaires comme s'il s'agissait de lois éternelles.