🤖 machine learning

Why Does CLAUDE.md Keep Growing? Catastrophic Remembering in Agentic Coding

Cet article identifie le « souvenir catastrophique » comme la cause de la croissance non bornée des invites de codage agentiques telles que CLAUDE.md, démontrant que l'ajout d'instructions est peu coûteux tandis que leur suppression est informatiquement prohibitive, et propose que l'intégration du raisonnement latent dans les commentaires de l'invite peut efficacement stopper cette divergence et améliorer significativement la performance de suivi des instructions.

Auteurs originaux : Kushal Chakrabarti

Publié 2026-08-12

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kushal Chakrabarti

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un robot assistant très intelligent, mais légèrement distrait, comment effectuer un travail spécifique, comme écrire des articles de blog ou corriger du code. Vous commencez par lui donner une liste de règles simples : « Utilise trois paragraphes », « N'utilise pas le mot "très" » et « Termine toujours par un sourire ». Cela s'appelle un prompt. Dans le monde de l'intelligence artificielle, ces prompts sont comme les manuels d'instruction pour les robots.

Maintenant, imaginez que le robot commette une erreur. Vous la corrigez en ajoutant une nouvelle règle : « D'accord, et assure-toi d'utiliser exactement cinq points de liste. » Le robot essaie à nouveau, échoue, et vous ajoutez une autre règle : « Et n'oublie pas de mettre une majuscule au premier mot de chaque phrase. » Avec le temps, cette liste de règles devient de plus en plus longue. En informatique, il existe un problème célèbre appelé oubli catastrophique, où un robot apprend quelque chose de nouveau et efface accidentellement sa mémoire de ce qu'il savait déjà. Mais ce document parle du problème opposé : le souvenir catastrophique. C'est lorsqu'un robot (ou l'humain qui le gère) continue d'ajouter des règles mais ne supprime jamais les anciennes, même lorsqu'elles ne sont plus nécessaires. La liste devient si énorme et désordonnée que le robot s'embrouille, ralentit et recommence à faire des erreurs. La grande question est : pourquoi cette liste continue-t-elle de croître indéfiniment, et comment l'arrêter ?

Le mystère de la liste sans fin

L'auteur de ce document, Kushal Chakrabarti de South Park Commons, a décidé d'enquêter sur la raison pour laquelle ces listes d'instructions « agentiques » (des fichiers souvent nommés CLAUDE.md ou AGENTS.md dans les projets logiciels) semblent croître sans limite. Ils ont examiné près de 1 870 projets logiciels réels sur GitHub et ont suivi la vie de plus de 247 000 instructions individuelles.

Ils ont découvert un étrange schéma : ces listes ne diminuent presque jamais. Au lieu de cela, elles croissent en moyenne de 4,9 nouvelles instructions pour chaque mise à jour du fichier. Au cours de la vie d'un fichier, le nombre d'instructions fait plus que tripler, augmentant de 226 %. Le fichier moyen finit avec 39 instructions, mais certains en comptent plus de 100.

Les chercheurs se sont demandé : pourquoi les gens ne suppriment-ils pas simplement les anciennes règles inutiles ?

Ils ont découvert que le coupable n'est pas que les règles soient « obsolètes » (dépassées) ou que les mauvaises règles meurent jeunes. Au contraire, le problème est le rappel imparfait. Pensez-y de cette façon : quand vous ajoutez une nouvelle règle à la liste, vous savez pourquoi vous l'avez ajoutée. Peut-être avez-vous ajouté « Utilise trois paragraphes » parce que le robot en écrivait quatre. Mais ce « pourquoi » n'est qu'une pensée dans votre tête. Ce n'est pas écrit.

Avec le temps, d'autres personnes modifient le fichier, ou le projet change, et la raison d'origine s'efface. Si vous regardez la liste six mois plus tard, vous voyez la règle « Utilise trois paragraphes », mais vous n'avez aucune idée de la raison de sa présence. Était-ce parce que le robot était trop bavard ? Était-ce parce que le patron l'avait demandé ? Sans cette raison, supprimer la règle semble risqué. Vous avez peur que si vous la supprimez, le robot se mette de nouveau à faire des erreurs. Alors, vous la laissez là. Pendant ce temps, vous continuez à ajouter de nouvelles règles pour de nouveaux problèmes. Le résultat est une liste de règles gonflée et confuse que plus personne ne comprend. L'auteur appelle cela le souvenir catastrophique : garder tout ce que l'on aurait dû oublier.

L'effet « Bulldozer »

L'étude a également révélé quelque chose d'amusant sur la façon dont les gens tentent de corriger ces listes désordonnées. Ils suppriment rarement une ou deux mauvaises règles. Au lieu de cela, ils ont tendance à appuyer sur le bouton « tout supprimer ». Les données ont montré que 76,8 % de toutes les suppressions d'instructions se produisent lors d'une seule « réécriture » géante où quelqu'un supprime la moitié ou plus du fichier d'un coup. C'est comme un jardinier qui ne sait pas quelle mauvaise herbe arracher, alors il brûle tout le jardin et recommence à zéro.

Mais voici le plus étonnant : même après ce « brûlage », le jardin repousse. La liste recommence à croître immédiatement, au même rythme rapide qu'auparavant. C'est ce qu'on appelle l'effet de cliquet. La taille diminue, mais le taux de croissance ne change pas. La cause profonde — le fait que les gens ne se souviennent pas de la raison pour laquelle les règles ont été ajoutées au départ — n'a jamais été corrigée, donc la liste recommence à se remplir à nouveau.

La magie des « commentaires »

Alors, comment empêcher la liste de croître indéfiniment ? Le document suggère une solution que les ingénieurs logiciels utilisent depuis des décennies : les commentaires.

Dans le code informatique classique, les programmeurs écrivent de petites notes à côté de leur code pour expliquer pourquoi ils l'ont écrit de cette façon. Ces notes sont invisibles pour l'ordinateur mais utiles pour le prochain humain qui lira le code. Les chercheurs ont testé si cette même astuce fonctionne pour les prompts d'IA.

Ils ont mis en place une simulation où des « mainteneurs » (des agents d'IA) devaient construire et corriger un prompt. Dans un groupe, ils devaient écrire des instructions sans aucune note. Dans l'autre groupe, ils avaient le droit d'ajouter un commentaire à côté de chaque instruction expliquant la raison. Par exemple, à côté de « Utilise trois paragraphes », le commentaire pourrait être : « Ajouté parce que le robot écrivait quatre paragraphes lors du tour 3. »

Les résultats ont été spectaculaires.

Sans commentaires : le prompt est devenu 211,3 % plus grand que la taille minimale parfaite nécessaire pour accomplir la tâche.
Avec des commentaires : le prompt est resté presque parfaitement dimensionné, ne croissant que de 1,4 % par rapport au minimum.

Les commentaires ont agi comme une machine à remonter le temps. Ils ont préservé le « raisonnement latent » (la raison cachée) de chaque règle. Lorsqu'un mainteneur consultait la liste plus tard, il pouvait lire le commentaire, comprendre que la règle était toujours nécessaire, ou réaliser qu'elle n'était plus nécessaire, et la supprimer en toute sécurité. Les commentaires ont éliminé 99,3 % des instructions superflues et inutiles.

Est-ce vraiment plus efficace ?

Les chercheurs ne se sont pas contentés de rendre les listes plus courtes ; ils ont vérifié si les robots faisaient réellement un meilleur travail. Ils ont découvert que lorsque les prompts étaient encombrés d'instructions inutiles et bruyantes, les robots s'embrouillaient et commettaient plus d'erreurs. En utilisant les commentaires pour garder la liste propre et ciblée, la capacité des robots à suivre les instructions s'est améliorée jusqu'à 23,1 %.

L'étude a également montré que cela fonctionne même lorsque les instructions sont complexes et que les « mainteneurs » sont des agents d'IA très intelligents. Plus l'IA est capable, plus elle a tendance à ajouter des règles en excès, mais plus elle bénéficie de ces commentaires utiles pour garder le contrôle.

La grande conclusion

Le document conclut par une question ludique mais sérieuse : « Si l'anglais est le nouveau code, pourquoi n'avons-nous pas encore de commentaires ? »

Tout comme les programmeurs humains ont appris il y a longtemps qu'il faut expliquer pourquoi on a écrit une ligne de code, les personnes (et les agents d'IA) qui gèrent ces prompts d'IA doivent commencer à écrire pourquoi ils ont ajouté une règle. Sans cette explication, les règles s'accumulent, le système s'embrouille et les performances chutent. La solution n'est pas d'arrêter d'ajouter des règles ; c'est d'écrire une petite note à côté de chacune d'elles afin que la personne suivante (ou le robot suivant) sache exactement ce qu'il faut garder et ce qu'il faut jeter. Cela transforme un monstre chaotique et grandissant en un outil propre et efficace.

Résumé Technique : Le Souvenirment Catastrophique dans le Codage Agentique

1. Le Problème : La Croissance Démesurée des Prompts Agentiques

Les dépôts de codage agentique reposent de plus en plus sur des fichiers de contexte (ex: CLAUDE.md, AGENTS.md, copilot-instructions.md) pour guider les agents d'IA. Une observation empirique révèle un schéma de croissance pathologique : ces fichiers accumulent des instructions sans limite, sans jamais les supprimer, à moins qu'une réécriture intégrale du fichier ne soit effectuée ou que le dépôt ne soit abandonné.

Cette croissance n'est pas simplement une question d'ajout de nouvelles exigences ; elle représente un échec de la maintenance. À mesure que les contraintes s'accumulent, la performance de suivi des instructions se dégrade. L'article identifie la cause racine non pas comme une « obsolescence des instructions » (où les anciennes instructions deviennent non pertinentes) ou une « fragilité du contenu » (où les instructions faibles meurent prématurément), mais comme un souvenirment imparfait (imperfect recall).

Lorsqu'un mainteneur ajoute une instruction, le raisonnement sous-jacent (le raisonnement latent) de cet ajout est souvent implicite ou non consigné. Avec le temps, alors que plusieurs auteurs éditent le fichier, ce raisonnement latent se dégrade. Supprimer une instruction sans son raisonnement comporte un risque élevé de régression de la correction. Par conséquent, le « danger » (la probabilité) de supprimer une instruction diminue à mesure que l'instruction vieillit. Cela conduit à un effet de cliquet : les ajouts sont peu coûteux et fréquents, tandis que les suppressions sont risquées et rares, provoquant la divergence de la taille du prompt. L'auteur nomme ce phénomène le Souvenirment Catastrophique — l'inverse de l'oubli catastrophique dans l'apprentissage continu, où un système conserve ce qu'il aurait dû remplacer parce que la licence de mise à jour (le raisonnement) a été perdue.

2. Méthodologie

2.1 Analyse Empirique de Dépôts Réels

L'auteur a mené une étude observationnelle à grande échelle sur 1 867 dépôts GitHub contenant des fichiers de contexte agentiques.

Étendue des données : Ils ont suivi 247 694 durées de vie d'instructions à travers 299 440 transitions de version à version.
Segmentation : Les instructions ont été segmentées des charges utiles des fichiers en utilisant la structure markdown et les limites de phrases.
Appariement : Un processus en trois étapes (correspondance exacte, chaîne normalisée, correspondance floue) a suivi la survie des instructions à travers les commits.
Risques Compétitifs : L'étude distingue les « suppressions » (jugement du mainteneur) des « réécritures intégrales » ou « migrations » (suppressions massives). 77,3 % des décès d'instructions se sont produits lors de réécritures intégrales, que l'étude a censurées comme des risques compétitifs pour isoler le danger de suppression.
Modélisation Statistique : L'auteur a utilisé des estimateurs de Nelson-Aalen et des modèles de fragilité de Gamma pour analyser le danger de suppression $h(a)$ en fonction de l'âge de l'instruction $a$ et du nombre d'auteurs.

2.2 Cadre Théorique

L'article modélise la maintenance des prompts comme l'estimation en ligne d'un ensemble de contraintes non observables $C$ à partir de retours censurés et bruités.

Dégradation du Raisonnement Latent : La récupérabilité du raisonnement $r_d$ pour une instruction $d$ décroît avec l'âge $a$ , notée $\rho(d, a)$ .
Équilibre : Sans raisonnement récupérable, l'estimateur optimal devient un mode « ajout uniquement ». La taille d'équilibre $|D_\infty|$ diverge lorsque $\bar{\rho}(a) \to 0$ , même si les contraintes de la tâche restent fixes.
Asymétrie des Coûts : Ajouter une instruction coûte $O(1)$ , mais vérifier qu'une instruction est superflue (et sûre à supprimer) sans son raisonnement coûte $O(2^{|D|})$ en raison de l'explosion combinatoire des contre-factuels nécessaires pour tester les sous-ensembles d'instructions.

2.3 Expériences Contrôlées (Inverse-IFEval)

Pour tester le mécanisme causal, l'auteur a construit un environnement contrôlé en inversant le benchmark IFEval.

Configuration : Au lieu d'évaluer la capacité d'un modèle à suivre des instructions, il a chargé un agent « mainteneur » de reconstruire un ensemble connu d'instructions (la couverture minimale $D^\star$ ) à partir d'un objectif général et de retours bruités.
L'Intervention : Le mainteneur peut annoter les nouvelles instructions avec des commentaires encodant le raisonnement latent (l'échec observé, l'hypothèse et le résultat).
Bras de l'expérience :
1. Contrôle : Aucun commentaire.
2. Placebo : Bruit de forme de commentaire (texte générique sans raisonnement).
3. Traitement : Commentaires informatifs encodant un raisonnement latent spécifique.
Évaluation : Le système a mesuré l'excès de taille ( $|D_t|/|D^\star| - 1$ ) et la satisfaction des contraintes.
Extension WildIFEval : Une seconde expérience a appliqué cela à des prompts réels, écrits par des humains, avec des distracteurs bruités pour mesurer la récupération du suivi d'instructions.

3. Contributions Clés et Résultats

3.1 Preuve Empirique du Souvenirment Catastrophique

Croissance Démesurée : Les prompts agentiques triplent de volume au cours de leur vie (+226 %), gagnant un net +4,9 instructions par commit.
Le Cliquet : Lorsqu'un fichier est réécrit intégralement, il revient à environ 60 % de sa taille précédente mais reprend immédiatement sa croissance, souvent plus vite qu'auparavant (4,9 % par commit après réécriture contre 4,1 % avant réécriture).
Danger de Suppression : La probabilité qu'une instruction soit supprimée diminue à mesure qu'elle vieillit (pente du log-hazard : -0,032/commit). Cela contredit l'hypothèse de la « obsolescence » (qui prédit un danger croissant) et soutient celle du « souvenirment imparfait ».
Interaction des Auteurs : Le danger de suppression décroît encore plus rapidement lorsque des auteurs humains distincts ont édité le fichier, confirmant que la perte du raisonnement de l'auteur original est le moteur du phénomène.

3.2 La Solution : Les Commentaires de Prompt

Encoder le raisonnement latent dans des commentaires de prompt agit comme une intervention suffisante pour stopper la croissance démesurée.

Réduction de l'Excès de Taille : Dans l'inversion contrôlée de l'IFEval, les commentaires informatifs ont réduit l'excès de taille de +211,3 % (contrôle) à +1,4 % (traitement) sur 51 étapes. Sur un horizon de 15 étapes, cela a réduit l'excès de +60,4 % à -5,8 %.
Parité de Correction : Cette réduction de taille a été réalisée sans dégrader la satisfaction des contraintes ; en fait, la satisfaction est restée à un niveau de parité ou s'est légèrement améliorée.
Impact Réel : Dans l'expérience WildIFEval, l'ajout de commentaires informatifs aux prompts contenant des distracteurs bruités a amélioré le suivi des instructions de 23,1 % (11,6 points de pourcentage) par rapport au contrôle sans commentaires.
Ablation : Le bénéfice est piloté spécifiquement par le raisonnement fondé sur les résultats. Les commentaires qui se contentent de narrer des tentatives sans les résultats, ou les commentaires de « bruit » génériques, n'ont pas réussi à réduire l'excès de taille.

3.3 Insight Théorique

L'article formalise que la récupérabilité du raisonnement latent est la condition nécessaire et suffisante pour une maintenance stable des prompts. Sans elle, le système est forcé dans un état de « souvenirment catastrophique » où la seule stratégie de suppression sûre est une réécriture intégrale, laquelle échoue à traiter l'accumulation sous-jacente de contraintes non vérifiées.

4. Signification et Revendications

L'article affirme fournir la première analyse des causes racines de la croissance démesurée des prompts agentiques, déplaçant la responsabilité de l'« obsolescence des instructions » vers le souvenirment imparfait.

Changement de Paradigme : Il recadre la maintenance des prompts comme un problème de préservation de l'information plutôt que de simple gestion des contraintes. Tout comme le génie logiciel a résolu le problème du « pourquoi » avec les commentaires il y a des décennies, le codage agentique nécessite la même pratique.
Utilité Pratique : L'étude démontre que des commentaires simples et structurés peuvent réduire le gonflement des prompts de plus de 99 % dans des contextes contrôlés et restaurer une capacité significative de suivi d'instructions dans des scénarios réels et bruités.
Limites : L'auteur est modeste quant à sa portée. Le corpus est limité aux dépôts GitHub publics en langue anglaise. Les expériences contrôlées reposent sur des contraintes mécaniquement vérifiables (IFEval) et des configurations de modèles spécifiques. L'article ne prétend pas que les commentaires résolvent tous les défis du prompt engineering, mais s'adresse spécifiquement à la croissance et à la maintenance des fichiers de contexte agentiques.

La thèse centrale est que si l'anglais est le nouveau code, les prompts agentiques doivent adopter la discipline du génie logiciel : enregistrer le « pourquoi » (le raisonnement latent) est la seule façon de gérer en toute sécurité le « quoi » (les instructions). Sans cela, les agents souffriront inévitablement de souvenirment catastrophique, accumulant des contraintes inutilisables jusqu'à ce que le système devienne non fonctionnel.