🤖 machine learning

Why Does CLAUDE.md Keep Growing? Catastrophic Remembering in Agentic Coding

Dit artikel identificeert "catastrofaal onthouden" als de oorzaak van onbegrensde groei in agentische programmeerprompts zoals CLAUDE.md, waarbij wordt aangetoond dat het toevoegen van instructies goedkoop is terwijl het verwijderen ervan computationeel prohibitief is, en stelt voor dat het inbedden van latente redenering in prompt-comments deze divergentie effectief kan stoppen en de instructievolgende prestaties aanzienlijk kan verbeteren.

Oorspronkelijke auteurs: Kushal Chakrabarti

Gepubliceerd 2026-08-12

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kushal Chakrabarti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar ietwat vergeetachtige robotassistent leert hoe hij een specifieke taak moet uitvoeren, zoals het schrijven van blogposts of het repareren van code. Je begint door hem een eenvoudige lijst met regels te geven: "Gebruik drie paragrafen," "Gebruik het woord 'zeer' niet," en "Eindig altijd met een glimlach." Dit wordt een prompt genoemd. In de wereld van kunstmatige intelligentie zijn deze prompts als de instructiehandleidingen voor robots.

Stel je nu voor dat de robot een fout maakt. Je corrigeert dit door een nieuwe regel toe te voegen: "Oké, en zorg ervoor dat je precies vijf opsommingstekens gebruikt." De robot probeert het opnieuw, faalt, en jij voegt nog een regel toe: "En vergeet niet om de eerste letter van elke zin met een hoofdletter te schrijven." Na verloop van tijd wordt deze lijst met regels steeds langer en langer. In de informatica is er een beroemd probleem genaamd catastrophic forgetting (catastrofale vergetelheid), waarbij een robot iets nieuws leert en per ongeluk zijn geheugen van de oude zaken wist. Maar dit artikel gaat over het tegenovergestelde probleem: catastrophic remembering (catastrofale herinnering). Dit is wanneer een robot (of de mens die de robot beheert) regels blijft toevoegen maar de oude nooit verwijdert, zelfs niet als ze niet meer nodig zijn. De lijst wordt zo enorm en rommelig dat de robot in de war raakt, vertraagt en weer fouten begint te maken. De grote vraag is: Waarom blijft deze lijst eeuwig groeien, en hoe stoppen we dat?

Het Mysterie van de Nooit Eindigende Lijst

De auteur van dit artikel, Kushal Chakrabarti van South Park Commons, besloot te onderzoeken waarom deze "agentic" instructielijsten (bestanden die vaak CLAUDE.md of AGENTS.md heten in softwareprojecten) zonder grenzen lijken te groeien. Ze bekeken bijna 1.870 echte softwareprojecten op GitHub en volgden de levens van meer dan 247.000 individuele instructies.

Ze ontdekten een vreemd patroon: deze lijsten krimpen bijna nooit. In plaats daarvan groeien ze met gemiddeld 4,9 nieuwe instructies voor elke update van het bestand. Gedurende de levensduur van een bestand verdrievoudigt het aantal instructies meer dan, met een groei van 226%. Het gemiddelde bestand eindigt met 39 instructies, maar sommige hebben er meer dan 100.

De onderzoekers vroegen zich af: Waarom verwijderen mensen niet gewoon de oude, nutteloze regels?

Ze ontdekten dat de boosdoener niet is dat de regels "stale" (verouderd) zijn of dat slechte regels jong sterven. In plaats daarvan is het probleem imperfecte herinnering (imperfect recall). Denk er zo over na: Wanneer je een nieuwe regel aan de lijst toevoegt, weet je waarom je die hebt toegevoegd. Misschien heb je "Gebruik drie paragrafen" toegevoegd omdat de robot er vier bleef schrijven. Maar dat "waarom" is slechts een gedachte in je hoofd. Het staat niet opgeschreven.

Naarmate de tijd verstrijkt en andere mensen het bestand bewerken, of naarmate het project verandert, vervaagt die oorspronkelijke reden. Als je zes maanden later naar de lijst kijkt, zie je de regel "Gebruik drie paragrafen", maar je hebt geen idee waarom die er staat. Was het omdat de robot te veel praatte? Was het omdat de baas erom vroeg? Zonder die reden voelt het verwijderen van de regel riskant. Je bent bang dat als je de regel verwijdert, de robot weer zal falen. Dus laat je hem er gewoon staan. Ondertussen blijf je nieuwe regels toevoegen voor nieuwe problemen. Het resultaat is een opgeblazen, verwarrende lijst met regels die niemand meer begrijpt. De auteur noemt dit catastrophic remembering: alles onthouden wat je eigenlijk zou moeten vergeten.

Het "Bulldozer"-effect

De studie vond ook iets grappigs over hoe mensen proberen deze rommelige lijsten op te lossen. Ze verwijderen zelden slechts één of twee slechte regels. In plaats daarvan hebben ze de neiging om op de knop "verwijder alles" te drukken. De gegevens lieten zien dat 76,8% van alle verwijderingen van instructies gebeurt in één grote "herschrijving", waarbij iemand de helft of meer van het bestand in één keer verwijdert. Het is als een tuinman die niet kan beslissen welke onkruidjes hij moet trekken, dus brandt hij de hele tuin plat en begint hij opnieuw.

Maar hier komt de crux: zelfs na dit "afbranden" groeit de tuin weer aan. De lijst begint direct weer te groeien, met hetzelfde hoge tempo als voorheen. Dit wordt het ratchet effect (het ratel-effect) genoemd. De omvang daalt, maar de groeisnelheid verandert niet. De kernoorzaak — het feit dat mensen zich niet kunnen herinneren waarom de regels oorspronkelijk werden toegevoegd — werd nooit opgelost, waardoor de lijst zich gewoon weer begint te vullen.

De Magie van "Comments"

Dus, hoe stoppen we de lijst met eeuwig groeien? Het artikel suggereert een oplossing die software engineers al decennia lang gebruiken: comments (commentaar/notities).

In reguliere computercode schrijven programmeurs kleine aantekeningen naast hun code om uit te leggen waarom ze het op die manier hebben geschreven. Deze aantekeningen zijn onzichtbaar voor de computer maar nuttig voor de volgende mens die de code leest. De onderzoekers testten of dezelfde truc werkt voor AI-prompts.

Ze zetten een simulatie op waarbij "maintainers" (AI-agenten) een prompt moesten bouwen en repareren. In één groep moesten ze instructies schrijven zonder enige aantekeningen. In de andere groep mochten ze een comment naast elke instructie zetten om de reden uit te leggen. Bijvoorbeeld, naast "Gebruik drie paragrafen" zou de comment kunnen staan: "Toegevoegd omdat de robot in ronde 3 vier paragrafen bleef schrijven."

De resultaten waren spectaculair.

Zonder comments: De prompt groeide tot 211,3% groter dan de perfecte, minimale omvang die nodig is om de taak te volbrengen.
Met comments: De prompt bleef bijna perfect van omvang en groeide slechts 1,4% meer dan het minimum.

De comments fungeerden als een tijdmachine. Ze behielden de "latente redenering" (de verborgen reden) voor elke regel. Wanneer een maintainer later naar de lijst keek, kon hij de comment lezen, begrijpen dat de regel nog steeds nodig was, of beseffen dat deze niet langer noodzakelijk was, en de regel veilig verwijderen. De comments verwijderden 99,3% van de overtollige, onnodige instructies.

Werkt het ook echt beter?

De onderzoekers stopten niet bij het korter maken van de lijsten; ze controleerden ook of de robots daadwerkelijk een beter werk leverden. Ze ontdekten dat wanneer prompts opgeblazen waren met nutteloze, ruisende instructies, de robots in de war raakten en meer fouten maakten. Door comments te gebruiken om de lijst schoon en gefocust te houden, verbeterde het vermogen van de robots om instructies op te volgen met wel 23,1%.

De studie toonde ook aan dat dit werkt, zelfs wanneer de instructies complex zijn en de "maintainers" zeer intelligente AI-agenten zijn. Hoe krachtiger de AI, hoe meer de neiging heeft om overmatig regels toe te voegen, maar hoe meer zij ook profiteren van die behulpzame comments om de boel in toom te houden.

De Belangrijkste Les

Het artikel concludeert met een speelse maar serieuze vraag: "Als Engels de nieuwe code is, waarom hebben we dan nog geen comments?"

Net zoals menselijke programmeurs lang geleden leerden dat je moet uitleggen waarom je een regel code hebt geschreven, moeten de mensen (en AI-agenten) die de AI-prompts beheren, ook gaan opschrijven waarom ze een regel hebben toegevoegd. Zonder die uitleg stapelen de regels zich op, raakt het systeem in de war en daalt de prestatie. De oplossing is niet om te stoppen met het toevoegen van regels; het is om een klein briefje naast elke regel te schrijven, zodat de volgende persoon (of robot) precies weet wat hij moet houden en wat hij weg kan gooien. Het verandert een chaotisch, groeiend monster in een schoon, efficiënt hulpmiddel.

Technische Samenvatting: Catastrofaal Onthouden in Agentic Coding

1. Het Probleem: Onbegrensde Groei van Agentic Prompts

Agentic coding-repositories vertrouwen steeds vaker op contextbestanden (bijv. CLAUDE.md, AGENTS.md, copilot-instructions.md) om AI-agenten te sturen. Empirische observatie onthult een pathologisch groeipatroon: deze bestanden accumuleren instructies zonder limiet, en worden zelden gesaneerd totdat het bestand volledig wordt herschreven of de repository wordt beëindigd.

Deze groei is niet louter een kwestie van het toevoegen van nieuwe vereisten; het vertegenwoordigt een falen van onderhoud. Naarmate beperkingen accumuleren, degradeert de prestatie van het opvolgen van instructies. Het onderzoek identificeert de kernoorzaak niet als "instructie-veroudering" (waarbij oude instructies irrelevant worden) of "inhoudelijke fragiliteit" (waarbij zwakke instructies vroegtijdig sterven), maar als imperfect geheugen (imperfect recall).

Wanneer een onderhouder een instructie toevoegt, is de rationale (latente redenering) voor die toevoeging vaak impliciet of niet vastgelegd. Na verloop van tijd vervalt deze latente redenering naarmate meerdere auteurs het bestand bewerken. Het verwijderen van een instructie zonder de bijbehorende rationale brengt een hoog risico op regressie van de correctheid met zich mee. Bijgevolg neemt het "gevaar" (kans) om een instructie te verwijderen af naarmate de instructie ouder wordt. Dit leidt tot een ratel-effect: toevoegingen zijn goedkoop en frequent, terwijl verwijderingen riskant en zeldzaam zijn, wat ervoor zorgt dat de prompt-omvang divergeert. De auteur noemt dit fenomeen Catastrofaal Onthouden (Catastrophic Remembering) — het tegenovergestelde van catastrofaal vergeten in continual learning, waarbij een systeem blijft onthouden wat het had moeten overschrijven omdat de licentie om te updaten (de rationale) verloren is gegaan.

2. Methodologie

2.1 Empirische Analyse van Real-World Repositories

De auteur voerde een grootschalige observationele studie uit over 1.867 GitHub-repositories die agentic contextbestanden bevatten.

Datatoepassing: Zij volgden 247.694 instructie-levensduurperioden over 299.440 versie-naar-versie transities.
Segmentatie: Instructies werden uit file-payloads gesegmenteerd met behulp van markdown-structuur en zinsgrenzen.
Matching: Een drie-fasen cascade (exacte string, genormaliseerde string, fuzzy match) volgde de overleving van instructies door commits heen.
Concurrerende Risico's: De studie maakte onderscheid tussen "verwijderingen" (oordeel van de onderhouder) en "volledige herschrijvingen" of "migraties" (massale verwijderingen). 77,3% van de instructiedoden vond plaats in volledige herschrijvingen, die de studie censureerde als concurrerende risico's om de verwijderings-hazard te isoleren.
Statistische Modellering: De auteur gebruikte Nelson-Aalen schatters en gamma frailty modellen om de verwijderings-hazard $h(a)$ te analyseren als functie van de leeftijd van de instructie $a$ en het aantal auteurs.

2.2 Theoretisch Kader

Het papier modelleert prompt-onderhoud als de online schatting van een onwaarneembare beperkingsset $C$ vanuit gecensureerde, ruisgevoelige feedback.

Verval van Latente Redenering: Het herstelbaarheid van de rationale $r_d$ voor een instructie $d$ vervalt met de leeftijd $a$ , aangeduid als $\rho(d, a)$ .
Evenwicht: Zonder herstelbare rationale wordt de optimale estimator enkelvoudig append-only. De evenwichtsgrootte $|D_\infty|$ divergeert als $\bar{\rho}(a) \to 0$ , zelfs als de taakbeperkingen constant blijven.
Kostenasymmetrie: Het toevoegen van een instructie kost $O(1)$ , maar het verifiëren dat een instructie overbodig is (en veilig te verwijderen) zonder de bijbehorende rationale kost $O(2^{|D|})$ vanwege de combinatorische explosie van tegenfeitelijke scenario's die nodig zijn om subsets van instructies te testen.

2.3 Gecontroleerde Experimenten (Inverse-IFEval)

Om het causale mechanisme te testen, construeerde de auteur een gecontroleerde omgeving door de IFEval benchmark te inverteren.

Opzet: In plaats van te evalueren hoe goed een model instructies volgt, kreeg een "onderhouder"-agent de taak om een bekende set instructies (de minimale dekking $D^\star$ ) te reconstrueren vanuit een algemeen doel en ruisgevoelige feedback.
De Interventie: De onderhouder kon nieuwe instructies annoteren met comments die de latente redenering coderen (de geobserveerde fout, de hypothese en de uitkomst).
Armen:
1. Controle: Geen comments.
2. Placebo: Comment-vormige ruis (generieke tekst zonder redenering).
3. Behandeling: Informatieve comments die specifieke latente redenering coderen.
Evaluatie: Het systeem mat de excessieve omvang ( $|D_t|/|D^\star| - 1$ ) en constraint satisfaction (nakoming van beperkingen).
WildIFEval Extensie: Een tweede experiment paste dit toe op real-world, door mensen geschreven prompts met ruisige distractoren om de instructie-volgende herstelbaarheid te meten.

3. Belangrijkste Bijdragen en Resultaten

3.1 Empirisch Bewijs van Catastrofaal Onthouden

Onbegrensde Groei: Agentic prompts nemen meer dan drie keer hun omvang toe gedurende hun levensduur (+226%), met een netto winst van +4,9 instructies per commit.
De Ratel: Wanneer een bestand volledig wordt herschreven, reset het naar ~60% van de vorige omvang, maar begint het direct weer te groeien, vaak sneller dan voorheen (4,9% per commit post-rewrite versus 4,1% pre-rewrite).
Verwijderings-hazard: De kans dat een instructie wordt verwijderd neemt af naarmate deze ouder wordt (log-hazard helling: -0,032/commit). Dit spreekt de "verouderings"-hypothese tegen (die een stijgende hazard voorspelt) en ondersteunt "imperfect recall".
Interactie van Auteurs: De hazard van verwijdering neemt nog sneller af wanneer meer verschillende menselijke auteurs het bestand hebben bewerkt, wat bevestigt dat het verlies van de rationale van de oorspronkelijke auteur de drijfveer is.

3.2 De Oplossing: Prompt Comments

Het coderen van latente redenering in prompt-comments fungeert als een voldoende interventie om onbegrensde groei te stoppen.

Reductie van Excessieve Omvang: In de gecontroleerde IFEval-inversie verminderden informatieve comments de excessieve omvang van +211,3% (controle) naar +1,4% (behandeling) over 51 stappen. In een horizon van 15 stappen verminderde dit de excessieve omvang van +60,4% naar -5,8%.
Correctheidspariëtiteit: Deze reductie in omvang werd bereikt zonder de nakoming van beperkingen te verslechteren; sterker nog, de nakoming bleef gelijk of verbeterde licht.
Real-World Impact: In de WildIFEval-experiment verbeterde het toevoegen van informatieve comments aan prompts met ruisige distractoren de instructie-volging met 23,1% (11,6 procentpunt) vergeleken met een uncommented controle.
Ablatie: Het voordeel wordt specifiek gedreven door outcome-grounded reasoning (op uitkomsten gebaseerde redenering). Comments die enkel pogingen beschrijven zonder uitkomsten, of generieke "ruis"-comments, slaagden er niet in de excessieve omvang te reduceren.

3.3 Theoretisch Inzicht

Het papier formaliseert dat de herstelbaarheid van latente redenering de noodzakelijke en voldoende voorwaarde is voor stabiel prompt-onderhoud. Zonder dit wordt het systeem gedwongen in een staat van "catastrofaal onthouden", waarbij de enige veilige verwijderingsstrategie een volledige herschrijving is, wat echter faalt om de onderliggende accumulatie van ongeverifieerde beperkingen aan te pakken.

4. Betekenis en Claims

Het papier beweert de eerste oorzaakanalyse te bieden van de onbegrensde groei van agentic prompts, waarbij de schuld wordt verschoven van "instructie-veroudering" naar imperfect recall.

Paradigmaverschuiving: Het herkadert prompt-onderhoud als een probleem van informatiebehoud in plaats van enkel constraint management. Net zoals software engineering het "waarom"-probleem decennia geleden oploste met comments, vereist agentic coding dezelfde discipline.
Praktisch Nut: De studie toont aan dat eenvoudige, gestructureerde comments de prompt-bloat met meer dan 99% kunnen verminderen in gecontroleerde settings en de instructie-volgende capaciteit aanzienlijk kunnen herstellen in ruisige, real-world scenario's.
Beperkingen: De auteur is bescheiden over de reikwijdte. De corpus is beperkt tot Engelstalige publieke GitHub-repositories. De gecontroleerde experimenten vertrouwen op mechanisch verifieerbare beperkingen (IFEval) en specifieke modelconfiguraties. Het papier claimt niet dat comments alle prompt engineering-uitdagingen oplossen, maar richt zich specifiek op de groei en onderhoudsdynamiek van agentic contextbestanden.

De centrale stelling is dat als Engels de nieuwe code is, agentic prompts de discipline van software engineering moeten adopteren: het vastleggen van het "waarom" (latente redenering) is de enige manier om het "wat" (instructies) veilig te beheren. Zonder dit zullen agenten onvermijdelijk lijden aan catastrofaal onthouden, waarbij ze onbruikbare beperkingen accumuleren totdat het systeem niet meer functioneel is.