🤖 machine learning

Why Does CLAUDE.md Keep Growing? Catastrophic Remembering in Agentic Coding

Questo articolo identifica il "ricordo catastrofico" come la causa della crescita illimitata nei prompt di codifica agentica come CLAUDE.md, dimostrando che l'aggiunta di istruzioni è economica mentre la loro cancellazione è computazionalmente proibitiva, e propone che l'incorporamento del ragionamento latente nei commenti dei prompt possa arrestare efficacemente questa divergenza e migliorare significativamente le prestazioni nel seguire le istruzioni.

Autori originali: Kushal Chakrabarti

Pubblicato 2026-08-12

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kushal Chakrabarti

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot assistente, molto intelligente ma un po' smemorato, come svolgere un lavoro specifico, come scrivere post per un blog o correggere del codice. Inizi fornendogli un semplice elenco di regole: "Usa tre paragrafi", "Non usare la parola 'molto'", "Finisci sempre con un sorriso". Questo è un prompt. Nel mondo dell'intelligenza artificiale, questi prompt sono come i manuali di istruzioni per i robot.

Ora, immagina che il robot commetta un errore. Lo correggi aggiungendo una nuova regola: "Ok, e assicurati di usare esattamente cinque punti elenco". Il robot riprova, fallisce, e tu aggiungi un'altra regola: "E ricorda di scrivere la prima lettera di ogni frase con la maiuscola". Con il tempo, questo elenco di regole diventa sempre più lungo e lungo. In informatica, esiste un problema famoso chiamato oblio catastrofico (catastrophic forgetting), dove un robot impara qualcosa di nuovo e accidentalmente cancella dalla memoria le cose vecchie. Ma questo articolo parla del problema opposto: la memoria catastrofica (catastrophic remembering). È quando un robot (o l'umano che lo gestisce) continua ad aggiungere regole ma non elimina mai quelle vecchie, anche quando non sono più necessarie. L'elenco diventa così enorme e disordinato che il robot si confonde, rallenta e ricomincia a commettere errori. La grande domanda è: perché questo elenco continua a crescere all'infinito e come possiamo fermarlo?

Il mistero dell'elenco infinito

L'autore di questo articolo, Kushal Chakrabarti di South Park Commons, ha deciso di indagare perché questi elenchi di istruzioni "agentiche" (file spesso chiamati CLAUDE.md o AGENTS.md nei progetti software) sembrano crescere senza limiti. Hanno esaminato quasi 1.870 progetti software reali su GitHub e hanno monitorato la vita di oltre 247.000 singole istruzioni.

Hanno scoperto un modello strano: questi elenchi quasi mai si rimpiccioliscono. Invece, crescono in media di 4,9 nuove istruzioni per ogni singolo aggiornamento del file. Durante la vita di un file, il numero di istruzioni più che triplica, crescendo del 226%. Il file medio finisce con 39 istruzioni, ma alcuni ne hanno più di 100.

I ricercatori si sono chiesti: perché le persone non cancellano semplicemente le vecchie regole inutili?

Hanno scoperto che il colpevole non è che le regole siano "obsolete" (stale) o che le regole cattive muoiano giovani. Invece, il problema è l'imperfetta memoria (imperfect recall). Pensatelo in questo modo: quando aggiungete una nuova regola all'elenco, sapete perché l'avete aggiunta. Magari avete aggiunto "Usa tre paragrafi" perché il robot continuava a scriverne quattro. Ma quel "perché" è solo un pensiero nella vostra testa. Non è scritto.

Con il passare del tempo e con l'intervento di altre persone che modificano il file, o man mano che il progetto cambia, quella ragione originale svanisce. Se guardate l'elenco sei mesi dopo, vedete la regola "Usa tre paragrafi", ma non avete idea del perché sia lì. Era perché il robot era troppo prolisso? Era perché il capo lo aveva chiesto? Senza quella ragione, eliminare la regola sembra rischioso. Avete paura che, se la eliminate, il robot si romperà di nuovo. Quindi, la lasciate lì. Nel frattempo, continuate ad aggiungere nuove regole per nuovi problemi. Il risultato è un elenco di regole gonfio e confuso che nessuno capisce più. L'autore lo chiama memoria catastrofica: tenere tutto ciò che si sarebbe dovuto dimenticare.

L'effetto "Bulldozer"

Lo studio ha scoperto anche qualcosa di buffo su come le persone cercano di sistemare questi elenchi disordinati. Raramente cancellano solo una o due regole cattive. Invece, tendono a premere il tasto "elimina tutto". I dati hanno mostato che il 76,8% di tutte le eliminazioni di istruzioni avviene in un unico "riscrittura" gigante in cui qualcuno cancella metà o più del file in una volta sola. È come un giardiniere che non riesce a decidere quali erbacce estirpare, quindi brucia l'intero giardino e ricomincia da capo.

Ma ecco il colpo di scena: anche dopo questo "incendio", il giardino ricresce. L'elenco ricomincia a crescere immediatamente, con lo stesso ritmo veloce di prima. Questo è chiamato l'effetto a cricchetto (ratchet effect). La dimensione diminuisce, ma il ritmo di crescita non cambia. La causa principale — il fatto che le persone non ricordano perché le regole sono state aggiunte in primo luogo — non è mai stata risolta, quindi l'elenco ricomincia semplicemente a riempirsi di nuovo.

La magia dei "Commenti"

Quindi, come fermiamo l'elenco che cresce all'infinito? L'articolo suggerisce una soluzione che gli ingegneri del software usano da decenni: i commenti.

Nel codice informatico regolare, i programmatori scrivono piccole note accanto al loro codice per spiegare perché l'hanno scritto in quel modo. Queste note sono invisibili al computer ma utili per il prossimo essere umano che leggerà il codice. I ricercatori hanno testato se questo stesso trucco funziona per i prompt dell'IA.

Hanno allestito una simulazione in cui i "maintainer" (agenti IA) dovevano costruire e correggere un prompt. In un gruppo, dovevano scrivere istruzioni senza alcuna nota. Nell'altro gruppo, potevano aggiungere un commento accanto a ogni istruzione spiegando la ragione. Per esempio, accanto a "Usa tre paragrafi", il commento potrebbe dire: "Aggiunto perché il robot continuava a scrivere quattro paragrafi nel round 3".

I risultati sono stati drammatici.

Senza commenti: il prompt è diventato il 211,3% più grande della dimensione minima perfetta necessaria per svolgere il lavoro.
Con i commenti: il prompt è rimasto quasi perfettamente dimensionato, crescendo solo dell'1,4% rispetto al minimo.

I commenti hanno agito come una macchina del tempo. Hanno preservato il "ragionamento latente" (la ragione nascosta) per ogni regola. Quando un manutentore guardava l'elenco più tardi, poteva vedere il commento, capire se la regola era ancora necessaria, o rendersi conto che non era più necessaria, e cancellarla in sicurezza. I commenti hanno eliminato il 99,3% delle istruzioni superflue e non necessarie.

Funziona davvero meglio?

I ricercatori non si sono fermati al rendere gli elenchi più brevi; hanno controllato se i robot facessero effettivamente un lavoro migliore. Hanno scoperto che quando i prompt erano gonfi di istruzioni inutili e rumorose, i robot si confondevano e commettevano più errori. Usando i commenti per mantenere l'elenco pulito e focalizzato, la capacità dei robot di seguire le istruzioni è migliorata fino al 23,1%.

Lo studio ha anche dimostrato che questo funziona anche quando le istruzioni sono complesse e i "manutentori" sono agenti IA molto intelligenti. Più l'IA è capace, più tende ad aggiungere troppe regole, ma più beneficia di avere quei commenti utili per tenerle sotto controllo.

La grande lezione

L'articolo si conclude con una domanda giocosa ma seria: "Se l'inglese è il nuovo codice, perché non abbiamo ancora i commenti?"

Proprio come i programmatori umani hanno imparato tempo fa che è necessario spiegare perché si è scritta una riga di codice, le persone (e gli agenti IA) che gestiscono questi prompt dell'IA devono iniziare a scrivere perché hanno aggiunto una regola. Senza questa spiegazione, le regole si accumulano, il sistema si confonde e le prestazioni calano. La soluzione non è smettere di aggiungere regole; è scrivere una piccola nota accanto a ciascuna in modo che la persona successiva (o il robot) sappia esattamente cosa tenere e cosa scartare. Trasforma un mostro caotico e in crescita in uno strumento pulito ed efficiente.

Riepilogo Tecnico: Memoria Catastrofica nel Coding Agente

1. Il Problema: Crescita Illimitata dei Prompt Agente

I repository di coding agenteely dipendono sempre più da file di contesto (es. CLAUDE.md, AGENTS.md, copilot-instructions.md) per guidare gli agenti IA. L'osservazione empirica rivela un modello di crescita patologico: questi file accumulano istruzioni senza limiti, raramente eliminandole finché il file non viene interamente riscritto o il repository viene dismesso.

Questa crescita non è solo una questione di aggiunta di nuovi requisiti; rappresenta un fallimento della manutenzione. Man mano che i vincoli si accumulano, le prestazioni nel seguire le istruzioni degradano. Il documento identifica la causa radice non come "obsolescenza delle istruzioni" (dove le vecchie istruzioni diventano irrilevanti) o "fragilità del contenuto" (dove le istruzioni deboli muoiono precocemente), ma come memoria imperfetta.

Quando un manutentore aggiunge un'istruzione, la razionalità sottostante (il ragionamento latente) per tale aggiunta è spesso implicita o non registrata. Nel tempo, man mano che più autori modificano il file, questo ragionamento latente decade. Eliminare un'istruzione senza la sua razionalità comporta un alto rischio di regressione della correttezza. Di conseguenza, l' "hazard" (probabilità) di eliminare un'istruzione diminuisce con l'invecchiamento dell'istruzione stessa. Ciò porta a un effetto a cricchetto: le aggiunte sono economiche e frequenti, mentre le eliminazioni sono rischiose e rare, causando la divergenza della dimensione del prompt. L'autore definisce questo fenomeno Memoria Catastrofica — l'inverso del forgetting catastrofico nell'apprendimento continuo, dove un sistema trattiene ciò che avrebbe dovuto sovrascrivere perché la licenza di aggiornare (la razionalità) è andata perduta.

2. Metodologia

2.1 Analisi Empirica di Repository Reali

L'autore ha condotto uno studio osservazionale su larga scala su 1.867 repository GitHub contenenti file di contesto agentici.

Ambito dei Dati: Ha tracciato 247.694 cicli di vita delle istruzioni attraverso 299.440 transizioni versione-per-versione.
Segmentazione: Le istruzioni sono state segmentate dai payload dei file utilizzando la struttura markdown e i confini delle frasi.
Corrispondenza: Una cascata a tre stadi (stringa esatta, stringa normalizzata, corrispondenza fuzzy) ha tracciato la sopravvivenza delle istruzioni attraverso i commit.
Rischi Concorrenti: Lo studio ha distinto tra "eliminazioni" (giudizio del manutentore) e "riscritture integrali" o "migrazioni" (rimozioni massive). Il 77,3% delle morti delle istruzioni è avvenuto in riscritture integrali, che lo studio ha censurato come rischi concorrenti per isolare l'hazard di eliminazione.
Modellazione Statistica: L'autore ha utilizzato stimatori di Nelson-Aalen e modelli di frailty gamma per analizzare l'hazard di eliminazione $h(a)$ come funzione dell'età dell'istruzione $a$ e del numero di autori.

2.1 Quadro Teorico

Il documento modella la manutenzione dei prompt come la stima online di un insieme di vincoli non osservabili $C$ da feedback rumorosi e censurati.

Decadimento del Ragionamento Latente: La recuperabilità della razionalità $r_d$ per un'istruzione $d$ decade con l'età $a$ , denotata come $\rho(d, a)$ .
Equilibrio: Senza una razionalità recuperabile, l'estimatore ottimale diventa "append-only" (solo aggiunta). La dimensione di equilibrio $|D_\infty|$ diverge mentre $\bar{\rho}(a) \to 0$ , anche se i vincoli del compito rimangono fissi.
Asimmetria dei Costi: Aggiungere un'istruzione costa $O(1)$ , ma verificare che un'istruzione sia in eccesso (ed è quindi sicuro eliminarla) senza la sua razionalità costa $O(2^{|D|})$ a causa dell'esplosione combinatoria di controfatti necessaria per testare i sottoinsiemi di istruzioni.

2.3 Esperimenti Controllati (Inverse-IFEval)

Per testare il meccanismo causale, l'autore ha costruito un ambiente controllato invertendo il benchmark IFEval.

Configurazione: Invece di valutare la capacità di un modello di seguire le istruzioni, hanno incaricato un agente "manutentore" di ricostruire un insieme noto di istruzioni (il set minimo $D^\star$ ) partendo da un obiettivo generale e feedback rumorosi.
L'Intervento: Il manutentore poteva annotare nuove istruzioni con commenti che codificano il ragionamento latente (il fallimento osservato, l'ipotesi e il risultato).
Bracci:
1. Controllo: Nessun commento.
2. Placebo: Rumore in forma di commento (testo generico senza ragionamento).
3. Trattamento: Commenti informativi che codificano un ragionamento latente specifico.
Valutazione: Il sistema ha misurato l'eccesso di dimensione ( $|D_t|/|D^\star| - 1$ ) e la soddisfazione dei vincoli.
Estensione WildIFEval: Un secondo esperimento ha applicato questo approccio a prompt reali scritti da umani con distruttori rumorosi per misurare il recupero del rispetto delle istruzioni.

3. Contributi Chiave e Risultati

3.1 Evidenza Empirica della Memoria Catastrofica

Crescita Illimitata: I prompt agentici più che triplicano la loro dimensione durante il ciclo di vita (+226%), guadagnando un netto di +4,9 istruzioni per commit.
Il Cricchetto: Quando un file viene riscritto integralmente, torna a circa il 60% della sua dimensione precedente, ma riprende immediatamente a crescere, spesso più velocemente di prima (4,9% per commit post-riscrittura rispetto al 4,1% pre-riscrittura).
Hazard di Eliminazione: La probabilità che un'istruzione venga eliminata diminuisce con l'aumentare della sua età (pendenza log-hazard: -0,032/commit). Questo contraddice l'ipotesi della "staleness" (che prevede un hazard crescente) e supporta l'ipotesi della "memoria imperfetta".
Interazione tra Autori: L'hazard di eliminazione decade ancora più velocemente quando più autori distinti hanno modificato il file, confermando che la perdita della razionalità dell'autore originale è il fattore determinante.

3.2 La Soluzione: Commenti ai Prompt

Codificare il ragionamento latente nei commenti del prompt agisce come un intervento sufficiente per arrestare la crescita illimitata.

Riduzione dell'Eccesso di Dimensione: Nell'inversione controllata di IFEval, i commenti informativi hanno ridotto l'eccesso di dimensione dal +211,3% (controllo) al +1,4% (trattamento) in 51 step. In un orizzonte di 15 step, questo ha ridotto l'eccesso dal +60,4% al -5,8%.
Parità di Correttezza: Questa riduzione della dimensione è stata ottenuta senza degradare la soddisfazione dei vincoli; anzi, la soddisfazione è rimasta in parità o è leggermente migliorata.
Impatto nel Mondo Reale: Nell'esperimento WildIFEval, l'aggiunta di commenti informativi ai prompt contenenti distruttori rumorosi ha migliorato il rispetto delle istruzioni del 23,1% (11,6 punti percentuali) rispetto a un controllo senza commenti.
Ablazione: Il beneficio è guidato specificamente dal ragionamento basato sui risultati. I commenti che si limitano a narrare i tentativi senza i risultati, o i commenti di "rumore" generico, non sono riusciti a ridurre l'eccesso di dimensione.

3.3 Intuizione Teorica

Il documento formalizza che la recuperabilità del ragionamento latente è la condizione necessaria e sufficiente per una manutenzione stabile dei prompt. Senza di essa, il sistema è costretto in uno stato di "memoria catastrofica" dove l'unica strategia di eliminazione sicura è la riscrittura integrale, che però non affronta il problema sottostante dell'accumulo di vincoli non verificati.

4. Significato e Rivendicazioni

Il documento sostiene di fornire la prima analisi delle cause profonde della crescita illimitata dei prompt agentici, spostando la colpa dalla "obsolescenza delle istruzioni" alla memoria imperfetta.

Cambio di Paradigma: Inquadra la manutenzione dei prompt come un problema di preservazione dell'informazione piuttosto che di semplice gestione dei vincoli. Proprio come l'ingegneria del software ha risolto il problema del "perché" con i commenti decenni fa, il coding agente richiede la stessa pratica.
Utilità Pratica: Lo studio dimosta che commenti semplici e strutturati possono ridurre il bloat dei prompt di oltre il 99% in contesti controllati e recuperare una significativa capacità di rispetto delle istruzioni in scenari reali rumorosi.
Limitazioni: L'autore è modesto riguardo al proprio ambito. Il corpus è limitato a repository GitHub pubblici in lingua inglese. Gli esperimenti controllati si basano su vincoli meccanicamente verificabili (IFEval) e configurazioni di modelli specifiche. Il documento non sostiene che i commenti risolvano tutte le sfide del prompt engineering, ma affronta specificamente le dinamiche di crescita e manutenzione dei file di contesto agentici.

La tesi centrale è che, se l'inglese è il nuovo codice, i prompt agentici devono adottare la disciplina dell'ingegneria del software: registrare il "perché" (il ragionamento latente) è l'unico modo per gestire in sicurezza il "cosa" (le istruzioni). Senza questo, gli agenti soffriranno inevitabilmente di memoria catastrofica, accumulando vincoli inutilizzabili fino a rendere il sistema non funzionante.