Specification-first convergence with an AI coding agent: a case study of dismantling a core architectural invariant across 189 files in a 717k-line codebase with no test oracle and no human code review

Immagina di cercare di insegnare a un robot super-intelligente come costruire una casa. Di solito, il robot è bravissimo a posare un singolo mattone o a dipingere una parete, ma se gli chiedi di riprogettare l'intera fondamenta mentre la casa è già abitata, tende a confondersi. Potrebbe abbattere accidentalmente un muro portante o dimenticare che la cucina deve rimanere collegata alla sala da pranzo. Nel mondo dell'informatica, questo viene chiamato "refactoring" di un enorme codebase. La grande domanda che i ricercatori si pongono in questo momento è: un agente IA può compiere questo compito enorme e pericoloso da solo, senza un supervisore umano che controlli ogni singola riga di codice?

Per capire la sfida, pensa a un programma per computer come a un gigantesco e intricato meccanismo a orologeria. All'interno ci sono degli "invarianti" — queste sono le regole infrangibili che mantengono in funzione gli ingranaggi, come "la molla principale deve essere sempre caricata" o "le lancette non devono mai saltare all'indietro". La maggior parte degli strumenti di codifica IA sono come apprendisti che sono bravissimi a stringere una vite allentata ma terribili nel ricollegare l'intero orologio senza romperlo. Di solito hanno bisogno che un umano controlli il loro lavoro e dica: "Aspetta, non puoi fare questo!". Ma gli umani si stancano e non possono tenere nella testa l'intera mappa di un gigantesco orologio contemporaneamente. Questo articolo esplora un nuovo modo di lavorare: invece di controllare il lavoro del robot dopo che ha finito, costringiamo il robot a scrivere un manuale di istruzioni perfetto e dettagliato prima di toccare anche solo un ingranaggio. Poi facciamo in modo che il robot controlli il proprio lavoro rispetto a quel manuale, ancora e ancora, finché il manuale e la macchina non coincidono perfettamente.

La Storia del Pannello "Ghost"

Questo articolo racconta la storia di un esperimento specifico e ad alto rischio in cui un singolo agente IA è stato chiamato a eseguire un "trucco di magia" su un massiccio programma software. Il programma era un'applicazione di 717.725 righe (immagina una biblioteca con quasi 720.000 pagine di istruzioni) che fungeva da assistente alla codifica IA. Il compito era di rompere una regola fondamentale che il software aveva seguito sin dal primo giorno: la regola che diceva: "Se chiudi la finestra che mostra il lavoro dell'IA, l'IA deve smettere di pensare".

L'obiettivo era cambiare questo in modo che, se chiudessi la finestra, l'IA continuasse a lavorare in background, come un fantasma. Quando riaprivi la finestra, l'IA si sarebbe "riagganciata" istantaneamente alla conversazione, riprendendo esattamente da dove aveva lasciato senza perdere una singola parola o ripetersi. L'autore del documento, uno sviluppatore umano, credeva che questo fosse così complesso e rischioso che l'unico modo sicuro per farlo sarebbe stato buttare via il vecchio codice e riscriverlo tutto da zero.

Il Protocollo "Specification-First"

Invece di riscrivere tutto, l'autore ha utilizzato un metodo chiamato "Specification-First Convergence" (Convergenza basata sulla specifica prima). Pensalo come a un gioco del "Telefono Senza Fili" giocato con un arbitro molto severo, ma l'arbitro è l'IA stessa.

1. Il Piano: L'umano ha dato all'IA una semplice richiesta in linguaggio naturale: "Fai in modo che l'IA continui a lavorare anche quando la finestra è chiusa".
2. Il Progetto (Blueprint): L'IA non ha iniziato immediatamente a scrivere codice. Invece, ha scritto una massiccia "specifica" formale di 55 pagine — un progetto dettagliato di come funzionerebbe il cambiamento, fino al minimo dettaglio.
3. L'Audit (Raffinamento): È qui che è avvenuta la magia. All'IA è stato chiesto di confrontare il proprio progetto con il codice esistente reale per 14 volte. In ogni round, trovava errori nel proprio piano. "Oh, ho dimenticato che il processo in background ha bisogno di un nuovo pulsante per fermarsi", oppure "Non ho tenuto conto di cosa succede se la finestra si chiude mentre l'IA sta pensando". Ha riscritto il progetto 14 volte, correggendo circa 85 errori nel piano prima di scrivere una singola riga di nuovo codice.
4. La Costruzione: Una volta che il progetto era stato "congelato" (ovvero era perfetto e non sarebbe più cambiato), l'IA ha iniziato a programmare. Non ha solo scritto file; ha creato patch (piccoli aggiornamenti) per 189 file diversi.
5. Il Doppio Controllo (Verifica): Questa è stata la parte più critica. All'IA è stato chiesto di leggere il proprio nuovo codice e confrontarlo con il progetto congelato per 17 volte. Ha trovato 116 errori in più — piccoli glitch architettonici o lacune logiche — e li ha corretti. Ha continuato a farlo finché due round consecutivi non hanno prodotto zero errori.

I Risultati: Un Fantasma che Non Tormenta

L'intero processo ha richiesto tre giorni e un costo di 2.430 dollari in spese di elaborazione computerizzata. Il risultato? L'IA ha smantellato con successo una regola centrale del software attraverso 189 file senza che un essere umano guardasse mai il codice generato.

Quando l'umano ha finalmente eseguito il programma per la prima volta, ha funzionato perfettamente. Potevi chiudere la finestra, guardare l'IA continuare a lavorare in background e riaprire la finestra per vedere la conversazione riprendere istantaneamente, senza parole perse o duplicati. Il software si comportava esattamente come prometteva il progetto. L'autore ha notato che il codice era così pulito che, in seguito, quando è stata necessaria una piccola modifica all'interfaccia, è stato necessario cambiare un solo file, suggerendo che l'IA avesse fatto un buon lavoro nel mantenere organizzata la struttura.

Cosa Significa (e Cosa Non Significa)

Questo articolo suggerisce che, per cambiamenti software molto difficili e ad alto rischio, potremmo non aver bisogno di affidarci ai revisori umani per intercettare ogni errore. Invece, possiamo usare l'IA per controllare rigorosamente i propri piani e il proprio codice rispetto a uno standard congelato, ripetutamente, finché non converge verso la perfezione.

Tuttovià, l'articolo è molto attento a ciò che afferma. Ammette che questo è stato solo un compito specifico su un particolare codebase. Non prova che questo funzionerà per ogni IA o per ogni tipo di problema software. Nota anche che, poiché il codice è privato, nessun altro può eseguire esattamente lo stesso esperimento per vedere se ottiene lo stesso risultato. Ma come prova di concetto, dimostra che un'IA, quando costretta a pianificare meticolosamente e ad autocontrollarsi ripetutamente, può eseguire un'operazione "chirurgica" su un gigantesco sistema software che gli umani solitamente ritengono troppo pericoloso da toccare senza una riscrittura completa.