Immagina di essere un maestro architetto che ha trascorso anni a progettare un castello magnifico e complesso. Ora, immagina di assumere un assistente robotico super intelligente e incredibilmente veloce per aiutarti a ristrutturare il castello. Il tuo obiettivo non è cambiare il modo in cui il castello funziona — le persone devono comunque poter andare dalla cucina alla camera da letto senza cadere attraverso il pavimento — ma rendere i corridoi più ampi, le stanze più luminose e la struttura più facile da mantenere. Questo è il mondo del refactoring del codice: il processo di pulizia e riorganizzazione del codice informatico per renderlo migliore, senza rompere il software che esegue.

Per molto tempo, abbiamo avuto strumenti che agiscono come semplici correttori ortografici per il codice: indicano la formattazione disordinata o errori ovvi. Tuttavia, recentemente, è arrivato un nuovo tipo di "robot": i Large Language Models (LLM). Pensali come assistenti AI che hanno letto quasi ogni libro, manuale e foglio di istruzioni mai scritto. Sono incredibili nel scrivere nuove storie o nel correggere frasi interrotte. Tuttavia, quando chiedi loro di ristrutturare un castello complesso (un progetto software), a volte diventano un po' troppo creativi. Potrebbero spostare una parete che sostiene il tetto, o rinominare una porta in un modo che confonde tutti coloro che cercano di trovare la cucina. La grande domanda per scienziati e ingegneri è: possiamo fidarci di questi robot AI per fare la ristrutturazione in sicurezza, o hanno bisogno di un supervisore umano che controlli il loro lavoro?

Questo è esattamente ciò che investiga il saggio "RefactorAssist: Agentic Refinement for Reliable Code Refactoring". I ricercatori, Jonathan Cordeiro, Shayan Noei e Ying Zou, volevano vedere se questi robot AI potessero sistemare il codice senza romperlo e, se lo avessero rotto, se un intelligente "agente di riparazione" potesse correggere gli errori del robot.

Il primo tentativo del robot: un mix di risultati

Il team ha iniziato chiedendo a diversi modelli AI (inclusi alcuni open-source come StarCoder2 e potenti modelli commerciali come GPT-4o) di eseguire ristrutturazioni su progetti software Java reali. Hanno trattato il software come un essere vivente con un sistema di "controllo della salute" integrato chiamato unit test. Questi test sono come una serie di checkpoint: se il codice viene modificato correttamente, il robot supera il test; se il robot rompe accidentalmente una funzione, il test fallisce.

I risultati sono stati un po' scioccanti. Anche i migliori modelli AI, come GPT-4o, sono riusciti a completare la ristrutturazione correttamente solo circa l'80,8% delle volte. Ciò significa che quasi 1 volta su 5, l'AI ha cercato di migliorare il codice ma ha accidentalmente rotto qualcosa, causando il fallimento dei controlli di salute del software. I ricercatori hanno scoperto che dare semplicemente all'AI più esempi di come ristrutturare (una tecnica chiamata "few-shot prompting") non ha aiutato molto. Il problema non era che l'AI non sapesse come ristrutturare; era che non comprendeva abbastanza bene il contesto per evitare di commettere errori sottili e pericolosi.

Perché i robot sono falliti?

Per capire cosa fosse andato storto, i ricercatori hanno agito come detective, esaminando le "scene del crimine" del codice fallito. Hanno scoperto che gli errori dell'AI rientravano in otto categorie principali, con le più comuni che erano:

1. Allucinazioni e confusione del contesto (24,3%): L'AI inventava nuove funzionalità o cambiava cose che non avevano bisogno di essere cambiate perché aveva frainteso la storia del codice.
2. Ridenominazione incoerente (15,3%): L'AI rinominava una variabile (come chiamare una "porta" un "cancello") in un punto, ma dimenticava di aggiornare il nome ovunque altro, lasciando il codice confuso.
3. Aggiunta di roba nuova (13,7%): L'AI aggiungeva accidentalmente nuove variabili o funzioni che non dovevano esserci.
4. Codice incompleto (11,3%): L'AI smetteva di scrivere il codice a metà, lasciando pezzi mancanti.
5. Errori di sintassi e strutturali (9,7%): Errori basilari come dimenticare una parentesi di chiusura o un punto e virgola.
6. Casi limite (9%): L'AI dimenticava di gestire situazioni rare, come cosa succede se un utente inserisce zero invece di un numero.
7. Gestione dei tipi (8,7%): Confondere diversi tipi di dati, come cercare di mettere un messaggio di testo in una casella numerica.
8. Problemi di scope (8%): Cercare di usare una variabile in un luogo in cui non esiste.

Entra in scena RefactorAssist: Il Super-Ispettore

I ricercatori si sono resi conto che chiedere semplicemente all'AI di riprovare non era sufficiente. Avevano bisogno di un sistema che potesse individuare questi errori e correggerli automaticamente. Così, hanno costruito RefactorAssist, un intelligente "agente di riparazione" che agisce come un ispettore del controllo qualità a due stadi.

Stadio 1: La riparazione rapida (Riparazione Statica)
Prima ancora di chiedere all'AI di pensare di nuovo, RefactorAssist esegue un controllo rapido basato su regole. È come un correttore ortografico che non ha bisogno di capire la storia, ma solo la grammatica. Corregge cose ovvie come import mancanti, parentesi sbilanciate e semplici errori di tipo. Questo passaggio è economico e veloce perché non utilizza il pesante cervello dell'AI. Sorprendentemente, questo semplice passaggio ha risolto una grande fetta dei problemi, aumentando il tasso di successo dal 66,1% al 74,4% (fino all'80,3% nella loro migliore configurazione) semplicemente pulendo la sintassi.

Stadio 2: Il lavoro da detective (Riparazione Agente)
Per il codice rimanente che era ancora rotto (quelli che fallivano ancora dopo il rapido fix), RefactorAssist entra in "modalità agente". Raccoglie tutte le prove: i messaggi di errore dei test falliti, le modifiche specifiche apportate dall'AI (il "diff") e il contesto del codice circostante. Poi chiede a un'AI potente (come GPT-4o) di agire come un detective, spiegando perché il codice è fallito e suggerendo una riparazione. Questo detective non tira a indovinare; usa le prove per guidare la riparazione.

I risultati di questo processo a due stadi sono stati impressionanti. Dopo il tentativo iniziale dell'AI, il fix statico e poi il lavoro iterativo del detective, il tasso di successo è salito fino al 94,2%. Fondamentalmente, il sistema è stato in grado di riparare il 70,8% dei fallimenti che erano rimasti dopo il primo passaggio di riparazione statica. Ciò significa che per il sottoinsieme di ristrutturazioni che l'AI ha sbagliato e che il controllo grammaticale non poteva riparare, l'agente detective di RefactorAssist ha recuperato con successo la stragrande maggioranza, portando il tasso di successo totale a quasi la perfezione.

Cosa non ha funzionato?

I ricercatori hanno anche testato alcune idee che pensavano potessero aiutare, ma che si sono rivelate meno utili. Ad esempio, hanno provato ad aggiungere un sistema di "recupero" (retrieval) che cercasse nell'intero progetto un contesto extra per dare all'AI maggiori informazioni di base. Sebbene questo abbia aiutato un po' nei primissimi secondi della riparazione, non ha effettivamente aiutato l'AI a risolvere i problemi più difficili nel lungo periodo. Il saggio suggerisce che avere una spiegazione chiara e accurata del perché qualcosa si sia rotto (la "diagnosi") è molto più importante che avere una massiccia quantità di contesto extra.

Il punto fondamentale

Questo saggio non sostiene che l'AI possa ancora ristrutturare il codice perfettamente da sola. In effetti, dimostra che senza aiuto, l'AI commette errori circa il 20% delle volte. Tuttavia, mostra che combinando un semplice e veloce "controllo grammaticale" con un intelligente "agente detective" basato sulle prove, possiamo correggere la maggior parte di questi errori.

La scoperta principale è che RefactorAssist può prendere una ristrutturazione generata dall'AI disordinata e rotta e trasformarla in un aggiornamento del codice sicuro e funzionante con un tasso di successo del 94,2%. Suggerisce che il futuro dell'ingegneria del software non riguarda solo l'avere un'AI più intelligente, ma il costruire una squadra dove l'AI svolge il lavoro pesante e un agente di riparazione specializzato intercetta gli errori prima che raggiungano l'utente. È un promemoria del fatto che anche i robot super intelligenti hanno bisogno di un buon team di controllo qualità per fare il loro miglior lavoro.