Active-SWE: Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports

Immaginate un mondo in cui il software è come una gigantesca e frenetica città costruita da milioni di persone. A volte un edificio ha una crepa nascosta, un ponte ha un bullone allentato o un semaforo rimane bloccato sul verde quando invece dovrebbe essere rosso. Nel mondo reale, di solito aspettiamo che qualcuno gridi: "Ehi, il ponte è rotto!" prima di inviare una squadra di riparazione. Nel mondo digitale, questo "grido" è chiamato issue report (rapporto di segnalazione). È una nota dettagliata scritta da un essere umano che descrive esattamente dove si trova il bug, quale messaggio di errore è apparso e come dovrebbe comportarsi il software.

Per molto tempo, gli scienziati dell'informatica hanno addestrato assistenti IA super intelligenti, noti come agenti di programmazione (coding agents), affinché agissero come squadre di riparazione. Questi agenti utilizzano potenti modelli simili a un cervello (chiamati Large Language Models) per leggere il codice e risolvere i problemi. Ma ecco il problema: la maggior parte dell'addestramento e dei test effettuati finora presuppone che sia sempre disponibile un "grido" perfetto e dettagliato (un issue report). È come addestrare un meccanico solo su auto che sono già state portate in officina con una nota che dice: "Il motore emette un rumore di battito".

Ma nel mondo reale, le cose non vanno sempre così bene. A volte i bug sono così subdoli che scivolano nel prodotto finale senza che nessuno se ne accorga finché non è troppo tardi, causando un caos enorme. Altre volte, le note lasciate dagli umani sono vaghe, confuse o prive di dettagli cruciali. Questo solleva una domanda grande ed eccitante: possono queste squadre di riparazione IA trovare e sistemare le parti rotte della città prima ancora che qualcuno sappia che sono rotte? Possono agire come detective proattivi, scansionando il codice da soli, individuando le crepe e riparandole senza un singolo manuale di istruzioni?

È esattamente ciò che il paper "Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports" si propone di esplorare. Gli autori, un team di ricercatori provenienti da università e laboratori indipendenti, introducono una nuova sfida chiamata Active-SWE. Pensate a questo come a un livello di un videogioco gigante e ad alta posta in gioco, progettato per testare se gli agenti IA possano essere veri detective piuttosto che semplici meccanici obbedienti.

Invece di dare all'IA una lista di "cose rotte" da riparare, i ricercatori hanno consegnato loro una massiccia libreria di codice — 1.663 compiti diversi attraverso sei tipi di bug e otto diversi linguaggi di programmazione — e hanno detto loro: "Andate a trovare i problemi e riparateli. Buona fortuna, niente suggerimenti consentiti".

I ricercatori hanno costruito questa sfida in due modi. Prima, hanno creato un "Setting Semplice" dove l'IA doveva trovare e riparare un singolo bug nascosto in un codice sorgente, proprio come trovare un errore di battitura specifico in un romanzo. Poi, hanno alzato il livello di difficoltà con un "Setting Difficile", dove l'IA doveva dare la caccia a più bug contemporaneamente, come un detective che cerca di risolvere un'intera serie di crimini in una sola notte. Hanno anche testato l'IA su "Potential Bugs" (bug potenziali): scenari in cui l'IA potrebbe trovare un problema che non era nemmeno nell'elenco originale dei problemi noti, chiedendole essenzialmente: "Hai trovato qualcosa di nuovo che è effettivamente rotto?".

Per assicurarsi che l'IA non stesse solo tirando a indovinare, i ricercatori hanno utilizzato un astuto sistema di punteggio a "doppio binario". Un binario controllava se l'IA trovava i bug che loro sapevano esserci (Recorded Bugs). L'altro binario era più complicato: se l'IA sosteneva di aver trovato un nuovo bug, il sistema costringeva l'IA a scrivere un test per provarlo. Se l'IA non riusciva a provare l'esistenza del bug con un test, la scoperta non veniva conteggiata. È come se un detective affermasse di aver trovato una cassaforte nascosta; deve mostrarti la chiave e aprirla per dimostrare che è reale.

I risultati? Si scopre che anche gli agenti IA più intelligenti e avanzati di oggi stanno ancora lottando con questo lavoro da detective proattivo. Quando i ricercatori hanno testato i modelli di alto livello (come Claude Opus 4.8, GPT-5.5 e altri), hanno scoperto che la maggior parte di essi riusciva a riparare solo circa il 20% dei bug noti quando venivano lasciati senza una guida. Questo è un calo enorme rispetto a quando viene fornito un issue report dettagliato.

Lo studio suggerisce che, sebbene questi agenti IA stiano diventando bravi a seguire le istruzioni, sono ancora piuttosto scarsi nel guardarsi intorno in una stanza disordinata e capire da soli cosa si è rotto. Spesso si perdono nel codice, non riescono a individuare esattamente dove si trova il problema (una capacità chiamata "localization") e faticano a gestire più problemi contemporaneamente. Interessantemente, l'IA era leggermente più brava a trovare certi tipi di bug, come quelli relativi alla logica o al flusso dei dati, ma era quasi totalmente smarrita di fronte ai bug che coinvolgevano lo "stato" del sistema (come un semaforo che rimane bloccato).

Forse, cosa più importante, il paper mostra che trovare il bug è solo metà della battaglia. I dati suggeriscono che se l'IA non riesce a localizzare accuratamente la parte rotta del codice, quasi mai la ripara correttamente. È come cercare di riparare un tubo che perde senza sapere quale tubo stia perdendo; potresti finire per stringere quello sbagliato.

In breve, questo paper non sostiene che l'IA abbia risolto la riparazione del software. Al contrario, suona un allarme: l'attuale generazione di agenti di programmazione è ancora troppo dipendente dagli umani per indicare i problemi. Il sogno "proattivo" — dove l'IA scansiona il codice e risolve i problemi prima che causino un crash — è ancora un lavoro in corso. I ricercatori concludono che, sebbene questi agenti siano potenti, devono diventare molto più bravi nell'essere detective indipendenti prima che possiamo fidarci di loro per mantenere sicure le nostre città digitali senza una rete di sicurezza.