SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?

La scienza si è sempre avvalsa di strumenti: il telescopio che ha rivelato stelle lontane, il microscopio che ha svelato il mondo nascosto delle cellule e l'acceleratore di particelle che ha sondato la trama della materia. Oggi, un nuovo tipo di strumento è diventato indispensabile, uno che non vive in un cassetto di laboratorio ma nel regno digitale del codice informatico. Questo software non è più solo un aiutante che elabora numeri per uno scienziato; è diventato lo strumento stesso. Quando un ricercatore simula un nuovo farmaco, modella il clima o analizza la luce di una galassia lontana, sta eseguendo programmi che agiscono come la lente stessa attraverso cui egli osserva la realtà. Se il codice contiene un difetto, il risultato non è semplicemente un errore informatico; è un pezzo di evidenza corrotta che può minare una conclusione scientifica.

Per anni, i ricercatori hanno cercato di insegnare all'intelligenza artificiale come correggere questi programmi guasti. Hanno costruito test per vedere se un computer potesse leggere un rapporto sugli errori e scrivere una patch per riparare il software. Questi test hanno dimostto che le macchine stanno diventando più brave a correggere errori di codifica semplici. Tuttavia, rimaneva una domanda critica senza risposta: questi sistemi intelligenti possono gestire il mondo complesso e ad alta posta in gioco del software scientifico? In questo ambito, una riparazione deve fare di più che rendere un programma funzionante; deve preservare le delicate leggi della fisica, della chimica o della biologia che il codice sta cercando di rappresentare. Una riparazione che rende il software più veloce ma ne cambia il significato scientifico è un fallimento, anche se il computer dichiara di aver superato il test.

Un team di ricercatori ha affrontato ora questa questione creando un nuovo banco di prova chiamato SWE-bench Science. Hanno raccolto 119 compiti reali da 98 diversi progetti software utilizzati dagli scienziati in 20 campi distinti, che spaziano dalla chimica e la biologia all'astronomia e l'ingegneria civile. Questi compiti non erano semplici esercizi; erano tratti da problemi reali incontrati dagli scienziati, come una simulazione che produceva un valore energetico errato per un cristallo o uno strumento di analisi dei dati che interpretava male le coordinate di un campione biologico. I ricercatori hanno organizzato queste sfide in tre tipi. Alcune erano riparazioni dirette di bug noti, altre richiedevano all'IA di agire come un esperto investigatore per capire perché un risultato scientifico sembrasse errato, e il resto esigeva che l'IA comprendesse come diverse parti di un massiccio sistema software si incastrino tra loro per completare un intero flusso di lavoro.

I risultati di questo esperimento sono stati rivelatori. Anche gli agenti di codifica più avanzati disponibili oggi hanno incontrato difficoltà significative. Il sistema con le migliori prestazioni, un modello sofisticato dotato di un potente assistente alla codifica, è riuscito a risolvere meno della metà dei compiti correttamente. Questo basso tasso di successo evidenzia un profondo divario tra ciò che l'intelligenza artificiale attuale può fare e ciò che è richiesto per mantenere il software scientifico. I ricercatori hanno scoperto che, quando questi sistemi fallivano, lo facevano in quattro modi prevedibili. Spesso, l'IA mancava della specifica conoscenza scientifica necessaria per comprendere il problema, portandola a proporre correzioni che avevano senso per un computer ma violavano le leggi della natura. Talvolta, il sistema correggeva solo il sintomo superficiale visibile, come un numero che appariva errato, senza risalire alla causa radice dell'errore. In altri casi, la correzione funzionava per una parte del programma ma interrompeva la connessione con un'altra parte, fallendo nell'integrare la riparazione nel sistema più ampio. Infine, l'IA falliva frequentemente nell'applicare un principio scientifico a nuove situazioni, rimanendo bloccata sull'esempio specifico che le era stato dato e incapace di generalizzare la propria soluzione.

Per comprendere il ruolo della conoscenza scientifica in questi fallimenti, i ricercatori hanno condotto un esperimento specifico. Hanno preso un sottoinsieme dei compiti e li hanno eseguiti due volte: una volta con l'IA dotata di informazioni di base aggiuntive sulla scienza coinvolta, e una volta senza. I risultati hanno mostrato che queste informazioni extra non erano una soluzione magica. Per alcuni dei modelli di IA più forti, fornire il contesto scientifico li rendeva effettivamente leggermente meno propensi a risolvere il problema perfettamente, forse perché il testo aggiuntivo li distraeva o li portava a fare troppo affidamento sulla spiegazione fornita piuttosto che testare le proprie idee. Per i modelli più deboli, le informazioni extra aiutavano, ma richiedevano anche una maggiore potenza di calcolo. Ciò suggerisce che non basta nutrire un'IA con più fatti per garantire una migliore riparazione; il sistema deve essere in grado di collegare quei fatti al codice e verificarli attraverso l'esecuzione.

Lo studio conclude che, sebbene l'intelligenza artificiale stia facendo progressi nell'ingegneria del software generale, le esigenze uniche del calcolo scientifico rimangono una sfida formidabile. Correggere il codice scientifico richiede un livello di comprensione che va oltre la sintassi e la logica; richiede una padronanza dei principi fisici e teorici che il codice incarna. Finché questi sistemi non saranno in grado di distinguere in modo affidabile tra un programma che gira e un programma che è scientificamente valido, il compito di mantenere gli strumenti digitali della scienza rimarrà probabilmente un lavoro per esperti umani. Il nuovo benchmark fornisce una mappa chiara di dove si trovano questi sistemi oggi, mostrando che la strada verso la riparazione del software scientifico completamente autonoma è ancora lunga e piena di complessi ostacoli.