In un laboratorio, uno scienziato raramente segue una ricetta stampata esattamente come scritta. Il mondo della biologia sperimentale è definito dall'adattamento. Un protocollo, che è semplicemente un insieme dettagliato di istruzioni per un esperimento, è spesso solo un punto di partenza. Quando un ricercatore sposta quell'esperimento su un nuovo tipo di cellula, su una macchina diversa o in un ambiente chimico leggermente differente, deve modificare i passaggi. Non si tratta solo di cambiare un numero; si tratta di capire come un singolo cambiamento si propaghi attraverso il resto del processo. Se uno scienziato altera la temperatura nel primo passaggio, potrebbe dover regolare il tempo nel terzo passaggio, o sostituire un componente chimico nell'ultimo. Fare questo correttamente richiede una profonda comprensione pratica di causa ed effetto, dove un piccolo errore nel mezzo può rovinare i risultati alla fine. Per decenni, questo tipo di ragionamento è stato una capacità unicamente umana, basata sull'esperienza e l'intuizione che i computer hanno faticato a imitare.

I ricercatori di Benchling, un'azienda che sviluppa software per scienziati, hanno creato un nuovo modo per testare se l'intelligenza artificiale possa padroneggiare questo specifico tipo di pensiero. Hanno introdotto un test chiamato BenchBench-Protocol. Invece di chiedere a un computer di risolvere un problema ipotetico o di recitare fatti da un libro di testo, hanno presentato una sfida del mondo reale: prendere un protocollo scientifico pubblicato e modificarlo per una nuova situazione, proprio come farebbe un ricercato umano. Il team non ha inventato queste sfide dal nulla. Hanno esaminato migliaia di esperimenti reali eseguiti da veri scienziati sulla piattaforma Benchling. Hanno trovato casi in cui uno scienziato ha preso un protocollo standard pubblicato e lo ha modificato per adattarlo alle proprie esigenze specifiche. Confrontando le istruzioni originali con la versione modificata dallo scienziato, i ricercatori hanno estratto la logica esatta utilizzata dall'essere umano. Hanno poi trasformato queste modifiche reali in 149 domande di test distinte. Ogni domanda chiede a un'intelligenza artificiale di spiegare come modificherebbe un protocollo e, cosa fondamentale, di giustificare perché tali modifiche siano necessarie.

Per garantire che questi test fossero equi e accurati, i ricercatori non si sono affidati ai computer per valutare le risposte. Hanno coinvolto esperti umani. Ognuna delle 149 attività è stata revisionata da scienziati dotati di titoli accademici avanzati che hanno trascorso almeno tre anni lavorando in un laboratorio. Questi esperti hanno verificato che le domande avessero senso, che le regole per una risposta corretta fossero scientificamente fondate e che il compito riflettesse effettivamente il tipo di lavoro svolto da un vero scienziato. Hanno mantenuto solo i compiti che avevano ricevuto i punteggi più alti in termini di qualità e rilevanza. L'insieme finale copre nove diverse aree della biologia, dal lavoro con proteine e cellule al sequenziamento del DNA e la crescita di microbi. L'obiettivo era creare un benchmark che misurasse se una macchina potesse ragionare sulle conseguenze a valle di un cambiamento, piuttosto che limitarsi a indovinare la risposta corretta.

I ricercatori hanno poi messo alla prova nove diversi modelli di intelligenza artificiale. A questi modelli sono stati forniti il protocollo originale, una descrizione del nuovo obiettivo sperimentale e l'accesso a strumenti di ricerca per trovare informazioni. È stato chiesto loro di scrivere una risposta libera spiegando come modificare il protocollo. Le risposte sono state poi valutate rispetto alle regole verificate dagli esperti. I risultati hanno mostato che, sebbene questi modelli abbiano fatto progressi significativi, hanno ancora molta strada da fare. Il modello con le prestazioni migliori, Claude Opus 5, ha ottenuto un punteggio del 59,2 percento. Ciò significa che ha affrontato correttamente le modifiche necessarie e le loro conseguenze in poco più della metà dei casi. Gli altri modelli hanno ottenuto punteggi compresi tra il 34,1 e il 47,1 percento. Anche il top performer ha lasciato una grande quantità di crediti non guadagnati, indicando che il test è difficile e che i modelli non sono ancora perfetti.

Lo studio ha anche esaminato cosa accade quando a un modello è permesso provare la stessa domanda più volte, simulando uno scienziato che potrebbe eseguire una simulazione o controllare diverse opzioni prima di decidere. Quando i ricercatori hanno preso la risposta migliore da dieci tentativi, i punteggi sono migliorati, ma il divario tra i modelli è cambiato. Alcuni modelli che erano mediocri in un singolo tentativo sono diventati molto più forti quando hanno avuto più possibilità, mentre altri sono rimasti costanti. Ciò suggerisce che i diversi modelli abbiano punti di forza differenti; alcuni sono più affidabili, altri sono più propensi a produrre una risposta brillante se hanno fortuna. Tuttavia, anche con dieci tentativi, il miglior modello non è riuscito a catturare tutti i punti disponibili, dimostrando che il benchmark non è ancora "saturo" o troppo facile per la tecnologia attuale.

I ricercatori hanno scoperto che i modelli si comportano diversamente a seconda del tipo di compito. Sono stati relativamente bravi nei compiti che richiedevano l'analisi di prove sperimentali e il raggiungimento di una conclusione logica. Tuttavia, hanno incontrato maggiori difficoltà nei compiti che richiedevano la "conoscenza tacita", ovvero quel tipo di intuizione o sensazione che un esperto ha riguardo al percorso più probabile o migliore in una situazione reale e disordinata. Questo è stato particolarmente evidente nel troubleshooting, dove un modello deve capire perché un esperimento è fallito e come ripararlo. I modelli variavano anche nell'uso dei loro strumenti di ricerca. Alcuni modelli, come Grok, hanno consumato una quantità enorme di dati cercando estensivamente su Internet, mentre altri sono stati più conservativi. Lo studio ha notato che queste impostazioni di ragionamento elevato, che permettevano ai modelli di pensare profondamente e cercare ampiamente, comportavano un alto costo in termini di potenza di calcolo e tempo.

In definitiva, questo lavoro fornisce un modo concreto per misurare il progresso dell'intelligenza artificiale nella scienza. Costruendo il test sulle modifiche reali apportate da veri scienziati, i ricercatori hanno evitato la trappola di creare problemi artificiali che potrebbero non riflettere la complessità del vero lavoro di laboratorio. I risultati mostrano che, sebbene l'intelligenza artificiale stia diventando uno strumento utile per gli scienziati, non è ancora un sostituto del giudizio umano in laboratorio. I modelli possono richiamare fatti e seguire istruzioni, ma faticano ancora con il ragionamento sfumato e passo dopo passo richiesto per adattare in modo sicuro ed efficace un protocollo scientifico. Man mano che questi strumenti diventano più comuni nella ricerca, benchmark come BenchBench-Protocol saranno essenziali per comprendere dove hanno successo e dove devono ancora imparare. La strada da percorrere non consiste solo nel rendere i modelli più intelligenti, ma nell'insegnare loro a comprendere la catena di causa ed effetto che definisce il metodo scientifico.