Experimental reasoning in large language models

La scienza è sempre stata una conversazione tra una domanda e il mondo fisico. Un ricercatore propone un'idea, progetta un test per vedere se il mondo è d'accordo, e poi osserva cosa succede. Se il risultato è inaspettato, il ricercatore cambia il piano e riprova. Questo ciclo di chiedere, agire e aggiustare è il motore della scoperta. Per decenni, gli scienziati hanno cercato di costruire macchine che potessero fare questo lavoro per loro. I primi tentativi si sono concentrati sull'automazione: robot in grado di seguire un insieme rigoroso di istruzioni, come uno chef che segue alla lettera una ricetta. Queste macchine sono eccellenti nella ripetizione, ma faticano quando la cucina prende fuoco o manca un ingrediente. Non sanno pensare rapidamente in situazioni impreviste. La domanda ora è se la nuova generazione di intelligenza artificiale, specificamente i modelli linguistici di grandi dimensioni, possa fare di più che limitarsi a eseguire ordini. Questi programmi informatici possono effettivamente ragionare attraverso un esperimento scientifico, decidendo cosa fare dopo in base a ciò che vedono, proprio come farebbe un ricercatore umano?

Un team di ricercatori della Duke University ha cercato di rispondere a questa domanda costruendo un sistema che chiamano PEARL. Hanno collegato un normale programma per computer, progettato per comprendere e generare il linguaggio umano, a un semplice robot da laboratorio e a una webcam. Il robot poteva spostare liquidi tra piccoli contenitori, e la telecamera poteva osservare i risultati. I ricercatori hanno dato al sistema un obiettivo, come "crea un arcobaleno nel vassoio dei contenitori", ma non hanno fornito una guida passo dopo passo su come farlo. Non hanno detto al sistema quali colori mescolare, in quale ordine, o persino quali bottiglie contenessero quali coloranti. Il sistema ha dovuto scoprire l'intero processo da solo. Ha dovuto guardare gli strumenti disponibili, decidere cosa mescolare, eseguire l'azione, osservare il risultato e poi decidere se aveva avuto successo o se doveva provare qualcosa di diverso.

Il sistema funzionava dividendo il processo di pensiero in diversi ruoli che comunicavano tra loro. Una parte del sistema pianificava l'esperimento, un'altra prevedeva cosa sarebbe successo e una terza controllava gli errori. Quando il robot mescolava due liquidi e il colore risultava errato, il sistema non continuava semplicemente a procedere. Si fermava, osservava le prove e si rendeva conto che la sua previsione era errata. Poi rivedeva il suo piano e provava una nuova miscela. In un test, i ricercatori hanno chiesto al sistema di creare il viola usando solo coloranti rossi e verdi. Il sistema ha capito correttamente che questo era impossibile e si è rifiutato di mescolarli, chiedendo invece un'istruzione migliore. In un altro test, un essere umano ha ruotato segretamente il vassoio dei contenitori mentre il sistema stava lavorando. Il sistema ha notato che i colori erano nei posti sbagliati, ha aggiornato la sua mappa mentale del vassoio e ha adattato le sue azioni per mescolare i liquidi corretti nelle nuove posizioni. Lo ha fatto senza che gli venisse detto che il vassoio si era spostato.

I ricercatori hanno spinto questo limite ulteriormente chiedendo al sistema di eseguire un vero test biochimico per misurare quanto velocemente funziona un enzima. Ciò richiedeva misurazioni precise e una tempistica attenta. Il sistema doveva decidere quanto liquido mescolare, quando scattare una foto e come analizzare il cambiamento dei colori nel tempo. Quando i ricercatori hanno introdotto un problema, come l'aggiunta accidentale di troppo liquido in un contenitore, il sistema ha individuato l'errore, ha ignorato i dati errati e ha utilizzato i restanti dati corretti per completare il calcolo. Quando la miscela iniziale era troppo concentrata per essere misurata accuratamente, il sistema ha capito di aver bisogno di ulteriori informazioni. Invece di tirare a indovinare, ha progettato un nuovo esperimento più piccolo solo per diluire la miscela e vedere i colori reali. Ha poi utilizzato quelle nuove informazioni per correggere l'esperimento principale. In ogni scenario, il sistema ha tradotto con successo un obiettivo vago in un'azione fisica, ha interpretato il risultato e ha deciso cosa fare dopo.

Lo studio ha anche testato quanto aiuto il sistema avesse per avere successo. I ricercatori hanno provato a eseguire gli stessi compiti con una configurazione più semplice che aveva meno ruoli interni e nessuna memoria condivisa della cronologia dell'esperimento. Questa versione più semplice spesso falliva nel collegare i punti tra ciò che vedeva e ciò che doveva fare dopo. Poteva individuare un problema ma dimenticare di risolverlo, oppure perdeva il filo della sequenza di passaggi. Tuttavia, quando il sistema disponeva di un registro persistente dell'esperimento e di alcuni ruoli specializzati che controllavano il lavoro l'uno dell'altro, aveva successo quasi ogni volta. Ciò suggerisce che la capacità di ragionare attraverso un esperimento derivi in gran parte dall'intelligenza sottostante del modello linguistico, ma che un po' di struttura aiuti a mantenere la concentrazione e l'affidabilità.

Questi risultati suggeriscono un cambiamento nel modo in cui potremmo pensare all'automazione di laboratorio. Invece di programmare i robot affinché seguano ogni possibile eventualità in anticipo, potremmo presto essere in grado di dare loro un obiettivo e lasciare che scoprano i dettagli. Il sistema non ha avuto bisogno di una ricetta pre-scritta per gestire un vassoio ruotato o un colorante concentrato; ha risolto queste situazioni sul momento. I ricercatori sottolineano che questo non è ancora un ricercatore completamente autonomo capace di inventare nuove teorie o porre domande profonde sull'universo. Gli esperimenti erano limitati a compiti specifici con risultati visivi. Tuttavia, il lavoro dimostra che i modelli informatici generici possono già agire come uno strato di ragionamento tra un obiettivo scientifico e il mondo fisico. Possono osservare, interpretare e adattarsi, trasformando l'atto dell'esperimentazione in una parte del processo di ragionamento stesso. Questo sposta il campo dalla semplice automazione verso un futuro in cui le macchine possono partecipare direttamente al processo scientifico, gestendo l'inaspettato e imparando da ciò che vedono.