LLMs as Acquisition Policies for Finite-Pool Materials Optimization: A Controlled Study

La ricerca di nuovi materiali è un compito lento, costoso e spesso frustrante. Gli scienziati devono trovare combinazioni specifiche di elementi che possiedano proprietà desiderabili, come un metallo che sia allo stesso tempo incredibilmente resistente e leggero, o una ceramica in grado di resistere al calore estremo. Tradizionalmente, trovare queste combinazioni si è basato sul metodo del tentativo ed errore, testando migliaiz di possibilità una alla volta in laboratorio o attraverso complesse simulazioni informatiche. Poiché ogni test costa tempo e denaro, i ricercatori si sono rivolti a una strategia chiamata apprendimento attivo. Questo approccio utilizza un computer per agire come una guida, osservando i risultati dei test precedenti per decidere quale singolo candidato provare successivamente. L'obiettivo è trovare il miglior materiale possibile con il minor numero di test, piuttosto che controllare ciecamente ogni opzione in un elenco massiccio.

Per anni, lo strumento standard per questa guida è stato un metodo statistico noto come processo gaussiano. Pensate a questo metodo come a un cartografo che disegna una mappa di un paesaggio nebbioso; utilizza i pochi punti che ha visto per intuire la forma del terreno tra di essi, bilanciando la necessità di esplorare aree sconosciute con il desiderio di sfruttare i punti elevati già noti. Recentemente, un nuovo tipo di intelligenza artificiale, il modello linguistico di grandi dimensioni (large language model), è entrato nella conversazione. Si tratta degli stessi sistemi potenti che possono scrivere storie, rispondere a domande e risolvere enigmi imparando da enormi quantità di testo. I ricercatori hanno iniziato a chiedersi se questi modelli, che hanno assorbito una vasta quantità di conoscenze scientifiche durante il loro addestramento, potessero agire come la guida stessa. Un modello linguistico di grandi dimensioni potrebbe guardare un elenco di potenziali materiali e semplicemente "sapere" quale testare dopo, senza dover prima costruire una mappa statistica?

Un team di ricercatori del Centro RIKEN per la Scienza Computazionale a Tokyo ha deciso di rispondere a questa domanda con un esperimento controllato. Non hanno costruito una nuova fabbrica chimica né hanno eseguito test fisici; hanno invece utilizzato un metodo chiamato benchmarking retrospettivo. Hanno preso quattro dataset esistenti di materiali che erano già stati testati e li hanno trattati come un universo chiuso di possibilità. In questa configurazione, ai programmi informatici venivano forniti un piccolo elenco iniziale di risultati noti e un grande pool di candidati non ancora testati. Il compito era semplice: trovare il singolo miglior candidato nel pool il più rapidamente possibile. I ricercatori hanno testato cinque diversi modelli linguistici di grandi dimensioni open-source contro la guida statistica standard e un metodo di selezione completamente casuale. Volevano vedere se i modelli linguistici fossero in grado di imparare dalla cronologia dei test e fare scelte intelligenti autonomamente.

I risultati hanno mostrato che i modelli linguistici di grandi dimensioni erano effettivamente capaci di agire come guide. In ogni singolo compito, i modelli hanno trovato il miglior materiale molto più velocemente di un ipotizzatore casuale. Questa è stata una scoperta significativa perché ha dimostrato che questi modelli portano con sé conoscenze scientifiche utili, anche senza essere stati addestrati specificamente per quel lavoro. Potevano esaminare la cronologia di ciò che ha funzionato e ciò che non ha funzionato, e usare quell'informazione per restringere la ricerca. Tuttavia, i modelli non hanno superato costantemente la guida statistica standard. In tre dei quattro compiti, il metodo tradizionale era ancora più veloce e affidabile. I modelli linguici hanno superato la guida standard solo in un compito specifico, e anche in quel caso, i risultati variavano a seconda di quale modello veniva utilizzato e di come le informazioni venissero presentate.

Lo studio ha anche rivelato che il modo in cui le informazioni vengono presentate al modello conta profondamente. Quando i ricercatori hanno fornito ai modelli un elenco di candidati con etichette anonime e semplici come "caratteristica uno" e "caratteristica due", i modelli hanno comunque performato bene, ma non quanto quando ricevevano i nomi scientifici reali, come "ferro" o "resistenza allo snervamento". Ciò suggerisce che i modelli non stanno solo elaborando numeri; stanno usando la loro comprensione del mondo reale. Quando vedono il nome di un elemento o di una proprietà fisica, possono attingere al loro addestramento per fare una previsione migliore. Tuttavia, i ricercatori hanno anche scoperto che i modelli hanno un punto debole: tendono a favorire gli elementi che appaiono all'inizio di un elenco. Se l'elenco dei candidati viene rimescolato, il modello potrebbe sceglierne uno diverso, anche se i dati sono identici. Questo "bias di posizione" significa che i modelli non sono perfettamente coerenti e che le loro prestazioni possono cambiare in base all'ordine in cui le opzioni vengono mostrate.

Per gestire le dimensioni degli elenchi, i ricercatori hanno provato una strategia diversa chiamata torneo a lotti (batch tournament). Invece di mostrare al modello l'intero elenco di centinaia di candidati in una volta sola, hanno diviso l'elenco in gruppi più piccoli, hanno fatto scegliere un vincitore a ciascun gruppo e poi hanno ripetuto il processo con i vincitori finché non ne è rimasto solo uno. Questo metodo ha aiutato alcuni modelli a performare meglio, in particolare nei compiti con liste molto grandi, perché ha evitato che i modelli venissero sopraffatti da troppe informazioni contemporaneamente. Eppure, anche con questo miglioramento, nessun singolo modello o strategia ha vinto sempre. Il miglior approccio dipendeva interamente dal materiale specifico cercato e dalle dimensioni del pool di candidati.

I ricercatori hanno concluso che, sebbene i modelli linguistici di grandi dimensioni siano uno strumento promettente per guidare la scoperta dei materiali, non sono ancora un sostituto dei metodi statistici stabiliti. Essi offrono un segnale utile che può accelerare la ricerca, specialmente quando ai modelli viene fornito un chiaro contesto scientifico, ma mancano della affidabilità e della coerenza degli strumenti tradizionali. Lo studio evidenzia che il futuro dell'IA nella scienza potrebbe non riguardare la sostituzione dei vecchi metodi, ma piuttosto il trovare il modo giusto per combinarli. I modelli dimostrano di avere il potenziale per essere partner utili, ma le loro prestazioni sono sensibili al modo in cui viene chiesto loro di lavorare. Mentre il campo avanza, la sfida sarà capire esattamente come presentare i dati affinché questi potenti strumenti possano essere affidabili quanto gli scienziati che li utilizzano.