Probing out-of-distribution generalization in machine learning for materials
Questo studio rivela che le comuni valutazioni euristiche nell'apprendimento automatico applicato alla scienza dei materiali spesso sovrastimano la generalizzabilità e i benefici dello scaling neurale poiché testano principalmente l'interpolazione all'interno del dominio di addestramento piuttosto che la vera estrapolazione fuori distribuzione, dove l'aumento dei dati o della dimensione del modello produce rendimenti decrescenti o avversi.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nella ricerca di nuovi materiali, gli scienziati si sono rivolti sempre più all'intelligenza artificiale per accelerare il processo. Immaginate una vasta biblioteca contenente milioni di ricette per diverse sostanze, ognuna con proprietà uniche come la resistenza, la conducibilità o l'energia necessaria per formarsi. Tradizionalmente, trovare un nuovo materiale significava testare una ricetta dopo l'altra in un laboratorio, un compito lento e costoso. L'apprendimento automatico offre una scorciatoia: studiando la biblioteca esistente, un computer può apprendere le regole della chimica e prevedere le proprietà di materiali che non ha mai visto prima. L'obiettivo finale è costruire modelli che siano veramente generali, ovvero che possano fare previsioni accurate su tipi completamente nuovi di materia, non solo su quelli che somigliano a ciò che hanno già studiato. Questa capacità di gestire l'ignoto è fondamentale per risolvere le sfide globali, dalla creazione di batterie migliori alla progettazione di pannelli solari più efficienti. Tuttavia, rimane un dubbio persistente su quanto questi strumenti digitali funzionino effettivamente di fronte al veramente sconosciuto.
Un team di ricercatori si è posto l'obiettivo di testare i limiti di questi modelli di apprendimento automatico nel campo della scienza dei materiali. Volevano sapere se i modelli stessero imparando realmente le leggi profonde della natura o se stessero semplicemente memorizzando schemi che, per caso, sembravano nuove scoperte. Per farlo, hanno progettato un esperimento massiccio che coinvolgeva oltre 700 diverse sfide. In ogni sfida, hanno addestrato un modello informatico su una grande collezione di materiali noti e poi hanno chiesto al modello di prevedere le proprietà di un gruppo specifico di materiali che erano completamente assenti dai suoi dati di addestramento. Questi gruppi erano definiti da regole specifiche, come "tutti i materiali che contengono un certo elemento" o "tutti i materiali con una specifica forma cristallina". I ricercatori hanno testato una grande varietà di modelli, che spaziavano da algoritmi semplici ed consolidati a complessi sistemi di reti neurali moderni che imitano il cervello umano.
I risultati sono stati sorprendenti. Nella stragrande maggioranza di queste 700 sfide, i modelli si sono comportati eccezionalmente bene, anche quando i materiali di test contenevano elementi o strutture che non avevano mai incontrato durante l'addestramento. I modelli semplici, che utilizzano regole decisionali di base, hanno spesso ottenuto prestazioni uguali a quelle dei sistemi di deep learning più sofisticati. Questo alto livello di successo suggerisce che i modelli non stiano faticando a generalizzare verso una nuova chimica quanto si pensava in precedenza. Tuttavia, i ricercatori sono andati più a fondo per capire perché questo stesse accadendo. Hanno scoperto che la definizione di "nuovo" in questi test era spesso fuorviante. Sebbene i materiali di test fossero tecnicamente diversi in termini di ingredienti chimici, occupavano spesso lo stesso quartiere generale nello spazio matematico utilizzato dai modelli per comprendere i materiali. In altre parole, i modelli non stavano realmente avventurandosi nell'ignoto; stavano semplicemente riempiendo i vuoti tra ciò che già sapevano.
Per dimostrare questo, il team ha mappato il paesaggio matematico in cui vivono questi materiali. Hanno scoperto che, per i compiti in cui i modelli avevano successo, i nuovi materiali erano in realtà circondati dai dati di addestramento, permettendo ai modelli di fare ipotesi sicure basate su esempi vicini. Ma quando hanno esaminato i pochi compiti in cui i modelli fallivano, hanno trovato che i materiali di test erano veramente isolati, lontani da qualsiasi dato che i modelli avessero visto. Questa distinzione ha rivelato un difetto critico nel modo in cui il settore misura il successo. Molti dei test che venivano celebrati come prova della capacità di un modello di gestire l'ignoto erano in realtà solo test della sua capacità di interpolare, ovvero di indovinare il punto medio tra punti noti. I modelli non stavano dimostrando una capacità magica di estrapolare verso le regioni remote dello spazio chimico; stavano solo collegando i punti in una regione che già comprendevano.
Lo studio ha anche messo in discussione un'idea popolare nell'intelligenza artificiale nota come "scaling" (scalabilità). La convinzione prevalente è che, se si aumenta semplicemente il dataset di addestramento o si lascia che il modello si addestri per più tempo, la sua capacità di generalizzare migliorerà sempre. I ricercatori hanno testato questo concetto fornendo ai modelli sempre più dati. Per i compiti facili, in cui i nuovi materiali erano vicini a quelli vecchi, le prestazioni sono migliorate con più dati. Ma per i compiti veramente difficili, dove i materiali erano molto al di fuori della zona di addestramento, aggiungere dati o tempo di addestramento non ha aiutato. In alcuni casi, ha addirittura peggiorato le cose, causando l'overfitting (sovra-adattamento) ai dati noti e facendo perdere ai modelli la capacità di indovinare correttamente l'ignoto. Ciò suggerisce che la promessa di risolvere tutti i problemi di generalizzazione tramite la scalabilità sia sopravvalutata quando si tratta di materiali veramente nuovi.
I ricercatori hanno concluso che il settore deve essere più attento nel definire e testare la generalizzazione. Gli attuali metodi, che si affidano a semplici regole per separare i dati di addestramento dai dati di test, creano spesso illusioni di successo. Mostrano che i modelli sono bravi in ciò che sanno fare, ma non provano necessariamente che questi modelli possano gestire le sfide veramente difficili e impreviste che guideranno le future scoperte scientifiche. Lo studio non dice che l'apprendimento automatico stia fallendo; piuttosto, suggerisce che abbiamo posto le domande sbagliate. Riconoscendo che molti dei nostri test "difficili" sono in realtà piuttosto facili per i modelli, gli scienziati possono ora concentrarsi sulla progettazione di sfide veramente impegnative. Questo cambiamento aiuterà a identificare i reali vuoti nella nostra comprensione e a guidare lo sviluppo di modelli che possano veramente navigare nei territori inesplorati della scienza dei materiali.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.