The Illusion of Chemical Continuity Limits Machine Learning Generalization

Immagina di cercare di insegnare a un robot a prevedere il tempo. Potresti pensare che, se dessi al robot un milione di anni di dati meteorologici, alla fine imparerà la formula perfetta per dirti esattamente cosa farà il cielo domani. Questo è il sogno della "informatica dei materiali", un campo in cui gli scienziati utilizzano enormi quantità di dati e potenti cervelli informatici (apprendimento automatico) per prevedere come si comporteranno i nuovi materiali. L'idea principale, o "Ipotesi di Scalabilità", è che l'universo degli elementi chimici sia come una collina liscia e continua. Se conosci la forma della collina in un punto, dovresti essere in grado di indovinare la forma ovunque altro semplicemente guardando abbastanza punti dati. Questo funziona magnificamente per alcune cose, come prevedere quanta energia occorra per costruire una molecola. Ma per una proprietà specifica chiamata "bandgap" — che è essenzialmente l'interruttore magico che decide se un materiale è un conduttore, un isolante o un semiconduttore (come il silicio nel tuo telefono) — i robot continuano a sbattere contro un muro. Non importa quanti dati vengano forniti loro, le loro previsioni sono spesso errate di un margine ampio, a volte mancando il bersaglio di ben 0,4 o 0,5 elettronvolt (eV). Poiché la luce visibile copre un intervallo di circa 1 eV, questo errore è enorme; è come cercare di sintonizzare una radio e finire con il fruscio invece della canzone che vuoi ascoltare.

Questo articolo investiga perché i robot falliscono in questo compito specifico. Gli autori, un team di ricercatori dell'Università di Toronto e di altre istituzioni, sostengono che il problema non sia che i robot non siano abbastanza intelligenti o che non abbiano visto abbastanza dati. Inveve, suggeriscono che la "collina liscia" che i robot stanno cercando di scalare non esista affatto per i bandgap. Hanno scoperto che lo spazio chimico per queste proprietà è in realtà più simile a un mosaico frammentato di isole disgiunte. Quando i ricercatori hanno cercato di addestrare i loro modelli su diversi tipi di strutture cristalline (come il salgemma rispetto allo zinco-blenda), aggiungere più dati non ha aiutato; anzi, ha peggiorato le previsioni. Hanno scoperto che la natura fondamentale degli elettroni e degli atomi crea salti netti e improvvisi nelle proprietà che non possono essere smussati da una semplice matematica. Il documento suggerisce che, per risolvere la questione, non possiamo limitarci a lanciare più dati sul problema; dobbiamo insegnare ai robot le vere regole della fisica quantistica (l'Hamiltoniana) che governano questi salti, piuttosto che chiedere loro solo di indovinare basandosi su schemi.

L'illusione di una collina liscia

Per molto tempo, gli scienziati hanno creduto che il mondo della chimica fosse un paesaggio gigante e continuo. Immaginate una collina dolce e ondulata dove, se conoscete l'altezza in un punto, potete facilmente indovinare l'altezza a pochi passi di distanza. Questa idea, chiamata "Ipotesi di Scalabilità", è la base della moderna scoperta dei materiali. La convinzione era che se avessimo semplicemente raccolto abbastanza punti dati — milioni di strutture cristalline e le loro proprietà — i nostri modelli di intelligenza artificiale (IA) avrebbero potuto imparare a percorrere questa collina perfettamente. Avrebbero potuto prevedere come un nuovo materiale, mai visto prima, si sarebbe comportato semplicemente guardando i suoi vicini.

Questa strategia è stata un grande successo per alcune proprietà. Ad esempio, prevedere l'energia di formazione (quanta energia serve per costruire un materiale da zero) è come camminare su un sentiero liscio e ben pavimentato. I modelli di IA possono farlo con una precisione quasi perfetta, eguagliando i risultati delle simulazioni fisiche più complesse. Ma quando si tratta di prevedere il "bandgap", l'IA si scontra con un muro di mattoni. Il bandgap è una proprietà critica che determina come un materiale interagisce con la luce e l'elettricità. È la differenza tra un materiale che blocca l'elettricità (un isolante), uno che la conduce liberamente (un metallo) e uno che può essere acceso e spento (un semiconduttore).

Nonostante un decennio di tentativi e l'alimentazione dei modelli con enormi set di dati, l'errore nella previsione dei bandgap rimane ostinatamente alto, oscillando intorno a 0,4 - 0,5 eV. Per dare un termine di paragone, l'intero intervallo di colori che i nostri occhi possono vedere è largo solo circa 1 eV. Un errore di 0,5 eV significa che l'IA potrebbe prevedere che un materiale sia trasparente quando in realtà è opaco, o che emetta una luce rossa quando dovrebbe essere blu. La domanda che l'articolo pone è semplice: perché l'IA fallisce così tanto in questo compito specifico, quando è così brava in tutto il resto?

Il mosaico frammentato

Gli autori di questo articolo hanno deciso di smettere di assumere che la collina fosse liscia e hanno iniziato a guardare il terreno con un microscopio. Hanno utilizzato un dataset completo di semiconduttori binari (materiali composti da due elementi) e modelli di IA all'avanguardia per mappare il paesaggio. Ciò che hanno trovato è stato scioccante: il paesaggio per i bandgap non è affatto una collina liscia. È una collezione di isole disgiunte.

Immaginate di cercare di insegnare a un robot a riconoscere la differenza tra una "roccia" e una "piuma". Se gli mostrate un milione di rocce e un milione di piume, imparerà lo schema. Ma cosa succede se improvvisamente gli mostrate un ibrido "roccia-piuma"? Se il robot ha visto solo rocce pure e piume pure, potrebbe confondersi. Gli autori hanno scoperto che diverse strutture cristalline (il modo in cui gli atomi sono disposti) sono come queste diverse isole. Hanno scoperto che i modelli addestrati su un tipo di struttura, come lo "zinco-blenda", fallivano miseramente quando venivano interrogati per prevedere le proprietà di un altro tipo, come il "salgemma", anche se gli ingredienti chimici erano gli stessi.

In effetti, aggiungere più dati da diverse strutture non ha aiutato; ha peggiorato le cose. Questo è chiamato "apprendimento negativo". È come cercare di insegnare a uno studente a risolvere problemi di matematica mescolando algebra, geometria e calcolo tutto in una lezione senza spiegare le regole. Lo studente si confonde e inizia a sbagliare tutto. Il documento mostra che quando si mescolano dati da diverse strutture cristalline, l'IA cerca di mediarli, creando una previsione che è sbagliata per tutti. Lo "spazio latente" (la mappa interna che l'IA costruisce nel suo cervello) mostra che queste strutture occupano regioni completamente separate e non sovrapponibili. Non esiste un percorso fluido che le connetta.

Il precipizio quantistico

Perché il paesaggio è così frammentato? Il documento risale il problema alla natura fondamentale degli elettroni. Nel mondo quantistico, gli elettroni vivono in "orbitali" specifici e discreti (come i gradini di una scala). Non puoi stare a metà tra due pioli. Quando cambi leggermente gli ingredienti di un materiale, i livelli energetici di questi elettroni non scivolano dolcemente; essi saltano.

Gli autori hanno eseguito una simulazione in cui cambiavano lentamente un elemento in un altro (un processo chiamato "interpolazione alchemica"). Hanno osservato cosa accadeva all'energia totale del materiale rispetto al bandgap. L'energia totale si comportava come uno scivolo liscio, cambiando dolcemente man mano che gli atomi si spostavano. Ma il bandgap? Si comportava come un precipizio. Non appena il numero di elettroni cambiava anche solo di pochissimo, il bandgap crollava improvvisamente o saltava a un valore completamente diverso. Questo accade perché gli elettroni devono riorganizzarsi in nuovi livelli energetici distinti, e questa riorganizzazione crea un "cuspide" o una rottura netta nei dati.

A causa di questi salti netti, la tavola periodica (la tabella di tutti gli elementi) non è un gradiente liscio per i bandgap. È una collezione di domini isolati. Il documento mostra che anche all'interno di un singolo gruppo di elementi, come gli alogenuri o i calcogenuri, le tendenze sono disordinate e imprevedibili. Ad esempio, mentre il bandgap dei composti di sodio (Na) potrebbe diminuire regolarmente al variare dell'elemento partner, i composti di magnesio (Mg) potrebbero fare qualcosa di completamente diverso, rompendo l'intero schema. L'IA, che si affida alla ricerca di schemi fluidi per fare supposizioni, non ha nulla su cui aggrapparsi.

L'illusione della continuità

L'argomento centrale del documento è che l'approccio "Big Data" ha raggiunto un limite. La convinzione prevalente era che se avessimo raccolto abbastanza dati, l'IA avrebbe alla fine compreso la fisica. Ma gli autori sostengono che non si può risolvere un problema di discontinuità quantistica con un problema di continuità statistica. L'IA sta cercando di tracciare una linea fluida attraverso un insieme di punti che sono in realtà su isole diverse e disconnesse. Non importa quanti punti si aggiungano, se le isole non si toccano, la linea sarà sempre errata.

Il documento esclude esplicitamente l'idea che il problema sia solo la mancanza di dati o la mancanza di complessità del modello. Hanno testato questo utilizzando i modelli più avanzati disponibili (come coGN e CGCNN) e addestrandoli su enormi dataset. I risultati sono stati gli stessi: il limite dell'errore è rimasto invariato. Hanno anche escluso l'idea che il problema fosse solo la complessità delle strutture cristalline, perché anche quando hanno semplificato il compito guardando solo il "punto gamma" (un punto specifico nella mappa energetica), gli errori persistevano.

Gli autori suggeriscono che la soluzione non sia raccogliere più dati, ma cambiare la domanda. Invece di chiedere all'IA di prevedere direttamente il bandgap (che è una proprietà irregolare e discontinua), dovremmo chiederle di prevedere la fisica sottostante che crea il bandgap. Propongono che abbiamo bisogno di insegnare all'IA a apprendere l' "Hamiltoniana" (la descrizione matematica del sistema quantistico) direttamente. Se l'IA può apprendere le regole lisce e continue di come interagiscono gli elettroni, può poi calcolare il bandgap irregolare partendo da quelle regole. È la differenza tra cercare di memorizzare le previsioni del tempo per ogni giorno dell'anno e imparare le leggi della termodinamica che causano effettivamente il meteo.

Conclusione: Una nuova strada da seguire

Questo articolo funge da richiamo alla realtà per il campo della scienza dei materiali. Suggerisce che il sogno di un modello universale guidato dai dati, capace di prevedere qualsiasi proprietà di qualsiasi materiale, è fallace quando si tratta di proprietà elettroniche come i bandgap. L' "illusione della continuità chimica" è proprio questo: un'illusione. Il mondo quantistico è discreto, e i nostri attuali metodi di trattamento come un paesaggio liscio e continuo sono fondamentalmente incompatibili.

Gli autori non pretendono di aver risolto il problema. Suggeriscono invece che il futuro del campo risieda nell'integrare la meccanica quantistica più profondamente nel machine learning, forse facendo in modo che l'IA preveda gli elementi della matrice Hamiltoniana continua invece della proprietà finale. Finché non lo faremo, l'IA continuerà a lottare con i bordi netti e irregolari del mondo quantistico, indipendentemente da quanti dati le lanceremo contro. Il documento si conclude con un messaggio chiaro: dobbiamo smettere di cercare di smussare i precipizi e iniziare a imparare come scalarli.