Exploring Joint-Embedding Predictive Architectures for Self-Supervised Representation Learning of Powder X-ray Diffraction Patterns

La scienza dei materiali è il motore dietro quasi ogni invenzione moderna, dalle batterie dei nostri telefoni alle leghe nei nostri aerei. Al cuore di questo campo risiede una sfida fondamentale: capire esattamente come sono disposti gli atomi all'interno di un solido. Gli scienziati si sono affidati per lungo tempo a una tecnica chiamata diffrazione di raggi X su polveri per risolvere questo enigma. Quando un fascio di raggi X colpisce un campione in polvere, gli atomi diffondono la luce, creando un modello unico di punti luminosi e spazi scuri. Questo schema funge da impronta digitale, rivelando la dimensione dei grani cristallini, la deformazione all'interno del materiale e la specifica disposizione degli atomi. Tuttavia, la lettura automatica di queste impronte digitali è diventata un collo di bottiglia. Man mano che i laboratori diventano più veloci e automatizzati, il volume di dati generati ha superato la capacità dei software tradizionali di interpretarli. I modelli sono complessi; lievi cambiamenti nella struttura del materiale possono spostare i picchi in modi non lineari e, quando un campione contiene una miscela di materiali diversi, i modelli si sovrappongono in un groviglio caotico che è incredibilmente difficile da districare per i computer.

Per superare questi ostacoli, i ricercatori del National Institute of Standards and Technology si sono rivolti a un nuovo approccio per insegnare ai computer come comprendere questi modelli. Invece di fare affidamento su enormi quantità di dati etichettati o cercare di ricostruire l'immagine esatta del modello pixel per pixel, hanno utilizzato un metodo chiamato Architettura Predittiva di Embedding Congiunto (Joint Embedding Predictive Architecture). Immaginate uno studente che impara a riconoscere un volto non memorizzando ogni singolo poro e ruga, ma comprendendo la struttura sottostante del volto stesso. Questo nuovo modello funziona in modo simile. Osserva una porzione di un modello a raggi X e cerca di prevedere le parti mancanti, ma lo fa in uno spazio semplificato e astratto, piuttosto che cercare di ridisegnare le linee esatte del grafico. Concentrandosi sulle relazioni di alto livello tra i picchi anziché sui dettagli fini del rumore, il modello impara a cogliere il profondo significato fisico dei dati.

I risultati di questo esperimento sono sorprendenti. Quando i ricercatori hanno testato questo modello auto-appreso nel compito di identificare la simmetria di un cristallo, nota come gruppo spaziale, ha ottenuto un'accuratezza di quasi il 62 percento. Questo è straordinario perché il modello ha raggiunto questo risultato utilizzando una frazione della potenza di calcolo richiesta dai sistemi tradizionali completamente supervisionati. Infatti, un sistema molto più grande e complesso, che doveva essere addestrato su milioni di esempi specifici con etichette umane, ha ottenuto prestazioni peggiori rispetto a questo modello snello e auto-supervisionato. I ricercatori hanno scoperto che il modello ha imparato a organizzare i dati in modo così efficace che un modulo aggiuntivo molto piccolo e semplice poteva leggere i risultati e fare previsioni accurate sulle proprietà del materiale. Ciò suggerisce che il modello avesse veramente appreso le regole della cristallografia, piuttosto che limitarsi a memorizzare esempi.

Oltre alla semplice classificazione, lo studio ha rivelato che il modello aveva sviluppato una mappa interna sofisticata di come cambiano i materiali. Quando i ricercatori si sono mossi attraverso lo spazio dei dati interni del modello, hanno scoperto un percorso fluido e continuo che corrispondeva direttamente all'allargamento dei picchi nel modello a raggi X. Questo è un fenomeno fisico causato dalla dimensione dei cristalli o dallo strumento utilizzato, e il modello aveva imparato a isolare questo cambiamento specifico senza mai essere stato istruito esplicitamente su cosa stesse cercando. Ancora più sorprendente, il modello ha dimostrato la capacità di gestire miscele di materiali, un compito che solitamente fa fallire gli algoritmi tradizionali. Quando i ricercatori hanno preso le rappresentazioni interne di due diversi materiali singoli e le hanno mescolate insieme nella mente del modello, l'output risultante era un modello realistico che appariva esattamente come una miscela fisica dei due. Questo è accaduto anche se il modello non era mai stato addestrato su campioni misti; ha semplicemente appreso la logica continua di come i materiali si combinano.

Questo lavoro suggerisce una nuova strada per il futuro della scoperta dei materiali. Insegnando ai computer la fisica dei modelli a raggi X attraverso l'apprendimento auto-supervisionato, gli scienziati possono costruire sistemi più veloci, più efficienti e più robusti contro il rumore degli esperimenti del mondo reale. La capacità di prevedere come un materiale si comporterà o di identificare una miscela senza la necessità di una vasta libreria di esempi pre-etichettati porta il sogno di laboratori completamente autonomi più vicino alla realtà. Il modello non vede solo linee su un grafico; comprende la storia strutturale che quelle linee raccontano, offrendo un nuovo, potente strumento per accelerare la scoperta della prossima generazione di materiali.