🔬 applied physics

Fast and Accurate Foundation Models for Equivariant Machine-Learned Interatomic Potentials

Questo articolo presenta una famiglia di modelli fondazionali equivarianti, veloci, scalabili e accurati per potenziali interatomici che superano i compromessi tra velocità e accuratezza attraverso architetture NequIP e Allegro ottimizzate, sottolineando al contempo che i futuri miglioramenti nella scoperta dei materiali dipendono più dalla diversità dei dataset e da descrizioni coerenti dei metalli di transizione che dalla sola complessità del modello.

Autori originali: Seán R. Kavanagh, Chuin Wei Tan, Menghang Wang, Marc L. Descoteaux, Gabriel de Miranda Nascimento, Ulrik Unneberg, Laura Zichi, Francesco Libbi, Norma Rivano, Austin Glover, Vivek Bharadwaj, Anders Jo

Pubblicato 2026-07-31

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Seán R. Kavanagh, Chuin Wei Tan, Menghang Wang, Marc L. Descoteaux, Gabriel de Miranda Nascimento, Ulrik Unneberg, Laura Zichi, Francesco Libbi, Norma Rivano, Austin Glover, Vivek Bharadwaj, Anders Johansson, William C. Witt, Albert Musaelian, Boris Kozinsky

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di prevedere come si comporterà un castello di Lego gigante e invisibile. Crollerà se lo scuoti? Conduca il calore come una padella di metallo o isoli come un maglione di lana? Nel mondo della scienza dei materiali, gli scienziati usano supercomputer per simulare questi minuscoli mattoncini (atomi) per progettare nuove batterie, medicinali e metalli super resistenti. Ma c'è un problema: il modo più accurato per calcolare come interagiscono questi atomi è come cercare di risolvere un puzzle da un milione di pezzi a mano: richiede un tempo infinito e costa una fortuna in tempo di calcolo. Per velocizzare le cose, gli scienziati hanno creato i "potenziali interatomici appresi tramite machine learning" (MLIP). Pensali come il motore di un videogioco super intelligente che mette in avanti veloce. Inveve di calcolare ogni singola regola fisica da zero, il motore ha "imparato" da milioni di calcoli precedenti come si comportano solitamente gli atomi, permettendogli di indovinare il risultato in un battito di ciglia. Recentemente, gli scienziati hanno iniziato ad addestrare questi motori su enormi dataset per creare "modelli di fondazione", una sorta di codice cheat universale che può essere adattato per lavori specifici. Ma ecco la grande domanda: possiamo rendere questi codici cheat sia incredibilmente veloci che incredibilmente accurati, o dobbiamo scegliere tra l'uno o l'altro?

Questo articolo è la storia di un team che ha deciso di costruire il cheat code definitivo, dimostrando che non è necessario scegliere una fazione. Hanno sviluppato una nuova famiglia di "modelli di fondazione" utilizzando due architetture specifiche chiamate NequIP e Allegro. Immagina questi modelli come due diversi tipi di super atleti: uno è un architetto meticoloso che controlla ogni angolazione (NequIP), e l'altro è uno sprinter fulmineo che vede il quadro generale senza perdersi nei dettagli (Allegro). I ricercatori hanno addestrato questi atleti su una biblioteca massiccia di oltre 100 milioni di strutture atomiche, un dataset così grande che avrebbe richiesto settimane per l'addestramento su sistemi più vecchi. Usando alcuni trucchi software astuti — come la "compilazione di grafi" (che organizza i dati prima dell'inizio della gara) e la "matematica a precisione mista" (usando una calcolatrice leggermente meno dettagliata per le parti facili della corsa) — sono riusciti ad addestrare questi modelli da 5 a 10 volte più velocemente rispetto al passato, riducendo il costo da settimane di tempo di calcolo a solo poche centinaia di ore di GPU.

I risultati sono una svolta. Il team ha scoperto che questi nuovi modelli non sono solo veloci; sono anche i più accurati mai visti nel prevedere come si comportano i materiali. Li hanno testati su tre grandi sfide: trovare la forma più stabile per nuovi materiali (come trovare la struttura Lego perfetta), prevedere quanto un materiale conduce il calore (fondamentale per l'elettronica) e calcolare come i materiali si tendono o si schiacciano. I modelli hanno superato le prove con creste, spesso battendo i record precedenti. Tuttavia, l'articolo evidenzia anche un particolare "punto cieco". Sebbene i modelli siano bravi nella chimica generale, hanno ancora qualche difficoltà con i metalli di transizione (come ferro, cromo e manganese) perché i dati di addestramento per questi elementi complicati sono un po' incoerenti. È come se i modelli fossero fluenti in la maggior parte delle lingue, ma si confondessero con alcuni dialetti dove le regole grammaticali cambiano inaspettatamente.

Gli autori hanno anche osservato come questi modelli scalano. Hanno dimostrato che questi modelli possono girare su migliaia di chip informatici che lavorano insieme, simulando sistemi con oltre 100 milioni di atomi. Questo è enorme perché significa che gli scienziati possono ora simulare interi granelli di sabbia o minuscole gocce di liquido con precisione atomica, qualcosa che prima era impossibile. L'articolo suggerisce che il futuro di materiali migliori non riguarda solo il rendere i modelli più grandi, ma il pulire i dati di addestramento — specialmente per quei complicati metalli di transizione — e assicurarsi che le "regole" usate per generare i dati siano coerenti. In breve, hanno costruito uno strumento più veloce, più acuto e più affidabile per scoprire i materiali di domani, dimostrando che con gli aggiornamenti software giusti, possiamo avere la pecora e mangiarla anche: velocità e accuratezza, tutto in un unico pacchetto.

Sintesi Tecnica: Modelli di Fondazione Rapidi e Accurati per Potenziali Interatomici Appresi tramite Machine Learning Equivariante

Problematica
I potenziali interatomici appresi tramite machine learning (MLIP) sono diventati essenziali per la scienza dei materiali computazionale, in particolare come "modelli di fondazione" addestrati su dataset ampi e diversificati (ad esempio, MPtrj, Alexandria, OMat24) per il successivo fine-tuning. Tuttavia, esiste un collo di bottiglia critico: le applicazioni scientifiche come la dinamica molecolare (MD) richiedono sia un'elevata accuratezza che un'elevata velocità di inferenza/addestramento. Sebbene le architetture equivarianti (che codificano simmetrie fisiche come rotazione e inversione) offrano un'accuratezza e un'efficienza dei dati superiori, l'addestramento su dataset ultra-ampi (centinaia di milioni di strutture) è stato storicamente proibitivo dal punto di vista computazionale, richiedendo spesso settimane di addestramento. Inoltre, rimane poco chiaro come bilanciare le richieste contrastanti della dimensione del modello, la velocità di inferenza e l'accuratezza, in particolare quando si scala verso dataset massicci dove l'efficienza dei dati è meno critica rispetto alle prestazioni pure.

Metodologia
Gli autori presentano una famiglia di potenziali di fondazione basati sulle architetture di reti neurali a grafo equivarianti NequIP e Allegro, addestrate su dataset di materiali inorganici via via più ampi: DIRECT (~~186k), MPtrj (~~1.58M), MPA (~~10.5M) e OAM (~~113M di strutture).

Progressi metodologici chiave:

Accelerazioni dell'Infrastruttura: Il lavoro sfrutta gli sviluppi recenti nel framework NequIP, inclusa la compilazione del grafo durante l'addestramento (torch.compile), strategie di data-parallel distribuito (DDP) per l'addestramento multi-GPU e kernel di prodotto tensoriale ottimizzati (OpenEquivariance per NequIP, cuEquivariance per Allegro).
Addestramento a Precisione Mista: Gli autori utilizzano strategie a precisione mista (float64 per gli embedding, float32 per i prodotti tensoriali e precisione mista automatica per i calcoli intermedi) per accelerare l'addestramento fino a 3 volte senza una perdita significativa di accuratezza.
Addestramento a Due Stadi: Un protocollo di addestramento ottimale prevede una fase iniziale con un alto peso sugli errori di forza, seguita da una fase di continuazione con un aumento del peso dell'errore di energia, tassi di apprendimento ridotti e precisione completa.
Varianti del Modello: Sono stati addestrati modelli di diverse dimensioni (Small, Medium, Large, Extra-Large) per esplorare il compromesso tra numero di parametri, accuratezza e velocità. L'addestramento del dataset OAM ha previsto un protocollo specifico: pre-addestramento su OMat24 (geometrie fuori dall'equilibrio) seguito da fine-tuning su MPA per garantire la compatibilità con le impostazioni di Materials Project.

Contributi Chiave

Pipeline di Addestramento Accelerata: L'integrazione della compilazione del grafo e dei kernel accelerati consente l'addestramento di modelli di fondazione ad alta accuratezza su dataset che superano i 100 milioni di strutture con un costo computazionale modesto di circa 100–750 ore di GPU (utilizzando H100/H200), una riduzione significativa rispetto ai precedenti requisiti di più settimane.
Suite di Benchmarking: I modelli sono stati rigorosamente valutati contro benchmark della comunità coprendo:
- Scoperta di Materiali: Predizione di geometrie a stato fondamentale ed energie della convessità (Matbench Discovery).
- Conducibilità Termica: Predizione di proprietà fuori dall'equilibrio tramite costanti di forza fononiche.
- Proprietà Vicine all'Equilibrio: Valutazione di moduli di bulk/taglio, capacità termica e rapporti di magnitudo della forza (MatCalc).
Analisi della Scalabilità: Il documento dimostra che l'architettura NequIP, precedentemente limitata dal passaggio di messaggi iterativo, supporta ora un'efficiente inferenza multi-GPU in LAMMPS tramite l'interfaccia ML-IAP accelerata da Kokkos, consentendo simulazioni di sistemi fino a 100 milioni di atomi.

Risultati

Accuratezza: Il modello NequIP-OAM-XL raggiunge prestazioni state-of-the-art nei benchmark, con un MAE dell'energia della convessità di 19.7 meV/atomo e un errore medio relativo simmetrico ( $\kappa_{SRME}$ ) della conducibilità termica di 0.129.
Leggi di Scalabilità:
- Dimensione del Modello: L'accuratezza segue generalmente un miglioramento a legge di potenza con la dimensione del modello per i modelli da small a large. Tuttavia, il modello XL mostra segni di saturazione, suggerendo rendimenti decrescenti per specifiche architetture a scale estreme.
- Dimensione del Dataset: L'accuratezza della conducibilità termica scala idealmente con la dimensione del dataset (esponente della legge di potenza $\alpha \approx 0.24$ per NequIP), confermando il valore delle geometrie fuori dall'equilibrio. L'accuratezza nella scoperta dei materiali, tuttavia, mostra un miglioramento limitato scalando da MPA a OAM.
Analisi dell'Errore: La mancanza di miglioramento nell'accuratezza della scoperta dei materiali con dataset più grandi è attribuita alla diversità composizionale e a descrizioni inconsistenti dei composti di metalli di transizione. In particolare, i metalli di transizione del primo periodo multivalenti (V, Cr, Mn, Fe) e gli attinidi (Np, Pu) esibiscono errori significativamente più elevati. Gli autori attribuiscono ciò all'applicazione inconsistente delle correzioni di Hubbard $U$ nei dati di addestramento (applicate a ossidi/fluoruri ma non ai metalli) e alla natura intrinseca complessa dei sistemi elettronici correlati.
Velocità vs Accuratezza: I modelli addestrati definiscono la frontiera di Pareto del compromesso accuratezza-velocità. Ad esempio, NequIP-OAM-XL raggiunge punteggi di prestazione combinata comparabili ad altri modelli leader (es. eSEN-30M-OAM) ma con velocità di inferenza circa un ordine di grandezza superiore.
Over-softening (Ammorbidimento eccessivo): I modelli grandi addestrati su dataset diversificati (inclusi elementi fuori dall'equilibrio) mostrano un minimo "over-softening" (sottostima delle forze in stati ad alta energia), con rapporti di magnitudo della forza ( $f/f_{DFT}$ ) che raggiungono 0.98.

Significato e Rivendicazioni
Il documento sostiene che la barriera primaria per l'addestramento di potenziali di fondazione ad alta accuratezza non è più il costo computazionale, ma la qualità e la diversità dei dati. Gli autori argomentano che il progresso futuro nei MLIP per la scoperta dei materiali dipenda meno dalla pura scalabilità del modello e più da:

Dati Consistenti: Eliminare gli errori sistematici causati da impostazioni computazionali inconsistenti (es. applicazione di Hubbard $U$ ) attraverso i dataset di addestramento.
Diversità Chimica: Espandere i dataset oltre la sostituzione ionica per includere una più ampia diversità chimica e strutturale, particolarmente per i sistemi complessi di metalli di transizione.
Adattabilità Architetturale: Sviluppare modelli in grado di regolare dinamicamente la risoluzione radiale e angolare in base agli ambienti chimici locali per gestire la disparata complessità di diversi elementi senza gonfiare uniformemente la capacità del modello.

Il lavoro stabilisce che, con l'attuale infrastruttura, è fattibile per singoli gruppi di ricerca addestrare e implementare modelli di fondazione capaci di simulare circa 100 milioni di atomi, democratizzando l'accesso a simulazioni atomistiche ad alta fedeltà e su larga scala. I modelli forniti servono come punti di partenza robusti per il fine-tuning in spazi chimici mirati.

Articoli simili