AtomBench: A Benchmarking Framework for Generative Crystal Reconstruction Models in Conventional Superconductors

Sintesi Tecnica: AtomBench

Problematica
Il documento affronta una lacuna critica nella valutazione dei modelli generativi per la scienza dei materiali: la mancanza di un framework standardizzato e equo per valutare i compiti di ricostruzione cristallina (design inverso). Mentre molti modelli rivendicano il successo nella generazione de novo (valutando stabilità, unicità e novità), la capacità di ricostruire accuratamente una struttura cristallina nota partendo da informazioni parziali è spesso trascurata.

Un problema primario identificato è che i confronti esistenti confondono frequentemente le prestazioni architettoniche con l'asimmetria informativa. Diversi modelli vengono spesso valutati in condizioni in cui possiedono quantità disuguali di informazioni sulla struttura cristallina target (ad esempio, alcuni ricevono solo la composizione, mentre altri ricevono la composizione più un embedding latente della struttura completa). Ciò rende invalidi i confronti diretti tra architetture. Inoltre, le metriche standard come "match rate" e "matched RMSD" si basano su soglie rigide (ad esempio, pymatgen StructureMatcher), creando una valutazione discontinua in cui i modelli vengono valutati solo sul sottoinsieme di strutture che riescono a far corrispondere, potenzialmente mascherando fallimenti sistematici nella maggior parte delle previsioni.

Metodologia
Gli autori introducono AtomBench, un framework estensibile e agnostico rispetto al modello, progettato per sottoporre a benchmark i modelli generativi su un compito ben definito di ricostruzione cristallina utilizzando superconduttori convenzionali.

1. Dataset: Lo studio utilizza due dataset generati tramite DFT:

   • JARVIS Supercon-3D: 1.058 coppie cristallo/$T_c$, dominate da O, Al e Ti, con sistemi cristallini diversificati.
   • Alexandria DS-A/B: 8.253 coppie cristallo/$T_c$, dominate da Ti, Rh e Al, principalmente cubiche e tetragonali.
   • Entrambi i dataset utilizzano la Teoria del Funzionale della Densità Perturbativa (DFPT) con protocolli specifici (es. valori di $\mu^*$, pseudopotenziali).

2. Modelli Valutati: Quattro distinte architetture generative sono state addestrate e valutate:

   • AtomGPT: Un grande modello linguistico (Mistral-7B) fine-tuned che tratta i cristalli come testo.
   • CDVAE: Un autoencoder variazionale a diffusione che utilizza reti neurali a grafi equivarianti SE(3).
   • FlowMM: Una rete di flow-matching riemanniana.
   • MatterGen: Un modello di diffusione congiunta con reti di punteggio (score networks) equivarianti.
   • Varianti di Condizionamento: Per i modelli che lo supportano (AtomGPT, MatterGen), sono state addestrate varianti con e senza condizionamento sulla temperatura critica di superconduttività ($T_c$).

3. Protocollo di Valutazione:

   • Suddivisione dei Dati: Il 10% di ciascun dataset è stato tenuto separato per il test.
   • Regimi Informativi: I modelli sono stati raggruppati in base alle informazioni disponibili prima della previsione:
     • Embedding della struttura completa: CDVAE (riceve un vettore latente del target completo).
     • Composizione + $T_c$: AtomGPT/MatterGen (condizionati su $T_c$).
     • Solo Composizione: FlowMM, AtomGPT, MatterGen (non condizionati).
   • Metriche:
     • Parametri Reticolari: Errore Assoluto Medio (MAE) e Divergenza di Kullback-Leibler (KLD) per le distribuzioni.
     • Coordinate Atomiche:
       • Matched RMSD: Errore medio sulle strutture che hanno superato con successo il confronto tramite StructureMatcher.
       • Continuous Corrected RMSD (ccRMSD): Una nuova metrica introdotta in questo lavoro. Utilizza il descrittore Average Minimum Distance (AMD) e la distanza di Chebyshev per misurare la fedeltà geometrica locale in modo continuo su tutte le strutture di test, indipendentemente dal fatto che venga trovato un match discreto. Ciò elimina il bias di scartare le strutture "difficili da far corrispondere".

Contributi Chiave

1. Framework AtomBench: Un pacchetto Python open-source (atombench) che standardizza la valutazione dei modelli di design inverso, supportando l'invio diretto alla JARVIS-Leaderboard.
2. Metrica ccRMSD: L'introduzione di una metrica continua, indipendente dal tasso di corrispondenza (match rate), che fornisce una valutazione più robusta della fedeltà geometrica locale rispetto alla tradizionale matched RMSD.
3. Benchmarking Informativo-Teoretico: Un raggruppamento rigoroso dei modelli per regimi di "entropia condizionale" (quantità di informazione nota) per garantire confronti architettonici equi.
4. Analisi Sistematica: Il primo confronto su larga scala di queste specifiche architetture sulla ricostruzione di superconduttori, analizzando l'impatto del condizionamento su $T_c$ e della simmetria del sistema cristallino.

Risultati

• Prestazioni per Metrica:
  • Coordinate Atomiche: MatterGen ha ottenuto la migliore fedeltà di ricostruzione (il ccRMSD e il matched RMSD più bassi), seguita da AtomGPT. CDVAE e FlowMM hanno mostrato errori significativamente più elevati.
  • Parametri Reticolari: CDVAE è stato il più accurato nella ricostruzione dei parametri reticolari (MAE e KLD più bassi), seguito da AtomGPT e MatterGen. FlowMM è stato il meno accurato.
  • Velocità vs. Accuratezza: FlowMM è stato il più veloce nell'inferenza ma il meno accurato. MatterGen ha offerto la maggiore accuratezza nelle coordinate, ma a un costo computazionale più elevato.
• Impatto del Condizionamento su $T_c$: Il condizionamento sulla temperatura critica ($T_c$) non ha migliorato costantemente la fedeltà di ricostruzione per né AtomGPT né MatterGen, suggerendo che una singola proprietà scalare aggiunge poca informazione strutturale oltre alla composizione in questo contesto.
• Tendenze del Sistema Cristallino: L'errore di ricostruzione variava in base al sistema cristallino. I sistemi cubici (alta simmetria, meno gradi di libertà) hanno mostrato gli errori più bassi, mentre i sistemi monoclini ed esagonali hanno mostrato errori più elevati, in particolare per il parametro reticolare $c$.
• Discrepanza tra Metriche: Lo studio ha evidenziato che la matched RMSD può essere fuorviante; ad esempio, FlowMM aveva un tasso di corrispondenza molto basso (<10%), rendendo la sua matched RMSD statisticamente inaffidabile, mentre la ccRMSD forniva una stima dell'errore significativa per l'intero dataset.

Significatività e Rivendicazioni
Il documento sostiene che AtomBench fornisce una necessaria correzione al campo, esponendo come l'asimmetria informativa possa gonfiare artificialmente le metriche di prestazione. Introducendo la ccRMSD, gli autori sostengono la necessità di passare da una valutazione "corrispondi o scarta" a misure di fedeltà continua che tengano conto dell'intera distribuzione delle previsioni.

Gli autori affermano con modestia che i loro risultati non classificano universalmente le architetture, ma illustrano piuttosto come la fedeltà di ricostruzione vari in base ai diversi regimi di informazione all'inferenza. Sottolineano che la scelta del modello deve dipendere dall'applicazione specifica:

• FlowMM per il campionamento ad alto throughput dove la velocità è prioritaria.
• CDVAE per compiti che richiedono un'elevata accuratezza dei parametri reticolari.
• MatterGen per compiti che richiedono un'elevata fedeltà nel posizionamento delle coordinate atomiche.

Il lavoro conclude che, sebbene gli attuali modelli (CDVAE, AtomGPT, MatterGen) raggiungano livelli di accuratezza idonei per inizializzare i calcoli DFT, il settore richiede metriche continue come la ccRMSD per valutare e migliorare correttamente i modelli generativi per la scoperta di materiali.