Sintesi Tecnica: Distanza di Novità del Trasporto (TNovD)

Problematica

Il rapido progresso dell'apprendimento automatico generativo per la scoperta di materiali ha superato lo sviluppo di metriche di valutazione rigorose. Gli approcci esistenti, come le metriche SUN (Stabilità, Unicità, Novità), valutano le strutture generate su base istanza per istanza e non riescono a catturare le proprietà distribuzionali. Al contrario, le metriche distribuzionali come la Fréchet Inception Distance (FID) e il suo analogo molecolare (FCD) si basano su assunzioni gaussiane che comprimono i dati in media e varianza, rendendole incapaci di rilevare la "memorizzazione" (dove un modello si limita a riprodurre i dati di addestramento). Inoltre, gli attuali metodi faticano a valutare simultaneamente sia la qualità (somiglianza statistica con la distribuzione di addestramento) sia la novità (dissomiglianza da campioni specifici di addestramento) dei materiali generati. Il documento evidenzia che distinguere tra una generalizzazione di alta qualità e una pericolosa memorizzazione è critico, particolarmente poiché i nuovi modelli, come i modelli di diffusione, diventano più inclini all'overfitting.

Metodologia

Gli autori propongono la Transport Novelty Distance (TNovD), una metrica distribuzionale basata sulla teoria del Trasporto Ottimale (OT) e sull'apprendimento contrastivo. La metodologia consiste in tre componenti principali:

1. Estrazione delle Caratteristiche tramite GNN Equivariante:

   • Le strutture cristalline vengono incorporate in uno spazio di caratteristiche utilizzando una Rete Neurale a Grafo (GNN) $SE(3)$-equivariante.
   • La GNN è addestrata utilizzando la perdita contrastiva InfoNCE sul dataset MP20.
   • Strategia di Augmentation: Le coppie positive sono create applicando rotazioni, traslazioni ed espansioni di supercella alla stessa struttura cristallina. Le coppie negative consistono in materiali differenti. Questo addestramento assicura che lo spazio delle caratteristiche sia invariante rispetto alle trasformazioni rigide e alla dimensione della supercella, pur distinguendo composizioni chimiche distinte.

2. Accoppiamento del Trasporto Ottimale:

   • TNovD calcola l'accoppiamento tra le distribuzioni delle caratteristiche del set di addestramento ($P_D$) e del set generato ($P_G$) utilizzando il framework della distanza di Wasserstein.
   • A differenza delle distanze di Wasserstein standard, TNovD introduce una soglia $\tau$ per separare la funzione di costo in due regimi:
     • Regime di Memorizzazione ($x < \tau$): Se un campione generato è troppo vicino a un campione di addestramento (distanza $x < \tau$), viene penalizzato pesantemente utilizzando una funzione di potenza $(\tau - x)^M$. Ciò rileva repliche esatte o quasi esatte.
     • Regime di Qualità ($x \ge \tau$): Se un campione è sufficientemente nuovo ($x \ge \tau$), il costo è lineare $(x - \tau)$, misurando quanto il campione si discosta dalla distribuzione di addestramento.

3. Euristiche degli Iperparametri:

   • $\tau$ (Soglia): Determinata euristicamente analizzando le distanze del 1-nearest neighbor e del 2-nearest neighbor all'interno del set di addestramento, approssimando la condizione in cui un punto è considerato "memorizzato".
   • $M$ (Esponente): Derivato da una condizione di equilibrio in cui la derivata della TNovD rispetto a $\tau$ è zero per due partizioni di una "buona" distribuzione, garantendo che la metrica bilanci la penalità per la memorizzazione rispetto alla penalità per la scarsa qualità.

Contributi Chiave

• Una Metrica Distribuzionale Unificata: TNovD è una metrica progettata per valutare congiuntamente qualità e novità nei modelli generativi di materiali senza fare affidamento su assunzioni gaussiane. Sebbene il lavoro precedente [8] abbia proposto una metrica distribuzionale basata su GNN, TNovD si distingue per l'addestramento esplicito della GNN per il rilevamento della novità e per l'evitare assunzioni gaussiane per catturare meglio la memorizzazione.
• Rilevamento della Memorizzazione: Utilizzando una funzione di costo non lineare per piccole distanze, TNovD penalizza esplicitamente la riproduzione dei dati di addestramento, una capacità mancante in FID e FCD.
• Framework Agnostico rispetto al Dominio: Sebbene applicato ai cristalli, gli autori notano che il framework è adattabile ad altri domini (es. immagini, molecole) sostituendo l'estrattore di caratteristiche.
• Apprendimento di Caratteristiche Robusto: L'uso dell'apprendimento contrastivo con specifiche augmentation cristallografiche (supercelle, rotazioni) crea uno spazio di caratteristiche che rispetta le simmetrie fisiche e distingue tra vera novità e variazioni strutturali dello stesso materiale.

Risultati

Gli autori hanno validato TNovD attraverso diversi esperimenti:

1. Esperimenti su Toy Data (Validazione MP20):

   • Memorizzazione: Quando i dati di validazione venivano progressivamente sostituiti con dati di addestramento, TNovD mostrava un aumento quasi lineare, rilevando con successo la memorizzazione.
   • Iniezione di Rumore: L'aggiunta di rumore gaussiano alle coordinate atomiche o la deformazione (shearing) del reticolo ha comportato un aumento dei punteggi TNovD, indicando il rilevamento di strutture di bassa qualità.
   • Invarianza: La metrica è rimasta stabile quando venivano generate supercelle, dimostrando la capacità della GNN di gestire le variazioni di dimensione senza penalizzarle come "novità".
   • Sostituzioni: Le sostituzioni casuali e in-group degli atomi sono state correttamente identificate come materiali di qualità inferiore, con le sostituzioni casuali penalizzate più pesantemente.

2. Dataset di Sostituzione WBM:

   • Applicata al dataset WBM (strutture create tramite sostituzione iterativa di atomi), TNovD ha mostrato che man mano che le strutture si allontanavano dal set di addestramento MP20, la componente di memorizzazione scendeva vicino allo zero, mentre la componente di qualità aumentava leggermente, riflettendo la crescente dissimilarità.

3. Benchmarking di Modelli Generativi:

   • Sei popolari modelli generativi di materiali (inclusi MatterGen, CDVAE, DiffCSP e ADiT) sono stati valutati su 10.000 campioni generati.
   • ADiT ha ottenuto il miglior punteggio complessivo, trainato dall'alta qualità, sebbene gli autori ipotizzino che possa ancora memorizzare dati in un modo non pienamente catturato dalla metrica.
   • MatterGen si è comportato in modo simile al baseline del set di validazione.
   • CDVAE ha performato scarsamente, mostrando alte penalità di qualità (bassa qualità) e nessuna memorizzazione, indicando un fallimento nel corrispondere alla distribuzione di addestramento.
   • Chemeleon ha mostrato la componente di memorizzazione più elevata.

Significato e Rivendicazioni

Il documento afferma che TNovD offre una "prospettiva complementare" necessaria rispetto alle metriche esistenti a livello di istanza. Il suo significato primario risiede nella capacità di rilevare la memorizzazione pur valutando simultaneamente la qualità distribuzionale, affrontando una lacuna critica nella valutazione dei moderni modelli generativi.

Gli autori notano con modestia che:

• TNDV non è un obiettivo di addestramento, poiché un generatore potrebbe teoricamente "manipolare" (game) la metrica; è strettamente uno strumento di valutazione.
• La metrica non cattura direttamente la stabilità del materiale (es. energia sopra l'hull) o la sintetizzabilità, sebbene possa essere estesa con modelli di energia pre-addestrati in lavori futuri.
• I risultati dipendono fortemente dalla scelta della rappresentazione delle caratteristiche (GNN basata su MP20) e dalle augmentation.
• I bassi punteggi di memorizzazione osservati in molti modelli suggeriscono che la sfida principale per gli attuali modelli generativi di materiali sia l'adattamento alla corretta distribuzione dei dati (qualità) piuttosto che l'evitare la memorizzazione.

Il lavoro stabilisce un blueprint modulare per una valutazione olistica, sottolineando che man mano che i modelli generativi avanzano, la capacità di distinguere tra vera scoperta e replica del set di addestramento diventa fondamentale.