Contrastive Regularization of Machine Learning Potentials

Sintesi Tecnica: Regolarizzazione Contrastiva dei Potenziali di Machine Learning

Problema
I potenziali interatomici di Machine Learning (MLIP) vengono tipicamente addestrati come regressori per predire energie e forze da dati di Teoria del Funzionale della Densità (DFT), minimizzando l'Errore Quadratico Medio (MSE). Sebbene questi modelli riescano spesso a raggiungere l'accuratezza chimica su set di test non visti, gli autori dimostrano che spesso falliscono come generatori quando impiegati per guidare simulazioni di dinamica molecolare o Monte Carlo.

Il problema centrale è statistico piuttosto che architettonico. Negli spazi di configurazione ad alta dimensionalità, un set di addestramento finito copre una frazione infinitesimale dello spazio. La standard minimizzazione dell'MSE vincola il potenziale solo dove esistono i dati, lasciando il resto dello spazio di configurazione non vincolato. Di conseguenza, le reti neurali espressive creano inevitabilmente minimi di energia spuri in queste regioni non visitate. Quando utilizzati come campionatori, le traiettorie scivolano in questi minimi "fantasma", risultando in configurazioni non fisiche e osservabili termodinamici (ad esempio, profili di energia libera, distribuzioni strutturali) che deviano drasticamente dal riferimento, anche se le predizioni puntuali di energia e forza rimangono accurate.

Metodologia: MSE con Regolarizzazione Contrastiva (CRMSE)
Per affrontare questo problema, gli autori introducono la MSE con Regolarizzazione Contrastiva (CRMSE), una procedura di post-addestramento che aumenta lo standard loss MSE con un termine contrastivo derivato dalla divergenza di Kullback–Leibler (KL) tra la distribuzione di Boltzmann implicita del modello e la distribuzione target.

Componenti metodologiche chiave:

• Funzione Obiettivo: Il loss totale è $L_{CRMSE} = L_{MSE} + \lambda L_{CR}$. Il termine MSE mantiene l'accuratezza sui dati di addestramento, mentre il termine contrastivo ($L_{CR}$) ottimizza la distribuzione di probabilità.
• Meccanismo Contrastivo: Il termine contrastivo è derivato dalla minimizzazione della divergenza KL. Agisce come un obiettivo di energia libera variazionale: abbassa l'energia dei campioni "positivi" (i dati di addestramento) e alza l'energia dei campioni "negativi" (le configurazioni estratte dalla distribuzione attuale del modello).
• Campionamento Auto-coerente: Poiché la distribuzione del modello è intrattabile, i campioni negativi vengono generati utilizzando l'Algoritmo di Langevin Non Corretto (ULA). Gli autori impiegano la Divergenza Contrastiva Persistente (PCD), dove viene mantenuto un buffer di replay di configurazioni negative, aggiornato con pochi passi di ULA per iterazione.
• Natura di Post-Addestramento: La CRMSE è applicata come fase di post-addestramento a un potenziale già ottimizzato tramite MSE. Non richiede nuovi dati ab initio né cambiamenti architettonici. Il modello "etichetta i propri errori" identificando le configurazioni in cui deriva durante la simulazione e alzando la loro energia per creare una barriera protettiva attorno al bacino fisico.

Risultati Chiave
Il metodo è stato validato sulle molecole di etanolo e aspirina dal dataset MD17 utilizzando un'architettura GNN-LF (Graph Neural Network con Local Frame).

1. Fallimento della Standard MSE: I modelli addestrati con MSE standard hanno raggiunto un'elevata accuratezza su energie e forze non viste. Tuttavia, quando utilizzati in simulazioni dell'algoritmo di Langevin con correzione di Metropolis (MALA), le traiettorie sono rapidamente sfuggite dal bacino fisico, stabilizzandosi in minimi spuri decine di kcal/mol sotto l'energia di riferimento. Ciò ha portato a distanze interatomiche non fisiche e distribuzioni di energia errate.
2. Correzione tramite CRMSE:
   • Stabilità del Campionamento: Il post-addestramento CRMSE ha confinato il campionatore nel bacino fisico. Le distribuzioni di energia campionate e gli istogrammi delle distanze interatomiche hanno recuperato un accordo quasi quantitativo con i riferimenti DFT.
   • Osservabili Termodinamici: Fondamentalmente, la CRMSE ha recuperato i profili di energia libera lungo gli angoli diedri (H-C-C-O per l'etanolo e il diedro dell'estere per l'aspirina) con un accordo quasi quantitativo con la DFT. Ha corretto la sottostima delle barriere torsionali e ha ridotto il collasso della dispersione inter-catena (varianza tra catene di simulazione indipendenti) entro il rumore statistico.
   • Preservazione dell'Accuratezza: La correzione non ha degradato l'accuratezza predittiva del modello sul manifold di addestramento; gli errori di energia e forza sui dati non visti sono rimasti entro l'accuratezza chimica.
   • Robustezza: Il metodo è rimasto efficace anche quando il set di addestramento è stato drasticamente ridotto da 950 a 200 configurazioni, dimostrando una migliore efficienza dei dati e robustezza alla scarsità di dati.

Significatività e Rivendicazioni
L'articolo sostiene che un campionamento affidabile dipende meno dal volume di dati di addestramento che dall'addestramento del modello contro la distribuzione che esso stesso produce. Gli autori sostengono che l'addestramento a livello di distribuzione sia un requisito distinto, non una semplice raffinazione dell'accuratezza di regressione.

• Requisito Distinto: Il lavoro evidenzia che l'accuratezza puntuale non garantisce una corretta distribuzione di campionamento. Un potenziale destinato al campionamento deve essere addestrato per riprodurre la propria distribuzione di campionamento.
• Complementarità: La CRMSE è presentata come complementare all'apprendimento attivo (active learning). Mentre l'apprendimento attivo inietta nuovi dati ab initio per migliorare l'accuratezza nelle regioni fuori dal manifold, la CRMSE ripristina il supporto corretto della distribuzione di campionamento senza nuovi dati, sopprimendo i minimi spuri alzando la loro energia.
• Generalità: Gli autori suggeriscono che questa lezione si applichi ampiamente alle impostazioni di IA in cui i regressori appresi vengono impiegati come generatori. Il metodo è particolarmente significativo perché ripara un potenziale che è già "ben ottimizzato" dai parametri di regressione standard, utilizzando solo un passaggio di post-addestramento economico e senza ulteriori calcoli di riferimento.

Gli autori concludono che, per i modelli surrogati usati come generatori, l'obiettivo di addestramento deve tenere conto dell'intera densità di probabilità definita dal potenziale, un requisito strutturalmente omesso dalla standard minimizzazione dell'MSE.