How good are universal MLIPs for alloys? A benchmark is only as trustworthy as its controls

Immaginate un mondo in cui gli scienziati possono progettare nuove leghe super-resistenti per i motori a reazione o batterie ultra-efficienti senza mai fondere un singolo pezzo di metallo in un laboratorio. Invece, utilizzano potenti simulazioni al computer per prevedere come si comporteranno gli atomi. Il punto di riferimento per queste previsioni è un complesso metodo matematico chiamato Teoria del Funzionale della Densità (DFT). Pensate alla DFT come a uno chef magistrale che può preparare la ricetta perfetta per qualsiasi materiale, ma che impiega ore per preparare un singolo piatto. È accurata, ma dolorosamente lenta.

Per velocizzare le cose, i ricercatori hanno creato "potenziali interatomici appresi tramite machine learning" (o MLIP). Potete pensarli come dei sous-chef. Hanno studiato così bene le ricette dello chef magistrale da poter preparare un pasto in una frazione di secondo, con quasi lo stesso sapore. Questi modelli di IA stanno diventando sempre più bravi e i ricercatori corrono per vedere quale sia il migliore. Di solito li giudicano guardando un tabellone dei punteggi: il modello che commette meno errori nel prevedere l'energia ottiene il primo posto. Ma ecco il problema: e se il tabellone stesso fosse truccato? E se gli "errori" non fossero dovuti al fatto che il sous-chef è un cattivo cuoco, ma perché sta usando un misurino diverso da quello del giudice?

Questo è esattamente l'enigma affrontato in un nuovo studio di Gus Hart e Jacob Pursley. Hanno deciso di smettere di prendere i tabelloni dei punteggi per quello che sembrano e hanno iniziato ad agire come detective. Hanno raccolto quattordici dei modelli di IA più popolari e li hanno messi alla prova su un tipo specifico di materiale: leghe metalliche. Ma invece di controllare solo i loro punteggi di energia rispetto al riferimento abituale, hanno introdotto una serie di "controlli" — come uno scienziato che controlla la propria attrezzatura prima di fidarsi di un risultato. Si sono chiesti: questi modelli stanno davvero imparando la fisica degli atomi, o stanno solo memorizzando le regole e le convenzioni specifiche del database su cui sono stati addestrati?

I risultati sono stati un po' uno shock. L'articolo afferma che il modo attuale in cui classifichiamo questi modelli di IA è profondamente fallace. I "vincitori" nei tabelloni pubblici spesso non vincono perché sono più intelligenti; vincono perché sono capitati ad ereditare le stesse convenzioni di misurazione del database contro cui sono stati testati. Quando gli autori hanno rimosso questi vantaggi artificiali, le classifiche sono cambiate drasticamente. Alcuni modelli che sembravano fallimenti si sono rivelati essere piuttosto buoni, mentre i "campioni" hanno visto il loro vantaggio ridursi significativamente.

Ecco cosa ha scoperto realmente lo studio, suddiviso nella storia dell'indagine:

Il problema del "misurino"
Immaginate di giudicare un concorso di pasticceria. Il giudice dice: "Il vincitore è colui il cui dolce pesa meno". Ma si scopre che la bilancia del giudice è calibrata per mostrare 50 grammi in più di quanto dovrebbe. Se un pasticciere usa la stessa bilancia, il suo dolce sembrerà perfetto. Se un altro pasticciere usa una bilancia diversa, il suo dolce sembrerà terribile, anche se ha la stessa dimensione.

Nel mondo degli atomi, il "peso" è l'energia del materiale. Lo studio ha scoperto che molti modelli di IA sono stati addestrati su un database (come il Materials Project) che utilizza un set specifico di regole per calcolare queste energie. Quando i ricercatori hanno testato questi modelli contro un database completamente diverso e indipendente (chiamato AFLOW), i modelli sembravano pessimi. Ma quando i ricercatori hanno "ricalibrato" i modelli — dicendo loro, essenzialmente, "Ehi, usa lo stesso misurino del nuovo giudice" — gli errori sono svaniti.

Per esempio, un modello chiamato CHGNet sembrava commettere errori enormi (circa 126 meV/atom). Ma una volta che i ricercatori hanno corretto il disallineamento del "misurino", l'errore è sceso a 73 meV/atom. Più della metà del suo "fallimento" era solo una differenza di contabilità, non una mancanza di abilità.

La trappola del "rilassamento"
C'era un altro trucco nel test. Quando ai modelli veniva chiesto di prevedere la forma di una disposizione atomica, alcuni modelli erano autorizzati a "rilassarsi" (muovere gli atomi per trovare la posizione più confortevole), mentre altri erano costretti a rimanere esattamente nella posizione data dal giudice. Un modello, eqV2, era così bravo a leggere la mente del giudice che quasi non si muoveva affatto. Otteneva un punteggio alto perché non doveva fare alcun lavoro.

I ricercatori si sono resi conto che questo era ingiusto. Hanno rieseguito il test in modo che ogni modello dovesse partire dallo stesso punto e compiere lo stesso lavoro. Quando hanno fatto questo, il vantaggio del "vincitore" si è dimezzato. Si è scoperto che il modello in cima non era necessariamente migliore nella fisica; aveva solo avuto un vantaggio iniziale grazie a come era stato impostato il test.

Il controllo della realtà del "livello di rumore"
Gli autori si sono anche posti una domanda fondamentale: quanto può essere buono un modello? Hanno confrontato tre database indipendenti di calcoli "perfetti" (AFLOW, Alexandria e OQMD). Hanno scoperto che anche questi database perfetti non concordano perfettamente tra loro. Discordano di circa 6 o 8 meV/atom su strutture tipiche, e fino a 24–28 meV/atom quando le cose si fanno complicate.

Questo significa che esiste un "livello di rumore". Non importa quanto sia intelligente un'IA, non può essere più accurata della discrepanza tra due calcoli umani perfetti. Lo studio ha scoperto che i migliori modelli stanno ora raggiungendo questo livello. Sono bravi quanto il limite consentito dai dati di riferimento. Ma l'articolo avverte che non possiamo classificarli con molta più precisione di quanto permettano i loro valori. Se due modelli sono separati da una frazione minuscola di un meV, potrebbe trattarsi solo di rumore casuale, non di una reale differenza di qualità.

Il mistero del "cattivo riferimento"
Una delle scoperte più sorprendenti riguardava i dati "cattivi". I ricercatori hanno notato che per circa 15.000 strutture, i modelli di IA sembravano essere completamente sbagliati, mancando l'obiettivo di quantità enormi. Sembrava che i modelli stessero fallendo miseramente.

Ma guardando più da vicino, si sono resi conto che i modelli avevano ragione e che il "giudice" (il database di riferimento) era sbagliato. Mentre i modelli concordavano tutti tra loro, il database di riferimento era un elemento isolato. Usando un "rilevatore di consenso" (chiedendo ai modelli cosa pensano e vedendo se il giudice concorda), hanno scoperto che la maggior parte di questi "fallimenti" erano in realtà errori nei dati di riferimento, non nei modelli. Una volta filtrati questi elementi, il numero di "cattivi riferimenti" è sceso da 15.000 a 1.700.

I veri vincitori e i veri perdenti
Dopo aver applicato tutti questi controlli — correggendo i misurini, equiparando le posizioni di partenza e filtrando i dati errati — la classifica appariva molto diversa.

• I modelli addestrati sui dataset più recenti e grandi (la generazione "OMat") hanno generalmente ottenuto prestazioni migliori e si sono generalizzati bene su nuove strutture non viste.
• I modelli addestrati su dati più vecchi (la generazione "MP") hanno faticato di più, ma alcuni, come MACE-MPA, erano in realtà molto bravi a prevedere la stabilità una volta rimosso il bias del "misurino".
• Il "vincitore" dei punteggi di energia grezzi, eqV2, ha continuato ad andare bene, ma il suo vantaggio non era così massiccio come sembrava. Infatti, guardando altre proprietà importanti come la rigidità del materiale (elasticità) o la capacità di prevedere quali forme siano stabili, le classifiche si sono rimescolate completamente.

La conclusione
L'articolo conclude che un benchmark è affidabile solo quanto i suoi controlli. Non si può semplicemente guardare un singolo numero su un tabellone e dichiarare un vincitore. Il "miglior" modello dipende interamente da ciò che si vuole misurare. Se si vuole sapere quale modello è il migliore nel prevedere l'energia, uno potrebbe vincere. Se si vuole sapere quale è il migliore nel prevedere la stabilità, un altro potrebbe vincere.

Gli autori sostengono che il settore debba smettere di inseguire un singolo modello "migliore" e iniziare a utilizzare un "vettore" di metriche — una lista di punteggi diversi che raccontano l'intera storia. Suggeriscono inoltre che la prossima generazione di modelli non dovrebbe solo cercare di ottenere un numero di errore più basso; devono essere testati contro dati indipendenti, calibrati rispetto al "livello di rumore" dei calcoli umani e giudicati sulla loro capacità di gestire la chimica disordinata del mondo reale che non è solo una ripetizione dei dati di addestramento.

In breve, i modelli di IA stanno diventando incredibilmente bravi — così bravi che stanno ora urtando contro i limiti dei nostri stessi calcoli umani. Ma per sapere chi è veramente il migliore, dobbiamo smettere di imbrogliare con i nostri misurini e iniziare a guardare il quadro completo.