Sparse probes and murky physics: a case study of interpretability challenges in a foundation model for continuum dynamics

Sintesi Tecnica: Sonde Sparse e Fisica Torbida

Problematica
Gli emulatori basati su IA generativa vengono sempre più impiegati in domini scientifici dove esistono già solide teorie fisiche e benchmark consolidati. Ciò crea una sfida critica di interpretabza: quando un modello di base riesce a riprodurre la dinamica del continuo nota, rimane poco chiaro se il modello abbia appreso i meccanismi fisici sottostanti o se abbia semplicemente memorizzato correlazioni statistiche. Nello specifico, i ricercatori devono determinare se le rappresentazioni interne del modello corrispondano a principi fisici noti, come queste rappresentazioni si relazionino ai successi o ai fallimenti del modello e se strutture interne "diverse" siano realmente informative o solo scorciatoie efficaci. Il documento affronta queste questioni utilizzando il modello di base Walrus, un transformer da 1,3 miliardi di parametri addestrato su diversi scenari fisici, concentrandosi sul divario tra le rappresentazioni interne apprese e l'intuizione fisica.

Metodologia
Gli autori impiegano un approccio di interpretabilità meccanicistica guidato dai principi fisici, utilizzando nello specifico un Autoencoder Sparso (SAE) per sondare le attivazioni interne del modello Walrus.

• Modello e Dati: Lo studio si concentra su Walrus, addestrato su diciannove scenari fisici inclusi i fluidi classici. L'analisi è limitata a una suite di simulazioni di flusso di taglio 2D governate dalle equazioni di Navier-Stokes incomprimibili. Il dataset varia in base al numero di Reynolds ($Re$) e al numero di Schmidt ($Sc$), con attenzione specifica a tre simulazioni: Sim3 ($Re=10^4, Sc=0.1$), Sim50 ($Re=10^4, Sc=0.2$) e Sim56 ($Re=5\times10^4, Sc=0.1$).
• Fondamento Fisico: Per dare priorità al vasto set di feature generato dall'SAE, gli autori utilizzano l'enstrofia ($E$), definita come l'integrale del quadrato della vorticità, come metrica fondata sulla fisica. Analizzano inoltre la derivata temporale dell'enstrofia ($\dot{E}$) per valutare l'equilibrio tra iniezione e dissipazione.
• Implementazione SAE: Un Top-K Sparse Autoencoder è stato addestrato sulle attivazioni del blocco centrale ($l=20$) del transformer Walrus, che contiene 2.816 attivazioni. L'SAE utilizza un fattore di espansione di 8, risultando in 22.528 feature. L'addestramento ha utilizzato una funzione di perdita a due parti (Errore Quadratico Medio e una perdita ausiliaria per i neuroni morti) per stabilizzare l'addestramento e prevenire il collasso delle feature.
• Strategia di Analisi: Gli autori classificano le feature dell'SAE in base alla loro correlazione di rango di Spearman con le metriche globali dell'enstrofia. Successivamente, visualizzano mappe di calore dell'attivazione delle feature rispetto ai campi di traccianti e alle mappe di enstrofia per valutare la coerenza spaziale e la consistenza attraverso diversi setup di simulazione e istanti temporali.

Risultati Chiave
L'indagine produce diverse scoperte riguardanti la consistenza e l'interpretabilità delle rappresentazioni interne del modello:

1. Identificazione delle Feature e Correlazione: Sebbene una feature ai vertici della classifica mostrasse un'alta correlazione ($\rho = 0.85$) con l'enstrofia nella simulazione di riferimento (Sim50), circa il 10% di tutte le 22.528 feature ha superato la soglia di significatività. Ciò suggerisce che la correlazione con una singola metrica fisica come l'enstrofia sia insufficiente per isolare unicamente le feature meccanicisticamente significative.
2. Consistenza Intermittente: Lo studio trova prove di una "consistenza a tratti". Sottogruppi di feature ricorrono in ruoli simili attraverso diversi setup di flusso di taglio (ad esempio, specifiche feature che si attivano nelle interfacce dei canali o nelle regioni dei vortici). Tuttavia, questa struttura è altamente intermittente; non si mappa chiaramente sulle standard decomposizioni fisiche e spesso non persiste attraverso i passi temporali.
3. Diffusività e Discrepanze: I confronti diretti tra la simulazione numerica e l'emulatore Walrus rivelano discrepanze sistematiche a livello di output. Walrus tende a sottostimare l'energia alle medie frequenze spaziali (mid-wavenumbers) e a sovrastimarla alle grandi frequenze spaziali (large wavenumbers), indicando la produzione di strutture a piccola scala eccessive o "troppa" diffusione a piccola scala.
4. Diffusività Rappresentazionale vs. Fisica: La perdita di coerenza delle feature durante l'evoluzione delle simulazioni può derivare da due fonti:
   • Fisica: Walrus potrebbe eccessivamente smussare i campi di flusso, causando la dissipazione dello spettro energetico a scale dove la simulazione di riferimento mantiene la struttura.
   • Rappresentazionale: Anche quando la struttura fisica rimane, il modello potrebbe codificarla attraverso molte feature debolmente attive anziché concentrarla in poche feature interpretabili.
5. Mancanza di Mappatura Stabile: Limitare l'analisi alle feature con il ranking più alto all'interno di una singola simulazione non permette di recuperare una mappatura stabile su quantità fisiche familiari. Pattern che appaiono significativi nei primi istanti temporali spesso si dissolvono in rumore o si spostano in modo imprevedibile man mano che il flusso evolve.

Significatività e Rivendicazioni
Il documento non pretende di aver risolto l'interpretabilità dei modelli di base o di aver dimostrato che Walrus abbia appreso le equazioni che governano la dinamica dei fluidi. Funge invece da caso di studio che evidenzia questioni aperte per la comunità dei modelli di base scientifici:

• Prioritizzazione: È difficile dare priorità in modo robusto alle feature meccanicisticamente significative quando una grande frazione di esse correla con le metriche fisiche.
• Artefatto vs. Struttura: Esiste una sfida significativa nel separare la struttura interna stabile dagli artefatti di analisi, inclusi i limiti inerenti alla sonda a singolo strato e alla metodologia SAE.
• Benchmarking: I benchmark stabiliti (come l'accuratezza a livello di output) sono insufficienti per determinare se le rappresentazioni interne siano genuinamente informative. Un modello può riprodurre efficacemente la dinamica pur utilizzando rappresentazioni interne che non si allineano con l'intuizione fisica umana.

Gli autori concludono che le affermazioni su ciò che tali modelli abbiano "appreso" debbano essere trattate con cautela. Suggeriscono che costruire la fiducia nei modelli di base scientifici possa richiedere l'inizio da architetture più semplici e interpretabili, scalandole poi sistematicamente, piuttosto che tentare di fare l'ingegneria inversa post-hoc su transformer da miliardi di parametri. Il lavoro sottolinea la necessità di distinguere tra modelli che hanno catturato le relazioni governanti e quelli che hanno semplicemente memorizzato regolarità statistiche.