Mechanistic Interpretability and Causal Feature Steering of Neural Quantum States via Sparse Autoencoders

Sintesi Tecnica: Interpretabilità Meccanicistica e Controllo Causale delle Caratteristiche tramite Steering di Stati Quantistici Neurali via Autoencoder Sparsi

Enunciato del Problema
Gli Stati Quantistici Neurali (NQS) sono emersi come potenti ansätze variazionali per la rappresentazione di funzioni d'onda a molti corpi, ottenendo successo sia nella rappresentazione dello stato fondamentale che nella dinamica in tempo reale in sistemi di spin e fermionici. Tuttavia, nonostante la loro efficacia empirica, gli NQS rimangono in gran parte "scatole nere". Esiste un vuoto fondamentale nella comprensione dei loro meccanismi interni: essendo addestrati esclusivamente su obiettivi variazionali (come la minimizzazione dell'energia) senza ottimizzazione esplicita per specifici osservabili fisici, non è chiaro come gli NQS catturino accuratamente quantità quali parametri d'ordine o funzioni di correlazione. Questa opacità ostacola la fiducia e la robustezza del modello, particolarmente in regimi in cui i benchmark numerici sono difficili da ottenere. Gli approcci esistenti si sono concentrati principalmente su vincoli architettonici esterni o analisi dei parametri, lasciando una mancanza di analisi post hoc riguardante il modo in cui le reti organizzano internamente l'informazione fisica.

Metodologia
Gli autori propongono un framework sistematico che utilizza Autoencoder Sparsi (SAE), uno strumento derivato dall'interpretabilità meccanicistica, per decomporre le attivazioni interne degli NQS in caratteristiche sparse e interpretabili.

1. Architettura NQS: Lo studio utilizza NQS basati su transformer autoregressivi. L'ampiezza della funzione d'onda $\psi(\sigma)$ è fattorizzata in una probabilità di Born $p(\sigma)$ e una fase $\phi(\sigma)$. Il transformer agisce come un modello di sequenza causale, predicendo le configurazioni di spin sito per sito.
2. Applicazione SAE: L'SAE è applicato allo stream residuo dell'ultimo strato del transformer. Esso apprende un dizionario sovracompleto di direzioni di caratteristiche $\{f_k\}$ e coefficienti sparsi $z_k$ tali che il vettore di attivazione $h$ sia approssimato come una combinazione lineare sparsa: $h \approx \sum z_k f_k$.
3. Addestramento Non Supervisionato: Fondamentalmente, l'SAE è addestrato interamente in modo non supervisionato sulle attivazioni dello stream residuo. Non riceve etichette fisiche (ad esempio, valori di magnetizzazione) ed è ottimizzato esclusivamente per ricostruire le attivazioni con una penalità di sparsità (norma $L_1$).
4. Correlazione Caratteristica-Osservabile: Dopo l'addestramento, gli autori effettuano un "mean-pooling" dei coefficienti sparsi sulla catena di spin per ottenere intensità scalari delle caratteristiche. Questi vengono correlati con osservabili fisici (es. magnetizzazione, magnetizzazione alternata, correlatori a semichiave) calcolati dalle stesse configurazioni campionate.
5. Intervento Causale (Steering): Per stabilire la causalità, gli autori eseguono interventi mirati. Riscalano l'intensità di attivazione di una specifica caratteristica ($z_{k^*} \to \alpha z_{k^*}$) mantenendo fissi gli altri elementi, ricostruiscono lo stream residuo modificato e osservano la risultante variazione dell'osservabile fisico. Questo viene fatto monitorando l'energia variazionale per garantire che l'intervento rimanga localizzato.

Contributi Chiave e Risultati

• Scoperta di Caratteristiche Interpretabili: Nel Modello di Ising a Campo Trasverso (TFIM) 1D, l'SAE ha scoperto autonomamente caratteristiche sparse che correlano quasi perfettamente ($|r| > 0.97$) con osservabili fisici, inclusi la magnetizzazione ($M_z$), la magnetizzazione assoluta ($|M_z|$) e i correlatori $C_{zz}$ a semichiave. Questa scoperta è avvenuta attraverso la fase paramagnetica, la fase ferromagnetica e il punto critico, nonostante l'SAE non avesse alcuna conoscenza pregressa di tali quantità.
• Controllo Causale: Gli autori hanno dimostato che queste caratteristiche svolgono un ruolo causale nelle predizioni degli NQS. Il riscalamento della forza di una singola caratteristica ($\alpha$) ha guidato in modo fluido e monotono l'osservabile corrispondente (es. magnetizzazione) lasciando l'energia variazionale quasi invariata (deviazione relativa $< 0.02\%$). Ciò conferma che le caratteristiche non sono semplici artefatti di correlazione, ma coordinate interne che controllano le predizioni fisiche.
• Dinamica in Tempo Reale: Il framework è stato esteso alla dinamica in tempo reale sotto il TFIM. Una singola direzione di caratteristica statica è stata trovata capace di tracciare la magnetizzazione dipendente dal tempo $M_z(t)$ durante l'intero percorso di evoluzione. Inoltre, scalare la forza di attivazione di questa caratteristica attraverso il tempo ha alterato sistematicamente la dinamica della magnetizzazione, provando che gli NQS codificano informazioni dinamiche in un sistema di coordinate interne statiche.
• Generalizzazione a Sistemi 2D: L'approccio è stato validato sul modello Antiferromagnetico di Heisenberg 2D (un sistema non integrabile e 2D). L'SAE ha identificato una caratteristica fortemente correlata con la magnetizzazione alternata (un parametro d'ordine spazialmente strutturato che distingue i sottoreticoli). Lo steering di questa caratteristica ha controllato con successo la magnetizzazione alternata, dimostrando l'applicabilità del metodo oltre i sistemi 1D e esattamente risolvibili.

Significato e Rivendicazioni
Il documento sostiene che gli NQS non sono meri approssimatori funzionali delle ampiezze della funzione d'onda, ma codificano rappresentazioni interne ricche e interpretabili di informazioni fisiche.

• Strumento Diagnostico: L'approccio fornisce un metodo per valutare se un NQS addestrato ha appreso una rappresentazione fisicamente sensata. La presenza di caratteristiche che controllano causalmente i parametri d'ordine funge da prova di un apprendimento riuscito, mentre la loro assenza potrebbe diagnosticare un fallimento del modello.
• Strumento di Intervento: Il lavoro stabilisce una via per la manipolazione controllata a livello di caratteristica degli NQS. Regolando un singolo coefficiente scalare nello stream residuo, è possibile sintonizzare specifiche quantità fisiche senza dover riaddestrare o affinare l'intera rete.
• Scambio Bidirezionale: Gli autori postulano una relazione sinergica tra la fisica dei molti corpi quantistici e l'interpretabilità meccanicistica. Gli NQS forniscono un contesto con osservabili fisiche "ground-truth" per testare le affermazioni di interpretabilità, mentre gli strumenti di interpretabilità offrono metodi per aprire la "scatola nera" delle funzioni d'onda variazionali, portando potenzialmente a simulazioni quantistiche più affidabili e trasparenti.

Gli autori rimangono modesti riguardo all'ambito, notando che questo lavoro si concentra esclusivamente su architetture transformer e sugli stream residui dell'ultimo strato, lasciando aperte questioni riguardanti altre architetture (es. RBM, RNN) e i meccanismi di auto-attenzione risolti per strato.