Connectivity determines the capability of sparse neural network quantum states

Sintesi Tecnica: La Connettività Determina la Capacità degli Stati Quantistici di Reti Neurali Sparse

Definizione del Problema
Questo lavoro investiga l'applicabilità della Lottery Ticket Hypothesis (LTH) al compito non supervisionato di approssimare gli stati fondamentali di Hamiltoniane many-body quantistiche utilizzando reti neurali. A differenza dei tipici compiti di machine learning (ad esempio, il riconoscimento di immagini) dove i dati sono sparsi, le funzioni d'onda many-body quantistiche sono generalmente rappresentazioni completamente dense con ampiezze che spaziano su molti ordini di grandezza. Gli autori affrontano la sfida di trovare subreti sparse all'interno di reti neurali sovraparametrizzate che possano eguagliare le prestazioni del modello denso originale quando addestrate in isolamento. Esaminano specificamente se il "biglietto vincente" in questo contesto dipenda da specifici valori iniziali dei pesi (come nella LTH originale) o esclusivamente dalla struttura di connettività della subrete sparsa.

Metodologia
Lo studio impiega l'Iterative Magnitude Pruning with Weight Rewinding (IMP-WR) per generare maschere sparse. Il processo prevede:

1. Pre-addestramento: Addestramento di una rete neurale densa inizializzata casualmente.
2. Pruning (Potatura): Rimozione iterativa dei pesi di minore magnitudo e riavvolgimento (rewinding) dei pesi rimanenti ai loro valori all'inizio dell'iterazione di pruning.
3. Addestramento Isolato: Test di tre distinte strategie di inizializzazione per le risultanti subreti sparse ("biglietti"):
   • $T(\theta_{init}, m_{imp})$: Test LTH originale (pesi originali + maschera appresa).
   • $T(\theta_{rand}, m_{imp})$: Pesi casuali + maschera appresa.
   • $T(\theta_{init}, m_{rand})$: Pesi originali + maschera casuale.

Gli esperimenti utilizzano due modelli fisici:

• Modello di Ising in Campo Trasverso (TFIM): Un sistema 2D che presenta una transizione di fase quantistica tra le fasi ferromagnetica e paramagnetica.
• Codice Torico (TC): Un modello con ordine topologico che possiede una soluzione esatta dello stato fondamentale.

Le architetture di rete neurale testate includono reti neurali feed-forward (FFNN) superficiali, reti neurali convoluzionali (CNN) superficiali e ResCNN (Convolutional Residual Networks). L'addestramento viene eseguito utilizzando il Gradiente Naturale (Stochastic Reconfiguration) per minimizzare il costo energetico variazionale.

Contributi Chiave

1. Riformulazione della LTH per Stati Quantistici: Gli autori dimostrano che, per gli stati quantistici a rete neurale, il "biglietto vincente" è definito dalla sola struttura di connettività sparsa. L'inizializzazione specifica dei pesi è trascurabile; le subreti sparse addestrate da inizializzazioni casuali ($T(\theta_{rand}, m_{imp})$) performano in modo comparabile a quelle addestrate dalla l'inizializzazione originale ($T(\theta_{init}, m_{imp})$). Ciò contrasta con la LTH originale, dove i valori iniziali dei parametri sono cruciali.
2. Comportamento di Scaling Universale: Il documento identifica regioni di scaling universale nella curva errore-sparsità che persistono attraverso diverse dimensioni di rete e modelli fisici. Queste regioni includono:
   • Un Plateau a Basso Errore (LEP) ad alte densità di parametri.
   • Una regione di Approssimazione a Legge di Potenza (APL).
   • Un Plateau ad Alto Errore (HEP) a basse densità di parametri.
     I confini di queste regioni sono determinati dalla fisica sottostante dell'Hamiltoniana.
3. Transizioni di Fase Indotte dalla Sparsità: Trattando il numero di parametri per spin ($\rho$) come un parametro di controllo analogo a un campo fisico, gli autori identificano una transizione di fase quantistica del primo ordine in reti superficiali. Questa transizione avviene al confine tra l'APL e l'HEP, caratterizzata da una discontinuità nella derivata dell'energia e da un brusco calo della fedeltà tra stati potati adiacenti.
4. Interpretabilità tramite Pruning: Il processo di pruning rivela che la struttura delle subreti sparse codifica direttamente la fisica dell'Hamiltoniana. Per il Codice Torico, il pruning scopre una soluzione asintoticamente esatta composta da "filtri a parità dispari" che impongono le condizioni di plaquette dello stato fondamentale.

Risultati

• Performance TFIM: Le reti sparse (con il 5–20% dei parametri originali) raggiungono accuratezze comparabili ai modelli densi. La transizione verso l'alto plateau di errore avviene a diversi livelli di sparsità a seconda della fase (ferromagnetica vs paramagnetica), riflettendo la scarsità intrinseca dell'autovettore dello stato fondamentale in ciascuna fase.
• Segnature di Transizione di Fase: Al punto critico del TFIM, la transizione dall'APL all'HEP è segnata da un cambiamento improvviso nel magnetismo totale ($M_z$ e $M_x$) e da un brusco calo della fedeltà, confermando una transizione di fase del primo ordine indotta dalla sparsità.
• Soluzione del Codice Torico: Il pruning di una FFNN a singolo strato sul Codice Torico produce una soluzione in cui l'errore diminuisce esponenzialmente con la magnitudo del peso. La struttura sparsa risultante consiste di filtri che implementano efficacemente i vincoli esatti dello stato fondamentale (sovrapposizione di configurazioni che soddisfano $\lambda_{Bp}(\sigma) = 1$).
• Indipendenza dall'Architettura: Il fenomeno della performance determinata dalla connettività si mantiene attraverso FFNN, CNN e ResCNN, sebbene le ResCNN mostrino alte prestazioni anche con maschere casuali grazie alla loro struttura a kernel localizzata che fornisce un forte prior iniziale.

Significatività
Il documento sostiene che il pruning serva come uno strumento potente non solo per la compressione del modello, ma anche per interpretare la fisica dei sistemi many-body quantistici. Collegando la struttura delle subreti sparse alla fisica sottostante dell'Hamiltoniana, gli autori dimostrano che:

• Le reti neurali possono scoprire soluzioni efficienti e asintoticamente esatte per problemi quantistici complessi (come il Codice Torico) senza un design architettonico preventivo.
• La dinamica del pruning rivela proprietà fondamentali delle fasi quantistiche, come le transizioni di fase guidate dalla capacità rappresentativa (sparsità).
• L'indipendenza della performance dall'inizializzazione dei pesi suggerisce una connessione forte e intrinseca tra la topologia della rete e la fisica che essa rappresenta, semplificando potenzialmente l'addestramento degli stati neurali quantistici eliminando la necessità di un'inizializzazione precisa.

Gli autori concludono che queste scoperte possono facilitare l'uso di modelli compressi per applicazioni quali l'evoluzione temporale, la simulazione di circuiti quantistici e il fine-tuning, dove l'efficienza dei parametri è critica.