Attention-based optimizer for symmetry finding

Problematica

Trovare le simmetrie nei sistemi fisici è fondamentale per comprendere e risolvere modelli complessi, in particolare nella fisica quantistica dei molti corpi. Sebbene i moderni metodi computazionali permettano lo studio diretto di problemi complicati, molti rimangono intrattabili per implementazioni numeriche brute-force (ad esempio, la diagonalizzazione esatta). Sebbene esistano tecniche di approssimazione come le reti tensoriali, esse spesso si basano su specifiche assunzioni strutturali che degradano quando il sistema fisico non corrisponde a tali assunzioni.

Gli algoritmi esistenti per trovare le simmetrie, come il metodo deterministico presentato nei riferimenti [38–40], possono ridurre il numero di qubit trovando un sistema di riferimento in cui le simmetrie sono stabilizzate. Tuttavia, sebbene siano classicamente efficienti (tempo di esecuzione cubico), questi approcci deterministici soffrono di scale temporali lunghe per sistemi con un gran numero di qubit. Inoltre, garantiscono di trovare tutti i generatori delle simmetrie, ma possono essere computazionalmente costosi per sistemi di grandi dimensioni. Vi è la necessità di un metodo che possa identificare rapidamente le simmetrie di Pauli direttamente da un Hamiltoniano di input senza una conoscenza pregressa della struttura del sistema, in particolare per sistemi fisici dove le simmetrie non sono immediatamente ovvie.

Metodologia

Gli autori propongono un framework di ottimizzazione basato sull'apprendimento automatico che fonde la ricerca automatizzata delle simmetrie con il deep learning. Il cuore del framework è un'architettura Set-Transformer, scelta perché il problema di trovare una simmetria di Pauli è intrinsecamente invariante per permutazione (l'ordine delle stringhe di Pauli in un Hamiltoniano non è importante).

1. Rappresentazione dell'Input:
L'Hamiltoniano di input $H = \sum P_i$ è rappresentato come un tableau $H_t$, una matrice binaria dove ogni riga corrisponde a una stringa di Pauli codificata come un vettore binario a $2n_q$ dimensioni (utilizzando il formalismo semplice). Questa rappresentazione preserva l'invarianza per permutazione dell'input.

2. Architettura:
Il modello consiste di tre componenti principali:

• Embedding e Proiezione dell'Input: Le righe del tableau binario sono proiettate in uno spazio latente continuo e apprendibile tramite uno strato lineare. Vengono evitati gli embedding di posizione per mantenere l'invarianza per permutazione.
• Set-Transformer (Encoder-Decoder):
  • Encoder: Utilizza blocchi di attenzione Set (SAB) impilati contenenti Multi-Head Attention (MHA) e strati Feed-Forward riga-per-riga (rFF). Il meccanismo di self-attention codifica correlazioni pairwise e di ordine superiore tra le stringhe di Pauli.
  • Decoder: Proietta le correlazioni apprese in un singolo vettore di simmetria candidato. Include uno strato di Pooling Multi-head Attention (PMA), un SAB, la normalizzazione del layer e uno strato lineare per mappare la dimensione latente nuovamente a $2n_q$.
  • Attivazione: Uno strato Sin seguito da uno strato Sigmoide apprendibile mappa l'output continuo in valori binari approssimati (0 e 1), rappresentando la stringa di Pauli candidata $S_p$.
• Espansione del Contesto Adattiva (ACE): Per affrontare il problema degli infiniti numeri di non-soluzioni rispetto alle soluzioni (specialmente in Hamiltoniani casuali), il framework include un modulo ACE. Se l'ottimizzatore sembra bloccato in un minimo locale (rilevato tramite oscillazioni della perdita), l'ACE espande sinteticamente il contesto aggiungendo prodotti di stringhe di Pauli esistenti ($P_i P_j$) all'Hamiltoniano. Ciò fornisce nuove informazioni per aiutare l'ottimizzatore a uscire dai minimi locali.

3. Obiettivo di Ottimizzazione:
Il framework minimizza una funzione di perdita personalizzata $C$ composta da quattro termini:

• Perdita di Commutazione ($C_{com}$): L'obiettivo primario, che assicura che il candidato $S(\theta)$ commuti con tutti i termini in $H$. Utilizza un proxy differenziabile, $\sin^2(\frac{\pi}{2} x)$, per la condizione del commutatore modulo 2.
• Penalità Zero ($C_{zp}$): Impedisce la soluzione banale (l'operatore Identità) penalizzando gli output in cui tutti gli elementi sono zero.
• Penalità Binaria ($C_{bin}$): Incoraggia i valori continui dell'output a convergere verso valori binari (0 o 1).
• Regolarizzatore di Linearità ($C_{lin}$): Assiste l'ottimizzazione precoce favorendo candidati che anticommutano un numero limitato di volte, mitigando la natura multimodale della perdita di commutazione.

L'ottimizzazione è eseguita utilizzando l'ottimizzatore AdamW con condizioni di early stopping che verificano se è stata trovata una simmetria valida.

Contributi Chiave

• Primo cercatore di simmetrie basato su ML: Per quanto ne sappiano gli autori, questo è il primo lavoro che utilizza l'apprendimento automatico e l'intelligenza artificiale per trovare simmetrie direttamente da un Hamiltoniano di input senza conoscenza pregressa del sistema o della simmetria.
• Architettura Set-Transformer: L'applicazione dei Set-Transformer per codificare le correlazioni tra le stringhe di Pauli, trattandole analogamente a token nel processamento del linguaggio naturale, per estrarre relazioni globali.
• Espansione del Contesto Adattiva: Un modulo innovativo che aumenta dinamicamente il contesto di input per aiutare l'ottimizzatore a navigare in paesaggi di perdita complessi dove le soluzioni sono scarse.
• Accelerazione Probabilistica: Il framework offre un approccio probabilistico che trova le simmetrie significativamente più velocemente degli alternativi deterministici per specifici sistemi fisici, scambiando le garanzie deterministiche con la velocità.

Risultati

Il framework è stato testato su tre categorie di Hamiltoniani:

1. Hamiltoniani di Pauli Casuali:

• Testati su sistemi a 10 qubit con ranghi ($R$) variabili.
• L'ottimizzatore basato sull'attenzione ha trovato le simmetrie più velocemente dell'algoritmo deterministico per ranghi da $R=4$ a $R=16$.
• Per ranghi più elevati, la complessità temporale scala come $O(2^{0.705R})$ per il tempo minimo, rispetto a $O(2^R)$ per l'algoritmo deterministico fino a $R=8$.
• La probabilità di successo diminuisce con il rango, richiedendo più partenze parallele (e quindi più GPU) per raggiungere un tasso di successo del 90%. Per $R=18$, si stima che siano necessarie 32 partenze parallele.

2. Modello di Ising trasversale periodico 1-D:

• Testato su sistemi con $n_q$ da 10 a 1400.
• L'implementazione GPU del framework ha trovato le simmetrie circa 225 volte più velocemente dell'approccio deterministico, mentre l'implementazione CPU è stata 1500 volte più veloce.
• Il numero di iterazioni richieste dall'ottimizzatore è rimasto approssimativamente costante (saturando intorno a 35–40) all'aumentare della dimensione del sistema, mentre il numero di porte di Clifford per l'algoritmo deterministico cresceva polinomialmente.
• La probabilità di fallimento è stata estremamente bassa (media $p_f \approx 0.033$).

3. Scala Ising 2-D e Codice Torico:

• Applicato a scale Ising 2-D e codici Torici (con e senza campi magnetici) fino a $n_q = 1000$.
• Il framework ha mostrato un vantaggio sostanziale rispetto all'algoritmo deterministico, con l'implementazione GPU che è stata circa $10^5$ volte più veloce per la scala Ising.
• Per i codici Torici, il vantaggio è aumentato con la dimensione del sistema. La scalabilità dell'algoritmo deterministico è stata osservata essere peggiore di $O(n_q^3)$, probabilmente a causa del numero moderato di stringhe di Pauli.
• L'ottimizzatore ha raggiunto alti tassi di successo con basse probabilità di fallimento in tutte le geometrie testate.

Osservazione sui Sistemi Fisici vs Casuali:
Il paper nota che il framework funziona eccezionalmente bene sui Hamiltoniani fisici (Ising, Toric) perché le loro rappresentazioni tableau codificano interazioni fisiche ordinate, locali e ripetitive. Questa struttura rende il contesto immediatamente informativo, permettendo all'ottimizzatore di navigare facilmente nel paesaggio della perdita. Al contrario, gli Hamiltoniani casuali mancano di questa regolarità, richiedendo più risorse computazionali (espansione del contesto e partenze parallele) per trovare le simmetrie.

Significato e Rivendicazioni

Gli autori affermano che questo lavoro rappresenta un passo importante verso l'estensione del machine learning per trovare altre classi di simmetrie dove non sono noti strategie ottimali o deterministiche. Fondendo l'apprendimento automatico con la ricerca automatizzata delle simmetrie, il framework offre un "vantaggio sostanziale" in termini di velocità per i Hamiltoniani fisici rispetto alle strategie deterministiche allo stato dell'arte.

Il paper inquadra modestamente il proprio contributo come una prova di concetto per l'uso dei meccanismi di attenzione per risolvere problemi algebrici nella fisica quantistica. Evidenzia che, sebbene il metodo sia probabilistico e richieda la parallelizzazione per i sistemi casuali, è altamente efficace per i modelli fisici dove le interazioni sistemiche sono incorporate nell'Hamiltoniano. Gli autori intendono estendere questo approccio per trovare altre classi di simmetrie, come le simmetrie di Clifford, in lavori futuri.