SymQNet: Amortized Acquisition for Low-Latency Adaptive Hamiltonian Learning

Riepilogo Tecnico: SymQNet – Acquisizione Ammortizzata per l'Apprendimento Hamiltoniano a Bassa Latenza

Problema

L'apprendimento hamiltoniano adattivo è essenziale per la calibrazione e la caratterizzazione di dispositivi quantistici, dove ogni nuova misurazione viene selezionata in base alla corrente credenza a posteriori per massimizzare il guadagno di informazione. Tuttavia, questo processo affronta un collo di bottiglia computazionale significativo: nei controller adattivi tradizionali, le regole di acquisizione (come il Bayesian Active Learning by Disagreement [BALD] o la ricerca dell'informazione di Fisher) devono essere ricalcolate dopo ogni aggiornamento della posterior. Per sistemi con molti qubit, questa fase di scoring comporta la valutazione di esperimenti candidati rispetto a una posterior basata su particelle, un processo che può richiedere secondi. Attraverso centinaia di shot sperimentali, questi ritardi si accumulano in un costo di tempo reale proibitivo, rendendo impraticabile l'adattività per carichi di lavoro a bassa latenza.

Metodologia

Gli autori propongono SymQNet, un approccio di apprendimento per rinforzo (RL) ammortizzato progettato per disaccoppiare la decisione di acquisizione dal pesante calcolo online.

• Formulazione come MDP: Il ciclo di apprendimento adattivo è modellato come un processo decisionale di Markov (MDP) a stato di credenza a orizzonte finito. Lo stato $s_t$ comprende la credenza posterior Sequential Monte Carlo (SMC) $b_t$, la storia dell'esperimento $h_t$, il grafo del sistema $G_N$ e il passo temporale $t$. L'azione $a_t$ consiste nella selezione di un qubit, di una base Pauli e di un tempo di evoluzione.
• Addestramento Offline: Una policy $\pi_\phi$ viene addestrata offline utilizzando il Proximal Policy Optimization (PPO). La funzione di ricompensa si basa sulla divergenza di Kullback–Leibler (KL) (guadagno di informazione) tra la posterior prima e dopo una misurazione. Ciò consente alla policy di apprendere una mappatura dalle stati di credenza alle azioni ottimali senza la necessità di conoscere i veri parametri latenti durante l'addestramento.
• Architettura: SymQNet impiega un'architettura neurale che elabora lo stato di credenza e la storia. Utilizza un Variational Autoencoder (VAE) per comprimere le caratteristiche della storia delle misurazioni, strati grafici per codificare la struttura a catena dei qubit e un transformer per riassumere la storia temporale. L'output è una distribuzione di logit sullo spazio delle azioni discrete.
• Deployment Online: Durante il deployment, l'algoritmo SMC esegue comunque l'aggiornamento della posterior Bayesiana (mantenendo il ciclo di filtraggio Bayesiano). Tuttavia, la fase di acquisizione è sostituita da un singolo passaggio in avanti (forward pass) della rete neurale addestrata. Questa inferenza "ammortizzata" sostituisce l'ottimizzazione iterativa online delle regole di acquisizione con una policy appresa e veloce.

Contributi Chiave

1. Policy di Acquisizione Ammortizzata: L'introduzione di SymQNet, che apprende una policy di acquisizione condizionata dalla posterior offline per consentire il decision-making a bassa latenza online.
2. Riduzione della Latenza: Una dimostrazione che l'acquisizione appresa può ridurre la latenza decisionale di ordini di grandezza rispetto ai baseline online limitati (ricerca dell'informazione di Fisher limitata e BALD a due step limitato) mantenendo al contempo una precisione di stima competitiva.
3. Framework di Benchmarking: Un rigoroso framework di valutazione che separa la latenza di acquisizione dall'accuratezza finale della stima dei parametri (Mean Squared Error, MSE), utilizzando benchmark a prior corrispondenti su istanze del modello Ising a campo trasverso (TFIM) da 5, 8, 10 e 12 qubit.

Risultati

Il paper valuta SymQNet rispetto a programmi fissi, un transformer di tipo Deep Adaptive Design (DAD) e metodi di acquisizione online limitati.

• Prestazioni di Latenza:

  • Sistema a 5 Qubit: SymQNet riduce la latenza decisionale di sola acquisizione di 47,1× rispetto al BALD a due step limitato e di 72,6× rispetto alla ricerca dell'informazione di Fisher limitata.
  • Sistema a 12 Qubit: Il tempo di step simulato completo (inclusi l'aggiornamento SMC e la decisione) per SymQNet è di 1,02 secondi, mentre il BALD a due step limitato richiede 13,27 secondi e la ricerca dell'informazione di Fisher limitata richiede 22,32 secondi.
  • Scalabilità: All'aumentare del numero di qubit (8, 10, 12), la latenza decisionale dei baseline online cresce ripida (rapporto di pendenza logaritmica di 1,519), mentre la crescita della latenza di SymQNet è significativamente più piatta (rapporto di pendenza logaritmica di 0,300).

• Accuratezza (MSE):

  • SymQNet mantiene un'accuratezza di stima dei parametri competitiva. Nel benchmark a 5 qubit con 128 shot, SymQNet raggiunge un rapporto MSE di 1,32 rispetto al BALD limitato (dove 1,0 è l'accuratezza equivalente), indicando un leggero compromesso per enormi guadagni di velocità.
  • Con 512 shot, un transformer di tipo DAD (senza input di grafo/SMC) eguaglia l'MSE di SymNet con una latenza decisionale ancora inferiore, suggerendo che per prior semplici, gli input complessi di grafo/SMC di SymNet potrebbero non essere strettamente necessari per l'accuratezza, sebbene si ipotizzi che siano cruciali per geometrie più complesse.
  • I programmi fissi (ottimizzati tramite ricerca Fisher-greedy) spesso raggiungono l'MSE più basso in questi test a prior corrispondenti, evidenziando che l'adattività non è sempre necessaria per l'accuratezza in contesti semplici, ma è necessaria per gestire l'incertezza nei casi generali.

• Studi di Ablazione: Rimuovere l'encoder grafico o il VAE dall'architettura ha causato solo lievi degradazioni dell'MSE (rispettivamente 3,0% e 1,1%), suggerendo che l'architettura possiede un "margine di compressione" e che policy più semplici potrebbero potenzialmente raggiungere un controllo su scala di microsecondi.

Significatività e Rivendicazioni

Il paper sostiene che SymQNet rende l'apprendimento hamiltoniano adattivo praticabile per carichi di lavoro ripetuti e a bassa latenza, spostando l'onere computazionale dal ciclo online all'addestramento offline. Gli autori sottolineano che, sebbene l'acquisizione appresa introduca un "gap di surrogato" (addestramento sul guadagno di informazione rispetto alla valutazione sull'MSE finale), il metodo riesce a mantenere il feedback della posterior Bayesiana eliminando al contempo la componente dominante del controller durante l'esecuzione.

Gli autori sono modesti nelle loro rivendicazioni riguardo alla necessità della loro specifica architettura (encoder grafici, VAE) per gli attuali benchmark, notando che il test a cinque qubit non risolve completamente il valore di questi componenti. Essi ipotizzano che questi input diventeranno probabilmente più critici in regimi con prior spostati, accoppiamenti non a catena o rumore hardware più ricco, che rimangono direzioni future. Il contributo primario è la dimostrazione che l'acquisizione appresa può scalare a un numero maggiore di qubit (fino a 12 in simulazione) dove il tradizionale design Bayesiano online diventa computazionalmente intrattabile.