Uncovering Latent Structures in Robust Pulse Sequences: A Model-Based Reinforcement Learning Approach for Adaptable Quantum Control

Sintesi Tecnica: Rivelare le Strutture Latenti in Sequenze d'Impulso Robuste tramite Reinforcement Learning Basato su Modello

Definizione del Problema
Il controllo adattivo in tempo reale dei sistemi quantistici richiede la generazione rapida di impulsi di controllo robusti e ad alta fedeltà attraverso intervalli continui di condizioni operative. Gli algoritmi di ottimizzazione standard, come il Gradient Ascent Pulse Engineering (GRAPE), risolvono ogni istanza di controllo in modo indipendente. Questo approccio "senza memoria" scarta le informazioni tra una corsa e l'altra, richiedendo costose riinizializzazioni e ri-ottimizzazioni ogni volta che i parametri del sistema (ad esempio, detuning di frequenza, disomogeneità di ampiezza) cambiano. Inoltre, sebbene l'apprendimento supervisionato offra velocità, esso è limitato dalla qualità dei dati di addestramento pre-calcolati e non può superare le soluzioni che è stato addestrato a riprodurre. Il Reinforcement Learning (RL) model-free evita le dipendenze dai dati ma soffre di inefficienza campionaria e di una mancanza di robustezza fisica dovuta alla sua ignoranza dell'Hamiltoniana del sistema.

Metodologia
Gli autori propongono un framework di Model-Based Reinforcement Learning (RL) che incorpora direttamente l'Hamiltoniana del sistema fisico nella pipeline di addestramento. Questo approccio utilizza un singolo network neurale per generare gate quantistici robusti attraverso un'intera famiglia di configurazioni senza dati di addestramento pre-calcolati.

• Architettura e Input: Un network neurale completamente connesso riceve quattro input che definiscono una configurazione di gate: angolo di rotazione ($\beta$), durata dell'impulso ($T_P$), intervallo di detuning target ($\Delta\delta$) e intervallo di disomogeneità di ampiezza target ($\Delta s$). Il network genera un profilo di fase tempo-dipendente $\phi(t)$ per un'ampiezza nominale costante.
• Ciclo di Addestramento: Il network genera un impulso di controllo, che viene applicato all'Hamiltoniana del sistema all'interno di una simulazione di fisica differenziabile. La simulazione calcola il propagatore $U(T, \xi_m)$ per un insieme di parametri di sistema $\xi_m$ campionati da una griglia di robustezza. L'infedeltà $J$ viene calcolata rispetto a un'unitaria target $U_T$ e propagata all'indietro attraverso l'intero grafo computazionale (dall'infedeltà ai pesi del network) utilizzando la differenziazione automatica (AD).
• Robustezza e Smoothing: Per garantire la fattibilità sperimentale, la funzione di perdita media l'infedeltà su una griglia di variazioni di detuning e ampiezza. Un filtro a media mobile esponenziale (EMA) bidirezionale è applicato alla sequenza di fase in uscita per sopprimere le oscillazioni ad alta frequenza preservando al contempo la struttura temporale e la differenziabilità.
• Scheduling della Perdita: Per migliorare la convergenza verso soluzioni ad alta fedeltà, la funzione di perdita viene ri-pesata nella fase di fine-tuning utilizzando $J^\alpha$ (con $\alpha < 1$), aumentando il peso del gradiente per le configurazioni che hanno già raggiunto un'alta fedeltà.
• Modello di Sistema: Il metodo è dimostrato su un sistema a spin singolo (a due livelli) pilotato da un campo esterno, governato da un'Hamiltoniana che include drift, campi di controllo, detuning di frequenza ed errori di scala dell'ampiezza.

Contributi Chiave

1. Politica di Controllo Generalizzabile: Il framework addestra un singolo network per mappare una famiglia continua di configurazioni di gate in impulsi ottimizzati. Una volta addestrato, il network genera impulsi ad alta fedeltà per qualsiasi combinazione di parametri entro i limiti di addestramento in millisecondi, eliminando la necessità di ri-ottimizzazione.
2. Scoperta di Strutture Latenti: Gli autori dimostrano che il network neurale scopre costantemente profili di fase strutturati attraverso lo spazio dei parametri. Queste strutture corrispondono a specifiche famiglie di soluzioni nel panorama di controllo che sono spesso oscurate nelle ottimizzazioni GRAPE standard a causa dell'inizializzazione stocastica e delle corse di ottimizzazione indipendenti.
3. Simmetria e Continuità: Il network rivela che gli impulsi ottimali esibiscono variazioni strutturali lisce e continue (ad esempio, simmetria o antisimmetria rispetto al punto medio dell'impulso) attraverso durate e angoli di rotazione. Questa continuità permette un'interpolazione fluida tra i parametri, una proprietà che GRAPE non possiede per design.
4. Efficienza: Il network addestrato copre l'intero spazio dei parametri (angolo di rotazione, durata, detuning, disomogeneità) in un singolo passaggio in avanti. La generazione di una copertura equivalente con multi-seed GRAPE è descritta come computazionalmente intrattabile alla scala valutata.

Risultati

• Confronto delle Prestazioni: Testato contro multi-seed GRAPE (utilizzando 1 e 20 seed) su 100.000 configurazioni di gate, il network neurale raggiunge fedeltà comparabili a GRAPE. Sebbene il multi-seed GRAPE occasionalmente superi il network nel regime di infedeltà minima ($J < 10^{-4}$) esplorando più minimi locali, il network supera costantemente il single-seed GRAPE e rimane entro un ordine di grandezza dei migliori risultati multi-seed.
• Consistenza Strutturale: Quando GRAPE viene inizializzato utilizzando l'output del network neurale, esso rifinisce la soluzione all'interno della stessa famiglia strutturata, confermando che il network converge verso minimi genuini nel panorama di controllo. Le impronte di robustezza (infedeltà vs detuning) degli impulsi generati dal network, dagli impulsi GRAPE e dagli impulsi GRAPE inizializzati dal network sono quasi identiche, nonostante le evidenti differenze nei profili di fase grezzi.
• Generalizzazione: Il network interpola con successo combinazioni di parametri non viste (ad esempio, durate dell'impulso e angoli di rotazione continui) con paesaggi di fedeltà fluidi, validando la sua capacità di generalizzare oltre la griglia di addestramento discreta.
• Velocità: Il network genera impulsi in millisecondi, mentre il multi-seed GRAPE richiede ore di computazione per una copertura equivalente.

Significatività e Rivendicazioni
Il documento sostiene che questo approccio di RL basato su modello offre un paradigma fondamentalmente diverso per l'ottimizzazione del controllo quantistico. Incorporando la fisica direttamente nel processo di apprendimento, il metodo raggiunge:

• Adattabilità: Qualsiasi parametro che entri nell'Hamiltoniana può servire come input del network, rendendo il framework direttamente trasferibile a diversi sistemi e impostazioni di controllo senza cambiare la procedura di addestramento.
• Intuizione sui Panorami di Controllo: L'approccio scopre "strutture latenti" nel panorama di controllo — specificamente, famiglie di fase strutturate che sono coerenti tra i parametri. Ciò suggerisce che il panorama di controllo contiene distinte e robuste famiglie di soluzioni che i metodi a gradiente locale (come il GRAPE standard) potrebbero perdere o tra cui potrebbero saltare stocasticamente.
• Utilità Pratica: Il metodo consente la generazione sul campo di impulsi adattati individualmente per specifiche variazioni hardware, un requisito critico per protocolli sperimentali avanzati come il parallel transmit MRI e le calibrazioni continue dei gate.

Gli autori mantengono una posizione modesta, osservando che, sebbene il network sia altamente efficiente e generalizzabile, non supera costantemente il multi-seed GRAPE esaustivo in termini di infedeltà minima assoluta. Tuttavia, fornisce un'alternativa pratica ad alta fedeltà che bilancia il costo computazionale con le prestazioni e offre intuizioni uniche sulla topologia del panorama di controllo quantistico.