Graph Reinforcement Learning for Calibration-Aware Quantum Circuit Routing

Questo articolo presenta un approccio di apprendimento per rinforzo su grafi consapevole della calibrazione per il routing di circuiti quantistici che, sfruttando dati di calibrazione dell'hardware in tempo reale e l'ottimizzazione della politica prossimale, raggiunge una fedeltà simulata significativamente più alta rispetto ai metodi standard basati su SABRE su circuiti piccoli e medi, nonostante comporti un numero maggiore di gate a due qubit.

L'essenziale

Immagina di dover guidare una squadra di corrieri (i dati quantistici) attraverso una città enorme e caotica (il computer quantistico) per consegnare pacchi (eseguire calcoli).

In passato, le app di navigazione per queste città quantistiche si preoccupavano di una sola cosa: la distanza. Dicevano ai corrieri: "Prendi la strada più breve, anche se significa passare sopra un ponte pieno di buche o in una zona di lavori in corso". La logica era semplice: meno chilometri percorsi equivalgono a meno usura.

Tuttavia, questo articolo sostiene che nel mondo reale dei computer quantistici, la distanza non è tutto. A volte, un percorso leggermente più lungo che evita un ponte interrotto è in realtà molto meglio, perché fa arrivare il pacco a destinazione in condizioni migliori.

Ecco una ripartizione di ciò che hanno fatto i ricercatori, utilizzando analogie semplici:

Il Probleo: Il percorso "Perfetto" vs Il percorso "Reale"

I computer quantistici sono come città in cui la qualità delle strade (le connessioni tra le parti del computer) cambia costantemente. Alcune strade sono lisce e veloci; altre sono sconnesse e soggette a guasti. Questa qualità viene chiamata "calibrazione".

I vecchi sistemi di navigazione (come l'algoritmo standard SABRE menzionato nell'articolo) sono come app GPS che guardano solo una mappa. Dicono: "Vai per questa strada perché sono 5 miglia". Non sanno che la strada da 5 miglia è attualmente allagata, mentre quella da 6 miglia è asciutta.

La Soluzione: Un GPS "Consapevole della Calibrazione"

Gli autori hanno creato un nuovo sistema di navigazione più intelligente usando il Graph Reinforcement Learning. Immagina questo come un GPS che non si limita a guardare la mappa, ma controlla anche il rapporto sul traffico in tempo reale e le previsioni del tempo per ogni singola strada prima di prendere una decisione.

• Il "Cervello": Hanno addestrato un'IA (usando un metodo chiamato Proximal Policy Optimization) per agire come navigatore.
• L'Input: Prima di dire ai corrieri dove andare, l'IA osserva:
  1. La lista delle consegne rimanenti (il circuito).
  2. Dove i corrieri sono attualmente parcheggiati (il posizionamento).
  3. Il rapporto sulla salute in tempo reale di ogni strada (i dati di calibrazione dal chip IBM Heron r2).
• La Strategia: L'IA è disposta a prendere un percorso leggermente più lungo (aggiungendo più operazioni "SWAP", che sono come deviazioni) se ciò significa evitare una strada che si sa essere rotta o rumorosa.

L'Esperimento: Una corsa contro il vecchio modo

I ricercatori hanno testato il loro nuovo navigatore IA contro due sistemi di navigazione "vecchia scuola" già stabiliti:

1. SABRE-best20: Il navigatore standard, focalizzato sulla distanza.
2. Target-aware SABRE: Una versione leggermente più intelligente che conosce la mappa ma non utilizza i dati sul traffico in tempo reale in modo altrettanto efficace.

Hanno eseguito il test su nove diversi "percorsi di consegna" (circuiti quantistici) di varie dimensioni (5, 8 e 10 tappe) utilizzando dati reali dall'hardware quantistico di IBM.

I Risultati: Qualità rispetto alla Quantità

I risultati sono stati una chiara vittoria per la nuova IA, ma con un colpo di scena:

• La Grande Vittoria: Sui percorsi di piccole e medie dimensioni (5 e 8 tappe), i percorsi dell'IA sono stati molto più efficaci. I "pacchi" sono arrivati in condizioni molto migliori.
  • Il Punteggio: L'IA ha ottenuto una "fedeltà" (tasso di successo) di 0,727, mentre i vecchi metodi hanno ottenuto circa 0,440 e 0,481. È un salto enorme in termini di qualità.
• Il Compromesso: Per ottenere questa alta qualità, l'IA ha compiuto più passaggi. Ha aggiunto circa 8 deviazioni (gate a due qubit) e ha reso il percorso leggermente più profondo.
  • La Lezione: Fare qualche passo in più per evitare un ponte interrotto vale la pena se serve a salvare il carico.
• La Limitazione: Sui percorsi più grandi (10 tappe), l'IA non è stata altrettanto brava. Perché? Perché la "mappa della città" che le è stata data aveva una forma ad albero rigida con pochissime strade alternative. Quando non ci sono buone deviazioni disponibili, l'IA non riesce a superare in astuzia il vecchio GPS focalizzato sulla distanza.

In sintesi

Questo articolo dimostra che per i computer quantistici conoscere lo stato di salute attuale dell'hardware è più importante del semplice conteggio dei passaggi.

Insegnando a un'IA come guardare il "traffico in tempo reale" (dati di calibrazione) e scegliere percorsi che evitino i "ponti interrotti" (accoppiatori rumorosi), anche se tali percorsi sono leggermente più lunghi, possiamo ottenere risultati molto migliori. È un passaggio dalla domanda "Qual è il percorso più breve?" alla domanda "Qual è il percorso più sicuro?".

Sommario tecnico

Sintesi Tecnica: Graph Reinforcement Learning per il Routing di Circuiti Quantistici Consapevole della Calibrazione

Definizione del Problema
Il routing dei circuiti quantistici è una fase critica della compilazione per i dispositivi NISQ (Noisy Intermediate-Scale Quantum), dove i circuiti logici devono essere mappati su un hardware fisico con connettività sparsa. Le strategie di routing tradizionali ottimizzano spesso per metriche di overhead standard, come la minimizzazione del numero di operazioni SWAP o della profondità del circuito. Tuttavia, gli autori sostengono che, su hardware calibrato, tali metriche siano insufficienti. Due rotte con overhead simili possono attraversare accoppiatori fisici con tassi di errore drasticamente diversi, portando a differenze significative nella fedeltà dello stato finale. Una rotta con più gate potrebbe effettivamente preservare meglio lo stato ideale se evita accoppiatori scarsamente calibrati. La sfida principale consiste nello sviluppare una politica di routing che utilizzi i dati di calibrazione della stessa giornata per massimizzare la fedeltà dello stato simulata esattamente, anche se ciò richiede l'inserimento di ulteriori gate a due qubit.

Metodologia
Gli autori propongono un router basato su Graph Reinforcement Learning (RL) consapevole della calibrazione, addestrato tramite Proximal Policy Optimization (PPO). L'approccio modella il routing come un processo decisionale sequenziale su un grafo di backend calibrato $G_B = (P, E, \kappa)$, dove $P$ rappresenta i qubit fisici, $E$ gli accoppiatori eseguibili e $\kappa$ lo snapshot dei dati di calibrazione (che include errori di readout, di un singolo qubit e a due qubit, e tempi di coerenza).

• Rappresentazione dello Stato: Lo stato di osservazione $s_t$ include il circuito logico rimanente, la posizione attuale non identitaria dei qubit logici e lo snapshot di calibrazione. Questo è codificato come un grafo in cui le caratteristiche dei nodi catturano l'errore di readout, la coerenza, l'errore a due qubit incidente e la distanza di domanda di lookahead. Gli attributi degli archi includono le probabilità di errore a due qubit calibrate e una maschera delle azioni legali.
• Architettura della Politica: La politica utilizza una rete neurale a grafi (GNN) con due strati di passaggio di messaggi per generare embedding dei nodi. Un Percettrone Multistrato (MLP) valuta gli archi SWAP legali sulla base di questi embedding e degli attributi degli archi, producendo una distribuzione di probabilità sugli SWAP validi tramite una softmax mascherata.
• Protocollo di Addestramento: L'agente è addestrato su snapshot di calibrazione IBM Heron r2 (Fez, Kingston, Marrakesh) utilizzando nove circuiti della famiglia MQT Bench (famiglie 5q, 8q e 10q).
  • Funzione di Ricompensa: Per evitare l'alto costo della simulazione esatta della matrice densità durante l'addestramento, gli autori impiegano una ricompensa proxy a basso costo basata sulla Probabilità di Successo Stimata (ESP). La funzione di ricompensa include termini per la riduzione della distanza del cammino minimo, il progresso del routing, il conteggio dei gate e penalità per azioni non valide o timeout. Una ricompensa terminale confronta la fedeltà proxy dell'agente rispetto a un baseline (SABRE-best20) e penalizza l'eccessivo costo.
• Valutazione: La valutazione finale utilizza la simulazione esatta della matrice densità con un modello rumoroso (inclusi errori di depolarizzazione e rilassamento termico) per calcolare la vera fedeltà dello stato $F = \langle \psi | \rho | \psi \rangle$.
• Baseline: Il metodo proposto viene confrontato con due baseline riproducibili:
  1. SABRE-best20: Un euristica standard che minimizza una funzione di costo composta dal conteggio dei due qubit e dalla profondità.
  2. Target-aware SABRE: Un'euristica consapevole della calibrazione che utilizza le informazioni del target di Qiskit e l'ESP per la selezione.

Risultati Chiave
La valutazione è stata condotta su tre snapshot di calibrazione e nove famiglie di circuiti, per un totale di 1.500 episodi accoppiati.

• Guadagni di Fedeltà: La politica appresa ha raggiunto una media aggregata di fedeltà esatta di 0,727, superando significativamente SABRE-best20 (0,440) e target-aware SABRE (0,481). Il miglioramento è statisticamente significativo ($p < 1,5 \times 10^{-6}$).
• Compromesso sull'Overhead: I guadagni di fedeltà sono avvenuti al costo di un aumento dell'overhead. Le rotte apprese hanno aggiunto in media +8,63 gate a due qubit e +4,61 di profondità rispetto a SABRE-best20.
• Dipendenza dalla Dimensione del Circuito: Il guadagno di prestazioni è dipeso fortemente dalla dimensione del circuito e dalla flessibilità del grafo delle azioni:
  • Famiglie 5q e 8q: Il router ha utilizzato con successo gate aggiuntivi per deviare il circuito lontano dagli accoppiatori inaffidabili, risultando in sostanziali miglioramenti della fedeltà.
  • Famiglie 10q: Sul grafo di azione ad albero fisso utilizzato nello studio, le famiglie 10q non hanno mostrato guadagni di fedeltà; anzi, SABRE-best20 ha performato meglio. Gli autori attribuiscono ciò al fatto che la topologia ad albero fissa offre troppi pochi percorsi alternativi affinché l'agente RL possa sfruttare efficacementamente i dati di calibrazione.

Significatività e Rivendicazioni
Il documento sostiene che il routing appreso consapevole della calibrazione può migliorare la fedeltà esatta dello stato oltre quanto ottenibile con una compilazione guidata dal conteggio dei gate, a condizione che il grafo dell'hardware offra percorsi alternativi sufficienti. Lo studio dimostra che:

1. I Dati di Calibrazione sono Critici: I dati di calibrazione della stessa giornata permettono a una politica appresa di prendere decisioni di routing che danno priorità alla fedeltà rispetto al numero minimo di gate.
2. I Vincoli dello Spazio di Azione Sono Importanti: L'utilità del routing consapevole della calibrazione è contingente sul fatto che il grafo delle azioni fornisca alternative utili. In topologie vincolate (come l'albero fisso usato per i circuiti 10q), la capacità di scegliere accoppiatori migliori è limitata, e le euristiche tradizionali possono rimanere superiori.
3. Limitazioni delle Metriche: Il conteggio dei gate e la profondità sono proxy incompleti per la fedeltà su hardware calibrato; rotte con maggiore overhead possono produrre una fedeltà più elevata.

Gli autori concludono che, sebbene la loro specifica implementazione sia promettente, il lavoro futuro richiede la valutazione di sottografi ciclici, circuiti non utilizzati in fase di addestramento (held-out) e baseline di router appresi corrispondenti per validare pienamente l'approccio. Essi sottolineano che i confronti di routing dovrebbero riportare la fedeltà e il contesto di calibrazione insieme alle tradizionali metriche di overhead.