Reinforcement Learning for Adaptive Composition of Quantum Circuit Optimisation Passes

Sintesi Tecnica: Apprendimento per Rinforzo per la Composizione Adattiva di Passaggi di Ottimizzazione di Circuiti Quantistici

Enunciato del Problema
I kit di sviluppo software quantistico (QSDK) forniscono suite di passaggi di circuiti altamente ottimizzati (ad esempio, ottimizzazione di sottocircuiti Clifford, riscrittura del calcolo ZX, ottimizzazione di gadget Pauli). Tuttavia, l'ordine in cui tali passaggi vengono applicati è tipicamente lasciato all'utente o definito da sequenze predefinite a scopo generale. Ciò presenta due sfide primarie:

1. Barriera di Competenza: Riconoscere quando un passaggio specifico è vantaggioso richiede una competenza eccezionale nella costruzione e nell'ottimizzazione dei circuiti.
2. Problema dell'Ordinamento delle Fasi: La qualità del circuito risultante è altamente sensibile all'ordine di applicazione. Le sequenze predefinite a scopo generale spesso perdono opportunità di ottimizzazione specifiche per i singoli circuiti, mentre progettare sequenze su misura manualmente è dispendioso in termini di tempo ed è soggetto a errori.

Gli approcci esistenti di machine learning si affidano spesso a spazi di osservazione a dimensione fissa (limitando l'input a caratteristiche specifiche) o utilizzano la simulazione classica su rappresentazioni di circuiti semplificate, il che può ridurre l'accuratezza della previsione. Inoltre, gli approcci basati sulla ricerca per generare sequenze su misura soffrono spesso di scarsa scalabilità all'aumentare dello spazio delle azioni e della dimensione del circuito.

Metodologia
Gli autori propongono un framework di Reinforcement Learning (RL) utilizzando l'Ottimizzazione della Politica Prossimale (PPO) per addestrare un agente che seleziona e applica iterativamente una sequenza di passaggi di ottimizzazione personalizzata per un circuito quantistico specifico.

• Rappresentazione a Grafo: Il circuito quantistico è codificato come un grafo in cui i nodi rappresentano gate, input e output, e gli archi rappresentano i fili dei qubit. Questa rappresentazione supporta una connettività arbitraria e dimensioni arbitrarie del circuito, a differenza delle rappresentazioni tensoriali 3D. Le caratteristiche dei nodi includono tipi di gate (ZZPhase, Rz, PhasedX), parametri, flag Clifford e l'indice del passaggio più recentemente applicato per prevenire la ripetizione idempotente.
• Spazio delle Azioni: L'agente seleziona da un insieme di passaggi di ottimizzazione globale disponibili in PyTKET (versione 2.9.3), tra cui:
  • KAKDecomposition (risintesi di sottocircuiti a due qubit)
  • CliffordResynthesis e CliffordSimp
  • ZXGraphlikeOptimisation
  • GreedyPauliSimp
  • ThreeQubitSquash
  • DoNothing (termina la sequenza)
    Dopo ogni passaggio, il circuito viene ricollegato (rebased) al gateset nativo di Quantinuum.
• Architettura: L'agente impiega una Rete Neurale a Grafo (GNN) con strati di Convoluzione su Grafo (utilizzando operatori GINConv modificati) per elaborare il grafo del circuito. La rete produce i logit delle azioni (tramite un attore) e i valori di stato (tramite un critico). Il modello utilizza il pooling medio per gestire dimensioni variabili del circuito.
• Funzione di Ricompensa: La ricompensa per una singola azione è definita come la frazione di gate a due qubit rimossi rispetto al conteggio iniziale ($r_t = (n_{t-1} - n_t) / n_0$). Viene applicata una piccola penalità per le azioni diverse da DoNothing per incoraggiare l'efficienza.
• Addestramento: Il modello è addestrato su un dataset sintetico di oltre 400.000 circuiti (inclusi le classi Random-SU4/SU8, IQP, QAOA e Clifford-mixed) con conteggi di qubit compresi tra 3 e 7. L'addestramento utilizza PPO con iperparametri ottimizzati tramite l'Estimatore di Parzen a Struttura ad Albero (TPE).

Risultati Chiave
L'agente addestrato è stato valutato su un set di test diversificato di 40.412 circuiti (in-distribuzione) ed è stato confrontato con diverse sequenze predefinite di PyTKET (FullPeepholeOptimise, QuantinuumDefaultTwo, QuantinuumDefaultThree) e singoli passaggi ad alte prestazioni.

• Prestazioni: L'agente RL ha raggiunto una ricompensa cumulativa media (frazione di gate a due qubit rimossi) del 57,7% e una mediana del 56,7%. Questo ha superato la migliore sequenza predefinita successiva (QuantinuumDefaultTwo), che ha raggiunto una media del 41,8% e una mediana del 50,0%.
• Adattabilità: L'agente ha generato con successo sequenze su misura per diverse classi di circuiti. Ad esempio, nei circuiti Ordered-Clifford-SU4, l'agente ha identificato correttamente una sequenza che prevede CliffordSimp seguito da KAKDecomposition nel 99,2% dei casi, dimostrando la capacità di ritardare le ricompense immediate per consentire ottimizzazioni successive migliori.
• Generalizzabilità: Il modello si è generalizzato a circuiti "fuori distribuzione" più grandi di quelli visti durante l'addestramento (fino a 12 qubit e 450 gate a due qubit), mantenendo prestazioni comparabili ai risultati in distribuzione. Ha inoltre dimostrato efficacia su circuiti molto grandi (100 qubit).
• Efficienza vs. Ricerca: Rispetto agli ottimizzatori basati su beam-search (che generano sequenze su misura tramite ricerca esaustiva o greedy), il modello RL ha prodotto una riduzione dei gate a due qubit comparabile o superiore, ma con un tempo di esecuzione significativamente inferiore. Mentre i metodi basati sulla ricerca scalano male all'aumentare della dimensione dello spazio delle azioni e della profondità di ricerca, il tempo di inferenza del modello RL scala solo con la profondità della sequenza, rendendolo più scalabile.

Significatività e Rivendicazioni
Il documento sostiene che questo approccio risolve la difficoltà di orchestrare manualmente i passaggi di ottimizzazione automatizzando la selezione di sequenze su misura. La significatività del lavoro risiede in:

1. Superiorità rispetto ai Default: Dimostrare che una politica appresa, specifica per il circuito, supera significativamente le sequenze predefinite a scopo generale nella riduzione dei gate a due qubit (un proxy per il rumore).
2. Scalabilità: Mostrare che la selezione basata su RL è computazionalmente più efficiente dei metodi basati sulla ricerca per generare sequenze di passaggi su misura, in particolare all'aumentare della complessità del circuito.
3. Riduzione della Competenza Richiesta: Abbassare la barriera all'ingresso per un'efficace ottimizzazione dei circuiti, poiché l'agente non richiede esperti umani per determinare l'ordine ottimale dei passaggi.
4. Estensibilità: La metodologia non è limitata ai passaggi specifici utilizzati; lo spazio delle azioni può essere ampliato per includere passaggi da altre librerie senza alterare l'approccio fondamentale.

Gli autori osservano che, sebbene l'approccio migliori le riscritture globali, rimane soggetto al Problema dell'Ordinamento delle Fasi inerente alle trasformazioni globali. Suggeriscono che il lavoro futuro potrebbe coinvolgere agenti che selezionano regioni specifiche del circuito per la riscrittura (combinando l'ottimizzazione globale e locale) ed espandere i dataset di addestramento per includere circuiti reali degli utenti.