Architecture-Aware Reinforcement Learning for Communication-Efficient Distributed Quantum Circuit Compilation

Sintesi Tecnica: Apprendimento per Rinforzo Consapevole dell'Architettura per la Compilazione di Circuiti Quantistici Distribuiti Efficiente nella Comunicazione

Definizione del Problema
L'informatica quantistica distribuita offre una via per scalare oltre i limiti fisici delle singole unità di elaborazione quantistica (QPU), collegando più dispositivi. Tuttavia, questa architettura introduce una sfida di compilazione complessa: le operazioni quantistiche devono essere pianificate non solo in base alla connettività hardware locale, ma anche rispetto ai vincoli delle costose risorse di comunicazione inter-QPU. A differenza della compilazione monolitica, che si concentra sulla sintesi delle porte e sul routing locale, la compilazione distribuita deve determinare il posizionamento dei qubit logici, la temporizzazione della comunicazione inter-QPU e la pianificazione dei canali di comunicazione limitati.

La difficoltà principale risiede nel compromesso tra il volume di comunicazione (misurato dal consumo di coppie EPR) e la latenza di comunicazione (misurata come makespan della comunicazione). Una comunicazione eccessiva aumenta il tempo di esecuzione e amplifica l'impatto del rumore e della generazione imperfetta di entanglement. Gli approcci esistenti, inclusi gli algoritmi di mapping euristici e i framework di partizionamento, spesso affrontano l'assegnazione dei qubit o il routing in modo isolato. Essi faticano a ottimizzare congiuntamente le decisioni di comunicazione attraverso topologie dinamiche, dipendenze di circuito e vincoli di capacità hardware, specialmente quando si tiene conto della dinamica stocastica dell'entanglement e della contesa delle risorse.

Metodologia
Gli autori propongono un framework di apprendimento per rinforzo (RL) consapevole dell'architettura che formula la compilazione quantistica distribuita come un processo decisionale di Markov (MDP) vincolato. Il sistema modella il compilatore come un agente che seleziona sequenzialmente "azioni di comunicazione a livello di compilatore" per gestire la disponibilità dei qubit logici tra le QPU.

1. Primitive di Comunicazione: Il framework utilizza due azioni primarie:

   • Split (Divisione): Consuma una coppia EPR per rendere un qubit logico disponibile in un'ulteriore QPU, consentendo operazioni di unità controllata distribuite.
   • Merge (Fusione): Rimuove il posizionamento distribuito ridondante quando non è più utile, liberando le risorse.
     Queste azioni astraggono i meccanismi fisici come la teletrasportazione e lo swapping di entanglement senza implicare la clonazione di stati quantistici sconosciuti.

2. Modello di Sistema e Vincoli: Il processo di compilazione opera sotto rigidi vincoli hardware:

   • Limiti di Risorse: Ogni QPU ha una capacità finita di qubit e un numero finito di canali di comunicazione.
   • Modello Temporale: Un modello di comunicazione basato su round traccia i clock logici e i budget dei canali. Se una QPU manca di un canale disponibile, il suo clock avanza, introducendo latenza.
   • Fattibilità: Le azioni sono valide solo se le QPU sono connesse, i canali sono disponibili e le dipendenze delle porte sono soddisfatte. Le porte a due qubit possono essere eseguite solo se entrambi gli operandi sono disponibili in una QPU comune.

3. Design del Framework RL:

   • Rappresentazione dello Stato: Lo stato del compilatore è codificato come un grafo eterogeneo ($G_{obs}$). Questo grafo include nodi per le QPU, i qubit logici e le porte, connessi da archi che rappresentano la topologia, il posizionamento, le dipendenze e la disponibilità delle risorse. Questa struttura permette alla policy di ragionare sulle interazioni complesse tra l'hardware e la logica del circuito.
   • Rete di Policy: L'agente utilizza una Rete di Attenzione a Grafo Relazionale (R-GAT) per elaborare l'osservazione del grafo e selezionare azioni di split o merge fattibili.
   • Modellazione della Ricompensa (Reward Shaping): Per affrontare la scarsità di feedback nelle lunghe traiettorie di compilazione, la funzione di ricompensa è decomposta in cinque termini:
     • Ricompensa di Latenza: Penalizza l'aumento del makespan della comunicazione.
     • Penalità di Split: Penalizza direttamente il consumo di coppie EPR.
     • Ricompensa di Progresso: Incoraggia l'esecuzione delle porte.
     • Ricompensa di Lookahead (Previsione): Premia le azioni che aumentano il numero di porte immediatamente eseguibili nel futuro.
     • Ricompensa di Completamento: Un bonus terminale per la compilazione riuscita, penalizzato dalla latenza finale.
   • Addestramento: La policy è ottimizzata utilizzando l'Ottimizzazione della Politica Prossimale (PPO).

Contributi Chiave
Il documento presenta quattro contributi primari:

1. Formulazione MDP: Un nuovo framework che modella la pianificazione della comunicazione e il posizionamento dinamico dei qubit come un MDP vincolato, gestendo esplicitamente la natura sequenziale della compilazione distribuita.
2. Vincoli Dinamici: L'introduzione di vincoli dinamici espliciti sulle operazioni EPR attive, imponendo i limiti di capacità fisica sulle operazioni di comunicazione concorrenti (contesa dei canali).
3. Stato a Grafo Eterogeneo: La costruzione di una rappresentazione dello stato basata su grafi che codifica simultaneamente le dipendenze del circuito, il posizionamento dei qubit e la topologia delle QPU, consentendo all'agente RL di catturare le relazioni strutturali.
4. Prestazioni Competitive: La dimostrazione di una policy che raggiunge prestazioni di compilazione comparabili agli euristici allo stato dell'arte su diversi circuiti benchmark.

Risultati e Valutazione
Il framework è stato valutato su circuiti benchmark con strutture variabili. I risultati indicano che:

• Carichi di Lavoro Strutturati: La policy RL eguaglia le prestazioni degli algoritmi euristici allo stato dell'arte su carichi di lavoro strutturati.
• Circuiti Non Strutturati: Sui circuiti non strutturati, l'inclusione della modellazione della ricompensa lookahead produce miglioramenti modesti rispetto ai baseline euristici.
• Scalabilità: Sebbene l'approccio dimostri flessibilità, gli autori osservano che la scalabilità rimane un collo di bottiglia significativo per il dispiegamento pratico su larga scala.

Significatività e Rivendicazioni
Il documento posiziona l'apprendimento per rinforzo come un'alternativa flessibile agli euristici manuali per la compilazione quantistica distribuita. Sostiene che, modellando il problema come un MDP vincolato con una rappresentazione a grafo eterogeneo, il sistema può navigare efficacemente i compromessi tra l'overhead di comunicazione e il tempo di esecuzione. Il lavoro evidenzia che, sebbene gli attuali metodi RL possano eguagliare gli euristici esistenti, il campo deve ancora superare le sfide di scalabilità per diventare una soluzione praticabile per sistemi quantistici distribuiti su larga scala. Gli autori non pretendono di aver risolto il problema della scalabilità, ma piuttosto di aver dimostrato la validità dell'approccio RL come fondamento per l'ottimizzazione futura.