Diagnosing Simulation and Hardware Barriers to Cross-Size Transfer in Equivariant Quantum Reinforcement Learning

Problematica

I problemi di ottimizzazione combinatoria (CO), come il Problema del Commesso Viaggiatore (TSP), sono centrali nella logistica e nella progettazione di reti ma sono NP-difficili, rendendo le soluzioni esatte intrattabili per input di grandi dimensioni. Sebbene l'Apprendimento per Rinforzo (RL) e il Quantum Reinforcement Learning (QRL) offrano strategie euristiche, rimane un importante collo di bottiglia alla scalabilità: la maggior parte dei metodi QRL richiede un nuovo addestramento da zero per ogni nuova istanza o dimensione del problema.

Questo articolo indaga se i Circuiti Quantistici Equivarianti (EQC) — che codificano la simmetria di permutazione per garantire che il conteggio dei parametri rimanga indipendente dalla dimensione del problema — possano facilitare il trasferimento zero-shot cross-size. Nello specifico, gli autori si chiedono se i parametri $\theta_n$ addestrati su istanze TSP con $n$ città possano essere direttamente trasferiti a istanze con $m$ città ($m > n$) senza riaddestramento, e se tale trasferimento sopravviva a un'esecuzione realistica su hardware quantistico.

Metodologia

Gli autori impiegano una pipeline di valutazione in cinque fasi, con protocolli corrispondenti, per isolare gli effetti delle approssimazioni di simulazione, del rumore e del campionamento a numero finito di shot dal reale comportamento di trasferimento. Lo studio utilizza l'architettura EQC di Skolik et al. [11] (profondità $L=1$, due scalari addestrabili $\beta, \gamma$) applicata a istanze TSP euclidee.

La pipeline procede attraverso:

1. Fase Base: Selezione di una ricetta di addestramento stabile (rescaling dell'osservazione congelato, reporting del miglior checkpoint) su una corsia di validazione a 12 nodi.
2. N1 (Policy Sorgente): Addestramento da zero su $n \in \{5, 10, 15, 20\}$ città utilizzando la simulazione esatta dello stato vettoriale (statevector).
3. N2 (Trasferimento Esatto): Valutazione del trasferimento zero-shot e del fine-tuning tra dimensioni (es. $5 \to 10$, $10 \to 15$) utilizzando la simulazione esatta dello stato vettoriale.
4. N3 (Frontiera di Scalabilità): Estensione a dimensioni maggiori ($n$ fino a 100) utilizzando la simulazione Matrix Product State (MPS), MPS rumorosa (modello di rumore IBM) e sweep ad alta dimensione di legame (bond-dimension) per caratterizzare i limiti di fedeltà della simulazione.
5. N4 (Esecuzione su Hardware): Esecuzione delle stesse policy trasferite su hardware a ioni intrappolati Quantinuum (H2-2, Helios-1) ed emulatori, seguita da una campagna cross-platform attraverso cinque dispositivi (Quantinuum, IBM, Rigetti, IQM) che coprono due tecnologie di qubit e quattro vendor.

Quadro Teorico

Il documento deriva un limite diagnostico condizionale di trasferimento per l'aspettativa delle prestazioni $P_m(\theta^*_n)$ su una dimensione target $m$, data l'addestrazione sorgente sulla dimensione $n$. Il limite decompone il calo delle prestazioni in:

• Generalizzazione della Sorgente: Un termine $G^{roll}_n(\delta)$ che controlla il divario tra le prestazioni empiriche e quelle reali della sorgente.
• Penalità di Trasferimento ($D_{n \to m}$): Una somma di:
  • Mismatch Parametrico: Scala linearmente con la norma $\ell_1$ dei parametri e con il salto relativo di dimensione $(m-n)/m$.
  • Smoothness Strutturale: Un termine $\Psi(n, m)$ (modellato come $\sqrt{m} - \sqrt{n}$ basato sullo scaling di Beardwood–Halton–Hammersley) che rappresenta la fluidità della policy attraverso le dimensioni del grafo.

Gli autori notano esplicitamente che questo limite è diagnostico e worst-case, inteso per identificare le strutture di scalabilità piuttosto che per predire con precisione i gap numerici. Chiariscono inoltre che la specifica architettura EQC studiata (Modello B) è classicamente simulabile tramite metodi algebrici di Lie (Modello A), e utilizzano questa simulabilità come "strumento di misura" (ground truth) piuttosto che rivendicare un vantaggio quantistico.

Risultati Chiave

1. Trasferimento Validato nel Regime

All'interno di un regime validato (piccoli salti di dimensione, es. $5 \to 10$), il trasferimento zero-shot supera l'addestramento sulla dimensione target in tutte le sei valutazioni completate. Il trasferimento $5 \to 10$ ha raggiunto un gap di ottimalità medio del 5,07%, superando la baseline addestrata da zero. Ciò suggerisce che gli EQC codificano intuizioni strutturali che si generalizzano attraverso le scale quando il salto di dimensione è moderato.

2. Tre Barriere Indipendenti alla Scalabilità

Oltre il regime validato, tre distinte barriere impediscono all'architettura EQC densa, all-to-all, di scalare:

• Barriera B1: Perdita di Segnale Indotta dal Backend (Simulazione/Troncamento)

  • Osservazione: Nella simulazione MPS, una bond dimension di $\chi=64$ (standard per molti studi) causa un fallimento catastrofico per $n=20$ (gap medio 85,22%), anche per il trasferimento della stessa dimensione.
  • Causa: La struttura di entanglement all-to-all genera una crescita dell'entanglement che invalida le approssimazioni a bassa bond dimension. L'errore di troncamento supera l'entità del segnale ($\langle Z_i Z_j \rangle$), corrompendo la classificazione (ranking) delle azioni greedy.
  • Soglia: Una precisione affidabile della policy richiede $\chi \ge 256$, il che è computazionalmente proibitivo per $n$ elevati.

• Barriera B2: Degradazione del Trasferimento Cross-Size (Grandi Salti)

  • Osservazione: Le prestazioni degradano in modo fluido ma sostanziale all'aumentare del salto di dimensione $|m-n|$ (es. il gap $5 \to 20$ sale a circa 12–18%).
  • Causa: Ciò è in linea con il limite teorico di trasferimento, guidato dal mismatch parametrico e dai cambiamenti strutturali. Sebbene il fine-tuning possa recuperare parte delle prestazioni (es. il gap $15 \to 20$ scende da 13,9% a 10,6% con il fine-tuning), il solo trasferimento zero-shot è insufficiente per grandi salti.

• Barriera B3: Penalità di Esecuzione a Numero Finito di Shot (Hardware)

  • Osservazione: Su hardware, il gap aumenta dal ~5% (statevector) al 31,3% (emulatore noiseless con 4096 shot) e al 45,3% (hardware reale).
  • Causa: I margini di azione (differenze tra i valori Q candidati) si trovano al di sotto del livello di rumore degli shot ($1/\sqrt{N_s}$). Con 4096 shot, il rumore è di circa 0,016, mentre il margine medio di azione è di circa 0,006. Di conseguenza, le decisioni greedy diventano statisticamente irrisolte (37 decisioni su 40 avevano $z < 2$).
  • Conferma Cross-Platform: Una campagna su cinque dispositivi (Quantinuum, IBM, Rigetti, IQM) ha confermato che la penalità è determinata dal conteggio nativo dei gate a due qubit e dalla mitigazione dell'errore, non dal budget di shot.
    • Ioni intrappolati (all-to-all, 45 gate): gap del 45,3%.
    • Superconduttori (routed, 153–172 gate, non mitigati): gap del 108–125% (effettivamente tour casuali).
    • Superconduttori (mitigati, 172 gate): gap del 67,8%.
  • Conclusione: Aumentare semplicemente il numero di shot non risolve il problema perché il rapporto segnale-rumore è fondamentalmente limitato dal bias indotto dai gate e dal basso contrasto per edge della famiglia di osservabili densi.

Significato e Rivendicazioni

Gli autori non rivendicano esplicitamente alcun vantaggio computazionale quantistico. L'architettura EQC studiata è classicamente simulabile. Il significato del paper risiede invece in:

1. Stabilire uno Standard Diagnostico: Fornire una metodologia riproducibile e con protocolli corrispondenti per valutare il trasferimento cross-size nel QRL, separando il comportamento di trasferimento dagli artefatti del simulatore o dell'hardware.
2. Identificare Ostacoli Architetturali: Dimostrare che il canone dell'ansatz EQC denso e all-to-all affronta barriere fondamentali (B1, B2, B3) radicate nella sua connettività. La topologia all-to-all invalida la simulazione efficiente tramite reti tensoriali (B1), esacerba le penalità di trasferimento (B2) e crea margini di azione troppo piccoli per essere risolti sull'hardware attuale (B3).
3. Proporre una Via per il Futuro: I risultati motivano la necessità di design di circuiti equivarianti sparsi come la correzione architettonica necessaria per rilassare simultaneamente tutte e tre le barriere, piuttosto che fare affidamento solo sull'aumento dei budget di shot o sulla mitigazione dell'errore.

Il paper conclude che, sebbene gli EQC offrano un bias induttivo promettente per il trasferimento, la loro attuale implementazione densa non è scalabile a dimensioni industrialmente rilevanti su hardware esistente senza modifiche architettoniche.