DistributedEstimator: Distributed Training of Quantum Neural Networks via Circuit Cutting

Sintesi Tecnica: DistributedEstimator – Addestamento Distribuito di Reti Neurali Quantistiche tramite Circuit Cutting

Problematica
I carichi di lavoro ibridi quantistico-classici, in particolare gli algoritmi variazionali quantistici (VQA) per il machine learning quantistico (QML), sono sempre più limitati dai vincoli dei sistemi piuttosto che da quelli puramente algoritmici. I circuiti pratici spesso superano la larghezza, la profondità o l'affidabilità dei dispositivi NISQ (Noisy Intermediate-Scale Quantum), rendendo necessari cicli di addestramento iterativi che richiedono la ripetuta stima del valore di aspettazione. Sebbene il circuit cutting (o circuit knitting) offra un metodo fondato per decomporre grandi circuiti in sottocircuiti più piccoli ed eseguibili indipendentemente, i lavori precedenti hanno ampiamente caratterizzato il suo overhead in termini di conteggio asintotico dei sottocircuiti e complessità di campionamento. Rimane un divario significativo nella comprensione dell'impatto end-to-end sui sistemi del circuit cutting all'interno di pipeline di addestramento guidate da stimatori iterativi. In particolare, non è chiaro come gli overhead del cutting si distribuiscano tra le fasi della pipeline, dove emergono i colli di bottiglia sotto esecuzione parallela e se l'introduzione del cutting influenzi la dinamica di addestramento, l'accuratezza e la robustezza del modello.

Metodologia
Gli autori propongono DistributedEstimator, una pipeline di esecuzione di stimatori consapevole del taglio (cut-aware) che tratta il circuit cutting come un carico di lavoro distribuito a stadi. Il sistema si integra con lo stack di machine learning di Qiskit (utilizzando EstimatorQNN e TorchConnector) per intercettare le query dello stimatore sia durante i passaggi in avanti (forward passes) che durante i calcoli del gradiente (tramite la regola dello spostamento del parametro o parameter-shift rule).

La pipeline strumententa quattro fasi distinte per ogni query dello stimatore:

1. Partizionamento: Decomposizione del circuito e dell'osservabile in sottocircuiti e sottosobservabili basandosi su un piano di taglio (cut plan).
2. Generazione di Sottoesperimenti: Creazione di sottoesperimenti concreti e coefficienti di ricostruzione.
3. Esecuzione Parallela: Distribuzione dei sottoesperimenti a un pool di worker.
4. Ricostruzione Classica: Aggregazione dei risultati misurati per ricostruire il valore di aspettazione target.

Lo studio impiega un approccio basato sulla misurazione utilizzando tracce di runtime loggate e risultati di apprendimento su due carichi di lavoro di classificazione binaria: Iris e MNIST. L'evaluazione si concentra su:

• Attribuzione dell'Overhead: Misurazione del tempo trascorso in ogni fase ($T_{part}, T_{gen}, T_{exec}, T_{rec}$).
• Scalabilità: Analisi dei limiti di accelerazione (speed-up) all'aumentare del numero di worker.
• Sensibilità ai Ritardatari (Straggler Sensitivity): Iniezione di ritardi sintetici per testare la sensibilità alla latenza della coda (tail latency).
• Risultati di Apprendimento: Valutazione dell'accuratezza del test e della robustezza rispetto al rumore Gaussiano e alle perturbazioni FGSM (Fast Gradient Sign Method) a parità di budget di addestramento.

Una distinzione metodologica chiave è l'ammortizzazione dei costi strutturali. Il partizionamento e la generazione dei template dei sottoesperimenti dipendono solo dalla struttura del circuito, non dai parametri; questi vengono calcolati una sola volta e memorizzati nella cache, garantendo che gli overhead per singola query riflettano solo il binding dei parametri, l'esecuzione e la ricostruzione.

Contributi Chiave

1. Formulazione della Pipeline Basata sulla Misurazione: Il documento stabilisce una visione a livello di sistema del circuit cutting come una pipeline distribuita a stadi, strumentando esplicitamente gli overhead tra taglio, esecuzione e ricostruzione, e integrando questo processo nel ciclo di addestramento QML.
2. Analisi Empirica della Scalabilità: Attraverso i log a livello di fase, gli autori identificano che la ricostruzione classica diventa il collo di bottiglia dominante, limitando i benefici dell'aumento del parallelismo.
3. Scheduling e Analisi dei Ritardatari: Lo studio valuta le politiche di esecuzione (eager, batched, staggered) e dimostra che la sensibilità ai ritardatari è modulata dalla struttura del percorso critico; le pipeline dominate dalla ricostruzione sono meno sensibili ai ritardi lato esecuzione rispetto a quelle dominate dall'esecuzione.
4. Valutazione End-to-End dell'Apprendimento: Il lavoro fornisce prove che il circuit cutting preserva l'accuratezza predittiva e la robustezza del modello, distinguendo i guadagni di prestazione dai cambiamenti nel comportamento di ottimizzazione.
5. Caratterizzazione della Barriera Computazionale: Il documento documenta la crescita esponenziale dell'overhead di ricostruzione ($O(9^c)$ per $c$ tagli basati su CNOT) come una barriera fondamentale, che limita l'addestramento iterativo pratico a un numero ridotto di qubit con i metodi attuali.

Risultati

• Overhead e Colli di Bottiglia: La ricostruzione costituisce una frazione dominante del tempo per query, raggiungendo un mediano del 53% e un 95° percentile del 58% con tre tagli. Questa barriera seriale limita lo speed-up ottenibile con l'aumento del parallelismo, spiegando perché l'aggiunta di worker porti a rendimenti decrescenti (Legge di Amdahl).
• Limiti di Scalabilità: I rapporti di speed-up per 16 worker rispetto a 1 worker sono vicini o inferiori a 1, confermando che l'overhead di ricostruzione domina il percorso critico.
• Sensibilità ai Ritardatari: Le configurazioni dominate dalla ricostruzione mostrano una sensibilità relativa inferiore ai ritardatari lato esecuzione perché il tempo di ricostruzione non è influenzato dai ritardi di esecuzione. Al contrario, le configurazioni dominate dall'esecuzione amplificano la latenza della coda.
• Accuratezza e Robustezza:
  • Iris: L'accuratezza del test è pienamente preservata in tutte le configurazioni di taglio.
  • MNIST: L'accuratezza è mantenuta senza degradazione sistematica; alcune configurazioni di taglio eguagliano o superano la baseline non tagliata, potenzialmente a causa di un'implicita regolarizzazione dal rumore dello stimatore.
  • Robustezza: La robustezza al rumore Gaussiano e alle perturbazioni FGSM è preservata, con alcune configurazioni di taglio che mostrano una robustezza comparabile o migliorata.
• Validazione Hardware: Una validazione mirata sul processore IBM Quantum ibm_kingston (Heron r2) ha confermato che la ricostruzione da risultati fisicamente misurati preserva accuratezza e robustezza (100% di accuratezza sul set di test). Notevolmente, l'equilibrio delle fasi si inverte sull'hardware reale: il tempo di esecuzione (inclusi code e latenza del dispositivo) diventa il costo dominante, mentre la ricostruzione rimane una piccola frazione del tempo totale. Tuttavia, la crescita esponenziale dei sottoesperimenti gonfia entrambi gli stadi, mantenendo il collo di bottiglia strutturale.

Significato e Rivendicazioni
Il documento afferma che la scalabilità pratica del circuit cutting per i carichi di lavoro di apprendimento richiede di trattare la ricostruzione e l'aggregazione come problemi di sistema di prima classe. Gli autori sostengono che la crescita esponenziale del numero di sottoesperimenti ($O(9^c)$) rappresenti una barriera computazionale fondamentale che restringe l'attuale addestramento iterativo a un numero ridotto di qubit.

Lo studio conclude che:

1. La ricostruzione è il principale limite di scalabilità negli ambienti di simulazione, rendendo necessarie strategie per ridurre o sovrapporre questo stadio (ad esempio, ricostruzione incrementale, riduzione ad albero distribuita).
2. L'accuratezza e la robustezza sono preservate, convalidando il circuit cutting come una strategia di esecuzione a livello di sistema valida che non degrada silenziosamente la qualità del modello.
3. Il lavoro futuro deve concentrarsi sulla riduzione dell'overhead di ricostruzione attraverso metodi approssimativi, riduzione distribuita e schemi di taglio più efficienti per rendere il cutting praticabile per carichi di lavoro QML più ampi e reali.

Il documento non sostiene che il circuit cutting elimini la necessità di dispositivi quantistici più grandi o che risolva il problema dei plateau barren (barren plateaus); piuttosto, fornisce un framework riproducibile per comprendere i trade-off e i colli di bottiglia inerenti l'esecuzione odierna di pipeline di addestramento basate sul cutting.