Towards Real-time Control of a CartPole System on a Quantum Computer

Questo articolo presenta un'indagine end-to-end di un agente ibrido quantistico-classico minimale che controlla un sistema CartPole su un processore quantistico superconduttivo fisico, dimostrando che un modello a singolo qubit supera le controparti classiche, identificando allo stesso tempo compromessi critici tra budget di misurazioni e frequenze di controllo e ottenendo un feedback a bassa latenza programmando direttamente l'elettronica di lettura.

L'essenziale

Immagina di dover insegnare a un robot a bilanciare un manico di scopa sulla sua mano. Questa è una sfida classica nella robotica chiamata "CartPole". Di solito, insegniamo ai robot utilizzando computer classici (quelli presenti nel tuo portatile). Ma cosa succederebbe se provassimo a insegnarglielo utilizzando un computer quantistico?

Questo articolo è una pagella di quell'esperimento. I ricercatori hanno posto tre grandi domande:

1. Un piccolo computer quantistico può imparare a bilanciare il manico di scopa più velocemente di un computer normale?
2. Il robot si confonde se lo addestriamo a una velocità ma gli chiediamo di operare a una velocità diversa?
3. Possiamo rendere il computer quantistico abbastanza veloce da controllare effettivamente il robot in tempo reale, o è troppo lento?

Ecco la sintesi delle loro scoperte, utilizzando semplici analogie.

1. Il "Piccolo Cervello" contro il "Grande Cervello"

La Configurazione:
I ricercatori hanno costruito un "cervello" ibrido per il robot. È per lo più un computer normale, ma possiede una minuscola parte quantistica (un singolo "qubit", che è come una moneta quantistica che può essere testa, croce o entrambe contemporaneamente). L'hanno confrontato con un "grande cervello" composto interamente da componenti informatici standard (una rete neurale profonda).

Il Risultato:
Il piccolo cervello quantistico è stato un demone della velocità.

• L'Analogia: Immagina due studenti che sostengono un esame. Lo studente del "Grande Cervello" deve leggere il libro di testo 430 volte prima di prendere un voto A. Lo studente del "Piccolo Cervello Quantistico" deve leggerlo solo 160 volte per ottenere lo stesso voto A.
• Il Rovescio della Medaglia: Questo aumento di velocità si è verificato anche quando il cervello quantistico ha dovuto indovinare le sue risposte lanciando la moneta molte volte (un metodo chiamato "parameter-shift") invece di conoscere la risposta perfettamente. Ha dimostrato che anche un modello quantistico molto piccolo può essere sorprendentemente efficiente nell'apprendimento.

2. Il Problema del "Dosso" (Addestramento vs. Guida)

La Configurazione:
Nel mondo reale, un robot deve prendere decisioni molto rapidamente (ad esempio 50 volte al secondo). Tuttavia, i computer quantistici sono rumorosi e lenti. Per ottenere una risposta chiara dalla moneta quantistica, spesso devi lanciarla molte volte (chiamate "shots").

• Il Compromesso: Se lanci la moneta troppo poche volte, la risposta è rumorosa (come cercare di sentire un sussurro durante una tempesta). Se la lanci troppe volte, ci vuole troppo tempo e il robot cade prima di poter reagire.

L'Esperimento:
I ricercatori hanno addestrato il robot a diverse velocità e poi lo hanno testato a diverse velocità per vedere se si sarebbe confuso. Hanno creato una gigantesca "mappa di calore" (come una mappa meteorologica) che mostrava quanto bene il robot bilanciava il manico in diverse condizioni.

Il Risultato:

• La Velocità di "Inferenza" è la Più Importante: Non importava quanto velocemente il robot fosse addestrato. Ciò che contava era quanto velocemente guidava (inferenza). Se al robot era permesso prendere decisioni rapidamente (alta frequenza), bilanciava bene. Se era costretto a guidare lentamente, cadeva.
• Più Lanci = Più Stabilità: Se il robot doveva guidare lentamente, potevano risolvere il problema dandogli più "shots" (lanciando la moneta più volte per ottenere una risposta chiara).
• Il Punto Dolce: Devi trovare un equilibrio. Hai bisogno che il robot guidi velocemente e abbia abbastanza tempo per ottenere una risposta quantistica chiara. L'articolo fornisce una mappa per aiutare gli ingegneri a trovare questo equilibrio perfetto per i robot futuri.

3. L'"Ingorgo" contro l'"Autostrada" (Latenza)

La Configurazione:
Questa è la parte più critica. Anche se il computer quantistico impara bene, è inutile se è troppo lento per reagire in tempo reale.

• Il Problema: Normalmente, quando usi un computer quantistico nel cloud, devi inviare la tua richiesta attraverso molta "burocrazia" (strati software, compilatori, ritardi di internet). È come cercare di guidare una vettura da corsa attraverso una città piena di segnali di stop, semafori e cantieri.
• Il Vecchio Modo: Utilizzando il software standard, il robot poteva prendere una decisione circa 0,14 volte al secondo. Era essenzialmente addormentato.

La Svolta:
I ricercatori hanno deciso di aggirare la "burocrazia". Hanno programmato direttamente l'hardware del computer quantistico, come un pilota di auto da corsa che prende una scorciatoia attraverso un'autostrada privata.

• Il Risultato: Eliminando gli intermediari, hanno accelerato il robot di 40 volte. Il robot poteva ora prendere decisioni 6,2 volte al secondo.
• Il Limite: Sebbene 6,2 volte al secondo sia un enorme miglioramento, non è ancora abbastanza veloce per un manico di scopa che deve essere bilanciato 50 volte al secondo. Tuttavia, dimostra che l'"ingorgo" era il problema principale, non la fisica quantistica stessa.

La Conclusione

Questo articolo è una "prova di concetto" che afferma:

1. Sì, un piccolo cervello quantistico può imparare un compito di bilanciamento più velocemente di un grande cervello classico.
2. Sì, possiamo mappare esattamente quanto velocemente e quanto precisamente il computer quantistico deve essere per evitare che il robot cada.
3. Sì, possiamo rendere i computer quantistici abbastanza veloci da essere utili per il controllo, ma solo se smettiamo di utilizzare il software standard lento e parliamo direttamente all'hardware.

I ricercatori non hanno ancora costruito un'auto a guida autonoma o un robot medico. Hanno solo dimostrato che il motore (l'apprendimento quantistico) funziona e hanno capito come rimuovere gli ingorghi (la latenza) in modo che possa alla fine guidare più velocemente.

Sommario tecnico

Riepilogo Tecnico: Verso il Controllo in Tempo Reale di un Sistema CartPole su un Computer Quantistico

Enunciato del Problema
L'applicazione dell'Apprendimento per Rinforzo Quantistico (QRL) ai sistemi di controllo in tempo reale incontra ostacoli significativi riguardanti la latenza hardware, la suscettibilità al rumore e la convergenza dell'apprendimento. Sebbene la ricerca teorica sul Machine Learning Quantistico (QML) suggerisca potenziali vantaggi in termini di efficienza del campione e rappresentazione ad alta dimensionalità, il dispiegamento pratico su dispositivi Quantistici a Scala Intermedia e Rumorosi (NISQ) rimane limitato. Gli studi esistenti si basano spesso su simulazioni idealizzate o non affrontano i colli di bottiglia critici della latenza dell'esecuzione quantistica standard basata su cloud, che li rendono inadatti a compiti di controllo in anello chiuso sensibili alla latenza. La sfida specifica affrontata in questo lavoro è il divario tra le valutazioni basate esclusivamente sulla simulazione e l'esecuzione di un agente ibrido quantistico-classico su un'Unità di Elaborazione Quantistica (QPU) superconduttiva fisica sotto vincoli di tempo reale.

Metodologia
Gli autori presentano un'indagine end-to-end di un agente ibrido quantistico-classico minimale applicato al benchmark CartPole.

• Ambiente e Codifica dello Stato: Il compito consiste nel stabilizzare un pendolo invertito su un carrello. L'agente utilizza un vettore di caratteristiche ridotto a tre dimensioni (velocità del carrello, angolo del palo, velocità angolare del palo) piuttosto che lo stato completo a quattro dimensioni, motivato dai vincoli di un'architettura a singolo qubit.
• Architettura dell'Agente:
  • Modello Ibrido: L'agente impiega un circuito quantistico variazionale (VQC) a singolo qubit connesso a strati completamente connessi classici. Il VQC utilizza una porta Hadamard seguita da una sequenza di tre rotazioni ($R_z-R_y-R_z$) per codificare lo stato sulla sfera di Bloch, e una rotazione $R_x$ addestrabile. Il valore di aspettazione di una misurazione Pauli-Z viene immesso nelle reti classiche di attore e critico (ciascuna con 32 neuroni nascosti).
  • Baseline Classica: Una rete classica attore-critico completamente classica con strutture di strati nascosti identiche (128 e 256 unità) funge da baseline.
  • Addestramento: Entrambi i modelli utilizzano il metodo Attore-Critico con Gradienti di Politica. L'agente ibrido viene addestrato utilizzando la regola dello spostamento dei parametri per la stima del gradiente su backend basati su shot, nonché gradienti analitici per il confronto.
• Categorie Sperimentali:
  1. Benchmark Senza Rumore: Confronto dei tassi di convergenza tra agenti classici e ibridi utilizzando Qiskit BasicSimulator.
  2. Compatibilità Addestramento-Inferenza: Uno studio sistematico che mappa il compromesso tra la frequenza del ciclo di controllo (frequenza di inferenza) e il budget di shot di misurazione. Gli agenti addestrati a varie frequenze (20–100 Hz) sono stati valutati su diverse frequenze di inferenza e conteggi di shot (128–1024) su un backend che emula il rumore (FakeAdonis).
  3. Esecuzione Hardware a Bassa Latenza: Dispiegamento di una politica addestrata sul VTT Q5 (una QPU superconduttiva a 5 qubit). Crucialmente, gli autori hanno bypassato lo stack software standard di alto livello Qiskit/IQM. Invece, hanno programmato direttamente l'elettronica di lettura degli strumenti Zurich (HDAWG e UHFQA) tramite tabelle di comandi (CT), eliminando l'overhead della ricompilazione del codice e del caricamento delle forme d'onda per ogni cambiamento di parametro.

Contributi Chiave

1. Efficienza del Campione di Agenti Ibridi Minimali: Lo studio dimostra che un agente ibrido a singolo qubit può risolvere l'ambiente CartPole in un numero sostanzialmente inferiore di episodi (circa 162 episodi) rispetto a una rete attore-critico classica comparabile (circa 429 episodi), anche quando addestrato utilizzando la regola dello spostamento dei parametri con valutazioni a shot finito.
2. Analisi del Compromesso al Tempo di Inferenza: Gli autori forniscono matrici di prestazioni che quantificano la relazione tra la frequenza di controllo dell'inferenza e il conteggio degli shot. I risultati indicano che frequenze di inferenza più elevate migliorano costantemente la stabilità dell'equilibrio. Inoltre, aumentare il budget di shot abbassa la frequenza di inferenza minima richiesta per raggiungere un equilibrio quasi massimale, evidenziando la necessità di trovare un mezzo ottimale tra questi due vincoli.
3. Riduzione della Latenza tramite Controllo di Basso Livello: Bypassando lo stack software standard e utilizzando la programmazione diretta delle tabelle di comandi sull'elettronica di controllo, gli autori hanno ottenuto un miglioramento di un ordine di grandezza nella velocità di esecuzione. Sul processore VTT Q5, il tasso di iterazione è aumentato da ~0,14 Hz (stack standard) a oltre 6,2 Hz (percorso a basso livello) per 128 shot, rappresentando un'accelerazione di oltre 40 volte.

Risultati

• Dinamiche di Apprendimento: Nelle simulazioni senza rumore, l'agente ibrido ha convergito significativamente più velocemente della baseline classica. L'uso di gradienti di spostamento dei parametri ha portato a una convergenza leggermente più lenta rispetto ai gradienti analitici, ma ha mantenuto un chiaro vantaggio rispetto al modello classico.
• Vincoli di Dispiegamento: Lo studio di compatibilità ha rivelato che i vincoli al tempo di inferenza (frequenza e conteggio degli shot) sono i determinanti primari della stabilità, piuttosto che la frequenza di addestramento. Una discrepanza tra le frequenze di addestramento e inferenza ha avuto un effetto secondario rispetto al conteggio degli shot e alla frequenza di inferenza.
• Prestazioni Hardware: Sul VTT Q5, il percorso di esecuzione a basso livello ha permesso tassi di iterazione da 6,23 Hz (128 shot) fino a 2,71 Hz (1024 shot). Sebbene i punteggi assoluti degli episodi sull'hardware fossero conservativi a causa della mancanza di mitigazione degli errori di lettura e di condizioni di inferenza non ideali, il sistema ha dimostrato con successo il controllo in anello chiuso. I risultati hanno mostrato che con un budget di shot sufficiente (ad esempio, 1024 shot), il sistema poteva raggiungere punteggi di equilibrio quasi perfetti (500) nonostante il rumore hardware.

Significato e Affermazioni
Il documento afferma di fornire un passo fondamentale verso il raggiungimento di un feedback di controllo in anello chiuso in tempo reale su hardware quantistico. Non rivendica un'accelerazione quantistica teorica nel senso della complessità teorica, data la natura a bassa dimensionalità di CartPole. Invece, il significato risiede in:

• Quantificazione dei Confini: Il lavoro quantifica i confini attuali del controllo assistito quantistico, specificamente i compromessi tra conteggio degli shot, frequenza di controllo e latenza.
• Roadmap Pratica: Delinea un percorso pratico per dimostrazioni in tempo reale, dimostrando che bypassare gli stack software standard è necessario per raggiungere il throughput di decine di hertz richiesto per il feedback in tempo reale.
• Fattibilità di Modelli Minimali: Convalida che i modelli minimali a singolo qubit possono agire come agenti di apprendimento efficaci nei loop di RL quando accoppiati a una codifica appropriata e a un post-processing classico leggero, anche sotto vincoli realistici di rumore e shot finito.

Gli autori concludono che, sebbene i tassi di iterazione hardware NISQ attuali (multi-hertz) non abbiano ancora raggiunto pienamente il regime di decine di hertz richiesto per un controllo in tempo reale robusto, la pipeline a bassa latenza dimostrata fornisce un inizio praticabile per raggiungere tale throughput nelle iterazioni future.