Q-SpiRL: Quantum Spiking Reinforcement Learning for Adaptive Robot Navigation

Riepilogo Tecnico: Q-SpiRL: Apprendimento per Rinforzo a Spiking Quantistico per la Navigazione Robotica Adattiva

Enunciato del Problema
La navigazione robotica autonoma in ambienti dinamici richiede politiche non solo affidabili nel raggiungere i target, ma anche efficienti e stabili nelle loro traiettorie. Sebbene l'Apprendimento per Rinforzo (RL) offra un quadro per apprendere tali politiche, il Q-learning tabulare convenzionale fatica a scalare con grandi spazi stato-azione, e i metodi di deep RL spesso richiedono risorse computazionali e dati di addestramento eccessivi, rendendoli inadatti a piattaforme embedded con risorse limitate. Inoltre, gli approcci esistenti di machine learning quantistico (QML) per la navigazione si sono concentrati prevalentemente su modelli ibridi densi o sulla pianificazione di percorsi basata sull'ottimizzazione, lasciando un vuoto nella comprensione di whether i circuiti quantistici variazionali possano potenziare agenti RL a spiking, intrinsecamente adatti al calcolo a basso consumo e guidato da eventi.

Metodologia
Il documento propone Q-SpiRL, un quadro unificato per la navigazione robotica consapevole degli ostacoli che confronta cinque distinte famiglie di agenti sotto un pipeline sperimentale controllato:

1. Q-Learning Tabulare: Una baseline non neurale.
2. MLP Classico: Una rete neurale densa standard.
3. SNN Classico: Una Rete Neurale a Spiking che utilizza neuroni Leaky Integrate-and-Fire (LIF).
4. MLP Potenziato Quantisticamente (QMLP): Una rete densa con un circuito quantistico variazionale (VQC) inserito tra i livelli classici.
5. SNN Potenziato Quantisticamente (QSNN): L'architettura centrale, che integra un VQC in un pipeline a spiking.

Dettagli Architettonici Chiave:

• Ambiente: Gli esperimenti utilizzano mondi a griglia 2D (20×20, 30×30, 40×40) con ostacoli sia statici che dinamici. L'agente osserva un vettore di stato discreto compatto composto dalla regione angolare dell'ostacolo più vicino, dalla regione angolare del target, dall'angolo relativo tra target e ostacolo e dalla direzione di movimento degli ostacoli dinamici.
• Pipeline QSNN: La QSNN codifica prima lo stato discreto in una sequenza temporale basata su spiking utilizzando un encoder Poisson basato sulla frequenza. Questi spiking sono elaborati da livelli di spiking pre-quantistici. Gli output sono aggregati nel tempo per formare una rappresentazione continua della frequenza di scarica, che viene quindi immessa in un circuito quantistico parametrico a 8 qubit. Il circuito produce valori di aspettazione Pauli-Z, che sono elaborati da livelli classici post-quantistici per stimare i valori di azione (valori Q).
• Protocollo di Valutazione: Per garantire un confronto equo tra tutte le architetture, ogni politica addestrata viene convertita in una tabella Q esplicita su tutto lo spazio degli stati discreti. L'inferenza viene eseguita in modo deterministico utilizzando la selezione dell'azione greedy da questa tabella, eliminando gli effetti stocastici durante il dispiegamento.
• Metriche: Le prestazioni sono valutate tramite Tasso di Successo (SR), Lunghezza del Percorso Pesata per il Successo (SPL), Lunghezza del Percorso (PL) e Tasso di Giro (TR).

Contributi Chiave

1. Introduzione del Quadro: Gli autori introducono Q-SpiRL, un quadro che unifica agenti tabulari, neurali classici, a spiking e potenziati quantisticamente per uno studio controllato delle architetture di politiche nella navigazione.
2. Progettazione QSNN: Il documento progetta la QSNN come contributo principale, integrando un livello quantistico variazionale specificamente per trasformare le rappresentazioni della frequenza di scarica derivate dagli spiking prima della stima del valore di azione, piuttosto che applicare l'elaborazione quantistica agli stati grezzi.
3. Confronto Completo: Lo studio implementa e confronta cinque distinte famiglie di agenti, consentendo un'analisi diretta dei compromessi tra approcci densi, a spiking e potenziati quantisticamente.
4. Valutazione Deterministica: Gli autori stabiliscono un protocollo che converte tutte le politiche in tabelle Q esplicite, permettendo un confronto equo e deterministico delle capacità di inferenza tra diversi tipi di modello.
5. Fattibilità Hardware: Il lavoro include l'esecuzione della politica QSNN su hardware quantistico IBM (ibm_fez), dimostrando la fattibilità dell'approccio ibrido in condizioni di dispositivo reale.

Risultati Sperimentali
Gli esperimenti sono stati condotti su tre dimensioni di griglia con complessità crescente degli ostacoli.

• Prestazioni Generali: La QSNN ha costantemente raggiunto il miglior compromesso complessivo tra completamento del compito, efficienza della traiettoria e fluidità del movimento.
• Scalabilità: All'aumentare delle dimensioni dell'ambiente (fino a 40×40), le architetture a spiking (SNN e QSNN) sono rimaste più robuste rispetto ai modelli basati su MLP densi. Il tasso di successo dell'MLP classico è sceso significativamente (al 77% nell'impostazione 40×40), mentre la QSNN ha mantenuto un tasso di successo del 99%.
• Potenziamento Quantistico: Nell'ambiente 40×40, la QSNN ha superato la sua controparte SNN classica in tutte le metriche (99% SR contro 98%, SPL più alto, percorso più breve e tasso di giro più basso). Analogamente, la QMLP ha superato l'MLP classico in affidabilità, sebbene i guadagni fossero meno uniformi rispetto al dominio a spiking.
• Limiti della Baseline: Sebbene la baseline Q-learning tabulare abbia raggiunto alti tassi di successo (fino al 99%), ha costantemente prodotto traiettorie più lunghe e oscillanti (tassi di giro più alti e SPL più bassi), indicando che il solo tasso di successo è insufficiente per caratterizzare la qualità della navigazione.
• Esecuzione Hardware: Un singolo episodio eseguito su hardware quantistico IBM ha raggiunto un tasso di successo del 100% con un SPL di 0,8189. Sebbene il percorso fosse meno efficiente e più oscillante rispetto ai risultati di simulazione (attribuito al rumore shot e alle limitazioni hardware), ha raggiunto con successo l'obiettivo, validando la fattibilità dell'approccio.

Significato e Affermazioni
Il documento afferma che la QSNN offre il miglior equilibrio tra affidabilità, efficienza e fluidità per la navigazione robotica adattiva. Gli autori ipotizzano che l'elaborazione temporale basata su spiking fornisca un'interfaccia più efficace per l'apprendimento di politiche potenziate quantisticamente rispetto alle rappresentazioni dense, poiché il livello quantistico produce guadagni coerenti nel dominio a spiking ma risultati meno uniformi nelle reti dense.

Il lavoro evidenzia che, sebbene i modelli potenziati quantisticamente possano migliorare la qualità delle decisioni e la regolarità del movimento, l'integrazione di circuiti quantistici variazionali con dinamiche a spiking è particolarmente efficace per la gestione di ostacoli dinamici e spazi degli stati complessi. L'esecuzione riuscita su hardware quantistico reale funge da prima prova di concetto per il dispiegamento di politiche ibride quantistico-a spiking, nonostante le attuali limitazioni nel rumore e nella latenza. Gli autori concludono che il lavoro futuro dovrebbe concentrarsi su rappresentazioni degli stati più ricche e su design di circuiti resilienti al rumore per sfruttare ulteriormente i processori quantistici a breve termine.