Quantum Hierarchical Reinforcement Learning via Variational Quantum Circuits

Sintesi Tecnica: Apprendimento per Rinforzo Gerarchico Quantistico tramite Circuiti Quantistici Variazionali

Enunciato del Problema
L'apprendimento per rinforzo (RL) affronta sfide significative in compiti a lungo orizzonte e in ambienti con ricompense sparse. L'Apprendimento per Rinforzo Gerarchico (HRL), in particolare l'architettura option-critic, affronta queste problematiche attraverso l'astrazione temporale, consentendo agli agenti di apprendere corsi d'azione ("opzioni") che abbracciano molteplici scale temporali. Sebbene i Circuiti Quantistici Variazionali (VQC) abbiano dimostrato promesse nel RL non gerarchico offrendo efficienza parametrica e prestazioni competitive, rimane una questione aperta se questi vantaggi quantistici si traducano nella presa di decisioni strutturata e multilivello richiesta dall'HRL. Questo lavoro indaga la fattibilità e l'efficacia dell'integrazione dei VQC in un framework ibrido quantistico-classico option-critic.

Metodologia
Gli autori propongono un agente ibrido basato sull'architettura option-critic, in cui i componenti classici delle reti neurali sono sostituiti selettivamente con VQC. Il framework è composto da quattro componenti apprendibili primari:

1. Estrattore di Caratteristiche: Elabora le osservazioni grezze dell'ambiente.
2. Funzione Valore delle Opzioni ($Q_\Omega$): Stima il ritorno atteso dell'esecuzione di una specifica opzione.
3. Funzione di Terminazione ($\beta_\omega$): Determina quando un'opzione dovrebbe terminare.
4. Politiche Intra-Opzione ($\pi_\omega$): Seleziona le azioni all'interno di un'opzione attiva.

Gli autori definiscono otto varianti ibride sostituendo questi componenti con VQC singolarmente o in combinazione (ad esempio, Hybrid F sostituisce solo l'estrattore di caratteristiche; Hybrid FOTP sostituisce tutti). L'architettura VQC impiega una struttura di ricarica dei dati, utilizzando porte di codifica $Rx$ con parametri di scala apprendibili ($\lambda$), porte $CNOT$ per l'entanglement e blocchi di rotazione parametrici $Ry$/$Rz$. Gli input sono normalizzati in $[-\pi, \pi]$ per fungere da angoli di rotazione. L'algoritmo di addestramento segue un approccio option-critic in stile DQN (Algoritmo 1), utilizzando un buffer di replay, reti target e una funzione di perdita unificata che combina le perdite della politica, di terminazione e del critico.

Gli esperimenti sono stati condotti su due ambienti standard a stato continuo e azione discreta di Gymnasium: CartPole e Acrobot. I modelli ibridi sono stati confrontati con baseline classiche (in stile Deep Q-Network) e una baseline casuale.

Contributi Chiave

1. Efficacia dell'Estrattore di Caratteristiche Quantistico: Lo studio dimostra che un agente ibrido che utilizza un VQC esclusivamente per l'estrattore di caratteristiche (Hybrid F) supera le baseline classiche riducendo significativamente il numero di parametri apprendibili.
2. Identificazione di un Collo di Bottiglia Critico: Gli autori identificano che la sostituzione della funzione valore delle opzioni con un VQC (Hybrid O) causa un grave degrado delle prestazioni, portando di fatto al fallimento dell'apprendimento.
3. Ablazione Architetturale: Il documento fornisce prove empiriche su come specifiche scelte di progettazione del VQC — profondità del circuito, scala degli input apprendibile e entanglement — impattino l'efficacia degli agenti gerarchici ibridi.

Risultati Sperimentali

• Miglioramenti delle Prestazioni: Nell'ambiente CartPole, il modello Hybrid F ha ottenuto una ricompensa episodica media 2,95 volte superiore alla baseline classica. In Acrobot, ha ridotto la penalità del 46% rispetto alla baseline classica.
• Efficienza Parametrica: Il modello Hybrid F ha ottenuto questi risultati con il 66% di parametri apprendibili in meno in CartPole e il 52% in meno in Acrobot rispetto a una baseline classica con 24 neuroni nascosti. Ha richiesto un modello classico con 32 neuroni nascosti (capacità significativamente maggiore) solo per superare le sue prestazioni.
• Il Collo di Bottiglia della Funzione Valore delle Opzioni: I modelli in cui la funzione valore delle opzioni è stata sostituita da un VQC (Hybrid O, e di conseguenza l'Hybrid FOTP completamente quantistico) non sono riusciti ad apprendere, performando non meglio di un agente casuale. L'analisi ha rivelato che il critico quantistico ha prodotto curve di perdita piatte e un'entropia della politica vicina al massimo teorico, indicando un fallimento nel fornire segnali di apprendimento utili. Gli autori notano che i plateau sterili sono poco probabili come causa, data la bassa profondità del circuito utilizzata.
• Risultati dell'Ablazione:
  • Profondità: Aumentare la profondità del circuito oltre un certo punto non ha migliorato costantemente le prestazioni, ma ridurla ha degradato i risultati.
  • Scala: L'addestramento dei parametri di scala degli input ($\lambda$) è stato cruciale; fissarli a 1 ha danneggiato significativamente le prestazioni.
  • Entanglement: Rimuovere le porte di entanglement $CNOT$ ha degradato le prestazioni in entrambi gli ambienti, confermando l'utilità dell'entanglement multi-qubit.

Significato e Affermazioni
Il documento stabilisce principi di progettazione per agenti gerarchici ibridi efficienti in termini di parametri. Il significato principale risiede nell'identificare il posizionamento specifico dei circuiti quantistici all'interno della gerarchia HRL: i circuiti quantistici sono benefici come estrattori di caratteristiche ma dannosi quando utilizzati per la stima del valore delle opzioni nella corrente architettura. Gli autori affermano che il loro lavoro avvicina il "vantaggio quantistico pratico nel RL alla realizzazione su dispositivi quantistici a breve termine" dimostrando che i componenti quantistici possono migliorare la dinamica di apprendimento con meno parametri, purché siano posizionati nella corretta posizione architetturale.

Gli autori rimangono modesti riguardo alla portata, riconoscendo che i loro risultati sono limitati a specifici ambienti di benchmark e che la precisa causa radice del collo di bottiglia della funzione valore delle opzioni rimane una questione aperta. Notano inoltre che le attuali simulazioni non tengono conto del rumore hardware, che è un fattore per future indagini.