COOPO: Cyclic Offline-Online Policy Optimization Algorithm

Riepilogo Tecnico di COOPO: Ottimizzazione Ciclica delle Politiche Offline-Online

Enunciato del Problema
L'apprendimento per rinforzo (RL) affronta un compromesso fondamentale tra efficienza dei dati e prestazioni. I metodi di RL puramente online (ad esempio, PPO, SAC) richiedono un numero proibitivo di interazioni con l'ambiente per apprendere politiche ottimali, rendendoli inadatti ai sistemi cibernetico-fisici (CPS) critici per la sicurezza, dove l'esplorazione è costosa o pericolosa. Al contrario, il RL offline apprende esclusivamente da dataset statici, evitando l'interazione online ma soffrendo di spostamento distribuzionale e subottimalità della politica a causa dell'incapacità di esplorare stati non visti.

I recenti approcci ibridi "da offline a online" tentano di colmare questo divario pre-addestrando su dati offline e affinando successivamente online. Tuttavia, il documento individua due modalità di fallimento critiche nei metodi ibridi esistenti:

1. Dimenticanza Catastrofica: Durante l'affinamento online, la politica sovrascrive spesso la conoscenza appresa dal dataset offline, portando a un significativo degrado delle prestazioni.
2. Spostamento Distribuzionale: La transizione dalla distribuzione offline statica alla distribuzione online dinamica causa uno spostamento della politica verso regioni dello spazio degli stati non supportate dai dati, risultando in stime di valore inaccurate e apprendimento instabile.

Le soluzioni esistenti, come le fasi di avvio caldo o la fusione dei dati nei buffer di replay, spesso non riescono a preservare la stabilità a lungo termine o non riducono sufficientemente la complessità dei campioni della fase online.

Metodologia: Framework COOPO
Gli autori propongono COOPO (Ottimizzazione Ciclica delle Politiche Offline-Online), un framework unificato che risolve questi problemi ciclando ripetutamente tra addestramento offline vincolato e affinamento online. A differenza dei metodi tradizionali che eseguono un singolo pre-addestramento offline seguito da adattamento online, COOPO intercala queste fasi in un ciclo.

Il meccanismo di base opera come segue:

1. Struttura Ciclica: L'algoritmo alterna una Fase Offline e una Fase Online su $K$ cicli.
2. Fase Offline (Stabilità e Ancoraggio):
   • La politica viene aggiornata utilizzando un algoritmo KL-regularizzato Advantage Weighted Actor-Critic (AWAC).
   • Questa fase impiega una penalità esplicita di divergenza di Kullback-Leibler (KL) per vincolare la nuova politica ($\pi_{new}$) a rimanere vicina alla politica precedente ($\pi_{old}$) e alla politica comportamentale ($\pi_\beta$) nel dataset.
   • Una funzione di valore viene esplicitamente addestrata durante questa fase per supportare la successiva transizione online e fornire una stima robusta del vantaggio, mitigando gli errori fuori distribuzione (OOD).
   • Crucialmente, la fase offline agisce come un "termine correttivo stabilizzante", ri-ancorando la politica all'dataset statico di alta qualità per prevenire lo spostamento e la dimenticanza.
3. Fase Online (Adattamento ed Esplorazione):
   • La politica viene affinata utilizzando un algoritmo on-policy a regione di fiducia (specificamente PPO negli esperimenti).
   • Per mantenere la stabilità del critico, la funzione Q addestrata durante la fase offline viene congelata durante gli aggiornamenti online di PPO. Ciò previene lo spostamento del valore causato da disallineamenti distribuzionali tra stati offline e online.
   • La fase online è mantenuta breve (pochi episodi) per minimizzare le interazioni con l'ambiente consentendo al contempo l'esplorazione necessaria.
4. Sinergia: Il comportamento ciclico crea un ciclo di feedback in cui le fasi offline stabilizzano la politica e correggono gli errori, mentre le fasi online affinano la politica utilizzando segnali del mondo reale. Ciò consente l'ammortizzazione dei costi dei dati offline su più cicli.

Contributi Chiave

1. Framework Ciclico Generalizzato: Gli autori introducono un framework innovativo che alterna addestramento offline regolarizzato con KL e affinamento online adattivo. Questo design previene esplicitamente la dimenticanza catastrofica e lo spostamento distribuzionale riportando periodicamente la politica al dataset offline.
2. Garanzie Teoriche:
   • Limite delle Prestazioni: Il documento deriva un limite della differenza di prestazioni (Teorema 1) che mostra che l'aumento del ritorno per ciclo è garantito sotto ipotesi standard di copertura dei dati.
   • Complessità dei Campioni: Gli autori dimostrano che COOPO raggiunge una complessità totale dei campioni di $\tilde{O}(\frac{1}{\epsilon^2} \log \frac{1}{\epsilon})$. Notevolmente, la complessità dei campioni offline è indipendente dalla dimensione del dataset $|D|$ grazie al riutilizzo dei dati, e la complessità dei campioni online scala con $H^3$ (dove $H$ è l'orizzonte), un miglioramento rispetto alla scala $H^4$ del PPO online puro.
   • Convergenza: Il Teorema 2 stabilisce una convergenza lineare verso il vicinato della politica ottimale.
3. Superiorità Empirica: Esperimenti estesi sui benchmark D4RL (HalfCheetah, Hopper, Walker2D) dimostrano che COOPO supera i metodi RL offline all'avanguardia (ad esempio, IQL, CQL) e le baseline da offline a online (ad esempio, Cal-QL, Uni-O4) in termini di ritorno finale ed efficienza dei campioni.

Risultati

• Prestazioni: COOPO ha ottenuto le migliori prestazioni in 7 dei 9 task D4RL, superando i metodi offline puri e gli approcci ibridi a un passo. Ad esempio, sul task halfcheetah-medium-expert, COOPO ha ottenuto un ritorno di 9242.2, superando la baseline successiva migliore (Uni-O4 a 8859.3).
• Efficienza dei Campioni: COOPO ha ridotto significativamente il numero di interazioni con l'ambiente online necessarie per raggiungere alte prestazioni rispetto al PPO online puro. L'analisi teorica e i risultati empirici (Figura 7) confermano che COOPO riduce le interazioni online di un fattore costante.
• Stabilità: L'architettura ciclica ha dimostrato prestazioni asintotiche robuste, evitando il plateau precoce osservato in metodi come AWAC e IQL. Studi di ablazione hanno mostrato che bilanciare le epoche offline ($E$) e gli episodi online ($T$) è critico; in particolare, enfatizzare l'addestramento offline nelle fasi iniziali e l'affinamento online nelle fasi successive produce risultati ottimali.
• Sensibilità agli Iperparametri: Il coefficiente KL ($\lambda$) è risultato controllare il compromesso tra velocità di convergenza e conservatorismo degli aggiornamenti. Un $\lambda$ moderato (ad esempio, 3) ha fornito il miglior equilibrio tra velocità di convergenza e bassa varianza.

Significato e Affermazioni
Il documento afferma che COOPO stabilisce un nuovo paradigma per l'apprendimento adattivo stabile ed efficiente nei campioni, in particolare per i sistemi cibernetico-fisici critici per la sicurezza. Formalizzando una "sinergia ciclica", il metodo trasforma i limiti del RL offline (vincoli di copertura) e del RL online (inefficienza dei campioni) in punti di forza complementari.

Gli autori sottolineano che COOPO fornisce una base principiale per un deployment affidabile in applicazioni reali dove l'esplorazione su larga scala è non fattibile. Il framework offre garanzie teoriche sul miglioramento delle prestazioni e sull'interazione online limitata, affrontando la necessità critica di algoritmi che rimangano stabili sotto spostamenti distribuzionali e perturbazioni avverse. Il lavoro suggerisce che questa sinergia ciclica mitiga efficacemente la dimenticanza catastrofica e lo spostamento distribuzionale, offrendo una soluzione robusta per il controllo adattivo in ambienti con dati limitati e dinamiche incerte.