Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning

Riepilogo Tecnico: Sostituzione Prossimale delle Azioni per l'Attore-Critico con Clonazione del Comportamento nell'Apprendimento per Rinforzo Offline

1. Enunciato del Problema

L'Apprendimento per Rinforzo (RL) Offline mira a imparare politiche ottimali da dataset statici, precedentemente raccolti, senza ulteriore interazione con l'ambiente. Un approccio dominante per garantire la stabilità nell'RL offline è la regolarizzazione tramite Clonazione del Comportamento (BC), che vincola la politica appresa a rimanere vicina alla politica comportamentale presente nel dataset. Questo mitiga il problema dello spostamento della distribuzione e previene che l'agente sfrutti azioni fuori distribuzione (OOD).

Tuttavia, gli autori identificano una limitazione fondamentale: la regolarizzazione BC impone un tetto alle prestazioni. Quando il dataset offline contiene azioni subottimali, l'imitazione indiscriminata forza l'attore a convergere verso queste regioni subottimali, anche quando il critico (funzione valore) identifica azioni migliori. Gli autori sostengono che ciò crea un compromesso strutturale in cui la politica non può sfruttare appieno i suggerimenti di miglioramento forniti dalla funzione valore, in particolare nelle fasi successive dell'addestramento, quando il collo di bottiglia principale si sposta dalla "realisticità" all'"ottimalità".

2. Metodologia: Sostituzione Prossimale delle Azioni (PAR)

Per infrangere questo tetto alle prestazioni mantenendo la stabilità dell'addestramento, gli autori propongono la Sostituzione Prossimale delle Azioni (PAR), un sostituto di campioni di addestramento "plug-and-play". PAR modifica dinamicamente gli obiettivi di supervisione per la perdita di clonazione del comportamento dell'attore. Invece di imitare ciecamente l'azione registrata nel dataset, PAR la sostituisce selettivamente con un'azione migliore generata da una politica target stabile, soggetta a due vincoli chiave:

A. Sostituzione dell'Azione Consapevole della Direzione del Gradiente (GDAAR)
Questo componente determina quando sostituire un'azione.

• Meccanismo: Per un dato stato $s$, il metodo confronta l'azione registrata $a$ e un'azione candidata $\hat{a}$ (generata da un attore target $\pi'$) rispetto alla direzione di ascesa locale della funzione valore-azione del critico $Q(s, a)$.
• Metrica: Calcola la similarità coseno tra i vettori di spostamento ($v = a - \pi_\theta(s)$ e $v' = \hat{a} - \pi_\theta(s)$) e il gradiente del critico $g = \nabla_a Q(s, a)|_{a=\pi_\theta(s)}$.
• Regola di Decisione: Se l'azione target $\hat{a}$ è più allineata con la direzione di ascesa locale del critico rispetto all'azione registrata $a$ (cioè $\cos(g, v') > \cos(g, v)$), l'obiettivo di supervisione BC viene sostituito con $\hat{a}$. Altrimenti, viene mantenuta l'azione originale $a$.
• Garanzia Teorica: Gli autori dimostrano che, sotto ipotesi di regolarità, questa regola di selezione garantisce che il miglioramento del valore in un singolo passo non sia peggiore della BC classica fino all'errore del secondo ordine.

B. Ponderazione delle Azioni OOD a Forma Gaussiana (GSOAW)
Questo componente determina quanto fidarsi della sostituzione, garantendo stabilità contro lo spostamento distribuzionale.

• Motivazione: Sostituire le azioni può causare uno spostamento significativo della politica rispetto alla politica comportamentale, portando al collasso del critico (instabilità) a causa di errori di estrapolazione.
• Meccanismo: PAR introduce una funzione valore-stato ausiliaria $V(s)$ e apprende una deviazione standard $\sigma(s)$ per modellare l'incertezza di $Q(s, a)$ rispetto alle azioni.
• Ponderazione: Viene assegnato un peso $w$ all'azione di sostituzione basato sulla deviazione del suo valore Q dal valore atteso $V(s)$, normalizzato dall'incertezza $\sigma(s)$:
  $$w = \exp\left(-\frac{|Q(s, \hat{a}) - V(s)|}{\tau \sigma(s) + \epsilon}\right)$$
• Effetto: Se l'azione generata è lontana dalla distribuzione dei valori osservati nel dataset (alta incertezza o grande deviazione), $w$ tende a 0, sopprimendo efficacemente la sostituzione e tornando all'ancora comportamentale conservativa. Questo limita adattivamente la divergenza della politica senza vincoli rigidi.

3. Contributi Chiave

1. Caratterizzazione Teorica della Subottimalità: Gli autori dimostrano formalmente (Teorema 3.1) che per obiettivi regolarizzati con BC (inclusi le forme MSE, KL e MLE), se il dataset contiene azioni subottimali, il punto stazionario dell'ottimizzazione non può coincidere con la politica ottimale vera. La politica è strutturalmente costretta a compromettere tra imitazione e ottimalità.
2. Sostituzione Prossimale delle Azioni (PAR): Un modulo innovativo "plug-and-play" che si integra con gli algoritmi esistenti attore-critico regolarizzati con BC. Combina GDAAR per guidare il miglioramento della politica verso regioni a valore più elevato e GSOAW per mantenere la stabilità penalizzando le azioni OOD rischiose.
3. Validazione Empirica Estesa: Il metodo è stato testato su diversi benchmark di RL offline (MuJoCo, AntMaze, FrankaKitchen) e integrato con molteplici algoritmi di base (BCQ, TD3+BC, IQL, EDP, SSAR).

4. Risultati Sperimentali

• Miglioramenti delle Prestazioni: PAR migliora costantemente le prestazioni su tutti gli algoritmi e i domini testati.
  • Sui task MuJoCo, combinando PAR con TD3+BC, il punteggio normalizzato medio è aumentato da 75,3 a 87,7 (+12,4).
  • Su AntMaze, PAR ha permesso a IQL di migliorare da 57,1 a 70,8 (+13,7) e ha salvato TD3+BC da prestazioni quasi nulle (da 0,2 a 2,0).
  • Su FrankaKitchen, PAR ha migliorato TD3+BC da 0,0 a 20,0 e IQL da 48,7 a 61,5.
• Confronto con lo Stato dell'Arte: La combinazione di SSAR + PAR ha raggiunto il punteggio medio più alto (90,9) sui task MuJoCo, superando metodi complessi all'avanguardia come QIPO (87,4) e altri approcci di pianificazione delle traiettorie.
• Studi di Ablazione:
  • Rimuovere la sostituzione delle azioni (solo filtraggio) ha prodotto guadagni minori, confermando che introdurre azioni migliori è cruciale.
  • Rimuovere GSOAW ("No GSOAW") ha causato un grave degrado delle prestazioni su dataset medio-esperti a causa dell'instabilità OOD, evidenziando la necessità della ponderazione consapevole dell'incertezza.
• Efficienza: PAR introduce un sovraccarico computazionale minimo (circa 3-8% di aumento nel tempo di addestramento) poiché riutilizza i calcoli dei gradienti esistenti e aggiunge solo operazioni vettoriali leggere.

5. Significato e Affermazioni

Il documento afferma che PAR offre una nuova prospettiva incentrata sui dati per superare le limitazioni strutturali dell'RL offline. Spostando il paradigma dalla pura imitazione al miglioramento guidato della politica, PAR permette agli agenti di trascendere il tetto alle prestazioni imposto dalla clonazione del comportamento standard.

Gli autori sottolineano che PAR è modesto nel suo ambito:

• È attualmente progettato per spazi di azione continui dove è possibile calcolare i gradienti di ascesa locale.
• Opera a livello di transizione singola e non cattura intrinsecamente le dipendenze a lungo termine (sebbene ciò sia indicato come lavoro futuro).
• È presentato come un modulo plug-and-play che potenzia gli algoritmi esistenti piuttosto che sostituire l'intero framework dell'RL offline.

In definitiva, il lavoro dimostra che ottimizzando dinamicamente lo stesso segnale di supervisione — sostituendo punti dati subottimali con alternative migliori e vincolate dall'incertezza — gli algoritmi di RL offline possono raggiungere prestazioni significativamente più elevate senza sacrificare la stabilità fornita dalla clonazione del comportamento.