Active Offline-to-Online Reinforcement Learning

Sintesi Tecnica: Apprendimento per Rinforzo Attivo da Offline a Online (Active Offline-to-Online Reinforcement Learning)

Definizione del Problema
L'Apprendimento per Rinforzo (RL) Offline permette l'addestramento di una policy partendo da dataset statici, evitando i costi e i rischi dell'esplorazione online iniziale. Tuttavia, le policy pre-addestrate offline spesso soffrono di uno shift distributivo, portando a prestazioni imprevedibili o scarse negli ambienti reali. Il paradigma Offline-to-Online (O2O-RL) affronta questo problema utilizzando un budget limitato di interazioni online per perfezionare (fine-tuning) le policy pre-addestrate.

Gli approcci O2O-RL esistenti si concentrano tipicamente sul miglioramento della fase di pre-addestramento offline o assumono che venga selezionata una singola policy per il fine-tuning. Esiste una lacuna critica nella selezione attiva della policy sotto un budget di interazione limitato. Le pipeline standard spesso si impegnano su una singola policy per il fine-tuning o dividono il budget equamente tra tutti i candidati. Questo è rischioso perché:

1. Le policy pre-addestrate possono performare arbitrariamente male negli ambienti reali.
2. Le prestazioni del fine-tuning sono altamente sensibili alla scelta dell'algoritmo, agli iperparametri e ai seed casuali.
3. Le traiettorie di fine-tuning non sono monotone; possono stallare, regredire o esibire un'alta varianza, rendendo difficile identificare quale policy avrà successo senza sprecare l'intero budget su un candidato subottimale.

La sfida centrale è il compromesso tra l'allocazione delle interazioni online per valutare più candidati al fine di identificare quelli ad alte prestazioni rispetto al perfezionare una specifica policy per migliorarne le prestazioni.

Metodologia
Gli autori propongono un framework di O2O-RL Attivo che esegue congiuntamente la selezione della policy e il fine-tuning. L'approccio opera in due fasi:

1. Fase Offline: Un pool diversificato di $K$ candidate policy viene addestrato utilizzando vari algoritmi di RL offline (ad es., AWAC, IQL, CalQL, ReBRAC) e configurazioni di iperparametri (ad es., tassi di apprendimento, dimensioni dei batch) sul dataset statico.
2. Fase Online (Selezione Attiva e Fine-Tuning):
   • Forecasting Lineare Locale: Per ogni linea di candidata policy, il sistema mantiene una cronologia delle stime di valore ottenute tramite valutazione online. Esso adatta un modello di regressione lineare locale alle ultime $w$ stime di valore per prevedere le tendenze future delle prestazioni. Questo modello cattura tendenze di breve termine (ascendenti o discendenti) e stima l'incertezza variabile nel tempo (varianza residua).
   • Selezione tramite Upper Confidence Bound (UCB): Il sistema calcola un Upper Confidence Bound (UCB) per le prestazioni future di ciascuna policy. L'UCB è derivato dal valore previsto più un intervallo di previsione scalato.
   • Esplorazione Adattiva: Invece di utilizzare un parametro di esplorazione fisso, il metodo regola dinamicamente il grado di esplorazione in base al valore migliore osservato attualmente ($v^*_j$). Seleziona la policy che richiede la "scala" minima per raggiungere il valore migliore attuale, bilanciando efficacemente la necessità di esplorare politiche incerte ma promettenti rispetto allo sfruttamento di quelle con prestazioni elevate note.
   • Ciclo Iterativo: In ogni iterazione, viene selezionata la policy con l'UCB più alto, viene eseguito un passo di fine-tuning, e la policy viene valutata online. La stima del valore viene aggiunta alla linea temporale, il modello di regressione lineare locale viene aggiornato e gli UCB vengono ricalcolati. Se l'UCB di una diversa policy supera il valore migliore attuale, il sistema passa a quella policy.

Contributi Chiave

• Nuova Formulazione del Problema: Per quanto ne sappiano gli autori, questo è il primo lavoro che affronta la selezione attiva della policy per il fine-tuning sotto un budget di interazione limitato nei contesti O2O-RL. Esso modella esplicitamente il compromesso tra valutazione e fine-tuning.
• Algoritmo di Selezione Attiva: Il documento propone un metodo che utilizza la regressione lineare locale per prevedere le prestazioni future e impiega un criterio UCB per selezionare attivamente quale policy sottoporre a fine-tuning. Ciò evita l'impegno prematuro su politiche subottimali.
• Validazione Empirica: L'approccio è valutato attraverso una suite diversificata di benchmark di robotica simulata, inclusi la navigazione (Point Maze), il controllo classico (Inverted Pendulum, Swimmer, Reacher, Pusher) e la locomozione bipede/quadrupede (Hopper, HalfCheetah, Walker2d, Ant).

Risultati
Gli esperimenti sono stati condotti con un budget di interazione online di 1.000K transizioni (e un budget minore di 750K negli studi di ablazione). Il metodo proposto ACTIVE è stato confrontato con diversi baseline:

• RANDOM: Selezione di una policy casualmente senza fine-tuning.
• BEST: Selezione della migliore policy stimata offline senza fine-tuning.
• FTS (Fine-Tuning Single): Fine-tuning di una singola policy selezionata casualmente con l'intero budget.
• FTA (Fine-Tuning All): Divisione del budget equamente tra tutti i candidati.

Risultati emersi:

• Superamento Consistente: L'approccio ACTIVE ha superato costantemente tutti i baseline nella maggior parte degli ambienti, raggiungendo un ritorno normalizzato medio complessivo dell'82,3%, rispetto al 64,3% di FTS e al 63,1% di FTA.
• Adattabilità: In ambienti in cui le policy migliorano lentamente o richiedono lunghi periodi di warm-up (ad es., locomozione bipede/quadrupede), ACTIVE identifica con successo le linee promettenti e alloca la maggior parte del budget a esse, superando FTA che spreca risorse su candidati deboli. Al contrario, in ambienti in cui le policy potrebbero regredire o stallare, ACTIVE si allontana dalle linee fallimentari, superando FTS che rimarrebbe bloccato in ottimi locali.
• Limitazioni: Il metodo ha incontrato difficoltà in ambienti specifici come Swimmer e Ant, dove le linee delle policy mostravano scarsi indizi di miglioramento per periodi prolungati. In questi casi, il sistema ha talvolta esaurito il budget tentando di identificare una linea di miglioramento che non si è mai materializzata.
• Sensibilità: Uno studio di ablazione sulla dimensione della finestra ($w$) per il modello di regressione lineare ha mostrato che, sebbene $w=3$ sia generalmente efficace, finestre più ampie possono migliorare le prestazioni in ambienti ad alta dimensionalità e rumorosi (come Ant) producendo previsioni meno rumorose, pur potendo ridurre la sensibilità ai cambiamenti rapidi.

Significatività e Rivendicazioni
Il documento sostiene che il suo framework faccia avanzare l'RL offline verso la implementazione pratica in sistemi reali dove l'interazione online è costosa o rischiosa. Dimostrando che la selezione attiva e l'allocazione dinamica del budget sono più efficaci rispetto all'impegno su una singola policy o alla divisione equa delle risorse, il lavoro fornisce un meccanismo robusto per gestire la volatilità del fine-tuning delle policy pre-addestrate.

Gli autori notano con modestia che, sebbene il loro approccio superi i forti baseline, c'è spazio per il miglioramento. Suggeriscono direzioni future come l'utilizzo di rollout di esplorazione per monitorare i progressi, l'incorporazione di somiglianze tra le policy e lo sviluppo di metodi OPE specificamente adattati all'O2O-RL per eliminare meglio i candidati scarsi precocemente. Il lavoro estende il loro precedente articolo di conferenza fornendo un'analisi più completa, esperimenti espansi su più task e studi di ablazione dettagliati.