Riassunto Tecnico: È davvero necessario preaddestrare le funzioni Q per il fine-tuning di RL online?

1. Formulazione del Problema

Il paper investiga l'efficacia del preaddestramento delle funzioni Q su dati offline quando si effettua il fine-tuning di una policy preaddestrata tramite Reinforcement Learning (RL) online. L'ambiente consiste in un Processo Decisionale di Markov (MDP) in cui un agente possiede un dataset offline fisso $D_{offline}$ e una policy di base $\pi_{base}$ preaddestrata (tipicamente addestrata tramite apprendimento supervisionato o apprendimento per imitazione su $D_{offline}$). L'obiettivo è eseguire il fine-tuning tramite RL online per massimizzare i rendimenti.

La domanda centrale è se la funzione Q ($Q_\phi$), che guida la selezione delle azioni della policy durante gli aggiornamenti online, debba essere anch'essa preaddestrata su $D_{offline}$ insieme alla policy, o se debba essere inizializzata casualmente e appresa interamente online. La saggezza convenzionale nel campo dell'RL da offline a online suggerisce che il preaddestramento congiunto della policy e della funzione Q sia benefico. Tuttavia, lavori recenti hanno dimostrato che partire con una policy preaddestrata e una funzione Q inizializzata casualmente può produrre risultati altamente performanti. Questo articolo testa sistematicamente l'intuizione secondo cui il preaddestramento della funzione Q fornisca una marcia in più necessaria per le prestazioni a valle.

2. Metodologia

Configurazione Sperimentale

Gli autori valutano le loro ipotesi su sei compiti di controllo continuo manipolativo impegnativi tratti da Robomimic (lift, can, square) e OGBench (cube, scene, puzzle). Questi compiti comportano ricompense sparse e ragionamento a lungo orizzonte.

• Algoritmo di Base: Lo studio utilizza EXPO, un algoritmo di RL off-policy efficiente in termini di campionamento. EXPO impiega una "base flow policy" ($\pi_{base}$) e una leggera "edit policy" ($\pi_{edit}$) che predice le correzioni delle azioni. L'azione finale è selezionata massimizzando il valore Q su un insieme di azioni base e modificate.
• Baseline:
  1. Preaddestramento Naive: Preaddestra sia $\pi_{base}$ che $Q_\phi$ su $D_{offline}$ usando l'apprendimento supervisionato e l'apprendimento TD offline, rispettivamente, prima del fine-tuning RL online.
  2. Inizializzazione Casuale: Preaddestra solo $\pi_{base}$ su $D_{offline}$; inizializza $Q_\phi$ casualmente e la apprende interamente durante il fine-tuning RL online.
  3. Massimizzazione del Valore Offline: Tenta di colmare il divario tra i target offline e online eseguendo la massimizzazione del valore offline (ad esempio, apprendendo una edit policy o distillando una policy a un passo) durante il preaddestramento.

Metodo Proposto: Inizializzazione tramite Ensemble di Policy (IPE)

Motivati dal fatto che il preaddestramento naive fallisce, gli autori propongono IPE, un metodo per utilizzare meglio i dati offline per l'inizializzazione della funzione Q senza i problemi di mismatch del preaddestramento standard.

• Idea Centrale: Una singola policy preaddestrata spesso produce una distribuzione di azioni ristretta, causando il collasso della funzione Q verso la funzione di valore di quella specifica policy ($Q_{\pi_{base}} \approx V_{\pi_{base}}$) invece di apprendere una struttura di valore-azione generalizzabile.
• Procedura:
  1. Addestra una policy di base $\pi_{base}$ sul dataset offline.
  2. Addestra $N$ policy aggiuntive e diverse ($\pi_1, \dots, \pi_N$) sulla stessa distribuzione di azioni (usando lo stesso dataset o sottoinsiemi con diversi seed).
  3. Esegui i rollout di tutte le $N+1$ policy nell'ambiente per raccogliere transizioni diversificate.
  4. Unisci questi rollout per inizializzare il replay buffer per il fine-tuning di RL online.
     Questo approccio fornisce alla funzione Q una copertura su un intervallo più ampio di azioni ad ogni stato, consentendole di apprendere una funzione Q più vicina al target ottimale online ($Q^*_{RL}$) piuttosto che essere vincolata dalla distribuzione ristretta del comportamento di una singola policy.

3. Risultati Chiave e Analisi

Il Fallimento del Preaddestramento Naive

Contrariamente all'intuizione convenzionale, gli autori scoprono che il preaddestramento ingenuo della funzione Q fornisce scarsi o nessun beneficio rispetto all'inizializzazione casuale. In diversi compiti, esso addirittura ostacola l'apprendimento online.

• Il Mismatch: La funzione Q appresa durante il preaddestramento offline ($Q_{\pi_{base}}$) punta alla funzione di valore della policy di base. Tuttavia, il fine-tuning RL online converge verso una funzione Q ottimale differente ($Q^*_{RL}$).
• Accuratezza delle Preferenze: Anche quando la policy di base è quasi ottimale, il critico preaddestrato offline non si allinea con il critico appreso tramite RL online. La funzione Q offline non riesce a classificare correttamente le azioni della policy ottimale ($\pi^*$) rispetto alla policy di base ($\pi_{base}$) nel modo richiesto per la convergenza online.
• Inefficacia dei Correttivi: I tentativi di colmare questo divario tramite la massimizzazione del valore offline (ad esempio, addestrando una edit policy o applicando gradienti di azione durante il preaddestramento) non migliorano le prestazioni o l'accuratezza delle preferenze, indicando che l'interazione online è necessaria per apprendere il target corretto.

Il Meccanismo di IPE

Il paper dimostra che il fallimento del preaddestramento naive deriva da una mancanza di diversità nelle azioni. I rollout di una singola policy risultano in una funzione Q con varianza molto bassa, rendendola di fatto deterministica e incapace di distinguere tra azioni alternative.

• Diversità: Utilizzando un ensemble di policy, IPE genera rollout con una diversità di azioni significativamente maggiore.
• Risultato: Questa diversità permette alla funzione Q di apprendere strutture valore-azione significative ($Q^*_{RL}$) invece di collassare sul valore del comportamento di una singola policy.

4. Risultati

• Miglioramento delle Prestazioni: Attraverso la suite di benchmark di controllo continuo, IPE produce un miglioramento medio di 1.26x (circa il 26%) nelle prestazioni di fine-tuning rispetto al preaddestramento ingenuo della funzione Q.
• Confronto con l'Inizializzazione Casuale: IPE supera sia il preaddestramento naive che l'inizializzazione casuale, dimostrando che la qualità dell'inizializzazione della funzione Q è critica, ma la fonte di tale inizializzazione deve essere diversificata.
• Scalabilità: Le prestazioni scalano con il numero di policy ($N$) utilizzate nell'ensemble. Negli esperimenti, $N=5$ ha fornito i risultati migliori, suggerendo che una copertura più ampia delle policy di comportamento porti a un migliore fine-tuning a valle.
• Accuratezza delle Preferenze: Le funzioni Q addestrate con IPE mostrano una maggiore accuratezza nelle preferenze per le azioni ottimali rispetto alle baseline, confermando che il metodo colma con successo il divario verso $Q^*_{RL}$.

5. Significato e Rivendicazioni

Il paper sfida l'assunzione prevalente che "più preaddestramento sia sempre meglio" nel contesto dell'RL da offline a online. I suoi principali contributi sono:

1. Evidenza Empirica: Dimostra sistematicamente che il preaddestramento diretto di una funzione Q su dati offline spesso fallisce nel velocizzare o migliorare il fine-tuning di RL online partendo da una policy preaddestrata.
2. Insight Teorico: Identifica un mismatch fondamentale tra la funzione Q offline ($Q_{\pi_{base}}$) e il target online ($Q^*_{RL}$), mostrando che la sola massimizzazione del valore offline non può risolvere questa discrepanza.
3. Soluzione Pratica: Introduce IPE, un metodo semplice ed efficace che sfrutta gli ensemble di policy per avviare l'apprendimento della funzione Q. Aumentando la diversità delle azioni nella fase di preaddestramento, IPE consente al RL online di apprendere la funzione di valore corretta in modo più efficiente.

Gli autori concludono che, sebbene il preaddestramento della policy sia essenziale, la strategia per inizializzare la funzione Q deve tenere conto della diversità di azioni necessaria per apprendere il panorama dei valori ottimali, piuttosto che limitarsi a adattarsi alla distribuzione dei dati offline di una singola policy. Il lavoro è limitato agli scenari di RL off-policy, e gli autori osservano che ridurre l'overhead di raccolta dati di IPE rimane una direzione per il lavoro futuro.