Riepilogo Tecnico: RankQ - Apprendimento per Rinforzo da Offline a Online tramite Classificazione Auto-Supervisionata delle Azioni

Enunciato del Problema

L'apprendimento per rinforzo (RL) da offline a online mira a migliorare l'efficienza del campionamento sfruttando dataset pre-raccolti prima di impegnarsi nell'interazione online. Una sfida primaria in questo paradigma è apprendere un critic accurato (funzione valore) in grandi spazi stato-azione dove la copertura del dataset è limitata. I metodi esistenti affrontano spesso la sovrastima del valore per le azioni fuori distribuzione (OOD) imponendo il pessimismo, svalutando efficacemente le azioni OOD rispetto alle azioni del dataset (ad esempio, Conservative Q-Learning [3] e Calibrated Q-Learning [2]).

Sebbene il pessimismo stabilizzi l'addestramento, l'articolo sostiene che agisca come un "ancoraggio per il clonaggio comportamentale". Penalizzando uniformemente le azioni non viste, questi metodi spostano la politica verso la distribuzione del dataset. Ciò diventa problematico quando il dataset offline contiene traiettorie subottimali o di fallimento; il vincolo pessimista può ostacolare il miglioramento della politica online a valle impedendo all'agente di esplorare azioni potenzialmente superiori che non erano presenti nei dati. La domanda fondamentale affrontata è come modellare le funzioni valore oltre il dataset per abilitare un miglioramento online efficace senza fare affidamento su un pessimismo uniforme.

Metodologia: RankQ

Gli autori propongono RankQ, un obiettivo di apprendimento Q da offline a online che potenzia il classico apprendimento per differenza temporale (TD) con una funzione di perdita di classificazione multi-termine auto-supervisionata. Invece di penalizzare uniformemente le azioni OOD, RankQ modella esplicitamente la qualità relativa delle azioni per imporre un ordinamento strutturato nel paesaggio dei valori Q.

Meccanismo Principale

Il metodo partiziona il dataset $D$ in traiettorie di successo ($D_{success}$) e di fallimento ($D_{failure}$). Costruisce classi specifiche di azioni subottimali per creare vincoli di classificazione a coppie:

1. Azioni rumorose ($a_\epsilon$): $a + \epsilon$, dove $\epsilon \sim \mathcal{N}(0, \sigma)$.
2. Azioni molto rumorose ($a_{2\epsilon}$): $a + 2\epsilon$.
3. Azioni casuali ($a_r$): Azioni campionate uniformemente.
4. Azioni permutate ($a_p$): Azioni campionate da stati non correlati.

La perdita RankQ impone il seguente ordinamento strutturato:

• Preferenza per il Successo: Per le transizioni di successo, il valore Q dell'azione ottimale deve essere superiore a tutte le varianti subottimali: $Q(s, a) > Q(s, a')$ per $a' \in \{a_\epsilon, a_{2\epsilon}, a_r, a_p\}$.
• Qualità Relativa tra Azioni Subottimali: Il metodo impone una gerarchia basata sulla vicinanza all'azione ottimale: $Q(s, a_\epsilon) > Q(s, a_{2\epsilon}) > Q(s, a_r)$. Ciò garantisce che i gradienti del paesaggio Q ($\partial Q/\partial a$) puntino verso regioni di qualità superiore invece di allontanarsi semplicemente dal dataset.
• Supervisione del Fallimento: Per le traiettorie di fallimento, il metodo impone che l'azione del dataset sia ancora preferibile alle azioni casuali ($Q(s, a) > Q(s, a_r)$), ma evita di imporre vincoli di ordinamento più forti a causa della mancanza di una nozione significativa di qualità relativa tra i fallimenti.

L'obiettivo finale combina queste perdite di classificazione con la perdita TD standard:
$$L_{RankQ}^Q(\theta) = \alpha_0 (L_{succ}^Q(\theta) + L_{neg}^Q(\theta)) + \alpha_1 L_{fail}^Q(\theta) + L_{TD}(\theta)$$

Contributi Chiave

1. Prestazioni sui Benchmark: RankQ ottiene prestazioni competitive o superiori rispetto a sette metodi precedenti (inclusi CQL, Cal-QL e Hybrid RL) su quattro ambienti antmaze e tre ambienti adroit a ricompensa sparsa nel benchmark D4RL.
2. Fine-Tuning VLA a Bassi Dati: In un regime impegnativo a bassi dati (200 roll-out offline, 8 roll-out online per aggiornamento), RankQ è l'unico metodo che migliora significativamente il modello di base Vision-Language-Action (VLA). Raggiunge un tasso di successo medio superiore del 42,7% rispetto al metodo successivo migliore su tre compiti di manipolazione (carota-su-piatto, impilamento-cubi, cucchiaio-in-boccia).
3. Prestazioni ad Alta Quantità di Dati e Trasferimento Sim-to-Real: In un setting ad alta quantità di dati con estesa randomizzazione del dominio, RankQ migliora i tassi di successo in simulazione del 13,7% e la velocità di completamento del compito del 25,7% rispetto al metodo successivo migliore. Crucialmente, dimostra un trasferimento sim-to-real riuscito, aumentando il successo reale nell'impilamento di cubi dal 43,1% all'84,7% rispetto alle prestazioni VLA iniziali.
4. Analisi del Paesaggio Q: Gli autori forniscono un'analisi estesa che mostra come RankQ modella il paesaggio dei valori Q in modo che i gradienti delle azioni siano diretti verso comportamenti di qualità superiore, evitando il pessimismo illimitato e i picchi eccessivi di gradiente osservati in CQL e Cal-QL.

Risultati Sperimentali

• Benchmark D4RL: RankQ eguaglia le basi più forti su compiti più semplici (ad esempio, antmaze-medium, adroit-pen) e supera tutte le basi su compiti difficili e a lungo termine come antmaze-large e adroit-relocate, dove altri metodi spesso falliscono nell'apprendere politiche significative.
• VLA a Bassi Dati: Con soli 800 roll-out online totali, RankQ spinge costantemente la politica oltre la sua linea di base di imitazione, mentre altri metodi (CQL, Cal-QL, SAC+OFF) raggiungono prevalentemente un plateau vicino alle loro prestazioni iniziali.
• VLA ad Alta Quantità di Dati e Sim-to-Real: Le politiche addestrate con RankQ non solo raggiungono tassi di successo più elevati, ma eseguono anche i compiti più velocemente (circa 8 secondi contro 10,5–12,5 secondi per le basi). Nei test nel mondo reale, la politica RankQ ha migliorato il tasso di successo nell'impilamento di cubi dal 43,1% all'84,7% su 144 prove, riducendo inoltre la varianza nel tempo di esecuzione.

Significato e Affermazioni

L'articolo afferma che modellare esplicitamente l'ordinamento relativo delle azioni fornisce un'alternativa efficace al pessimismo uniforme utilizzato nei metodi all'avanguardia da offline a online. Modellando la funzione Q per guidare i gradienti delle azioni verso comportamenti di qualità superiore invece di sopprimere semplicemente le azioni non viste, RankQ abilita un miglioramento della politica più efficace sia durante il pre-addestramento offline che il fine-tuning online.

Gli autori suggeriscono che questo approccio è particolarmente prezioso in ambienti a ricompensa sparsa e a bassi dati, dove i metodi pessimisti possono diventare eccessivamente restrittivi e fallire nell'estraere segnali di apprendimento dai dati di fallimento abbondanti. Il trasferimento sim-to-real riuscito della politica RankQ dimostra che la modellazione strutturata del valore può facilitare RL scalabile da offline a online e l'apprendimento robotico nel mondo reale, anche quando il dataset iniziale è dominato da traiettorie subottimali o di fallimento.