Goal Sets, Not Goal States: Queryable Robot Goals through Goal-Set Hindsight Relabeling

Sintesi Tecnica: Insiemi di Obiettivi, non Stati di Obiettivo: Obiettivi Robotici Interrogabili tramite Rielaborazione di Insiemi di Obiettivi (Goal-Set Hindsight Relabeling)

Problematica
Il Reinforcement Learning Offline Condizionato all'Obiettivo (GCRL) mira a derivare politiche di controllo da dataset pre-raccolti (ad esempio, dimostrazioni o log di teleoperazione) senza costosi tentativi ed errori online. Un meccanismo centrale in questo dominio è l'Hindsight Experience Replay (HER), che rielabora gli stati futuri raggiunti come obiettivi per le transizioni precedenti in una traiettoria.

I tipici benchmark per l'offline GCRL, come OGBench, istanziano solitamente l'HER utilizzando lo spazio degli stati completo come spazio degli obiettivi. Questo approccio assume che il successo richieda la riproduzione dell'intero vettore di stato futuro. Tuttavia, in molti compiti di manipolazione robotica, il successo dipende solo da un sottoinsieme specifico di variabili di stato (ad esempio, la posizione dell'oggetto), mentre altre variabili (ad esempio, le configurazioni dei giunti del robot, lo stato della pinza, le velocità) sono dimensioni di disturbo (nuisance dimensions). Imponendo l'esatta corrispondenza dello stato completo, l'HER standard introduce vincoli artificiali che sovra-vincolano l'obiettivo di apprendimento, portando a prestazioni subottimali quando i criteri di successo del compito sono una proiezione dello stato completo.

Metodologia: Goal-Set Hindsight Relabeling (GS-HER)
Gli autori propongono il Goal-Set Hindsight Relabeling (GS-HER), una generalizzazione a livello di predicato dell'HER. Invece di trattare uno stato raggiunto $s_{t+k}$ come un obiettivo singolo $g = s_{t+k}$, il GS-HER lo tratta come un certificato per un insieme di obiettivi definito da una query.

1. Classi di Equivalenza Definite dalla Query:
   Un vettore di query binario $q \in \{0, 1\}^D$ specifica quali variabili di stato definiscono il successo per un compito specifico.

   • $q_i = 1$: la $i$-esima coordinata è attiva e definisce l'obiettivo.
   • $q_i = 0$: la $i$-esima coordinata è una variabile di disturbo per questa query.

   Dato uno stato di riferimento $g$ e una query $q$, l'insieme degli obiettivi è definito come la classe di equivalenza degli stati $G(g, q) = \{s' \in \mathcal{S} : q \odot s' = q \odot g\}$. Il successo è determinato dal corrispondere solo alle coordinate attive, tipicamente misurato tramite una distanza quadratica normalizzata con una tolleranza $\epsilon$.

2. Interfaccia Condizionata alla Query:
   GS-HER modifica l'input di condizionamento dell'algoritmo offline GCRL sottostante senza alterare il suo obiettivo di apprendimento fondamentale (ad esempio, aggiornamenti di Bellman, perdita contrastiva o behavioral cloning). L'input di condizionamento $\psi_{GS}$ è costruito come:
   $$\psi_{GS}(s, g, q) = [\bar{s}_q, \bar{g}_q, q]$$
   dove $\bar{s}_q = q \odot s + (1-q) \odot e_s$ e $\bar{g}_q = q \odot g + (1-q) \odot e_g$. Qui, $e_s$ ed $e_g$ sono embedding delle coordinate di disturbo (appresi o fissi) che mascherano le variabili irrilevanti. La query $q$ è fornita esplicitamente alla rete, permettendo al modello di apprendere una politica unificata che si adatta alla propria nozione di "successo" in base alla query.

3. Wrapper di Rielaborazione:
   GS-HER agisce come un wrapper attorno agli esistenti algoritmi di offline GCRL. Durante l'addestramento, per ogni transizione, viene campionato uno stato di riferimento $g$ (come previsto dall'algoritmo base) e una query $q$ viene campionata da una distribuzione $p_Q$. La transizione viene quindi rielaborata con l'insieme di obiettivi condizionato alla query e il corrispondente predicato di successo. Ciò consente a un singolo modello di apprendere da una miscela di semantiche di obiettivo (ad esempio, stato completo, posizione dell'oggetto, posa del terminale/end-effector) simultaneamente.

Contributi Chiave

1. Identificazione del Mismatch dell'Obiettivo: Il documento identifica che la rielaborazione dell'hindsight basata sullo stato esatto crea un mismatch dell'obiettivo nei compiti robotici in cui il successo dipende da proiezioni rilevanti per il compito piuttosto che dallo stato completo.
2. Formalizzazione di GS-HER: Gli autori formalizzano GS-HER come una generalizzazione a livello di predicato dove gli stati raggiunti certificano la raggiungibilità di insiemi di obiettivi (classi di equivalenza) piuttosto che stati singoli.
3. Wrapper Indipendente dall'Implementazione: GS-HER è istanziato come un wrapper di rielaborazione condizionato alla query per ambienti a stato vettoriale. Consente agli algoritmi di offline GCRL esistenti (inclusi behavioral cloning, contrastive RL e implicit Q-learning) di apprendere semantiche di obiettivo interrogabili senza modificare i loro obiettivi di ottimizzazione fondamentali.
4. Interfaccia di Obiettivo Riutilizzabile: Il metodo trasforma l'hindsight relabeling in un'interfaccia riutilizzabile, consentendo a un singolo checkpoint addestrato di rispondere a molteplici predicati di obiettivo durante l'inferenza senza riaddestramento.

Risultati Sperimentali
Gli autori hanno valutato GS-HER sulla suite OGBench, coprendo compiti di manipolazione (ad esempio, posizionamento di cubi) e compiti di navigazione (ad esempio, PointMaze, AntMaze) attraverso cinque diversi backbone di offline GCRL (GCBC, CRL, GCIVL, GCIQL, GCDL).

• Miglioramento delle Prestazioni: GS-HER (specificamente la variante "Blockwise" che utilizza blocchi di coordinate casuali) ha superato costantemente l'HER a stato completo standard (HER-Full) nei compiti di manipolazione. Ad esempio, mediato sui compiti di manipolazione, GS-HER ha migliorato il tasso di successo ufficiale dal 24,5% (HER-Full) al 55,0%, avvicinandosi alle prestazioni di un baseline "Task-Focused" oracle (HER-Task) che utilizza una proiezione fissa e predefinita.
• Collo di Bottiglia delle Dimensioni di Disturbo: I guadagni di prestazione sono stati fortemente correlati al grado in cui l'HER a stato completo era limitato dalle dimensioni di disturbo. In ambienti a basso disturbo (come PointMaze), GS-HER ha ottenuto prestazioni comparabili a HER-Full, confermando che il metodo affronta specificamente il problema della sovra-vincolazione.
• Un Modello, Molti Predicati: In un esperimento "un modello, molti obiettivi", un singolo checkpoint GS-HER è stato interrogato durante l'inferenza con varie query (ad esempio, posizione del cubo, yaw del cubo, posa dell'end-effector, posizione dell'oggetto in volo). Il modello si è adattato con successo a questi diversi criteri di successo senza riaddestramento. Al contrario, HER-Task richiedeva il riaddestramento per ogni nuovo predicato, e HER-Full non è riuscito a generalizzare a predicati che ignoravano specifiche variabili di stato.

Significatività e Rivendicazioni
Il documento afferma che GS-HER isola la semantica di rielaborazione dell'offline GCRL. Decoupling (disaccoppiando) la definizione di successo (la query) dall'algoritmo di apprendimento, GS-HER fornisce un primitivo che permette ai dataset offline di supportare specifiche di obiettivo flessibili e interrogabili.

Gli autori sottolineano che questo lavoro non risolve la specifica di obiettivi aperti (ad esempio, tramite linguaggio o visione), ma dimosttra che rendere il predicato di obiettivo un input all'inferenza è un passo utile e necessario per l'apprendimento robotico offline. Consente a un singolo modello di servire molteplici definizioni di compito, mitigando la necessità di separati cicli di addestramento per diverse proiezioni del compito e riducendo la dipendenza dalla corrispondenza esatta dello stato, che è spesso semanticamente errata per la manipolazione robotica. Il metodo è presentato come uno strato complementare agli algoritmi esistenti, aumentandone la flessibilità senza alterare i loro obiettivi matematici fondamentali.