Adapting Generalist Robot Policies with Semantic Reinforcement Learning

Sintesi Tecnica: Adattamento di Politiche Robotiche Generaliste tramite l'Apprendimento per Rinforzo Semantico

Definizione del Problema
I modelli vision-language-action (VLA) hanno dimostrato la capacità di apprendere repertori di abilità diversifici attraverso il pre-addestramento su larga scala, fungendo da potenti "prior" per il comportamento robotico. Tuttavia, sfruttare queste politiche generaliste per risolvere compiti nuovi, complessi o a lungo termine rimane una sfida significativa. Le strategie di distribuzione standard, come il prompting zero-shot, spesso falliscono perché il VLA non è in grado di decomporre correttamente la semantica di compiti complessi in comportamenti atomici eseguibili o di ancorare tali comportamenti al contesto fisico specifico del robot.

Gli approoli esistenti per migliorare i VLA tramite l'Apprendimento per Rinforzo (RL) operano tipicamente direttamente sullo spazio delle azioni robotiche di basso livello (ad esempio, posizioni dei giunti o delta dell'end-effector). Questi metodi spesso assumono che la distribuzione delle azioni della politica di base sia già vicina a una politica performante. Tale assunzione viene meno per compiti fuori distribuzione (OOD) dove il comportamento iniziale della politica di base è errato o collassa in modalità di fallimento. Di conseguenza, i metodi RL nello spazio delle azioni faticano a esplorare efficacemente o a recuperare da errori significativi, limitando la loro capacità di adattare i VLA ad scenari nuovi e complessi.

Metodologia: Semantic Action Reinforcement Learning (SARL)
Gli autori propongono il Semantic Action Reinforcement Learning (SARL), un framework che sposta lo spazio di ottimizzazione dell'RL dalle azioni robotiche di basso livello allo spazio semantico dei prompt linguistici. L'intuizione fondamentale è che, per politiche generaliste sufficientemente espressive, i prompt linguistici agiscono come uno spazio di azione efficace. La modulazione di questi prompt permette di elicitare abilità già presenti nel repertorio di pre-addestramento della politica, consentendo la composizione di abilità esistenti per risolvere compiti che vanno oltre le capacità zero-shot.

La metodologia prevede i seguenti componenti chiave:

1. Formulazione di MDP Semantico: SARL tratta il prompt linguistico di un VLA come un "azione semantica" ($\ell \in A_{sem}$). Invece di apprendere una politica $\pi: S \to A_{robot}$, il sistema apprende una politica $\pi_{sem}: S \to A_{sem}$ che seleziona comandi linguistici. Il VLA funge da funzione di trasformazione, convertendo la azione semantica selezionata $\ell$ in un'azione robotica $a \sim \pi_{vla}(\cdot | s, \ell)$.
2. Ciclo di RL Online: SARL impiega un ciclo di RL online per apprendere una funzione Q semantica ($Q_{sem}$). Questa funzione stima l'efficacia di specifici prompt linguistici nel progredire verso una ricompensa del compito. La politica seleziona i prompt basandosi sulla distribuzione softmax di questi valori Q, permettendo al sistema di controllare adattivamente il VLA per guidarlo verso il successo del compito.
3. Generazione dei Candidati e Caching: Per rendere trattabile la ricerca nello spazio infinito dei possibili prompt linguistici, SARL utilizza un modello Vision-Language (VLM) per generare un insieme di azioni semantiche candidate ($A_{sem}^t$) ad ogni step basandosi sull'osservazione corrente e sul compito. Per limitare ulteriormente lo spazio di ricerca e consentire un apprendimento efficiente, il sistema memorizza (cache) un insieme finito di prompt. Il VLM è quindi limitato alla selezione di candidati da questo archivio, permettendo la codifica one-hot dello spazio delle azioni e un apprendimento Q efficiente.
4. Ancoraggio (Grounding): Fondamentalmente, SARL apprende ad ancorare queste azioni semantiche all'esperienza nel mondo reale. Interagendo con l'ambiente, il sistema apprende quali specifici comandi linguistici inducono effettivamente comportamenti fisici di successo, distinguendo tra istruzioni semanticamente plausibili ma fisicamente inefficaci e quelle che portano al successo.

Contributi Chiave

• Spazio delle Azioni Semantiche: Il documento introduce il concetto di trattare i prompt linguistici come lo spazio di azione primario per l'RL, elevando il problema dell'apprendimento dal controllo di basso livello allo steering semantico. Ciò consente un'esplorazione strutturata e semanticamente significativa che sfrutta i prior comportamentali codificati nei VLA.
• Algoritmo SARL: Gli autori presentano SARL, un algoritmo che apprende a ottimizzare i prompt dei VLA attraverso l'interazione online. Combina i prior semantici dei VLM per la generazione dei candidati con le capacità di ancoraggio dell'RL per raffinare la selezione dei prompt basandosi sugli esiti fisici.
• Decomposizione e Ancoraggio: Il lavoro dimostra che il successo dell'adattamento richiede non solo la decomposizione di obiettivi complessi in sottotitoli (cosa che i VLM possono fare), ma anche l'apprendimento della mappatura ancorata tra istruzioni semantiche e i comportamenti fisici che esse inducono (cosa che l'RL fornisce).

Risultati
Gli autori valutano SARL attraverso benchmark simulati (Libero-10) e contesti reali utilizzando un robot WidowX. Gli esperimenti si concentrano su compiti complessi a lungo termine che sono impraticabili per la distribuzione zero-shot di VLA e difficili per i metodi RL esistenti.

• Performance: SARL supera significativamente i baseline esistenti, inclusi Diffusion Steering via RL (DSRL), Residual RL e gli approcci VLM In-Context Learning (ICL). Nei compiti reali, SARL migliora il tasso di successo di un VLA di base da quasi lo 0% a circa l'80% entro 60–100 episodi online.
• Confronto con l'RL nello Spazio delle Azioni: A differenza di DSRL e Residual RL, che sono vincolati dalla distribuzione iniziale delle azioni della politica di base e spesso falliscono nell'apprendere su compiti in cui la politica di base è significativamente errata, SARL naviga con successo questi modi di fallimento esplorando diversi prompt semantici.
• Confronto con i Baseline VLM: Mentre i baseline ICL VLM possono decomporre i compiti, essi selezionano frequentemente istruzioni che sono semanticamente significative ma fisicamente inefficaci (ad esempio, usando verbi errati o riferimenti a oggetti errati). SARL supera questi baseline imparando a selezionare prompt che sono ancorati alle reali capacità del robot e allo specifico ambiente.

Significatività e Rivendicazioni
Il documento sostiene che SARL sblocca capacità fondamentalmente nuove per l'adattamento di politiche robotiche generaliste. Ottimizzando sopra lo spazio delle azioni semantiche, SARL consente ai robot di risolvere compiti complessi a lungo termine che sono impraticabili per:

1. Gli approcci RL esistenti che operano a livello di azione del robot.
2. La distribuzione zero-shot dei VLA.
3. I VLA distribuiti con steering linguistico di alto livello tramite VLM senza RL online.

Gli autori sottolineano che l'efficienza di SARL deriva dalla sua capacità di riutilizzare le abilità pre-addestrate invece di apprendere nuove abilità da zero, il che restringe lo spazio di ricerca a comportamenti appropriati al compito. Inoltre, il metodo evidenzia l'importanza critica di ancorare le istruzioni semantiche ai comportamenti fisici, una capacità che gli approcci puramente basati sul linguaggio o puramente basati sull'azione non possiedono. Il lavoro suggerisce che le future politiche robotiche generaliste potrebbero essere progettate con capacità di seguire il linguaggio ancora più forti, e che SARL potrebbe servire come toolkit standard per l'adattamento autonomo in ambienti aperti.