Sintesi Tecnica: Elastic Queries Reinforcement Learning (EQRL)

Problema

I modelli Vision-Language-Action (VLA) sono emersi come potenti generatori per la manipolazione robotica, utilizzando tipicamente architetture basate su flow o diffusione per produrre chunk di azioni temporalmente coerenti. Tuttavia, le interfacce di esecuzione attuali sono rigide: impiegano budget di denoising (passaggi di campionamento) fissi e lunghezze di action chunk fisse indipendentemente dalla difficoltà dello stato. Questa rigidità porta all'inefficienza; stati facili (ad esempio, movimento in spazio libero) ricevono spesso un eccessivo calcolo e un ri-pianificamento frequente, mentre stati difficili (ad esempio, allineamento ricco di contatto o recupero) possono soffrire di feedback e risorse computazionali insufficienti. Gli esistenti metodi di post-addestramento che adattano i VLA tramite il controllo del latent-space lasciano comunque lo schema di esecuzione (budget di campionamento e lunghezza del chunk) come iperparametri manuali, impedendo alla policy di allocare dinamicamente il calcolo in base alla difficoltà dello stato.

Metodologia: Framework EQRL

Gli autori propongono l'Elastic Queries Reinforcement Learning (EQRL), un framework che tratta l'esecuzione del VLA come un problema decisionale congiunto su steering latente, budget di denoising e lunghezza dell'action chunk, senza effettuare il fine-tuning del modello VLA sottostante congelato.

1. Latent-Schedule Query Actions

Ad ogni query $j$, un adattatore RL leggero (attore) osserva lo stato corrente $o_{t_j}$ e produce un'azione congiunta $u_j = (w_j, z^K_j, z^C_j)$:

• $w_j$: Una variabile di steering latente che guida il campionatore VLA congelato.
• $z^K_j, z^C_j$: Variabili di schedule continue che rappresentano i residui attorno agli schedule base per il budget di denoising ($K$) e la lunghezza del chunk ($C$).

2. Parametrizzazione dello Schedule Basata sulla Difficoltà

Per garantire che lo schedule sia consapevole della difficoltà dello stato, EQRL utilizza un ensemble di critic $\{Q^{(i)}_\psi\}$ addestrato sullo spazio delle azioni congiunte latent-schedule.

• Segnale di Difficoltà: Il sistema deriva un segnale di difficoltà dello stato $s(o)$ dalla discrepanza (deviazione standard) delle predizioni dell'ensemble di critic allo schedule base. Un'alta discrepanza indica un'alta difficoltà.
• Prior dello Schedule: Questo segnale genera un "prior dello schedule" che alloca più passaggi di denoising ($K$) e chunk più brevi ($C$) agli stati difficili, e meno passaggi/chunk più lunghi agli stati facili.
• Schedule Finale: I parametri di esecuzione finali sono una combinazione di questo prior derivato dalla difficoltà e dei residui appresi dall'attore, limitati (clipped) a intervalli interi validi.

3. Obiettivo di Apprendimento a Livello di Query

EQRL formula il problema come Reinforcement Learning di macro-azioni a livello di query:

• Macro-Transizioni: L'esecuzione di un chunk di lunghezza $C$ induce una macro-transizione nell'ambiente. Il Bellman backup utilizza un fattore di sconto dipendente dal chunk $\gamma^L$ (dove $L$ è il numero effettivo di step eseguiti).
• Struttura della Ricompensa:
  • Ricompensa del Task: Un bonus di successo terminale è assegnato alla query finale di un episodio riuscito.
  • Costo Computazionale: Viene imposto un budget di numero di valutazioni di funzione (NFE) ammortizzato per episodio. Il costo è definito come il rapporto tra il totale dei passaggi di denoising e il totale delle azioni eseguite ($\sum K / \sum C$). Gli episodi che superano una banda di budget incorrono in penalità, mentre quelli entro la banda ricevono un bonus di risparmio.
• Ottimizzazione: L'attore è ottimizzato utilizzando un obiettivo di massima entropia (stile SAC) per massimizzare il valore Q del critic mantenendo l'entropia. Una perdita di allineamento ausiliaria incoraggia l'allocazione del calcolo locale dell'attore a corrispondere al segnale di difficoltà derivato dal critic.

Contributi Chiave

1. Formulazione di Esecuzione Elastica: Il documento formula l'esecuzione di un VLA congelato come un problema di RL a livello di query dove la policy seleziona congiuntamente lo steering latente, il budget di denoising e la lunghezza dell'action chunk.
2. Guida della Difficoltà Derivata dal Critic: Introduce un meccanismo per derivare segnali di allocazione del calcolo dipendenti dallo stato dalla discrepanza dell'ensemble di critic, consentendo alla policy di "sapere" quando spendere più calcolo.
3. RL di Macro-Azioni a Lunghezza Variabile: Gli autori sviluppano un framework di addestramento per chunk a lunghezza variabile utilizzando lo sconto dipendente dal chunk e un obiettivo NFE ammortizzato per episodio per bilanciare prestazioni ed efficienza.

Risultati Sperimentali

Gli autori hanno valutato EQRL su benchmark di simulazione LIBERO e ALOHA, nonché su compiti di manipolazione robotica reale offline e online (utilizzando piattaforme DISCOVER Robotics).

• Performance in Simulazione: EQRL ha raggiunto successi state-of-the-art o migliorati rispetto ai baseline (DSRL, RLinf-Noise, RLinf-SDE) riducendo significativamente i costi di inferenza.
  • Su LIBERO-4Tasks, EQRL ha migliorato l'AUC di successo di 0.04 e ridotto il NFE relativo del 24.3%.
  • Su ALOHA-Cube, EQRL ha raggiunto il 100% di successo finale (rispetto allo 0.94 di DSRL) e ridotto il NFE relativo del 20.0%.
• Performance su Robot Reale: Sia in contesti offline che online, EQRL ha mantenuto un successo nel task comparabile o superiore riducendo il NFE relativo di circa il 32% e riducendo il tempo di traiettoria wall-clock dell'11–17%.
• Studi di Ablazione: Gli esperimenti sul task "Put Cheese" hanno dimostrato che i guadagni non sono dovuti semplicemente all'abbassamento del budget di calcolo medio. Le varianti che hanno regolato solo i passaggi, solo i chunk o che hanno usato un budget fisso senza consapevolezza della difficoltà hanno ottenuto prestazioni peggiori. Ciò conferma la necessità dello scheduling congiunto e della consapevolezza della difficoltà derivata dal critic.

Significato e Rivendicazioni

Il documento sostiene che l'esecuzione di un VLA è fondamentalmente un problema di allocazione delle risorse dipendente dallo stato. EQRL dimostra che una policy VLA congelata può essere resa "elastica" attraverso un adattatore leggero che impara ad allocare dinamicamente le risorse computazionali.

• Efficienza senza Fine-Tuning: Il metodo preserva i bias comportamentali del VLA pre-addestrato pur adattando l'efficienza dell'esecuzione, evitando il costo del fine-tuning completo del modello.
• Esecuzione Adattiva: Spendendo più calcolo e feedback nelle fasi difficili (ad esempio, l'allineamento del contatto) e meno nelle fasi facili (ad esempio, l'approccio in spazio libero), EQRL migliora il compromesso tra costo di inferenza e successo del task.
• Praticità: I risultati suggeriscono che il querying elastico è un'interfaccia valida per l'apprendimento robotico nel mondo reale, traducendo il risparmio computazionale in velocità pratiche e migliori compromessi sul tempo di contatto.

Gli autori riconoscono i limiti, notando che l'addestramento offline non può osservare perfettamente gli effetti causali di diversi schedule senza il feedback dell'ambiente, e che l'attuale adattamento su robot reali richiede un fine-tuning per ogni task, limitando la generalizzazione tra abilità di manipolazione molto diverse.