🤖 AI

Retrieve, Don't Retrain: Extending Vision Language Action Models to New Tasks at Test Time

Questo articolo propone un approccio basato sul recupero che estende i modelli Vision-Language-Action congelati a nuovi compiti al momento del test, indicizzando dimostrazioni provenienti da un'embodiment più economica, eliminando così la necessità di un fine-tuning per ogni compito e ottenendo al contempo prestazioni superiori su compiti e embodiment inediti.

Autori originali: Jeongeun Park, Juhan Park, Taekyung Kim, Sungjoon Choi, Dongyoon Han, Sangdoo Yun

Pubblicato 2026-06-16

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jeongeun Park, Juhan Park, Taekyung Kim, Sungjoon Choi, Dongyoon Han, Sangdoo Yun

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un robot che deve imparare nuovi lavori. Tradizionalmente, insegnare a un robot un nuovo compito (come aprire un armadietto specifico o posizionare una bottiglia in una scatola) è come assumere un tutor personale per ogni singola nuova abilità. Devi:

Registrare il robot mentre esegue il compito manualmente (il che è lento e costoso).
Ri-addestrare il cervello del robot specificamente per quel singolo compito (il che richiede molta potenza di calcolo e tempo).

Se vuoi che il robot faccia 100 compiti diversi, devi ripetere questo costoso processo di addestramento 100 volte.

La Grande Idea del Paper: "Recupera, non Ri-addestrare"

Gli autori di questo articolo propongono un modo più intelligente chiamato RECAP. Invece di ri-addestrare il cervello del robot ogni volta, forniscono al robot una libreria di esempi "più economici" e gli insegnano come cercarli.

Ecco come funziona, usando analogie semplici:

1. I due "Corpi" (Embodiments)

Immagina che il robot sia un operaio edile pesante e goffo (il "Target"). È difficile fargli dimostrare nuovi compiti perché è lento e richiede attrezzature costose per essere controllato.

Ora, immagina una mano umana agile (il "Pool"). È facile filmare un essere umano che svolge compiti. Sono veloci, economici da registrare e possono fare quasi tutto.

Il problema è che la mano umana si muove diversamente dall'operaio edile. Se dici semplicemente all'operaio di "copiare l'umano", potrebbe rompere le cose perché le sue braccia sono diverse.

2. Il Vecchio Modo vs Il Nuovo Modo

Il Vecchio Modo (Ri-addestrare): Ogni volta che vuoi che l'operaio impari un nuovo compito, assumi un formatore che stia accanto a lui, gli mostri il compito e poi passi ore a perfezionare il suo cervello affinché possa farlo. Questo è lento e costoso.
Il Nuovo Modo (RECAP):
1. Addestra una volta sola: Insegni al cervello dell'operaio una sola volta come tradurre "Movimento della mano umana" in "Movimento dell'operaio edile". Gli insegni: "Quando vedi la mano umana fare X, tu fai Y".
2. Congela il Cervello: Una volta appresa questa abilità di traduzione, blocchi il cervello. Niente più addestramento.
3. La Libreria (Recupero): Crei una libreria di video che mostrano la mano umana che svolge molti compiti diversi.
4. La Magia: Quando l'operaio deve fare un nuovo compito che non ha mai visto prima, non lo ri-addestri. Inveve, chiedi alla libreria: "Abbiamo un video di un essere umano che fa qualcosa di simile a questo?".
5. Il Risultato: L'operaio trova il video umano più vicino, lo guarda e usa la sua "abilità di traduzione" per capire come dovrebbe muoversi lui per ottenere lo stesso risultato.

3. Il Trucco del "Residuo" (Il Segreto)

Il paper utilizza un tipo speciale di modello IA (chiamato "World-Action Model") che agisce come uno sceneggiatore predittivo.

Il Video Umano (Il Piano): Il video recuperato fornisce un "piano grossolano". Dice: "L'obiettivo è spostare l'oggetto da qui a lì".
Il Lavoro del Robot (La Correzione): Il robot non cerca di copiare esattamente l'umano. Inveve, calcola la differenza (il "residuo") tra come si muove l'umano e come deve muoversi lui.
- Analogia: Immagina che l'umano sia un ballerino che fa una pirueta. Il robot è un carrello elevatore. Il robot non cerca di ruotare come un ballerino. Guarda il piano del ballerino ("Ruota verso sinistra") e calcola: "Ok, devo girare le mie ruote a sinistra per ottenere lo stesso risultato".

Il modello IA è addestrato per predire non solo la mossa successiva del robot, ma anche come apparirà la scena dopo. Questo funge da "controllo di realtà". Se il piano del robot porterebbe a un disastro (come far cadere la bottiglia), il modello lo intercetta e corregge la mossa.

4. Cosa hanno scoperto

I ricercatori hanno testato questo in tre modi:

Un semplice gioco 2D (PushT): Hanno fatto in modo che un robot spingesse un blocco verso diverse angolazioni. Aggiungendo più video umani alla libreria, il robot è diventato più bravo a spingere il blocco verso nuove angolazioni che non aveva mai visto, senza alcun addestramento extra.
Una simulazione complessa (RoboTwin): Hanno testato un robot a due braccia che svolge compiti complessi. Il metodo "Retrieval" (Recupero) ha superato altri metodi che cercavano di ri-addestrare il robot per ogni nuovo lavoro.
Un Robot Reale: Hanno applicato questo a un vero robot fisico. Lo hanno addestrato su un compito (aprire un armadietto) usando video umani. Poi, hanno congelato il cervello. Quando hanno chiesto al robot di fare nuovi compiti (chiudere l'armadietto, posizionare una bottiglia), hanno semplicemente aggiunto video umani di quei compiti alla libreria. Il robot è riuscito a capire come farli, mentre un robot standard falliva completamente.

Il Punto Fondamentale

Questo paper dimostra che non è necessario ri-addestrare il cervello di un robot per ogni nuovo lavoro. Invece, puoi addestrarlo una volta sola per capire come tradurre "esempi umani economici" in "azioni robotiche costose". Poi, per insegnargli un nuovo lavoro, devi solo aggiungere un nuovo video alla libreria.

Trasforma l'apprendimento robotico da "costruire un nuovo cervello per ogni lavoro" al "consultare una ricetta in un libro di cucina".

Riepilogo Tecnico: Recupera, Non Riaddestrare (RECAP)

Definizione del Problema

Estendere le policy Vision-Language-Action (VLA) a nuovi compiti o a nuovi corpi robotici (ad esempio, da una mano umana a un braccio robotico specifico) richiede tipicamente la raccolta di costose dimostrazioni teleoperate specifiche per il compito e l'esecuzione di un fine-tuning per ogni singolo compito. Questo processo comporta due costi significativi:

Costo di Raccolta Dati: I dati teleoperati del robot sono lenti da acquisire (circa 18 volte più lenti delle dimostrazioni con mano umana) e vincolati all'hardware.
Costo Computazionale: Il fine-tuning di moderni World-Action Models (WAM) o di ampie policy VLA per ogni nuovo compito è computazionalmente intensivo (ad esempio, circa 24 ore di GPU per compito per Cosmos Policy) e scala con la dimensione del modello e la lunghezza del contesto.

Gli autori sostengono che questo costo di adattamento per compito sia evitabile. Invece di riaddestrare, la conoscenza comportamentale proveniente da una fonte ricca di dati e meno costosa (l'embodiment "pool", ad esempio le mani umane) può essere trasferita all'embodiment target (la "query") tramite un paradigma basato sul recupero (retrieval).

Metodologia: RECAP

Il paper propone RECAP (Retrieval-Conditioned Action Policy), un framework che sposta l'adattamento dall'ottimizzazione dei parametri al recupero dei dati. La premessa fondamentale è che, sebbene gli embodiment differiscano nella dinamica di esecuzione, concordano ampiamente sui requisiti di alto livello del compito.

1. Fase di Addestramento

Backbone: Il metodo utilizza un World-Action Model (WAM), specificamente Cosmos Policy, che tratta le azioni e le osservazioni visive future come una singola sequenza video denoisata.
Condizionamento tramite Retrieval-Augmentation: La policy viene addestrata una sola volta su dimostrazioni accoppiate provenienti dagli embodiment della query (robot target) e del pool (ad esempio, mano umana).
Parametrizzazione Residua: Invece di predire l'intera sequenza di azioni, la policy predice un residuo ( $\Delta a$ $Δ a$ ) sopra la traiettoria del pool recuperata.
- $\hat{a}^{query} = a^{pool}_{retrieved} + \Delta a$
- Questo costringe il modello a imparare solo le correzioni specifiche dell'embodiment (dinamiche, geometria di contatto) piuttosto che l'intero piano di movimento.
Obiettivo Congiunto: Il modello è addestrato con una perdita di flow-matching che supervisiona congiuntamente l'azione predetta e lo stato futuro predetto (immagine). L'obiettivo dell'immagine futura funge da segnale di coerenza visiva, assicurando che la traiettoria recuperata si allinei con l'evoluzione fisica della scena sul robot target.

2. Adattamento al Tempo di Test (Inferenza)

Policy Congelata: Una volta addestrata, i parametri della policy rimangono congelati. Non avvengono aggiornamenti del gradiente per i nuovi compiti.
Pool di Recupero Dinamico: I nuovi compiti vengono gestiti aggiungendo dimostrazioni rilevanti dell'embodiment del pool (ad esempio, video umani) a un pool di recupero.
Recupero Passo dopo Passo: Ad ogni step di controllo $t$ $t$ , il sistema:
1. Osserva lo stato attuale della query $s^{query}_t$ .
2. Recupera il chunk stato-azione più simile $(s^{pool}_{t':t'+H}, a^{pool}_{t':t'+H})$ dal database del pool basandosi su un descrittore composito (obiettivo linguistico, posa dell'oggetto, propriocezione e caratteristiche visive).
3. Alimenta l'osservazione corrente e il chunk recuperato nella policy congelata.
4. La policy emette il successivo chunk di azioni per il robot target, condizionato dal piano di alto livello recuperato.

Contributi Chiave

Paradigma di Adattamento al Tempo di Test: Un metodo per adattare le policy a nuovi compiti interamente al tempo di test estendendo un pool di recupero con dimostrazioni economiche, mantenendo la policy congelata.
Policy Residua Condizionata dal Recupero su WAM: Un'architettura specifica dove il recupero fornisce il piano di movimento grossolano e il WAM impara solo la correzione specifica dell'embodiment. Gli autori evidenziano come l'obiettivo di predizione dell'immagine futura del WAM sia unicamente benefico, fornendo un segnale di allineamento visivo che rafforza le azioni condizionate dal recupero.
Validazione Empirica: Ha dimostrato guadagni consistenti rispetto ai baseline cross-embodiment in tre setting:
- PushT (2D): Generalizzazione ad angoli di obiettivo non visti.
- RoboTwin 2.0 (Simulazione): Manipolazione multi-task, dual-arm.
- Robot Reale: Trasferimento da video di mani umane a un braccio robotico fisico.

Risultati Sperimentali

Benchmark PushT (Generalizzazione Cross-Embodiment)

Setup: Un pusher triangolare (target) addestrato su angoli $\pm 45^\circ$ , valutato su 9 angoli (7 non visti). Il pool consisteva in dimostrazioni di un disco-pusher.
Risultati:
- Progressione del Pool: L'espansione del pool di recupero al tempo di test senza riaddestramento ha migliorato monotonicamente il successo sugli angoli non visti, passando dal 6,0% (senza recupero) al 34,9% (pool completo).
- Confronto tra Backbone: Il recupero ha migliorato sia la VLA standard ( $\pi0.5$ ) che i backbone WAM (Cosmos), ma il guadagno è stato significativamente maggiore per il WAM (25,1% vs 34,9%), confermando la sinergia tra il recupero e l'obiettivo dell'immagine futura.
- Meccanismo: L'analisi dell'attenzione ha mostrato che la policy utilizza gli strati iniziali per prestare attenzione alla traiettoria recuperata e gli strati successivi per adattare il piano alle dinamiche del target.

RoboTwin 2.0 Simulazione

Setup: Target (Aloha-Agilex) vs Pool (UR5). Addestrato su 5 compiti accoppiati, valutato su 5 compiti non visti.
Risultati:
- Performance: RECAP ha raggiunto il 31,5% di successo sui compiti non visti, superando il più forte baseline (Cosmos Policy senza recupero) al 26,0% e il "Solo Recupero" (esecuzione ingenua) al 26,0%.
- Crescita del Pool: I tassi di successo sono aumentati monotonicamente man mano che il pool cresceva da 11 a 35 compiti, raggiungendo il 31,5% con il pool completo.
- Qualitativo: In compiti come "hand-over-mic", il recupero ingenuo falliva (collidendo con oggetti), mentre RECAP riusciva ad aggiustare l'orientamento della presa.

Esperimenti con Robot Reale

Setup: Robot target addestrato su "apertura armadio" (25 demo accoppiate). Valutato su compiti non inclusi: "posizionare bottiglia" e "chiudere armadio".
Risultati:
- Il baseline (addestrato solo su apertura armadio) falliva sui compiti non inclusi (0% e 10% di successo), riproducendo la traiettoria di addestramento.
- RECAP, utilizzando solo 10 dimostrazioni di mano umana per ogni nuovo compito aggiunto al pool, ha ottenuto l'80% di successo nel posizionare la bottiglia e il 30% nella chiusura dell'armadio.

Significato e Rivendicazioni

Il paper sostiene che indicizzare dati dell'embodiment del pool più economici durante il deployment può sostituire la raccolta di nuove dimostrazioni per il robot target.

Riduzione dei Costi: Il metodo sostituisce il costo di fine-tuning di ~24 ore di GPU per compito e il costo di teleoperazione 18× più lento con un processo di recupero.
Scalabilità: Congelando la policy, il sistema può assorbire nuovi compiti semplicemente aggiungendo dati al pool di recupero, evitando i costi cumulativi del tradizionale fine-tuning.
Sinergia con i WAM: Il lavoro dimostizza che i World-Action Models, quando accoppiati al recupero, possono sfruttare efficacemente la pianificazione "grossolana" di un embodiment per imparare la dinamica "fine" di un altro, una capacità che le standard policy orientate solo all'azione non possiedono.

Gli autori riconoscono i limiti, notando che il metodo richiede spazi di azione condivisi (ad esempio, posa dell'end-effector) e che gli attuali descrittori di recupero (che combinano linguaggio, posa e visione) potrebbero necessitare di ulteriori affinamenti per scenari più complessi o temporalmente disallineati. Tuttavia, i risultati suggeriscono una via percorribile verso policy robotiche general-purpose che si adattano tramite recupero piuttosto che riaddestramento.