🤖 machine learning

Cross-Embodiment Transfer via Behavior-Aligned Representations

Questo articolo propone l'uso di rappresentazioni allineate al comportamento, in particolare tracce dell'end-effector, all'interno di modelli vision-language-action per unificare dati cross-embodiment eterogenei e migliorare significativamente le prestazioni di trasferimento del robot, ottenendo un aumento del 28% nel completamento dei task nel mondo reale dopo il pre-addestramento in simulazione.

Autori originali: Ajay Sridhar, Jensen Gao, Jonathan Yang, Jean Mercat, Suneel Belkhale, Dorsa Sadigh

Pubblicato 2026-07-31

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ajay Sridhar, Jensen Gao, Jonathan Yang, Jean Mercat, Suneel Belkhale, Dorsa Sadigh

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come svolgere le faccende domestiche. Nel mondo del machine learning, esiste un'idea popolare secondo la quale, se si fornisce a un modello una quantità massiccia di dati provenienti da ogni dove, questo diventa più intelligente rispetto a quando viene alimentato solo con dati provenienti da un'unica fonte specifica. Questo è lo stesso motivo per cui un essere umano che viaggia per il mondo e impara molte lingue può spesso adattarsi a nuove situazioni meglio di qualcuno che è cresciuto solo in una piccola cittadina. Per i robot, questo significa che vogliamo addestrarli su dati raccolti da molti tipi diversi di robot: alcuni con braccia lunghe, altri con braccia corte, altri con pinze che sembrano artigli, altri ancora come chele. Questo è chiamato apprendimento "cross-embodiment". L'obiettivo è creare un cervello robotico "universale" che possa imparare da una libreria di esperienze di molte macchine diverse e poi applicare tale conoscenza a un nuovo robot che non ha mai visto prima. Tuttavia, c'è un grosso problema: una telecamera su un robot alto vede il mondo da un'angolazione elevata, mentre un robot corto vede il mondo dal pavimento. Le loro "mani" si muovono in modo diverso e i loro comandi di azione sono scritti in "lingue" differenti. Cercare di mescolare questi dataset disordinati e discordanti è come cercare di insegnare a uno studente a guidare mostrandogli contemporaneamente video di auto, camion e biciclette senza spiegarne le differenze. È confusionario e, spesso, il robot si blocca.

Questo articolo, intitolato "Cross-Embodiment Transfer via Behavior-Aligned Representations", affronta questa confusione ponendosi una domanda intelligente: invece di cercare di costringere i robot a sembrare o muoversi esattamente allo stesso modo, possiamo insegnare loro a parlare un "linguaggio del comportamento" comune? Gli autori, un team proveniente da Stanford e dal Toyota Research Institute, propongono che possiamo colmare il divario tra diversi robot concentrandoci sulla storia dell'azione piuttosto che sulla specifica meccanica. Suggeriscono di utilizzare "rappresentazioni allineate al comportamento" che sono, essenzialmente, riassunti semplificati di ciò che sta accadendo, come una descrizione testuale del movimento ("muoviti a sinistra e verso il basso"), un riquadro disegnato attorno all'oggetto che viene prelevato, o una linea che traccia il percorso che la mano del robot compie nell'aria.

I ricercatori hanno testato questa idea utilizzando un nuovo benchmark di simulazione che hanno costruito chiamato RoboCasa-X. Hanno addestrato i loro cervelli robotici (nello specifico, un tipo di modello chiamato modello Vision-Language-Action) su enormi dataset provenienti da tre diversi robot sorgente. Poi, hanno provato a trasferire questa conoscenza a quattro diversi robot target che non erano presenti nei dati di addestramento. Hanno confrontato l'addestramento con i soli dati grezzi rispetto all'addestramento con l'aggiunta di questi "riassunti comportamentali".

I risultati sono stati piuttosto rivelatori. Lo studio ha scoperto che l'aggiunta di questi riassunti comportamentali ha aiutato significativamente i robot a trasferire le abilità a nuovi corpi. Tra i diversi tipi di riassunti testati, le "tracce dell'end-effector" — che sono essenzialmente i percorsi 2D che la mano del robot disegna nella visuale della telecamera — sono state lo strumento più potente. Quando i robot sono stati addestrati con queste tracce, sono diventati molto più bravi ad adattarsi a nuovi hardware. Infatti, quando hanno preso una policy pre-addestrata su dati di simulazione e l'hanno testata su robot reali, l'uso di queste rappresentazioni ha migliorato il progresso nel completamento del compito del 28%.

Interessante è che il documento ha anche scoperto che non è necessariamente necessario che il robot "pensi" a queste tracce mentre sta effettivamente svolgendo il compito. I modelli hanno imparato meglio quando sono stati addestrati a prevedere queste tracce insieme alle azioni, ma durante il lavoro effettivo, prevedere semplicemente l'azione direttamente ha funzionato altrettanto bene. Ciò suggerisce che le tracce hanno aiutato il robot a imparare la logica sottostante del compito durante l'addestramento, agendo come rotelle di supporto che potevano essere rimosse in seguito. Inoltre, il team ha dimostrato che queste rappresentazioni possono persino aiutare i robot a imparare da dati che non includono affatto comandi di azione (dati privi di azione), purché siano presenti i riassunti comportamentali.

Gli autori sottolineano con cautela che, sebbene il loro metodo funzioni bene nei loro specifici test di simulazione e nel mondo reale, esso si basa sul fatto che i robot abbiano un certo livello di somiglianza nei loro compiti e nelle configurazioni delle telecamere. Non hanno dimostato che questo funzioni per ogni possibile discrepanza tra robot, ma i loro esperimenti suggeriscono fortemente che fornire ai robot un "vocabolario comportamentale" condiviso sia un modo promettente per renderli più adattabili. Concentrandosi sul "cosa" e sul "come" del movimento, piuttosto che sul "chi" specifico (il modello di robot), hanno trovato un modo per rendere davvero utile la vasta e disordinata libreria di dati robotici per costruire macchine più intelligenti e flessibili.

Riepilogo Tecnico: Trasferimento Cross-Embodiment tramite Rappresentazioni Allineate al Comportamento

Definizione del Problema

I recenti progressi nella manipolazione robotica sono stati guidati dall'apprendimento per imitazione su larga scala attraverso diverse incarnazioni (embodiment) robotiche. Tuttavia, ottenere un significativo trasferimento cross-embodiment — in cui una policy addestrata su dati provenienti da un set di robot si generalizza a una nuova piattaforma robotica non vista, ovvero un nuovo "embodiment" — rimane una sfida persistente.

L'ostacolo primario è la sostanziale variazione negli spazi di osservazione (ad esempio, pose della telecamera, input visivi) e negli spazi di azione (ad esempio, configurazioni dei giunti, cinematica dell'end-effector) tra i diversi embodiment. Sebbene lavori precedenti abbiano tentato di affrontare questo problema allineando esplicitamente le osservazioni (ad esempio, tramite normalizzazione della posa della telecamera o inpainting) o gli spazi di azione, questi metodi spesso richiedono un impegno manuale significativo, conoscenze specifiche del robot di deployment durante l'addestramento, o sono difficili da scalare. Di conseguenza, le prestazioni spesso non superano significativamente l'addestramento effettuato esclusivamente su dati specifici per il target embodiment.

Metodologia

Gli autori propongono un framework che allinea implicitamente dataset eterogenei utilizzando rappresentazioni allineate al comportamento. L'ipotesi centrale è che, mentre le osservazioni grezze e le azioni variano tra i robot, le rappresentazioni intermedie che descrivono il comportamento del compito (ad esempio, "muovi a sinistra", "afferra l'oggetto in [x,y]") possono rimanere invarianti tra gli embodiment. Addestrando i modelli Vision-Language-Action (VLA) per predire queste rappresentazioni insieme alle azioni, la policy può sfruttare uno spazio di ragionamento unificato.

Framework e Formalizzazione

L'approccio è formulato in un contesto di apprendimento per imitazione condizionato dal linguaggio. La policy $\pi_\theta$ è addestrata per mappare le osservazioni $o$ e le istruzioni linguistiche $l$ in azioni $a$ .

Rappresentazioni Allineate al Comportamento ( $z$ ): Gli autori definiscono un insieme di rappresentazioni $z = (z^{(1)}, \dots, z^{(K)})$ che sono computabili dal dataset, utili per predire il comportamento ottimale e invarianti tra gli embodiment.
Obiettivo di Addestramento: Il modello è addestrato per predire autoregressivamente un sottoinsieme campionato di rappresentazioni $\tilde{z}$ seguito dalle azioni. La perdita totale combina la perdita di behavior cloning (predizione dell'azione) con perdite ausiliarie per la predizione delle rappresentazioni:
$\mathcal{L}_{total} = \mathbb{E}[\ell(\pi_\theta(\cdot | o, l, \tilde{z}), a) + \sum \lambda_k \ell_{rep}^{(k)}(\pi_\theta(\cdot | o, l), z^{(k)})]$
Durante l'inferenza, la policy può essere configurata per predire direttamente le azioni o per condizionarsi sulle rappresentazioni predette.

Rappresentazioni Specifiche Studiate

Il paper valuta tre tipi specifici di rappresentazioni allineate al comportamento:

Bounding Boxes: Bounding box 2D per oggetti manipolabili (estratti tramite Grounding DINO).
Language Motions: Descrizioni testuali del movimento immediato (ad esempio, "muovi a sinistra e in basso"), derivate dai cambiamenti dello stato propriocettivo.
Tracce dell'End-Effector (EE): Sequenze di posizioni future 2D dell'end-effector del robot nel frame dell'immagine.

Benchmark: RoboCasa-X

Per valutare rigorosamente queste ipotesi, gli autori introducono RoboCasa-X, un benchmark basato sulla simulazione che estende RoboCasa.

Dati Sorgente: Pre-addestramento su dati diversificati da tre robot sorgente (IIWA, Kinova3, UR5e) con diversi gripper.
Dati Target: Valutazione del trasferimento su tre robot target (Panda, Jaco, Panda-OG) con limitati dimostrazioni target (50 per task).
Task: Quattro task di manipolazione (ad esempio, "Pick and Place Counter to Sink," "Turn On Sink Faucet") caratterizzati da variazioni significative in layout, texture e pose degli oggetti.

Contributi Chiave

Allineamento Implicito tramite Rappresentazioni: Il paper dimostra che le rappresentazioni allineate al comportamento offrono un metodo scalabile e implicito per unificare i dati cross-embodiment, evitando la necessità di un allineamento esplicito degli spazi di osservazione o di azione.
Analisi Empirica delle Rappresentazioni: Attraverso estesi studi di ablazione, gli autori identificano che le tracce dell'end-effector sono la rappresentazione più impattante per il trasferimento cross-embodiment, seguite dai language motions e dalle bounding box.
Leggi di Scalabilità (Scaling Laws): Lo studio rivela che l'utilità di queste rappresentazioni scala con la dimensione del dataset cross-embodiment pregresso; dataset più grandi (ad esempio, 3.000 dimostrazioni) traggono maggiori benefici dall'allineamento delle rappresentazioni rispetto a dataset più piccoli.
Trasferimento Action-Free: Il framework consente il trasferimento da dataset action-free. Gli autori mostrano che il pre-addestramento su dati in cui vengono predette solo le rappresentazioni (senza etichette di azione) migliora comunque le prestazioni downstream quando viene effettuato il fine-tuning su dati di azione, suggerendo che le rappresentazioni inducono uno stato interno utile.
Validazione Sim-to-Real: L'approccio è validato su robot nel mondo reale, dimostrando che le rappresentazioni possono colmare il gap sim-to-real pur gestendo simultaneamente il trasferimento cross-embodiment.

Risultati Sperimentali

Risultati in Simulazione (RoboCasa-X)

Guadagni di Performance: L'uso di rappresentazioni allineate al comportamento migliora costantemente i tassi di successo rispetto ai baseline senza rappresentazioni.
- Tracce dell'End-Effector: Hanno fornito il maggior incremento individuale.
- Rappresentazioni Combinate: L'uso di "Joint Reps" (addestrare un singolo modello per predire qualsiasi sottoinsieme di rappresentazioni) ha generalmente raggiunto i tassi di successo complessivi più elevati nella maggior parte dei task e dei robot target (Panda, Jaco).
- Eccezione: Per il target Panda-OG (che possiede un gripper unico non visto nel pre-addestramento), le sole tracce dell'end-effector hanno superato le rappresentazioni combinate, suggerendo che la scelta della rappresentazione ottimale dipende dallo specifico gap di embodiment.
Scaling: Le rappresentazioni hanno fornito un miglioramento del +19% scalando da 900 a 3.000 dimostrazioni pregresse, mentre il beneficio era minore con dati a singolo embodiment.
Inferenza: La predizione delle rappresentazioni durante l'inferenza ha fornito solo guadagni marginali rispetto alla predizione diretta dell'azione, a supporto dell'ipotesi che il beneficio principale venga appreso durante l'addestramento (allineamento implicito).
Dati Action-Free: Il pre-addestramento su dati action-free (predizione solo delle rappresentazioni) ha migliorato le prestazioni del 14% rispetto all'addestramento da zero e dell'11% rispetto all'uso di dati con azioni complete senza rappresentazioni.

Risultati nel Mondo Reale

Trasferimento Sim-to-Real: Gli autori hanno adattato i modelli pre-addestrati su RoboCasa-X (XP-3K) a due robot reali: Franka Research 3 (FR3) e ViperX 300 S.
Miglioramento Significativo: Nonostante i significativi gap di dominio nelle osservazioni visive e negli spazi di azione (ad esempio, diverse frequenze di controllo e comportamenti di blocco), l'approccio "Joint Reps" ha migliorato il progresso nel completamento dei task del 28% rispetto ai baseline senza rappresentazioni.
Confronto: Le rappresentazioni sono state più benefiche nell'ambiente reale rispetto alla simulazione, probabilmente a causa del maggiore gap di dominio che rende l'allineamento implicito più critico.

Significato e Rivendicazioni

Il paper sostiene che le rappresentazioni allineate al comportamento siano un meccanismo cruciale per abilitare l'apprendimento cross-embodiment scalabile. Fornendo un "linguaggio" comune di comportamento (tracce, box, linguaggio) che è invariante rispetto all'hardware specifico del robot, queste rappresentazioni permettono alle policy di sfruttare massicci dataset eterogenei che altrimenti sarebbero inutilizzabili a causa dei mismatch di embodiment.

Gli autori posizionano questo lavoro come un passo verso la comprensione del "trasferimento positivo" nell'apprendimento cross-embodiment. Enfatizzano che, sebbene l'attuale setting preveda un allineamento significativo (ad esempio, distribuzioni di telecamere coerenti nella simulazione), il framework fornisce un punto di partenza per esplorare il trasferimento in ambienti meno strutturati e più disallineati. Il lavoro suggerisce che la ricerca futura debba investigare come diversi livelli di disallineamento influenzino l'efficacia di specifiche rappresentazioni ed esplorare una gamma più ampia di segnali allineati al comportamento oltre alla manipolazione centrata sull'oggetto.