🤖 AI

CLAM: Continuous Latent Action Models for Robot Learning from Unlabeled Demonstrations

Questo articolo introduce CLAM, un framework che consente ai robot di apprendere politiche di controllo efficaci da sequenze di osservazioni non etichettate attraverso l'inferenza di azioni latenti continue mediante la predizione dinamica auto-supervisionata e il loro ancoraggio con dati di gioco agnostici rispetto al compito, raggiungendo così prestazioni paragonabili al behavior cloning con etichette esperte senza richiedere costose dimostrazioni etichettate con le azioni.

Autori originali: Anthony Liang, Pavel Czempin, Matthew M. Hong, Yutai Zhou, Jingzhen Wang, Erdem Biyik, Stephen Tu

Pubblicato 2026-07-31

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Anthony Liang, Pavel Czempin, Matthew M. Hong, Yutai Zhou, Jingzhen Wang, Erdem Biyik, Stephen Tu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come fare qualcosa, come impilare dei blocchi o versare da bere. Di solito, il modo migliore per insegnare a un robot è mostrargli esattamente cosa fare, passo dopo passo, mentre gli tieni la mano e registri ogni minimo movimento dei suoi motori. È come dare a uno studente un libro di testo con le risposte scritte sul retro. Ma ecco il problema: registrare quei movimenti dei motori è incredibilmente difficile, costoso e noioso. Richiede che un esperto umano controlli fisicamente il robot per ore, il che è lento e costoso.

Ora, immagina un tipo diverso di insegnante. Questo insegnante non ha un robot; ha solo una videocamera. Riprende se stesso mentre compie l'azione, o trova video su internet di persone che lo fanno. Il robot può vedere cosa accade — i blocchi si muovono, la tazza si riempie — ma non ha idea di come la mano umana si sia mossa per far accadere ciò. I "segnali motori" mancano. Questo è l'enigma che gli scienziati nel campo della robotica stanno cercando di risolvere: come può un robot imparare a muoversi da solo semplicemente guardando dei video dove le istruzioni sul "come fare" sono nascoste? Questo articolo affronta esattamente questo problema, con l'obiettivo di permettere ai robot di imparare da video economici e facili da raccogliere, senza la necessità di costose sessioni di addestramento guidate manualmente.

I ricercatori dietro questo articolo, Anthony Liang e il suo team, introducono un nuovo metodo chiamato CLAM (Continuous Latent Action Models). Pensa a CLAM come a un detective super intelligente che può guardare due fotogrammi consecutivi di un video e indovinare la "forza invisibile" che ha causato il cambiamento. Se vedi una tazza che si sposta dal lato sinistro del tavolo al lato destro in un video, CLAM cerca di capire il movimento continuo specifico che è avvenuto nel mezzo, anche se non ha mai visto la mano che l'ha mossa.

Ecco come avviene la magia. Per prima cosa, il robot guarda una massa enorme di video non etichettati (solo osservazioni, senza istruzioni). Cerca di prevedere come sarà il fotogramma successivo basandosi sul fotogramma attuale e su un "indizio" riguardo all'azione nascosta. Se l'indizio è sbagliato, la previsione fallisce e il robot impara ad aggiustare il suo indizio. Con il tempo, costruisce una libreria di queste "azioni nascoste" che danno senso al mondo. Ma c'è un intoppo: queste azioni nascoste sono solo numeri nel cervello del robot; non sono ancora comandi motori reali.

Per risolvere questo problema, il team utilizza un secondo insieme di dati più piccolo: i dati di "gioco" (play data). Si tratta semplicemente del robot che vaga per la stanza, urta le cose e muove le braccia casualmente, ma questa volta il computer registra i comandi motori. È come se il robot giocasse con l'argilla senza un obiettivo, ma tenendo un diario di come si sono mossi le sue dita. CLAM usa questo diario per insegnare a se stesso come tradurre i suoi indizi sulle "azioni nascoste" in movimenti fisici reali. L'innovazione chiave qui è che stanno addestrando la parte del "indovinare" e la parte della "traduzione" insieme. Questo assicura che gli indizi rimangano semplici e utili, piuttosto che diventare un caos che il robot non è in grado di eseguire.

I risultati sono piuttosto impressionanti. Il team ha testato CLAM in due modi: in simulazioni al computer (come un mondo di videogiochi) e su un vero braccio robotico fisico chiamato WidowX. Hanno scoperto che CLAM può imparare a risolvere compiti complessi, come assemblare parti o raccogliere oggetti, con un tasso di successo da 2 a 3 volte superiore rispetto ai metodi precedenti che cercavano di fare la stessa cosa. In molti casi, il robot ha imparato a eseguire compiti quasi altrettanto bene come se fosse stato addestrato con i costosi e perfetti "comandi motori", anche se non aveva mai visto quei dati.

Fondamentalmente, l'articolo dimostra che questo approccio funziona meglio quando le "azioni nascoste" sono continue (fluide e scorrevoli) piuttosto che suddivise in piccoli passi discreti, e quando il robot impara a tradurre queste azioni usando quella piccola quantità di dati di gioco disordinati. Se avessero cercato di forzare le azioni in un formato rigido, passo dopo passo, o se avessero cercato di addestrare la parte di traduzione separatamente, il robot avrebbe avuto difficoltà. L'articolo dimostra che, combinando questo lavoro investigativo auto-supervisionato con un po' di disordinato dato di gioco non etichettato, possiamo insegnare ai robot nuove abilità senza la necessità di costose sessioni di teleoperazione guidate da esperti. È un grande passo verso la possibilità di insegnare ai robot nuove abilità utilizzando la vasta quantità di contenuti video già disponibili su internet, invece di richiedere che registriamo manualmente ogni singolo movimento che compiono.

Riepilogo Tecnico: CLAM - Modelli di Azione Latente Continua per l'Apprendimento Robotico da Dimostrazioni Non Etichettate

Problema

L'apprendimento di politiche di controllo robotico dalle dimostrazioni si basa tipicamente su dati esperti dove le azioni sono esplicitamente etichettate (ad esempio, tramite teleoperazione). La raccolta di tali dati è costosa, richiede molto tempo e risulta difficile da scalare, in particolare per perfezionare i modelli in ambienti reali diversificati. Sebbene i video di dimostrazioni umane siano abbondanti e più facili da raccogliere, essi mancano dei segnali di controllo robotico "ground-truth" necessari per il classico apprendimento per imitazione (IL). Inoltre, la conversione dei video umani in osservazioni compatibili con il robot non fornisce intrinsecamente le etichette delle azioni mancanti.

Il documento affronta un contesto pratico in cui:

Dati Esperti Non Etichettati: Esiste un vasto corpus di video di dimostrazioni robotiche (sia convertite da video umani che log esistenti) ma privi di etichette di azione.
Dati di "Play" Task-Agnostic: È disponibile un piccolo dataset di transizioni robotiche con etichette di azione, ma questi sono dati di "play" (non diretti, non esperti) piuttosto che dimostrazioni esperte specifiche per un compito.
Obiettivo: Imparare una politica ad alte prestazioni per un compito specifico utilizzando i video esperti non etichettati e la piccola quantità di dati di play task-agnostic, senza mai raccogliere nuove dimostrazioni esperte etichettate con le azioni.

Metodologia: Modelli di Azione Latente Continua (CLAM)

CLAM è un framework a due stadi progettato per inferire azioni latenti continue e ancorarle a comandi motori eseguibili.

1. Addestramento del Modello di Azione Latente (LAM) (Stadio 1)

Il cuore di CLAM è un modello di azione latente auto-supervisionato che impara a inferire le azioni tra osservazioni consecutive senza etichette ground-truth.

Componenti:
- Modello di Dinamica Inversa Latente (IDM): $f_\phi(z_t | o_{t-H}, \dots, o_t, o_{t+1})$ inferisce un'azione latente continua $z_t$ tra le osservazioni.
- Modello di Dinamica Forward Latente (FDM): $g_\psi(o_{t+1} | o_{t-H}, \dots, o_t, z_t)$ predice l'osservazione successiva condizionata dalla storia corrente e dall'azione latente inferita.
Obiettivo Auto-Supervisionato: Il modello è addestrato per minimizzare l'errore di ricostruzione dell'osservazione futura ( $L_{recon} = MSE(\hat{o}_{t+1}, o_{t+1})$ ). Questo ciclo forza l'azione latente $z_t$ a codificare le informazioni di transizione necessarie dipendenti dallo stato.
Spazio Latente Continuo: A differenza di lavori precedenti che utilizzano la Quantizzazione Vettoriale (VQ) per discretizzare le azioni, CLAM utilizza uno spazio di azione latente continuo. Questo è fondamentale per compiti di controllo continuo ad alta dimensionalità, dove le approssimazioni discrete falliscono.
Addestramento Congiunto con Decoder di Azione: Per garantire che le azioni latenti siano eseguibili, CLAM addestra congiuntamente un decoder di azione latente $p_\omega(a_t | z_t)$ $p_{ω} (a_{t} ∣ z_{t})$ utilizzando il piccolo dataset di play task-agnostic ( $D_{labeled}$ $D_{l ab e l e d}$ ).
- Il decoder mappa le azioni latenti $z_t$ in comandi motori reali $a_t$ .
- L'obiettivo di addestramento combina la perdita di ricostruzione e la perdita del decoder di azione: $L_{CLAM} = L_{recon} + \beta L_{action-decoder}$ .
- Intuizione Cruciale: L'addestramento congiunto regolarizza lo spazio latente, assicurando che rimanga decodificabile. Il decoder non è condizionato dalle osservazioni, forzando l'azione latente a essere un codice d'azione di basso livello.

2. Addestramento della Politica di Azione Latente (Stadio 2)

Una volta pre-addestrato il LAM:

Rielaborazione (Relabeling): Il IDM addestrato annota le dimostrazioni esperte non etichettate ( $D_{unlabeled-expert}$ ) con pseudo-azioni latenti, creando un dataset di coppie $(o_t, z_t)$ .
Apprendimento della Politica: Una politica di azione latente $\pi_\theta(z_t | o_t)$ viene addestrata tramite l'apprendimento per imitazione standard (behavior cloning) su questo dataset rietichettato.
Inferenza: Durante l'esecuzione, la politica predice un'azione latente $z_t$ data un'osservazione, e il decoder di azione pre-addestrato $p_\omega$ converte $z_t$ in un comando motore fisico.

Contributi Chiave

Rielaborazione Latente Continua: Gli autori dimostrano che la rielaborazione delle azioni latenti diventa pratica per il controllo continuo del robot solo quando si utilizzano spazi latenti continui combinati con l'ancoraggio congiunto (addestramento simultaneo del decoder).
Utilizzo Efficiente dei Dati: Il framework dimostra che i dati di play task-agnostic sono sufficienti per l'ancoraggio delle azioni latenti. Ciò riduce drasticamente il costo di raccolta dei dati, eliminando la necessità di raccogliere costose dimostrazioni esperte etichettate con le azioni per la fase di etichettatura.
Implementazione nel Mondo Reale: CLAM è stato implementato con successo su un braccio robotico WidowX fisico attraverso quattro compiti di manipolazione, raggiungendo prestazioni competitive con le politiche addestrate su etichette esperte privilegiate, nonostante non abbia mai visto tali etichette durante l'addestramento.

Risultati Sperimentali

Il documento valuta CLAM su DMControl (locomozione), MetaWorld (manipolazione) e un robot reale WidowX.

Guadagni di Prestazione:
- Su DMControl (basato su stato), CLAM migliora il ritorno normalizzato medio di oltre 2× rispetto al miglior baseline (VPT).
- Su MetaWorld (basato su immagini), CLAM raggiunge tassi di successo del compito 2–3× superiori rispetto ai baseline come LAPO, LAPA e DynaMo.
- CLAM si avvicina o addirittura supera le prestazioni di BC-Expert (behavior cloning addestrato su azioni esperte ground-truth), nonostante BC-Expert abbia accesso a etichette privilegiate mentre CLAM no.
Studi di Ablazione:
- Continuo vs. Discreto: Le azioni latenti discrete (usando VQ) performano scarsamente nei compiti di controllo continuo. Le azioni latenti continue da sole forniscono un miglioramento di circa 1.5×.
- Addestramento Congiunto: L'addestramento congiunto del decoder di azione con il LAM è essenziale. Aumenta le prestazioni di circa 3× se combinato con le azioni latenti continue.
- Scalabilità dei Dati: Le prestazioni scalano con la quantità di dati esperti non etichettati ( $|D_{unlabeled}|$ ). Il metodo scala anche con la quantità di dati di play ( $|D_{labeled}|$ ) utilizzati per l'ancoraggio, superando il BC standard che raggiunge rapidamente un plateau con dati non esperti.
Risultati sul Robot Reale: Su WidowX, CLAM risolve compiti di manipolazione (es. assemblaggio, bin picking) con tassi di successo significativamente più alti rispetto ai baseline, spesso eguagliando le prestazioni del baseline BC-Expert privilegiato.

Significato e Rivendicazioni

Il documento afferma che CLAM rappresenta una soluzione scalabile per l'apprendimento di politiche robotiche da dati privi di azioni. Il suo significato primario risiede nel:

Rimuovere il Collo di Bottiglia dell'Etichettatura Esperta: Dimostra che è possibile apprendere politiche robotiche efficaci senza raccogliere costose dimostrazioni esperte etichettate con le azioni specifiche per il compito.
Sfruttare Dati Economici: Utilizzando abbondanti video robotici non etichettati e dati di play task-agnostic economici, CLAM abbassa la barriera all'ingresso per l'apprendimento robotico.
Necessità Architetturale: Il lavoro stabilisce che, per il controllo continuo ad alta dimensionalità, la combinazione di spazi latenti continui e l'addestramento congiunto del decoder di azione non è solo benefica, ma essenziale per il successo, distinguendosi dai precedenti modelli di azione latente progettati per domini discreti.

Gli autori osservano che, sebbene CLAM sia efficace in contesti di singolo robot e singolo compito, è necessario ulteriore lavoro per affrontare le sfide legate alla generalizzazione a video "in the wild" (gestione di artefatti, gap di embodiment) e alla scalabilità verso l'apprendimento cross-embodiment.