💻 computer science

Beyond Noise Steering: Dual-Latent Space Reinforcement Learning for Generative Robot Policy

Questo articolo propone il Dual-Latent Space Reinforcement Learning (DLSRL), un nuovo framework che potenzia le policy robotiche generative pre-addestrate combinando lo steering del rumore iniziale con la modulazione delle caratteristiche intermedie tramite un generatore congelato, consentendo così un'adattamento online efficiente senza aggiornare la policy di base.

Autori originali: Pengfei Zhang, Teng Sun, Xianchao Xiu

Pubblicato 2026-09-11

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Pengfei Zhang, Teng Sun, Xianchao Xiu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I robot capaci di imparare osservando gli esseri umani mentre svolgono compiti non sono più fantascienza; sono una realtà in rapida crescita nel campo dell'intelligenza artificiale. Questi sistemi, spesso chiamati modelli visione-linguaggio-azione, agiscono come studenti che hanno letto una vasta biblioteca di video istruttivi e manuali prima ancora di toccare uno strumento. Studiando milioni di esempi, apprendono un senso generale di come muovere le braccia, afferrare oggetti e seguire istruzioni. Tuttavia, proprio come uno studente potrebbe faticare quando gli viene chiesto di eseguire un compito familiare in una stanza leggermente diversa o con un nuovo strumento, questi robot spesso vacillano quando il mondo reale non corrisponde perfettamente ai dati su cui sono stati addestrati. Quando un robot incontra una situazione che non ha mai visto prima, deve adattarsi rapidamente. La sfida per gli scienziati è come insegnare a questi massicci sistemi pre-addestrati ad adattarsi a nuovi ambienti senza doverli riaddestrare da zero, un processo che sarebbe troppo lento e computazionalmente costoso per un uso pratico.

Per un certo periodo, i ricercatori hanno cercato di guidare questi robot modificando la primissima fase del loro processo decisionale. Immaginate un robot che genera una sequenza di movimenti partendo da un modello casuale di rumore e lo raffina gradualmente in un movimento fluido. I metodi esistenti si sono concentrati sul cambiamento di quel modello iniziale casuale per indirizzare il robot verso un risultato migliore. Sebbene questo aiuti, è un po' come cercare di sterzare un'auto regolando solo la posizione di partenza delle ruote; una volta che l'auto è in movimento, il conducente non ha modo diretto di correggere il veicolo se inizia a deviare dalla rotta. Il "pensiero" interno del robot su come muoversi rimane fisso, e l'aggiustamento iniziale non può facilmente correggere piccoli errori precisi che avvengono più tardi nel movimento. Questo limite significa che, anche con una guida, il robot potrebbe comunque fallire in compiti che richiedono alta precisione, come posare una tazza su un piattino o avvitare un bullone.

Per risolvere questo problema, un team di ricercatori della Shanghai University ha sviluppato un nuovo approccio chiamato Dual-Latent Space Reinforcement Learning (Apprendimento per Rinforzo in Spazio Latente Duale). Invece di limitarsi ad aggiustare il punto di partenza del piano di movimento del robot, il loro sistema impara a dare piccoli colpi ai "pensieri" interni del robot mentre il piano viene creato. I ricercatori hanno costruito un modulo di controllo leggero che lavora fianco a fianco con il cervello pre-addestrato e "congelato" del robot. Questo modulo fa due cose simultaneamente: seleziona il modello iniziale di partenza, come facevano i metodi precedenti, ma genera anche un secondo segnale che viene iniettato direttamente nei livelli intermedi della rete di elaborazione del robot. Pensate a questo come ad avere un copilota che non solo aiuta a impostare la destinazione, ma allunga anche la mano per fare piccoli aggiustamenti in tempo reale al volante e ai pedali mentre l'auto guida, assicurando che il veicolo rimanga esattamente sul percorso necessario.

I ricercatori hanno testato questo metodo su una varietà di compiti robotici, inclusi il sollevamento di oggetti, lo spostamento di lattine e l'impilamento di blocchi in ambienti simulati. Hanno confrontato il loro nuovo sistema con i migliori metodi esistenti che regolavano solo il punto di partenza. I risultati hanno mostrato che il sistema di controllo duale ha permesso ai robot di imparare molto più velocemente. In compiti che richiedono alta precisione, come spostare una lattina in un punto specifico, il nuovo metodo ha raggiunto un tasso di successo vicino al 99 percento, mentre i vecchi metodi faticavano a superare il 90 percento. I robot si sono adattati a nuove sfide con meno tentativi, il che significa che potevano imparare dai propri errori in modo più efficiente. Lo studio ha anche dimostato che questo approccio funziona con diversi tipi di cervelli robotici, non solo con un design specifico, suggerendo che sia uno strumento versatile per migliorare le prestazioni robotiche.

Una parte fondamentale della scoperta è stata capire quanta influenza debba avere questa spinta interna. I ricercatori hanno scoperto che se spingevano troppo forte sui pensieri interni del robot, i movimenti diventavano instabili ed erratici. Tuttavia, se applicavano la giusta quantità di pressione gentile, le prestazioni del robot miglioravano in modo costante e fluido. Questo equilibrio ha permesso al robot di mantenere le abilità generali che aveva già appreso, pur effettuando le correzioni specifiche e fini necessarie per il nuovo compito. Il sistema ha ottenuto questi risultati senza modificare il massiccio modello pre-addestrato, mantenendo intatto il nucleo del cervello del robot e aggiornando solo il piccolo modulo di controllo leggero. Ciò significa che il robot può essere impiegato in nuove situazioni e imparare ad adattarsi al volo senza necessitare di una ristrutturazione completa della sua intelligenza sottostante.

Le implicazioni di questo lavoro sono significative per il futuro della robotica. Consentendo ai robot di effettuare aggiustamenti precisi durante la generazione dei loro movimenti, questo metodo colma il divario tra la conoscenza ampia e generale e le azioni specifiche e delicate richieste nel mondo reale. I ricercatori hanno confermato le loro scoperte attraverso estese simulazioni, mostrando che l'approccio supera costantemente le tecniche precedenti in molteplici compiti. Sebbene il lavoro sia stato condotto in una simulazione al computer, la velocità e l'efficienza dell'adattamento suggeriscono che questi robot potrebbero presto essere impiegati in contesti reali, imparando a gestire nuovi oggetti e ambienti con un livello di destrezza che era precedentemente difficile da raggiungere. Lo studio conclude che, dando ai robot un modo per sterzare le proprie rappresentazioni interne, possiamo creare macchine che non siano solo intelligenti, ma anche flessibili e pronte per la natura imprevedibile del mondo fisico.

Sintesi Tecnica: Apprendimento per Rinforzo a Spazio Latente Duale per Politiche Robotiche Generative

Definizione del Probleamento

Le politiche robotiche generative pre-addestrate, come le Diffusion Policies e i modelli di flow-matching, sfruttano dataset su larga scala per apprendere prior di azione espressivi. Tuttavia, questi modelli spesso faticano quando i compiti a valle deviano dalla distribuzione di pre-addestramento, in particolare in compiti a lungo orizzonte dove piccoli errori spaziali o temporali portano al fallimento. Sebbene l'adattamento online sia necessario, il fine-tuning completo di modelli con miliardi di parametri è computazionalmente proibitivo.

Gli esistenti metodi di adattamento a parametri efficienti, come lo steering basato su Reinforcement Learning (RL), operano tipicamente solo ai confini della generazione dell'azione. Ad esempio, metodi come il Diffusion Steering via Reinforcement Learning (DSRL) apprendono una politica di rumore iniziale condizionata dall'osservazione per guidare un generatore congelato. Sebbene efficace, questo approccio influenza solo il punto di partenza del processo di generazione. Esso non riesce a modulare le rappresentazioni di azione intermedie, limitando la capacità di effettuare correzioni precise su posizioni di contatto, magnitudo delle azioni o traiettorie locali durante il processo di generazione. Al contrario, le policy residue applicano correzioni dopo la generazione dell'azione, fallendo nel modellare l'evoluzione interna delle rappresentazioni di azione. Manca un meccanismo di RL che combini la selezione del comportamento globale con la modulazione diretta delle rappresentazioni di azione intermedie all'interno di un generatore congelato.

Metodologia: Apprendimento per Rinforzo a Spazio Latente Duale (DLSRL)

Per affrontare queste limitazioni, gli autori propongono il Dual-Latent Space Reinforcement Learning (DLSRL). Questo framework introduce un nuovo'interfaccia di controllo che completa lo steering del rumore iniziale con il controllo a livello di rappresentazione all'interno di una politica generativa congelata.

1. Attore a Spazio Latente Duale

A differenza dei metodi tradizionali di RL nello spazio del rumore che predicono solo un vettore di rumore iniziale ( $z_t$ ), l'attore DLSRL predice due variabili latenti distinte condizionate dall'osservazione corrente ( $o_t$ ):

Variabile latente del rumore iniziale ( $z_t$ ): Guida la generazione del comportamento complessivo, similmente ai metodi esistenti.
Variabile latente della rappresentazione dell'azione ( $u_t$ ): Progettata per la modulazione delle feature intermedie.

L'attore è parametrizzato come $\pi_\theta(\cdot | o_t)$ , restituendo la distribuzione congiunta $(z_t, u_t)$ .

2. Mappatura delle Feature dell'Adapter e Iniezione Residua

La variabile latente della rappresentazione dell'azione $u_t$ viene elaborata attraverso un mappatore di feature dell'adapter leggero $A_\omega$ per produrre le feature dell'adapter $f_t$ :
$f_t = A_\omega(u_t)$

Queste feature vengono poi iniettate nella policy base congelata $G_\phi$ . Nello specifico, le feature dell'adapter sono scalate da una forza di iniezione $\lambda_{inj}$ e aggiunte residualmente agli stati nascosti dei token d'azione all'interno di selezionati blocchi Transformer congelati:
$\tilde{H}^{(l)}_{t,k} = H^{(l)}_{t,k} + \lambda_{inj} f_t$
dove $H^{(l)}_{t,k}$ rappresenta gli stati nascosti dei token d'azione al layer $l$ e al passo di generazione $k$ . Questo design permette l'aggiustamento diretto delle rappresentazioni d'azione senza aggiornare i parametri della policy base o alterare l'architettura della rete. La policy base genera il chunk d'azione finale come:
$a_t = G_\phi(o_t, z_t, f_t)$

3. Ottimizzazione della Politica a Spazio Latente Duale

Il framework di addestramento impiega un meccanismo di distillazione del valore per ottimizzare l'attore a spazio latente duale senza effettuare il backpropagation attraverso il generatore congelato:

Critico nello Spazio delle Azioni ( $Q^{act}_\psi$ ): Addestrato su dati di interazione online utilizzando lo standard apprendimento temporal-difference off-policy per stimare il ritorno dei chunk d'azione.
Critico nello Spazio Latente ( $Q^{lat}_\nu$ ): Ottimizzato tramite un obiettivo di distillazione per corrispondere ai valori predetti dal critico nello spazio delle azioni. Questo critico apprende l'effetto congiunto di $z_t$ e $f_t$ sui ritorni del compito.
$L_{distill} = \mathbb{E}[(Q^{lat}_\nu(o_t, \hat{z}_t, \hat{f}_t) - \text{sg}[Q^{act}_\psi(o_t, \hat{a}_t)])^2]$
Aggiornamento dell'Attore: L'attore a spazio latente duale viene aggiornato utilizzando un obiettivo regolarizzato dall'entropia che massimizza il valore nello spazio latente:
$L_{actor} = \mathbb{E}[\alpha \log \pi^z_\theta(z_t | o_t) - Q^{lat}_\nu(o_t, z_t, f_t)]$

Durante il deployment, vengono mantenuti solo l'attore e il mappatore dell'adapter; i critici vengono scartati.

Contributi Chiave

Il documento delinea tre contributi primari:

Nuovo Framework: L'introduzione di un framework di RL a spazio latente che ottimizza simultaneamente lo steering del rumore iniziale e la modulazione della rappresentazione dell'azione, estendendo la guida della policy dalla fase di campionamento iniziale alla fase di rappresentazione intermedia.
Meccanismo di Modulazione Leggero: Lo sviluppo di un meccanismo di modulazione residua che mappa le latenti della rappresentazione dell'azione in feature dell'adapter allineate con i token d'azione, iniettandole negli stati nascosti del Transformer senza richiedere aggiornamenti della policy base.
Validazione Empirica: Una serie di esperimenti su policy di diffusione e di flow-matching che dimostrano come DLSRL acceleri la velocità di adattamento online mantenendo prestazioni finali competitive.

Risultati Sperimentali

Gli esperimenti sono stati condotti sui benchmark RoboMimic (Lift, Can, Square) e LIBERO (sei compiti tra cui Stove-On, Bowl-Drawer-to-Plate, ecc.) utilizzando Diffusion Policies basate su Transformer congelate e la policy di flow-matching $\pi_0$ .

Velocità di Adattamento: DLSRL ha dimostrato costantemente un miglioramento delle prestazioni più rapido durante le fasi iniziali e intermedie dell'addestramento rispetto ai baseline come DSRL, DPPO e JSRL.
Tassi di Successo:
- Sul compito Can (RoboMimic), DLSRL ha raggiunto circa il 99% di successo nelle fasi avanzate, superando DSRL (~90%).
- Sui compiti LIBERO, DLSRL ha raggiunto le prestazioni sature con meno interazioni con l'ambiente rispetto a DSRL.
Efficienza: La Tabella I mostra che DLSRL ha ottenuto lunghezze medie degli episodi più brevi in tutti i sei compiti LIBERO, con riduzioni comprese tra il 15,27% e il 25,40% rispetto a DSRL.
Studi di Ablazione:
- Rimuovendo lo steering del rumore iniziale (DLSRL-Rep), il tasso di successo è comunque migliorato dal ~27% al ~52% sul compito Can, confermando che la sola modulazione a livello di rappresentazione contribuisce all'adattamento.
- L'analisi della forza di iniezione ( $\lambda_{inj}$ ) ha rivelato che, sebbene valori più elevati ($0,09$) offrissero rapidi guadagni iniziali, causavano instabilità. Un valore moderato ($0,06$) ha fornito il miglior equilibrio, raggiungendo il 100% di successo.

Significato e Rivendicazioni

Gli autori affermano che DLSRL rappresenta il primo lavoro che integra lo steering del rumore iniziale con la modulazione dello stato nascosto del token d'azione. Il significato di questo lavoro risiede nella sua capacità di fornire un'interfaccia di controllo aggiuntiva all'interno di un generatore congelato, consentendo correzioni precise alle posizioni di contatto e alle traiettorie senza il costo computazionale del fine-tuning di grandi modelli generativi.

Il documento conclude che DLSRL è efficace nell'accelerare l'adattamento della policy robotica online. Sebbene il metodo mostri una velocità di adattamento superiore, gli autori notano con modestia che il vantaggio è più pronunciato nei compiti che richiedono un'alta precisione d'azione (es. Can, Square) rispetto a compiti più semplici dove altri metodi possono eventualmente convergere a livelli di successo simili. Il lavoro futuro prevede di valutare il framework in ambienti reali e investigare gli effetti di specifiche scelte architettoniche (layer di iniezione, step, intensità) sulle prestazioni.