🤖 machine learning

RLDX-1 Technical Report

Il documento presenta RLDX-1, una politica robotica a scopo generale basata sull'architettura Multi-Stream Action Transformer (MSAT) che integra modalità eterogenee e design di sistema specializzati per superare significativamente i modelli esistenti Vision-Language-Action in compiti complessi, ricchi di contatti e dinamici di manipolazione destrezza nel mondo reale.

Autori originali: Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoun

Pubblicato 2026-05-06

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoung Bae, Jihyuk Lee, Jimin Lee, John Won, Joonwoo Ahn, Junhyeong Park, Junyoung Sung, Kyungmin Lee, Minseong Han, Minsung Yoon, Sejune Joo, Seonil Son, Seungcheol Park, Seunggeun Cho, Seungjun Moon, Seungku Kim, Yonghoon Dong, Yongjin Cho, Youngchan Kim, Chang Hwan Kim, Dohyeon Kim, Hazel Lee, Heecheol Kim, Hensen Ahn, Hyungkyu Ryu, Hyunsoo Choi, Hyunsoo Shin, Jaeheon Jung, Jaewoo Kim, Jinwook Kim, Joochul Chang, Joonsoo Kim, Junghun Park, Jungwoo Park, Junho Cho, Junhyeok Park, Junwon Lee, Kangwook Lee, Kwanghoon Kim, Kyoungwhan Choe, Manoj Bhadu, Nayoung Oh, Sangjun Kim, Sangwoo Kim, Seunghoon Shim, Seunghyun Kim, Seungjun Lee, Seungyup Ka, Sungryol Yang, Wook Jung, Yashu Shukla, Yeonjae Lee, Yeonwoo Bae, Jinwoo Shin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di aver costruito un robot incredibilmente abile nel leggere istruzioni e osservare immagini. Sa cos'è una "tazza", cosa significa "versare" e ne parla fluentemente. Questo è come un robot con un dottorato di ricerca in teoria ma nessuna esperienza nel mondo reale. Se gli chiedi di afferrare una palla che si muove su un nastro trasportatore, o di avvitare una lampadina senza romperla, potrebbe bloccarsi perché non comprende il movimento, la memoria o il tatto.

Il documento introduce RLDX-1, un nuovo "cervello" robotico progettato per risolvere questo problema. Considera RLDX-1 non solo come un lettore intelligente, ma come un maestro artigiano che combina tre nuovi superpoteri con la sua intelligenza esistente:

1. I Superpoteri: Movimento, Memoria e Tatto

Consapevolezza del Movimento (Il "Giocoliere"):
La maggior parte dei robot guarda una foto statica e indovina cosa fare dopo. Ma il mondo reale si muove. Se una scatola scivola su un nastro trasportatore, una foto statica è inutile. RLDX-1 è come un giocoliere che non guarda solo la palla; osserva l'intero video della palla che vola nell'aria. Comprende velocità e direzione, permettendogli di afferrare oggetti in movimento che altri robot mancano.
Memoria a Lungo Termine (Lo "Sherlock Holmes"):
Alcuni compiti richiedono tempo. Immagina un gioco delle tre tazze in cui un umano nasconde un cubetto sotto una delle tre tazze, si allontana e poi chiede al robot di trovarlo. Un robot con solo "memoria a breve termine" vede le tazze ma dimentica quale l'umano ha toccato. RLDX-1 tiene un "quaderno" di ciò che è accaduto secondi o minuti prima. Ricorda la sequenza degli eventi, permettendogli di risolvere enigmi che richiedono di guardare al passato.
Sensazione Fisica (La "Mano Delicata"):
La visione è ottima, ma non puoi vedere dentro una presa o sentire quanto stai stringendo forte un uovo fragile. RLDX-1 può "sentire" attraverso i suoi sensori. Legge la coppia (forza di torsione) nelle sue articolazioni e i segnali tattili dalla sua pelle. Questo è come una persona bendata che può dire esattamente quando una spina è inserita nella presa o quando un uovo sta per rompersi, regolando la presa istantaneamente.

2. L'Addestramento: Come Ha Imparato

Non puoi insegnare queste abilità a un robot mostrandogli solo qualche video. RLDX-1 ha seguito un campo di addestramento in tre fasi:

Fase 1: Il Generalista (Pre-Addestramento): Ha guardato milioni di video di diversi robot (bracci, mani, umanoidi) che facevano cose semplici. Questo gli ha dato una comprensione ampia di come funziona il mondo.
Fase 2: Lo Specialista (Addestramento Intermedio): Qui ha imparato i suoi nuovi superpoteri. Ha praticato specificamente con i moduli "movimento", "memoria" e "tatto". Per fare questo, i ricercatori hanno usato un trucco intelligente: hanno utilizzato generatori di video AI per creare migliaia di nuovi scenari rari (come un robot che versa zuppa in una cucina che non esiste) e poi hanno usato la matematica per capire cosa il robot avrebbe dovuto fare. Questo ha colmato le lacune dove mancavano dati del mondo reale.
Fase 3: La Rifinitura (Post-Addestramento): Infine, ha praticato su compiti specifici del mondo reale, imparando dai propri errori. Se falliva nell'afferrare una tazza, riprovava, utilizzando un metodo di apprendimento per rinforzo che agisce come un allenatore che fornisce feedback immediato per migliorare le sue prestazioni.

3. La Velocità: Correre su una Pista Veloce

Anche il cervello più intelligente è inutile se è troppo lento. Se un robot impiega 0,1 secondi per pensare, il mondo potrebbe essere cambiato prima che agisca. Il documento spiega che RLDX-1 è stato ottimizzato per funzionare 1,6 volte più velocemente dei sistemi standard.

L'Analogia: Immagina un corriere che si ferma a ogni singolo semaforo per controllare una mappa (elaborazione standard). RLDX-1 è come un conducente che ha mappato in anticipo l'intero percorso, sa esattamente quali semafori diventeranno verdi e guida senza fermarsi. Questo gli permette di reagire in tempo reale, anche su linee di assemblaggio veloci.

4. I Risultati: La Prova è nella Pudding

I ricercatori hanno testato RLDX-1 contro altri cervelli robotici di alto livello (come $\pi0.5$ e GR00T N1.6) in due modi:

In Simulazione (Il Videogioco): RLDX-1 ha costantemente battuto gli altri in compiti complessi da cucina e sfide con oggetti in movimento.
Nel Mondo Reale (Il Test):
- Il Nastro Trasportatore: Quando gli oggetti si muovevano velocemente, RLDX-1 ha avuto successo nell'87,5% dei casi, mentre il robot successivo migliore falliva quasi nel 70% dei casi.
- Il Gioco delle Tre Tazze: Quando gli è stato chiesto di trovare un oggetto nascosto basandosi sulla memoria, RLDX-1 ha indovinato correttamente nel 91,7% dei casi. Gli altri hanno indovinato a caso, ottenendo ragione solo circa il 30% delle volte.
- La Lampadina: Quando gli è stato chiesto di avvitare una lampadina finché non si accendeva, RLDX-1 ha imparato a farlo in meno tentativi di quanti un istruttore umano potesse dimostrare.

Riepilogo

RLDX-1 è una politica robotica che va oltre il semplice "vedere e comprendere" per agire con destrezza. Combinando un potente cervello visivo con moduli specializzati per movimento, memoria e tatto, e addestrandosi su una massiccia miscela di dati reali e generati dall'AI, raggiunge abilità simili a quelle umane in compiti complessi, dinamici e delicati dove i robot precedenti faticavano. È un passo significativo verso robot che possono davvero lavorare al nostro fianco nel mondo reale, disordinato, in movimento e tattile.

Riepilogo Tecnico: RLDX-1

Enunciato del Problema

Sebbene i modelli Vision-Language-Action (VLA) abbiano dimostrato progressi significativi nell'"intelligenza versatile"—la capacità di comprendere scene visive diverse, seguire istruzioni linguistiche e generalizzare tra compiti—spesso faticano con compiti di manipolazione complessi nel mondo reale che richiedono capacità funzionali più ampie. Nello specifico, i VLA esistenti mancano di meccanismi espliciti per la consapevolezza del movimento (agire in ambienti dinamici con oggetti in movimento), la memoria a lungo termine (ragionare su storie di interazione estese oltre i frame a breve termine) e la percezione fisica (inferire forze di contatto e coppie in condizioni di occlusione o cambiamenti visivi sottili). Queste limitazioni ostacolano il dispiegamento di robot generalisti in scenari dinamici, ricchi di contatti e a lungo orizzonte temporale.

Metodologia

Gli autori introducono RLDX-1, una politica robotica a scopo generale progettata per una manipolazione destrezza simile a quella umana. Il sistema integra diverse capacità funzionali in un quadro unificato che abbraccia architettura, dati, addestramento e inferenza.

1. Architettura Neurale: Multi-Stream Action Transformer (MSAT)

RLDX-1 è costruito su un'architettura VLA basata sul flow-matching, ma la estende con tre moduli funzionali chiave e un nuovo design transformer:

Consapevolezza del Movimento: Il backbone del Vision-Language Model (VLM) è potenziato da un Modulo di Movimento che integra l'autosomiglianza spazio-temporale (STSS) nel codificatore visivo per catturare le dinamiche temporali. Inoltre, i frame video passati vengono compressi in un singolo token di contesto per modellare in modo efficiente il contesto temporale.
Memoria a Lungo Termine: Un Modulo di Memoria esplicito mantiene una coda di feature cognitive passate, consentendo al modello di ragionare su storie di osservazione a lungo termine (ad esempio, per giochi di conchiglie o compiti multi-step).
Percezione Fisica: Un Flusso Fisico dedicato elabora segnali fisici (coppia e dati tattili) separatamente dagli input visivi e linguistici. Questo flusso prevede segnali fisici futuri insieme alle azioni, incoraggiando il modello a interiorizzare le dinamiche di contatto.
Architettura MSAT: Per gestire queste modalità eterogenee, gli autori propongono il Multi-Stream Action Transformer. Assegna flussi dedicati alla Cognizione (visivo/linguistico), all'Azione (propriocezione/azioni rumorose) e alla Fisica (tattile/coppia). Questi flussi interagiscono tramite auto-attenzione congiunta mantenendo parametri specifici per modalità, permettendo lo scambio di informazioni cross-modale senza perdere la fedeltà della rappresentazione.

2. Dati di Addestramento e Pipeline

La strategia di addestramento si basa su una pipeline a tre stadi e su un mix di dati diversificato:

Fonti Dati: Il modello è addestrato su una combinazione di (a) grandi dataset pubblici del mondo reale (Open-X-Embodiment, DROID, Galaxea, Agibot World, ecc.), (b) dati interni provenienti dalle piattaforme umanoide ALLEX e Franka Research 3 (FR3) potenziata da sensori, e (c) dati sintetici.
Generazione Dati Sintetici: Per affrontare la scarsità di dati per scenari destri rari, gli autori impiegano una pipeline che utilizza modelli generativi video (Image-to-Video) per ampliare scene e compiti. Questo è seguito da un'etichettatura delle azioni tramite un Modello di Dinamica Inversa (IDM) e un rigoroso processo di filtraggio in due fasi: Filtraggio della Qualità Video (utilizzando VLM) e Filtraggio della Coerenza del Movimento (confrontando le simulazioni di rollout con i video generati).
Addestramento a Tre Stadi:
1. Pre-Training: Addestrato su dati multi-embodiment diversificati per apprendere prior generali di manipolazione.
2. Mid-Training: Addestramento specializzato su dati specifici dell'embodiment (ALLEX e FR3) per iniettare capacità funzionali (movimento, memoria, fisica) utilizzando dati interni e sintetici.
3. Post-Training: Fine-tuning specifico per compito, opzionalmente potenziato con Reinforcement Learning (RL) utilizzando un critico derivato da VLM (framework RECAP) per affinare le prestazioni su compiti impegnativi.

3. Ottimizzazione dell'Inferenza

Per abilitare il controllo in tempo reale su robot reali, gli autori implementano una pipeline di ottimizzazione dell'inferenza in due fasi:

Ottimizzazione della Cattura del Grafico: Converte il modello in un CUDA Graph statico per eliminare l'overhead di avvio del kernel e la frammentazione del grafico.
Ottimizzazione del Kernel: Progetta kernel fusi personalizzati (ad esempio, fusione di RMSNorm, RoPE e attenzione) per ridurre il traffico di memoria e migliorare l'efficienza di esecuzione su carichi di lavoro con prefill brevi.
Queste ottimizzazioni riducono la latenza per passo da ~71,2 ms a 43,7 ms su una NVIDIA RTX 5090, ottenendo un accelerazione di 1,63×.

Risultati Chiave

RLDX-1 è stato valutato su benchmark di simulazione e esperimenti nel mondo reale sulle piattaforme OpenArm, ALLEX e Franka Research 3, superando le basi all'avanguardia come $\pi0.5$ e GR00T N1.6.

Benchmark di Simulazione: RLDX-1 ha ottenuto i tassi di successo più alti su tutti i benchmark, inclusi LIBERO (97,8%), RoboCasa Kitchen (70,6%) e GR-1 Tabletop (58,7%). In particolare, ha mostrato una robustezza superiore nelle varianti LIBERO-Plus e SIMPLER rispetto alle basi.
Versatilità nel Mondo Reale (OpenArm): Su compiti che richiedono il seguire istruzioni e la generalizzazione a oggetti/compiti non visti, RLDX-1 ha superato significativamente le basi, ottenendo il 54,2% su oggetti non visti contro il 37,5% di $\pi0.5$ .
Capacità Funzionali (ALLEX & FR3):
- Consapevolezza del Movimento: Su compiti su nastro trasportatore con velocità variabili, RLDX-1 ha ottenuto un tasso di successo medio dell'86,8%, mentre le basi sono crollate a ~40% o hanno fallito su velocità non viste.
- Memoria a Lungo Termine: Nei compiti "Selezione Oggetto-in-Scatola" e "Gioco delle Conchiglie", RLDX-1 ha ottenuto tassi di successo del 91,7% e del 91,7% rispettivamente, mentre le basi hanno performato vicino al caso casuale (~30-50%).
- Percezione Fisica: In compiti ricchi di contatti come "Inserimento Spina" e "Raccolta e Posizionamento Uovo", RLDX-1 ha sfruttato feedback di coppia e tattile per ottenere tassi di successo del 33,3% e del 61,1%, superando significativamente le basi che faticavano con le forze di contatto.
Prestazioni di Inferenza: La pipeline ottimizzata ha ottenuto un'accelerazione di 1,63×, abilitando il dispiegamento in tempo reale.

Significato e Affermazioni

Il paper afferma che RLDX-1 rappresenta un passo significativo verso VLA affidabili per la manipolazione destrezza complessa, ricca di contatti e dinamica nel mondo reale. Spostandosi oltre l'"intelligenza versatile" per integrare esplicitamente la consapevolezza del movimento, la memoria a lungo termine e la percezione fisica in un'architettura end-to-end unificata, RLDX-1 affronta lacune critiche nelle attuali politiche per robot generalisti.

Gli autori sottolineano che il loro approccio non è semplicemente un scaling di modelli VLA esistenti, ma un'integrazione strutturale di capacità funzionali necessarie per una manipolazione simile a quella umana. Il successo della pipeline di dati sintetici nell'ampliare i dati del mondo reale e l'efficacia della procedura di addestramento a tre stadi dimostrano un percorso scalabile verso il dispiegamento di politiche generaliste su diversi embodiment. I risultati sull'umanoide ALLEX, dove RLDX-1 ottiene ~90% di successo su compiti funzionali rispetto a ~40% per i modelli all'avanguardia, evidenziano la capacità del modello di controllare robot ad alto DoF sotto diverse richieste funzionali.