🤖 machine learning

RLDX-1 Technical Report

L'article présente RLDX-1, une politique robotique polyvalente fondée sur l'architecture Multi-Stream Action Transformer (MSAT) qui intègre des modalités hétérogènes et des conceptions de systèmes spécialisées pour surpasser significativement les modèles Vision-Language-Action existants dans des tâches de manipulation dextre complexes, riches en contacts et dynamiques du monde réel.

Auteurs originaux : Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoun

Publié 2026-05-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoung Bae, Jihyuk Lee, Jimin Lee, John Won, Joonwoo Ahn, Junhyeong Park, Junyoung Sung, Kyungmin Lee, Minseong Han, Minsung Yoon, Sejune Joo, Seonil Son, Seungcheol Park, Seunggeun Cho, Seungjun Moon, Seungku Kim, Yonghoon Dong, Yongjin Cho, Youngchan Kim, Chang Hwan Kim, Dohyeon Kim, Hazel Lee, Heecheol Kim, Hensen Ahn, Hyungkyu Ryu, Hyunsoo Choi, Hyunsoo Shin, Jaeheon Jung, Jaewoo Kim, Jinwook Kim, Joochul Chang, Joonsoo Kim, Junghun Park, Jungwoo Park, Junho Cho, Junhyeok Park, Junwon Lee, Kangwook Lee, Kwanghoon Kim, Kyoungwhan Choe, Manoj Bhadu, Nayoung Oh, Sangjun Kim, Sangwoo Kim, Seunghoon Shim, Seunghyun Kim, Seungjun Lee, Seungyup Ka, Sungryol Yang, Wook Jung, Yashu Shukla, Yeonjae Lee, Yeonwoo Bae, Jinwoo Shin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez construit un robot incroyablement intelligent pour lire des instructions et observer des images. Il sait ce qu'est une « tasse », ce que signifie « verser », et peut en parler avec aisance. C'est comme un robot titulaire d'un doctorat en théorie mais sans aucune expérience du monde réel. Si vous lui demandez d'attraper une balle se déplaçant sur un convoyeur, ou de visser une ampoule sans la casser, il pourrait se figer car il ne comprend ni le mouvement, ni la mémoire, ni le toucher.

L'article présente RLDX-1, un nouveau « cerveau » de robot conçu pour résoudre ce problème. Considérez RLDX-1 non pas seulement comme un lecteur intelligent, mais comme un maître artisan qui combine trois nouveaux super-pouvoirs à son intelligence existante :

1. Les Super-pouvoirs : Mouvement, Mémoire et Toucher

Conscience du Mouvement (Le « Jongleur ») :
La plupart des robots regardent une photo fixe et devinent la prochaine action. Mais le monde réel bouge. Si une boîte glisse sur un convoyeur, une photo statique est inutile. RLDX-1 est comme un jongleur qui ne regarde pas seulement la balle ; il observe la vidéo complète de la balle traversant l'air. Il comprend la vitesse et la direction, lui permettant d'attraper des objets en mouvement que les autres robots manquent.
Mémoire à Long Terme (Le « Sherlock Holmes ») :
Certaines tâches prennent du temps. Imaginez un jeu de coquilles où un humain cache un cube sous l'une des trois tasses, s'éloigne, puis demande au robot de le trouver. Un robot n'ayant que de la « mémoire à court terme » voit les tasses mais oublie laquelle l'humain a touchée. RLDX-1 tient un « cahier » de ce qui s'est passé il y a quelques secondes ou quelques minutes. Il se souvient de la séquence des événements, lui permettant de résoudre des énigmes nécessitant de se tourner vers le passé.
Perception Physique (La « Main Délicate ») :
La vision est excellente, mais vous ne pouvez pas voir à l'intérieur d'une prise ni sentir à quelle force vous serrez un œuf fragile. RLDX-1 peut « sentir » grâce à ses capteurs. Il lit le couple (force de torsion) dans ses articulations et les signaux tactiles de sa peau. C'est comme une personne aveugle qui peut dire exactement quand une fiche est bien enfoncée dans une prise ou quand un œuf est sur le point de se fissurer, ajustant sa prise instantanément.

2. L'Entraînement : Comment il a appris

On ne peut pas enseigner ces compétences à un robot simplement en lui montrant quelques vidéos. RLDX-1 a suivi un camp d'entraînement en trois étapes :

Étape 1 : Le Généraliste (Pré-entraînement) : Il a regardé des millions de vidéos de différents robots (bras, mains, humanoïdes) faisant des choses simples. Cela lui a donné une compréhension large du fonctionnement du monde.
Étape 2 : Le Spécialiste (Entraînement intermédiaire) : Ici, il a appris ses nouveaux super-pouvoirs. Il s'est entraîné spécifiquement avec les modules « mouvement », « mémoire » et « toucher ». Pour ce faire, les chercheurs ont utilisé une astuce ingénieuse : ils ont utilisé des générateurs de vidéos par IA pour créer des milliers de nouveaux scénarios rares (comme un robot versant de la soupe dans une cuisine qui n'existe pas), puis ont utilisé les mathématiques pour déterminer ce que le robot aurait dû faire. Cela a comblé les lacunes où les données du monde réel faisaient défaut.
Étape 3 : Le Raffinement (Post-entraînement) : Enfin, il s'est entraîné sur des tâches réelles spécifiques, apprenant de ses propres erreurs. S'il échouait à saisir une tasse, il réessayait, utilisant une méthode d'apprentissage par renforcement qui agit comme un entraîneur donnant un feedback immédiat pour améliorer ses performances.

3. La Vitesse : Courir sur une Piste Rapide

Même le cerveau le plus intelligent est inutile s'il est trop lent. Si un robot met 0,1 seconde à réfléchir, le monde peut avoir changé d'ici le moment où il agit. L'article explique que RLDX-1 a été optimisé pour fonctionner 1,6 fois plus vite que les systèmes standards.

L'Analogie : Imaginez un livreur qui s'arrête à chaque feu de circulation pour consulter une carte (traitement standard). RLDX-1 est comme un conducteur qui a pré-cartographié l'ensemble de l'itinéraire, sait exactement quels feux vont passer au vert, et roule sans s'arrêter. Cela lui permet de réagir en temps réel, même sur des chaînes de montage rapides.

4. Les Résultats : La Preuve est dans le Pudding

Les chercheurs ont testé RLDX-1 contre d'autres cerveaux robotiques de premier plan (comme $\pi0.5$ et GR00T N1.6) de deux manières :

En Simulation (Le Jeu Vidéo) : RLDX-1 a systématiquement battu les autres dans des tâches de cuisine complexes et des défis d'objets en mouvement.
Dans le Monde Réel (Le Test) :
- Le Convoyeur : Lorsque les objets se déplaçaient rapidement, RLDX-1 a réussi 87,5 % du temps, tandis que le robot suivant en échouait près de 70 %.
- Le Jeu de Coquilles : Lorsqu'on lui demandait de trouver un objet caché basé sur la mémoire, RLDX-1 a eu raison 91,7 % du temps. Les autres ont deviné au hasard, réussissant seulement environ 30 % du temps.
- L'Ampoule : Lorsqu'on lui demandait de visser une ampoule jusqu'à ce qu'elle s'allume, RLDX-1 a appris à le faire en moins de tentatives qu'un entraîneur humain n'en pouvait démontrer.

Résumé

RLDX-1 est une politique robotique qui va au-delà du simple « voir et comprendre » pour agir avec dextérité. En combinant un cerveau visuel puissant avec des modules spécialisés pour le mouvement, la mémoire et le toucher, et en s'entraînant sur un mélange massif de données réelles et générées par IA, il atteint une compétence humaine dans des tâches complexes, dynamiques et délicates où les robots précédents peinaient. C'est une étape significative vers des robots capables de travailler véritablement à nos côtés dans le monde réel, désordonné, mouvant et tactile.

Résumé Technique : RLDX-1

Énoncé du Problème

Bien que les modèles Vision-Language-Action (VLA) aient démontré des progrès significatifs en matière d'"intelligence polyvalente"—la capacité à comprendre des scènes visuelles diverses, à suivre des instructions linguistiques et à se généraliser à travers des tâches—ils éprouvent souvent des difficultés avec les tâches complexes de manipulation dans le monde réel nécessitant des capacités fonctionnelles plus larges. Plus précisément, les VLA existants manquent de mécanismes explicites pour la conscience du mouvement (agir dans des environnements dynamiques avec des objets en mouvement), la mémoire à long terme (raisonner sur des histoires d'interaction étendues au-delà des cadres à court terme) et la sensibilité physique (inférer les forces de contact et les couples sous occlusion ou lors de changements visuels subtils). Ces limitations entravent le déploiement de robots généralistes dans des scénarios dynamiques, riches en contacts et à long horizon.

Méthodologie

Les auteurs introduisent RLDX-1, une politique robotique à usage général conçue pour une manipulation dextre à l'image de l'humain. Le système intègre des capacités fonctionnelles diverses dans un cadre unifié couvrant l'architecture, les données, l'entraînement et l'inférence.

1. Architecture Neurale : Transformateur d'Action Multi-Flux (MSAT)

RLDX-1 est construit sur une architecture VLA à correspondance de flux (flow-matching) mais l'étend avec trois modules fonctionnels clés et une conception novatrice de transformateur :

Conscience du Mouvement : Le socle du Modèle Langage-Vision (VLM) est augmenté d'un Module de Mouvement qui intègre une auto-similarité espace-temps (STSS) dans l'encodeur visuel pour capturer les dynamiques temporelles. De plus, les images vidéo passées sont compressées en un seul jeton de contexte pour modéliser efficacement le contexte temporel.
Mémoire à Long Terme : Un Module de Mémoire explicite maintient une file d'attente des caractéristiques de cognition passées, permettant au modèle de raisonner sur des histoires d'observation à long terme (par exemple, pour des jeux de coquilles ou des tâches multi-étapes).
Sensibilité Physique : Un Flux Physique dédié traite les signaux physiques (couple et données tactiles) séparément des entrées visuelles et linguistiques. Ce flux prédit les signaux physiques futurs parallèlement aux actions, encourageant le modèle à intérioriser les dynamiques de contact.
Architecture MSAT : Pour gérer ces modalités hétérogènes, les auteurs proposent le Transformateur d'Action Multi-Flux. Il assigne des flux dédiés à la Cognition (visuel/langage), à l'Action (proprioception/actions bruyantes) et à la Physique (tactile/couple). Ces flux interagissent via une attention conjointe tout en maintenant des paramètres spécifiques à la modalité, permettant un échange d'informations inter-modales sans perdre la fidélité de la représentation.

2. Données d'Entraînement et Pipeline

La stratégie d'entraînement repose sur un pipeline en trois étapes et un mélange de données diversifié :

Sources de Données : Le modèle est entraîné sur une combinaison de (a) grands ensembles de données réels publics (Open-X-Embodiment, DROID, Galaxea, Agibot World, etc.), (b) de données internes provenant des plateformes humanoïdes ALLEX et Franka Research 3 (FR3) augmentées de capteurs, et (c) de données synthétiques.
Génération de Données Synthétiques : Pour pallier la pénurie de données pour les scénarios dextres rares, les auteurs utilisent un pipeline exploitant des modèles génératifs vidéo (Image-to-Video) pour augmenter les scènes et les tâches. Cela est suivi d'un étiquetage des actions via un Modèle de Dynamique Inverse (IDM) et d'un processus rigoureux de filtrage en deux étapes : Filtrage de la Qualité Vidéo (utilisant des VLM) et Filtrage de la Cohérence du Mouvement (comparant les déroulements du simulateur avec les vidéos générées).
Entraînement en Trois Étapes :
1. Pré-entraînement : Entraînement sur des données multi-embodiments diversifiées pour apprendre des priors de manipulation généraux.
2. Mi-entraînement : Entraînement spécialisé sur des données spécifiques à l'embodiment (ALLEX et FR3) pour injecter des capacités fonctionnelles (mouvement, mémoire, physique) en utilisant des données internes et synthétiques.
3. Post-entraînement : Affinage spécifique à la tâche, éventuellement amélioré par l'Apprentissage par Renforcement (RL) utilisant un critique dérivé d'un VLM (cadre RECAP) pour affiner les performances sur des tâches difficiles.

3. Optimisation de l'Inférence

Pour permettre un contrôle en temps réel sur des robots réels, les auteurs mettent en œuvre un pipeline d'optimisation d'inférence en deux étapes :

Optimisation par Capture de Graphes : Convertit le modèle en un graphe CUDA statique pour éliminer la surcharge de lancement de noyaux et la fragmentation des graphes.
Optimisation des Noyaux : Conçoit des noyaux fusionnés personnalisés (par exemple, fusionnant RMSNorm, RoPE et l'attention) pour réduire le trafic mémoire et améliorer l'efficacité d'exécution sur des charges de travail à préremplissage court.
Ces optimisations réduisent la latence par étape de ~71,2 ms à 43,7 ms sur une NVIDIA RTX 5090, réalisant une accélération de 1,63×.

Résultats Clés

RLDX-1 a été évalué sur des benchmarks de simulation et des expériences dans le monde réel sur les plateformes OpenArm, ALLEX et Franka Research 3, surpassant les bases de l'état de l'art telles que $\pi0.5$ et GR00T N1.6.

Benchmarks de Simulation : RLDX-1 a obtenu les taux de réussite les plus élevés sur tous les benchmarks, y compris LIBERO (97,8 %), RoboCasa Kitchen (70,6 %) et GR-1 Tabletop (58,7 %). Notamment, il a montré une robustesse supérieure dans les variantes LIBERO-Plus et SIMPLER par rapport aux bases.
Polyvalence dans le Monde Réel (OpenArm) : Sur des tâches nécessitant le suivi d'instructions et la généralisation à des objets/tâches inédits, RLDX-1 a nettement surpassé les bases, atteignant 54,2 % sur des objets inédits contre 37,5 % pour $\pi0.5$ .
Capacités Fonctionnelles (ALLEX & FR3) :
- Conscience du Mouvement : Sur des tâches de tapis roulant à vitesses variables, RLDX-1 a atteint un taux de réussite moyen de 86,8 %, tandis que les bases s'effondraient à ~40 % ou échouaient sur des vitesses inédites.
- Mémoire à Long Terme : Dans les tâches "Sélection d'Objet dans une Boîte" et "Jeu de Coquilles", RLDX-1 a atteint des taux de réussite de 91,7 % et 91,7 % respectivement, alors que les bases performaient près du hasard (~30-50 %).
- Sensibilité Physique : Dans des tâches riches en contacts comme "Insertion de Prise" et "Prise et Pose d'Œuf", RLDX-1 a exploité le couple et le retour tactile pour atteindre des taux de réussite de 33,3 % et 61,1 %, surpassant nettement les bases qui luttaient avec les forces de contact.
Performance d'Inférence : Le pipeline optimisé a réalisé une accélération de 1,63×, permettant un déploiement en temps réel.

Importance et Revendications

L'article revendique que RLDX-1 représente une étape significative vers des VLA fiables pour la manipulation dextre complexe, riche en contacts et dynamique dans le monde réel. En allant au-delà de l'"intelligence polyvalente" pour intégrer explicitement la conscience du mouvement, la mémoire à long terme et la sensibilité physique dans une architecture unifiée de bout en bout, RLDX-1 comble les lacunes critiques des politiques de robots généralistes actuelles.

Les auteurs soulignent que leur approche n'est pas simplement une mise à l'échelle des modèles VLA existants, mais une intégration structurelle de capacités fonctionnelles nécessaires à une manipulation à l'image de l'humain. Le succès du pipeline de données synthétiques pour augmenter les données du monde réel et l'efficacité de la procédure d'entraînement en trois étapes démontrent une voie évolutive vers le déploiement de politiques généralistes sur des embodiments divers. Les résultats sur l'humanoïde ALLEX, où RLDX-1 atteint ~90 % de réussite sur des tâches fonctionnelles contre ~40 % pour les modèles de pointe, mettent en évidence la capacité du modèle à contrôler des robots à haut degré de liberté (DoF) sous des demandes fonctionnelles diverses.