💻 computer science

OpenEAI-Platform: An Open-source Embodied Artificial Intelligence Hardware-Software Unified Platform

Le document présente OpenEAI-Platform, un système unifié matériel-logiciel entièrement open-source doté d'un bras robotique 6+1-dof à bas coût et haute précision, ainsi que d'un modèle vision-langage-action reproductible qui atteint des performances comparables aux bras commerciaux et aux bases de référence à grande échelle en utilisant uniquement des données open-source.

Auteurs originaux : Jinyuan Zhang, Luoyi Fan, Leiyu Wang, Yeqiang Wang, Yicheng Zhu, Cewu Lu, Nanyang Ye

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jinyuan Zhang, Luoyi Fan, Leiyu Wang, Yeqiang Wang, Yicheng Zhu, Cewu Lu, Nanyang Ye

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée générale : Construire un cerveau et un corps de robot en "Do-It-Yourself"

Imaginez que vous vouliez apprendre à un robot à plier un t-shirt ou à préparer un thé. Par le passé, c'était comme essayer de construire un moteur de Ferrari en portant des gants de cuisine : le matériel (le bras du robot) était trop cher à acheter, et le logiciel (le cerveau) était une "boîte noire" dont personne ne pouvait voir l'intérieur ni copier le contenu.

Les auteurs de cet article disent : « Réparons cela. » Ils ont construit la Plateforme OpenEAI, un système entièrement open-source qui comprend à la fois le bras du robot (matériel) et le cerveau IA (logiciel). Leur objectif est de rendre facile et peu coûteux pour n'importe qui de construire un robot capable d'apprendre à accomplir des tâches réelles, tout comme un humain le ferait.

Partie 1 : Le Corps (OpenEAI-Arm)

Le Problème :
La plupart des bras robotiques utilisés dans la recherche sont comme des voitures de luxe. Ils coûtent entre 7 000 $ et 40 000 $. Ce sont aussi souvent des "boîtes noires", ce qui signifie que vous ne pouvez pas facilement modifier la façon dont leurs moteurs fonctionnent ou dont ils se déplacent. C'est comme acheter une voiture où vous ne pouvez pas toucher le moteur ou le volant ; vous appuyez juste sur un bouton et vous espérez que cela fonctionne.

La Solution :
L'équipe a construit l'OpenEAI-Arm.

L'Analogie : Considérez cela comme l'« IKEA » des bras robotiques. Il ne coûte qu'environ 790 $ à construire (contre des milliers pour les autres).
Comment ça marche : Ils n'ont pas simplement deviné comment le construire. Ils ont utilisé un algorithme mathématique super intelligent (comme un GPS pour la conception) pour déterminer la forme parfaite et les angles des articulations. Cela garantit que le bras peut atteindre partout où il en a besoin sans rester coincé ou user ses pièces trop rapidement.
Le Résultat : Il est léger, robuste et se déplace avec fluidité. Lors des tests, il a performé aussi bien que (et parfois mieux que) les bras commerciaux coûteux lorsqu'on lui donnait les mêmes instructions.

Partie 2 : Le Cerveau (OpenEAI-VLA)

Le Problème :
Pour faire bouger un robot, vous avez besoin d'un modèle "Vision-Langage-Action" (VLA). Il s'agit d'une IA qui regarde une image, lit une phrase (comme « plie le t-shirt noir ») et décide de ce qu'elle doit faire.

Le Problème : Les meilleurs cerveaux IA actuels sont entraînés sur des ensembles de données massifs et secrets que seules les grandes entreprises possèdent. C'est comme essayer d'apprendre à conduire en lisant un manuel que seul le fabricant possède. Si vous ne pouvez pas voir les données, vous ne pouvez pas reproduire les résultats.

La Solution :
Ils ont créé l'OpenEAI-VLA.

L'Analogie : Au lieu d'une recette secrète, ils ont créé un livre de cuisine public. Ils ont entraîné leur IA en utilisant uniquement des données qui sont déjà gratuites et accessibles à tous sur Internet.
L'Entraînement en deux étapes :
1. La phase d'« École » (Pré-entraînement) : L'IA lit des millions de vidéos et d'images de robots publics pour apprendre des concepts généraux (à quoi ressemble une « tasse », ce que signifie « saisir »).
2. La phase de « Stage » (Affinage/Fine-tuning) : L'IA s'exerce sur l'OpenEAI-Arm spécifique avec une petite quantité de nouvelles données pour apprendre comment déplacer ce bras spécifique.
Le Tour de Magie : Ils ont utilisé une « Requête Apprenable » (Learnable Query). Imaginez que l'IA possède une immense bibliothèque de connaissances. Au lieu de lire toute la bibliothèque chaque fois qu'elle doit bouger, elle utilise un marque-page spécial (la requête) pour extraire instantanément l'information exacte dont elle a besoin pour la tâche. Cela la rend rapide et efficace.

Partie 3 : Le Système Nerveux (Conception du Contrôle)

Le Problème :
Même avec un excellent cerveau et un bon corps, le robot peut être saccadé. Si l'IA dit « bouge ici », et que le robot bouge là, puis s'arrête, puis bouge à nouveau, il va trembler et lâcher des objets. C'est comme essayer de conduire une voiture où la pédale d'accélérateur est bloquée sur « ON » et « OFF » sans aucune nuance entre les deux.

La Solution :
Ils ont construit un système de contrôle spécial qui agit comme un conducteur fluide.

L'Analogie : Ils utilisent une technique appelée « interpolation de Bézier ». Imaginez tracer une ligne entre deux points. Une ligne brisée est saccadée ; une courbe lisse est facile à suivre. Le système de contrôle du robot transforme les instructions hachées de l'IA en courbes fluides et douces.
Le Résultat : Le bras se déplace délicatement, comme une main humaine, plutôt que de tressauter comme un robot. Cela lui permet de gérer des tâches délicates comme plier une serviette sans la déchirer.

Partie 4 : Les Résultats (Est-ce que ça a marché ?)

L'équipe a testé leur système sur quatre tâches réelles :

Nettoyer une table (ramasser des objets).
Préparer un thé (une séquence d'étapes).
Plier une serviette (gérer un tissu mou et souple).
Plier un t-shirt (une tâche complexe de coordination à deux bras).

Les Constatations :

Matériel : Le bras à 790 $ a fonctionné aussi bien que les bras à 10 000 $.
Logiciel : Leur IA, entraînée uniquement sur des données gratuites, a presque aussi bien performé que les modèles de pointe entraînés sur des données massives et secrètes.
Comparaison : Lorsqu'ils ont testé le même cerveau IA sur différents bras robotiques, l'OpenEAI-Arm était le plus fiable. Les bras moins chers, de type « boîte noire », échouaient souvent car ils ne pouvaient pas bouger avec assez de précision.

L'Essentiel

L'article affirme qu'en ouvrant les plans (comment construire le bras), le code (comment le contrôler) et les recettes d'entraînement (comment enseigner à l'IA), ils ont levé les plus grands obstacles à la recherche robotique.

La Métaphore :
Avant cet article, construire un robot intelligent revenait à essayer de construire une maison en utilisant uniquement des briques que vous deviez acheter auprès d'un seul fournisseur coûteux, avec un plan que vous ne pouviez pas voir.
La Plateforme OpenEAI est comme si l'on remettait à tout le monde un plan détaillé gratuit, une liste de matériaux peu coûteux et un guide étape par étape pour construire la maison soi-même. Ils ont prouvé qu'avec une conception adéquate, il n'est pas nécessaire d'être riche pour construire un robot intelligent et capable.

Note : L'article se concentre strictement sur la conception matérielle, le pipeline d'entraînement de l'IA et la performance sur ces tâches de manipulation spécifiques. Il ne prétend pas que le système est prêt pour un usage médical, une production industrielle de masse ou d'autres applications spécifiques en dehors du contexte de recherche décrit.

Résumé Technique : Plateforme OpenEAI

Énoncé du Problème

L'avancement de l'IA incarnée (Embodied AI) dans la manipulation en conditions réelles est actuellement entravé par deux goulots d'étranglement primaires : la reproductibilité et la scalabilité.

Limitations Matérielles : Les systèmes existants reposent souvent sur des bras robotiques commerciaux coûteux (allant de 7 000 $ à plus de 40 000 $) ou sur des prototypes imprimés en 3D avec des degrés de liberté (DoF) et une charge utile limités. Les bras commerciaux sont fréquemment des « boîtes noires » dotées d'interfaces de bas niveau propriétaires, ce qui entrave l'étude du couplage entre les algorithmes Vision-Langage-Action (VLA) et le contrôle de bas niveau. De plus, les différences structurelles entre les manipulateurs créent des écarts d'incarnation (cross-embodiment gaps) qui empêchent une comparaison équitable et l'apprentissage par transfert.
Limitations Algorithmiques : Les modèles VLA de pointe (par exemple, la série Physical Intelligence $\pi_0$ , $\pi_0.5$ ) s'appuient sur des jeux de données massifs et propriétaires ainsi que sur des infrastructures d'entraînement privées. Cela crée des « îlots de données » où les jeux de données open-source présentent des définitions d'états/actions incohérentes, rendant difficile la reproduction des résultats ou la mise à l'échelle de la collecte de données sans un effort d'ingénierie significatif.

Méthodologie

Les auteurs introduisent la Plateforme OpenEAI, un système unifié matériel-logiciel entièrement open-source conçu pour répondre à ces goulots d'étranglement grâce à une reproductibilité de bout en bout.

1. Matériel : OpenEAI-Arm

La plateforme présente un bras robotique à faible coût, doté de 6+1 DoF, conçu pour la manipulation de bureau centrée sur l'humain.

Optimisation de la Conception : La géométrie du bras est optimisée à l'aide d'un algorithme NSGA-III multi-objectif ciblant deux métriques : l'Opérabilité de Manipulation (richesse de la solution cinématique dans les régions pertinentes pour la tâche) et l'Efficacité d'Endurance (minimisation de l'usure mécanique et du coût énergétique). La conception respecte les contraintes anthropométriques.
Système de Contrôle : Pour assurer l'exécution stable des blocs d'actions discrets du VLA, le système utilise un contrôleur PID à compensation de dynamique (FF-PID). Celui-ci utilise un modèle dynamique d'Euler-Lagrange pour fournir une compensation de couple par anticipation (feedforward) pour l'inertie, le Coriolis et la gravité.
Lissage de Trajectoire : Un schéma de tronçonnage d'action par Bézier à trois points roulants (Three-Point Rolling Bézier Action Chunking) interpole les sorties discrètes du VLA à l'aide de polynômes quintiques et d'un profil en S à sept phases. Cela garantit des transitions de vitesse et d'accélération fluides, supprimant les pics de couple et respectant les limites d'actionnement des articulations.

2. Algorithme : OpenEAI-VLA

La plateforme inclut une politique VLA reproductible entraînée exclusivement sur des données open-source.

Architecture : Le modèle utilise Qwen3-VL-4B comme backbone VLM. Au lieu de transmettre tous les états cachés à la tête d'action, il introduit une requête de caractéristique apprenable (learnable feature query) pour compresser la perception multimodale en plongements de conditionnement (embeddings) de longueur fixe. La tête d'action est un Transformer de Diffusion (DiT) qui prédit des blocs d'actions continus via le flux de correspondance (flow matching).
Recette d'Entraînement en Deux Étapes :
- Pré-entraînement : Le modèle est pré-entraîné sur un mélange curaté du jeu de données Open-X-Embodiment. Un pipeline de conversion de données standardisé aligne les conventions hétérogènes d'état/action. Durant cette étape, le backbone VLM est gelé pour préserver les priors multimodaux, tandis que seule la requête de caractéristique, les adaptateurs de données et la tête d'action sont entraînés.
- Fine-tuning : Le modèle est affiné sur de petites échelles de démonstrations in-domain collectées sur l'OpenEAI-Arm, augmentées de données multimodales (COCO, VQA-v2, PixMo-Points) pour prévenir l'oubli catastrophique de l'ancrage spatial et du suivi d'instructions.

3. Pipeline de Données

La plateforme fournit une interface unifiée pour l'intégration de jeux de données, incluant des outils pour nettoyer, convertir et aligner divers jeux de données robotiques open-source dans un format cohérent, permettant un pré-entraînement scalable sans données propriétaires.

Contributions Clés

Matériel Reproductible : Un bras robotique à 6 degrés de liberté à faible coût (~790 $ de coût de matériaux) avec des conceptions de fabrication complètes, des pilotes de bas niveau et du code de contrôle, permettant la personnalisation et une production scalable.
Pipeline d'Entraînement Reproductible : Une recette complète de données et d'entraînement en deux étapes utilisant uniquement des jeux de données open-source (Open-X-Embodiment, COCO, etc.), incluant des outils de conversion de données et des scripts d'entraînement.
Politique VLA Open-Source : Un modèle VLA de bout en bout (OpenEAI-VLA) construit sur Qwen3-VL-4B avec une tête d'action Transformer de Diffusion, capable d'être entraîné à partir de zéro en utilisant le code source publié.
Validation Complète : Expérimentations approfondies démontrant que la plateforme atteint une exécution matérielle robuste et des performances de politique compétitives par rapport aux bras commerciaux et aux bases VLA à grande échelle.

Résultats Expérimentaux

Les auteurs ont évalué le système sur quatre tâches réelles : Nettoyer la table, Faire du thé, Plier une serviette et Plier un T-shirt.

Comparaison Matérielle : En exécutant la même politique ( $\pi_0$ ) sur l'OpenEAI-Arm, l'ARX R5 et l'AgileX Piper, l'OpenEAI-Arm a obtenu le taux de réussite moyen le plus élevé (0,75), surpassant l'ARX R5 (0,71) et le Piper (0,64). Il a démontré un volume d'espace de travail et une marge de couple comparables aux bras commerciaux, mais avec un poids et un coût nettement inférieurs.
Comparaison de Modèles : L'OpenEAI-VLA, entraîné purement sur des données open-source, a obtenu des taux de réussite compétitifs face aux bases à grande échelle.
- Sur Nettoyer la table, il a atteint un succès de 0,94 (contre $\pi_0$ à 0,92 et $\pi_0.5$ à 0,96).
- Sur Plier un T-shirt (une tâche complexe de manipulation d'objet déformable à deux bras), il a atteint 0,83, égalant la performance de $\pi_0.5$ et surpassant nettement les politiques généralistes antérieures comme Octo et ACT.
Études d'Ablation :
- Contrôle : La suppression de la compensation de dynamique par anticipation a augmenté les erreurs d'accélération d'environ 70x et les erreurs de couple d'environ 3,4x par rapport à la ligne de base, confirmant la nécessité de la stratégie FF-PID.
- Architecture : La suppression de l'adaptateur de données a provoqué l'effondrement des performances à 0,0, soulignant le besoin critique de gérer les conventions d'action/état hétérogènes. La suppression du co-entraînement multimodal lors du fine-tuning a réduit le succès moyen à 0,30, soulignant l'importance des objectifs multimodaux auxiliaires pour l'ancrage spatial.

Signification

L'article soutient que le progrès des systèmes VLA dépend de la reproductibilité de bout en bout plutôt que de la seule conception du modèle. En publiant l'intégralité de la pile — des conceptions mécaniques et contrôleurs de bas niveau aux pipelines de données et recettes d'entraînement — la plateforme OpenEAI vise à abaisser la barrière à l'entrée de la recherche en IA incarnée. Elle permet aux chercheurs d'étudier l'interaction entre les algorithmes VLA et le contrôle de bas niveau sans les contraintes du matériel ou des données propriétaires. Les auteurs affirment qu'en s'appuyant uniquement sur des données et du code open-source, la plateforme atteint une fiabilité matérielle et des performances de politique comparables aux systèmes de pointe utilisant des jeux de données propriétaires massifs, facilitant ainsi un progrès scalable et reproductible dans le domaine.