Embodied.cpp: A Portable Inference Runtime of Embodied AI Models on Heterogeneous Robots
Ce document introduit Embodied.cpp, un moteur d'inférence C++ portable conçu pour unifier le déploiement fragmenté de divers modèles d'IA incarnée (tels que les VLA et les WAM) sur des robots de bord hétérogènes en fournissant une architecture modulaire à cinq couches qui permet un contrôle en boucle fermée à faible latence et à taux multiples tout en améliorant considérablement l'efficacité de la mémoire et les taux de réussite des tâches.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous ayez construit un cerveau de robot brillant et hautement intelligent. Il peut voir, comprendre le langage et planifier le mouvement de ses bras pour saisir une tasse. Mais en ce moment, faire fonctionner ce cerveau sur un vrai robot, c'est comme essayer de faire entrer un moteur de Formule 1 dans un cadre de bicyclette en utilisant du ruban adhésif et un couteau suisse.
Actuellement, chaque fois qu'un scientifique construit un nouveau cerveau de robot, il doit écrire un tout nouveau jeu de « code de liaison » (le logiciel qui connecte le cerveau aux capteurs et aux moteurs du robot). Ce code est souvent désordonné, écrit en Python, et ne fonctionne que sur des ordinateurs spécifiques. Si vous changez de robot ou de cerveau, vous devez reconstruire toute la connexion à partir de zéro.
Entrez dans « Embodied.cpp ».
Considérez Embodied.cpp comme un kit d'adaptateur universel et haute performance pour les cerveaux de robots. C'est un morceau de logiciel écrit en C++ (un langage connu pour sa rapidité et son efficacité) qui sert de pont entre n'importe quel nouveau cerveau de robot et n'importe quel corps de robot, qu'il s'agisse d'un minuscule robot sur une puce ou d'un robot de travail géant.
Voici comment cela fonctionne, en utilisant quelques analogies simples :
1. Le Problème : L'adaptateur « Taille Unique Inadaptée »
Imaginez que vous ayez un système de maison intelligente. Certaines lumières s'allument chaque seconde, le thermostat vérifie la température chaque minute et la caméra de sécurité enregistre chaque heure.
- L'ancienne méthode : Vous construisez un minuteur séparé, un capteur séparé et un interrupteur séparé pour chaque appareil. Si vous ajoutez un nouvel appareil, vous devez recâbler tout un circuit.
- Le problème du papier : Les cerveaux de robots sont identiques. Certaines parties (comme les yeux) doivent se mettre à jour lentement, tandis que d'autres (comme les commandes motrices) doivent se mettre à jour très rapidement. Les logiciels existants essaient de faire fonctionner tout le monde à la même vitesse, ce qui est inefficace et provoque des retards.
2. La Solution : Un système de « LEGO » modulaire
Les auteurs ont conçu Embodied.cpp comme un ensemble de LEGO technologique comprenant cinq couches spécifiques :
- Adaptateurs d'entrée : Ce sont comme des prises universelles. Que le robot voie une caméra, ressente un toucher ou lise un capteur de force, cette couche traduit cela dans un langage que le cerveau comprend.
- Constructeurs de séquences : Cela organise les données, comme un bibliothothécaire triant des livres avant de les mettre en rayon.
- Exécution du noyau (Backbone) : C'est la « salle des machines » où la réflexion principale a lieu.
- Plugins de tête (Head Plugins) : Ce sont les outils spécialisés. Un robot peut avoir besoin d'un outil de « saisie », un autre d'un outil de « marche ». Vous n'avez qu'à emboîter le bon plugin sans reconstruire le moteur.
- Adaptateurs de déploiement : C'est la couche de sortie qui communique avec le monde réel, envoyant des commandes aux moteurs du robot ou au logiciel de simulation.
3. Les Trois Superpouvoirs
Le papier souligne trois façons spécifiques dont ce système est meilleur que ce qui existe aujourd'hui :
Exécution multi-fréquence (Le chef d'orchestre) :
Dans un robot, les « yeux » n'ont pas besoin de cligner aussi vite que les « doigts ». Embodied.cpp agit comme un chef d'orchestre, permettant aux yeux de suivre un rythme lent et aux doigts de suivre un rythme rapide, le tout au sein du même système. Les anciens logiciels essaient de faire marcher tout le monde au même rythme, ce qui gaspille de l'énergie et provoque de la latence.Contrôle axé sur la latence (Le pilote de course) :
Dans le cloud computing (comme discuter avec une IA), la vitesse est mesurée par le nombre de personnes que vous pouvez servir simultanément. Mais pour un robot, la vitesse est mesurée par la rapidité avec laquelle il réagit à une seule commande. Si un robot attrape un objet qui tombe, il ne peut pas attendre un « lot » de calculs ; il a besoin d'une réponse instantanée. Embodied.cpp est conçu pour donner la priorité à ce temps de réaction à la fraction de seconde sur différents types de matériel (des petites puces aux gros ordinateurs).Interfaces extensibles (La télécommande universelle) :
Les robots ne produisent pas seulement des « mots » ou des « jetons ». Ils produisent des choses complexes comme « bouger le bras de 30 degrés », « prédire où la balle sera dans 2 secondes » ou « serrer doucement ». Embodied.cpp est conçu pour gérer ces sorties personnalisées et étranges sans avoir besoin d'être réécrit à chaque nouvelle invention de robot.
4. Les Résultats : Est-ce que ça marche ?
Les auteurs ont testé ce système avec deux types différents de cerveaux de robots :
- Les cerveaux « Vision-Langage » (VLA) : Ils ont testé deux modèles (HY-VLA et pi0.5). Le système a contrôlé avec succès un robot pour accomplir des tâches.
- Résultat : Un modèle a réussi 100 % du temps, et l'autre 91 %. Cela a prouvé que le logiciel pouvait faire fonctionner des cerveaux complexes sur du matériel réel sans planter.
- Les cerveaux « Monde-Action » (WAM) : Ce sont des modèles plus récents qui tentent de prédire le futur (comme deviner où une balle va rouler). Ils ont testé une petite partie de ce cerveau.
- Résultat : En utilisant ce nouveau logiciel, ils ont réduit la mémoire nécessaire pour faire fonctionner cette partie du cerveau de 312 MiB à 88 MiB. C'est comme réduire un sac à dos lourd en une petite pochette, ce qui facilite grandement l'exécution sur des robots plus petits et moins chers.
L'essentiel
Embodied.cpp est un moteur portable et rapide pour l'intelligence robotique. Il empêche les scientifiques de devoir réinventer la roue à chaque fois qu'ils construisent un nouveau robot. Au lieu d'écrire un code personnalisé et désordonné pour chaque nouveau projet, ils peuvent brancher leur nouveau cerveau de robot dans ce système universel, et cela fonctionne — rapidement, efficacement et sur presque tout type de matériel.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.