💻 computer science

Jetson-PI: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference

Jetson-PI est un nouveau cadre pour le déploiement de modèles Vision-Langage-Action sur des dispositifs embarqués à faible consommation comme le Jetson Orin, qui parvient à un contrôle en temps réel en combinant un module de correction future aligné sur la prévoyance pour résoudre le désalignement perception-exécution avec une planification basée sur la confiance et des optimisations au niveau du système pour minimiser le temps de réaction et la latence.

Auteurs originaux : Zebin Yang, Qi Wang, Yunhe Wang, Xiurui Guo, Bo Yu, Shaoshan Liu, Jiafeng Xu, Hao Dong, Meng Li

Publié 2026-07-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zebin Yang, Qi Wang, Yunhe Wang, Xiurui Guo, Bo Yu, Shaoshan Liu, Jiafeng Xu, Hao Dong, Meng Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à plier une chemise ou à ramasser un bol. Vous lui donnez un cerveau (un modèle d'IA super intelligent) qui regarde une image et une commande comme « ramasse le bol noir », puis dit au bras du robot quoi faire. C'est ce qu'on appelle un modèle Vision-Langage-Action (VLA).

Le problème ? Ces cerveaux sont énormes et gourmands. Si vous essayez de faire fonctionner ces modèles sur l'ordinateur embarqué du robot (comme un Jetson Orin, qui est puissant mais minuscule comparé à un ordinateur de bureau), le robot se retrouve bloqué en « mode réflexion ». Il met tellement de temps à calculer le prochain mouvement que, le temps qu'il effectue réellement le mouvement, le monde a déjà changé. C'est comme essayer d'attraper une balle en portant des lunettes qui montrent où la balle était il y a une seconde, et non où elle est maintenant. Le robot rate son coup.

La Grande Idée : « Foresight » (Prévoyance) et « Async » (Asynchrone)
Les auteurs de ce papier, Jetson-PI, ont trouvé une méthode ingénieuse pour rendre ces robots plus rapides et plus intelligents sans avoir besoin d'un supercalculateur massif et énergivore. Ils appellent leur méthode Jetson-PI.

Voici comment ils ont résolu les deux problèmes principaux :

1. La correction du « Voyage dans le Temps » (Résoudre le désalignement)

Le Problème : Dans l'ancienne méthode, le robot regarde une image, réfléchit longtemps (disons 1,4 seconde), puis bouge. Mais en ces 1,4 seconde, le robot a pu heurter quelque chose, ou l'objet a pu se déplacer. Le robot agit sur des « nouvelles périmées ».

La Solution : Au lieu de simplement attendre, Jetson-PI utilise une astuce de « Foresight-Aligned » (Alignement par la prévoyance). Imaginez que le robot possède une petite boule de cristal ultra-rapide (un module de correction futur léger).

Le robot s'engage dans un mouvement (comme « tendre le bras vers le bol »).
La boule de cristal prédit instantanément à quoi ressemblera le monde après que ce mouvement soit terminé.
Le robot utilise ensuite cette « vue du futur » pour planifier le mouvement suivant.

C'est comme un joueur d'échecs qui ne se contente pas de regarder l'échiquier actuel, mais qui visualise instantanément l'échiquier après le prochain coup de son adversaire, ce qui lui permet de planifier parfaitement son propre coup suivant. Cela empêche le robot d'agir sur des informations obsolètes.

2. La correction du « Saut Intelligent » (Résoudre la lenteur de réaction)

Le Probl Brem : Même avec la boule de cristal, le robot doit toujours vérifier le monde réel occasionnellement. Mais vérifier le monde est lent car le « gros cerveau » (le VLM) est lourd. Si l'on vérifie le monde à chaque fois, le robot bouge trop lentement.

La Solution : Les auteurs ont introduit un « Planificateur basé sur la confiance » (Confidence-Based Scheduler).

La boule de cristal (module futur) possède également un « compteur de confiance ». Elle dit : « Je suis sûre à 90 % de savoir ce qui se passe ensuite ! »
Si la confiance est élevée, le robot saute la vérification lourde du cerveau et utilise simplement la boule de cristal pour continuer à bouger. C'est comme conduire sur une route familière où l'on n'a pas besoin de consulter le GPS chaque seconde.
Si la confiance chute (par exemple, si le robot ramasse un objet difficile), le planificateur dit : « OK, pause ! Vérifions le monde réel avec le gros cerveau pour être en sécurité. »

Cela signifie que le robot n'effectue le travail lourd que lorsqu'il est absolument nécessaire de le faire, ce qui le rend beaucoup plus réactif.

3. La « Mise à niveau du Système » (Accélérer le moteur)

Les auteurs ont également réalisé que le logiciel faisant tourner le robot était inefficace. Ils ont traité l'ordinateur du robot comme une cuisine très occupée :

Pas de reconstruction du four : Au lieu de reconstruire les instructions de cuisson (le graphe de calcul) à chaque fois, ils l'ont construit une fois et l'ont réutilisé.
Pas de marche jusqu'au frigo : Ils ont gardé tous les ingrédients (les données) directement sur le comptoir (mémoire GPU) afin que le chef n'ait pas à faire des allers-retours vers le frigo (mémoire CPU).
Déroulement des étapes : Ils ont combiné de nombreuses petites étapes en un seul mouvement fluide et continu.

Les Résultats : Est-ce que ça fonctionne ?

Les auteurs ont testé cela dans des simulations et sur de vrais robots.

Vitesse : Sur un Jetson Orin, leur méthode a rendu la fréquence de contrôle du robot 8,66 fois plus rapide qu'avec le PyTorch standard et 5,41 fois plus rapide qu'avec un outil appelé vla.cpp.
Succès : Dans un test appelé LIBERO (un benchmark pour les tâches robotiques), leur robot a réussi 14,8 % de plus souvent qu'une méthode de pointe précédente appelée VLASH.
Batterie : Ils ont montré que l'utilisation d'une carte de bureau puissante (RTX 4090) viderait la batterie d'un robot 6,0 fois plus vite que l'utilisation de leur Jetson Orin embarqué. Jetson-PI permet au robot de fonctionner sur sa propre batterie beaucoup plus longtemps.

Ce qu'ils disent explicitement ne fonctionne pas
Les auteurs ont testé quelques idées et les ont écartées :

Traitement Parallèle : Ils ont essayé de faire fonctionner le « gros cerveau » et l'« expert d'action » exactement en même temps pour gagner du temps. Ils ont constaté que cela échoue sur les petits ordinateurs embarqués car ils se disputent tous deux la même bande passante de données limitée, ce qui ralentit tout. Cela ne fonctionne que sur les gros ordinateurs de bureau.
Prédire uniquement l'état du robot : Les méthodes précédentes essayaient de deviner où le bras du robot serait dans le futur. Les auteurs ont trouvé que cela ne suffit pas car cela ne tient pas compte de la façon dont l'environnement (la table, les objets) change. Il faut prédire l'environnement, et pas seulement le robot.

À quel point sont-ils sûrs ?
Le papier est très confiant dans les chiffres qu'ils ont mesurés. Ils ont effectué des simulations approfondies sur le benchmark LIBERO et ont fait des tests sur de vrais robots (comme le X2-W) dans un laboratoire. Ils ont mesuré précisément les millisecondes de délai et les taux de réussite exacts. Ils affirment clairement que, bien que leur méthode soit une améliure considérable pour les robots mobiles, elle ne peut pas encore égaler pleinement la puissance brute d'un immense cluster de supercalculateurs si les modèles deviennent encore plus grands à l'avenir. Mais pour un robot qui doit se déplacer sur sa propre batterie ? Ils suggèrent que c'est une solution pratique et fonctionnelle.

En résumé, Jetson-PI apprend à un robot à « anticiper » et à « sauter le travail lourd » quand c'est sûr de le faire, lui permettant de bouger rapidement et intelligemment sans avoir besoin d'un supercalculateur dans son sac à dos.

Résumé Technique : Jetson-PI

Problématique

Les modèles Vision-Language-Action (VLA) ont démontré des performances remarquables dans les tâches incarnées en exploitant des modèles Vision-Language (VLM) pré-entraînés et en les affinant sur des jeux de données de démonstration robotique. Cependant, le déploiement de ces modèles sur des dispositifs embarqués à faible puissance (par exemple, NVIDIA Jetson Orin) se heurte à deux barrières critiques :

Latence d'inférence élevée : La complexité computationnelle des modèles VLA entraîne une latence d'inférence substantielle (par exemple, ~~1,4 s sur Jetson Orin), ce qui conduit à des fréquences de contrôle faibles (~~0,7 Hz) et des temps de réaction lents.
Limites de l'inférence asynchrone existante : Bien que l'inférence asynchrone (parallélisant l'exécution de l'action avec l'inférence suivante) puisse masquer la latence, elle introduit deux problèmes spécifiques sur les dispositifs de bord :
- Désalignement Perception-Exécution : Au moment où un bloc d'action est prédit et exécuté, l'environnement a évolué par rapport à l'image d'entrée utilisée pour la prédiction. Ce désalignement s'aggrave avec des temps d'inférence plus longs, provoquant une chute de la précision de la prédiction.
- Temps de Réaction Long : La vitesse de réaction du robot reste limitée par le temps d'inférence du VLA. De plus, les méthodes asynchrones existantes nécessitent souvent de grands blocs d'actions pour maintenir la stabilité, ce qui augmente davantage le temps de réaction moyen face aux changements environnementaux.

Le déploiement de modèles VLA sur des GPU haut de gamme (par exemple, RTX 4090) n'est pas une solution viable pour la robotique mobile en raison de la consommation d'énergie sévère (réduisant l'autonomie de la batterie de 6,0×) et de la nécessité d'une connectivité réseau s'ils sont exécutés comme serveurs.

Méthodologie : Jetson-PI

Les auteurs proposent Jetson-PI, un cadre pour le déploiement efficace des VLA sur des dispositifs embarqués via une Correction Asynchrone Alignée sur la Prévoyance (Foresight-Aligned Asynchronous Correction). La méthode répond aux défis identifiés grâce à trois composantes clés :

1. Correction Asynchrone Alignée sur la Prévoyance

Pour résoudre le désalignement perception-exécution, les auteurs introduisent un Module de Correction Future léger.

Mécanisme : Au lieu de prédire uniquement les images futures ou les états du robot, ce module prédit la représentation VLM compressée future (état latent) au temps $t + \Delta$ (où $\Delta$ est la latence d'inférence), conditionnée par les actions engagées pour l'exécution.
Entraînement : Un pipeline d'entraînement en deux étapes est utilisé. Premièrement, l'expert d'action apprend à prédire les actions à partir des états cachés futurs. Deuxièmement, le module de correction est entraîné pour prédire ces états futurs à partir de l'état actuel et des actions engagées, en produisant une estimation de confiance.
Bénéfice : Cela permet à l'expert d'action de prédire les actions basées sur l'état futur de l'environnement plutôt que sur l'observation obsolète, alignant ainsi la prédiction avec le temps d'exécution. Le module est extrêmement léger (40 millions de paramètres, soit ~1 % de la taille totale du VLA).

2. Optimisation de l'Ordonnancement Basée sur la Confiance

Pour réduire le temps de réaction, les auteurs proposent une stratégie d'ordonnancement dynamique qui équilibre les invocations du VLM et de l'Expert d'Action.

Logique : Le Module de Correction Future agit comme un ordonnanceur. Si sa confiance prédite est supérieure à un seuil $\theta$ , le système saute l'inférence lourde du VLM et repose uniquement sur l'Expert d'Action pour générer les blocs d'actions suivants. Si la confiance chute (indiquant une incertitude élevée ou un changement environnemental significatif), le VLM est invoqué pour mettre à jour le cache KV et les états cachés.
Raisonnement : Cela évite l'approche "naïve" consistant à exécuter le VLM et l'Expert d'Action en parallèle, ce que les auteurs démontrent être inefficace sur les dispositifs de bord en raison de la contention de la bande passante (les deux composants deviennent limités par la bande passante sur le matériel de bord, contrairement aux GPU haut de gamme où le VLM est limité par le calcul).

3. Accélérations au Niveau du Système

Les auteurs ont construit un cadre d'inférence basé sur llama.cpp adapté aux caractéristiques des VLA sur les plateformes de bord :

Réutilisation des Graphes CUDA : Puisque les longueurs de jetons VLA sont déterministes (résolution d'image fixe et instructions courtes), le graphe CUDA est construit une seule fois et réutilisé, éliminant l'overhead de construction du graphe.
Mise en Tampon Intermédiaire Résidente sur le GPU : Les résultats intermédiaires entre les composants (ViT $\to$ LLM $\to$ Expert d'Action) sont conservés en mémoire GPU pour éviter la latence de communication CPU-GPU.
Déroulement du Flow Matching (Flow Matching Unrolling) : Les étapes de débruitage itératives de l'Expert d'Action sont déroulées en un graple de calcul unifié, réduisant le nombre d'appels de lancement de noyaux (kernel launch calls).

Contributions Clés

Identification des Défis Spécifiques à l'Edge : L'article souligne que l'inférence asynchrone standard échoue sur les dispositifs de bord en raison de la contention de la bande passante et de la nature spécifique du désalignement perception-exécution, qui ne peut être résolu en prédisant uniquement les états du robot.
Correction Alignée sur la Prévoyance : Un module novateur qui prédit les latents VLM futurs conditionnés par les actions engagées, permettant à l'expert d'action d'opérer sur des représentations environnementales futures.
Ordonnancement Adaptatif : Un mécanisme piloté par la confiance qui ajuste dynamiquement la fréquence des invocations du VLM, réduisant considérablement le temps de réaction sans sacrifier la précision.
Moteur d'Inférence Optimisé pour l'Edge : Une conception de système exploitant la réutilisation de graphes, la résidence mémoire et le déroulement pour maximiser le débit sur les dispositifs limités par la bande passante.

Résultats Expérimentaux

Les auteurs ont évalué Jetson-PI sur le benchmark LIBERO (en utilisant le modèle $\pi0.5$ ) et sur des robots réels (PrimeBot X2-W).

Fréquence de Contrôle : Sur NVIDIA Jetson Orin, Jetson-PI atteint une amélioration de 8,66× de la fréquence de contrôle par rapport à l'inférence PyTorch naïve et une amélioration de 5,41× par rapport à vla.cpp.
Taux de Succès : Sur le benchmark LIBERO, Jetson-PI surpasse la méthode asynchrone de pointe VLASH de 14,8 % en taux de succès moyen. Il maintient une précision élevée même lorsque la latence d'inférence ( $\Delta$ ) augmente, là où VLASH et RTC (Reinforced Trajectory Correction) se dégradent considérablement.
Performance en Monde Réel : Dans des expériences réelles impliquant des tâches complexes comme le pliage de vêtements, Jetson-PI sur un Jetson Orin a obtenu des performances comparables à une configuration RTX 4090, avec une perte de précision négligeable par rapport à la base de référence haut de gamme.
Décomposition de la Latence : Les optimisations système (réutilisation de graphes, mise en tampon, déroulement) ont réduit le temps de réaction total de ~1,4 s à ~0,16 s sur Jetson Orin.

Signification et Revendications

L'article affirme que Jetson-PI fournit une solution pratique pour le déploiement de modèles VLA à grande échelle sur des robots mobiles alimentés par batterie et à faible puissance. En abordant les goulots d'étranglement spécifiques de l'informatique de bord — à savoir les contraintes de bande passante et le décalage temporel entre perception et exécution — la méthode permet un contrôle robotique réactif et à haute fréquence sans les pénalités de puissance des clusters de GPU haut de gamme. Les auteurs soulignent que bien que les plateformes embarquées soient fondamentalement limitées par rapport aux clusters de GPU, Jetson-PI offre une voie viable pour étendre les applications VLA des démonstrations de laboratoire aux scénarios réels et mobiles.