Bimanual Manipulation Within an 8 GB Budget: Zero-Copy Sensing and Quantized ACT on an Entry-Level Jetson

Imaginez un monde où les robots ne sont pas seulement des machines massives dans une usine, mais des assistants agiles capables de plier le linge, de vous tendre une boisson ou de ramasser un sac de haricots mou avec deux mains à la fois. Pendant longtemps, enseigner à ces robots des tâches aussi délicates nécessitait la « téléopération », où un humain guide à distance les bras du robot pour lui montrer comment faire. Le robot apprend ensuite en copiant ces mouvements, un processus appelé « apprentissage par imitation ». Mais voici le problème : jusqu'à présent, le « cerveau » de ces robots nécessitait généralement un ordinateur massif et coûteux — comme une station de travail surpuissante dotée d'une carte graphique géante — pour réfléchir et bouger. Cela signifiait que le robot était souvent relié par un cordon à une machine lourde et gourmande en énergie, ce qui rendait son utilisation difficile dans de vraies maisons ou en déplacement. La grande question que se posent les chercheurs est la suivante : pouvons-nous réduire ce cerveau géant pour qu'il tienne dans une puce informatique minuscule et abordable qui vit directement sur le robot ?

Cet article fait un pas audacieux dans cette direction. Les chercheurs ont construit un système robotique à deux mains qui fonctionne entièrement sur un NVIDIA Jetson Orin Nano Super, une petite puce informatique d'entrée de gamme avec seulement 8 Go de mémoire (environ la taille du stockage d'un grand smartphone). Ils l'ont testé sur une tâche difficile : ramasser un sac de haricots déformable avec deux bras et le déplacer vers un point cible. Ils voulaient voir s'ils pouvaient rendre le robot assez rapide et intelligent pour travailler sans l'aide d'un gros ordinateur.

Les trois grandes surprises

L'équipe est partie de trois grandes suppositions sur ce qui serait le plus difficile à réaliser. Ils s'attendaient à être confrontés à des limites de mémoire, ils s'attendaient à devoir choisir entre deux types différents d'architectures de « cerveau », et ils s'attendaient à ce que rendre le robot plus rapide nécessite de sacrifier la précision. Mais leurs expériences ont renversé ces suppositions.

1. Le mythe de la mémoire : ce n'était pas la RAM, c'était le CPU
Les chercheurs pensaient que le flux vidéo provenant de trois caméras (une sur la tête du robot, deux sur ses poignets) remplirait les 8 Go de mémoire du robot, provoquant un plantage ou des pertes de trames. Ils ont construit un pipeline spécial « zero-copy » pour maintenir les données vidéo dans la mémoire graphique sans les déplacer vers le processeur principal, espérant ainsi économiser de l'espace.

• La réalité : Ils se sont trompés sur la mémoire. La méthode standard de déplacement des données vidéo s'intégrait parfaitement dans la limite des 8 Go et n'a pas perdu une seule trame.
• La vraie victoire : L'astuce « zero-copy » n'a pas économisé d'espace ; elle a économisé du temps et de l'énergie cérébrale. En empêchant le processeur principal du robot de gaspiller de l'énergie à déplacer les données vidéo, ils ont libéré une quantité massive de puissance CPU. L'utilisation de pointe d'un seul cœur de processeur est passée d'un état de transpiration à 98,0 % à un état détendu de 77,0 %. C'est comme enlever un sac à dos lourd à un coureur ; le coureur ne devient pas plus grand, mais il peut courir beaucoup plus vite et plus fluidement. Cette marge de manœuvre supplémentaire était cruciale pour maintenir la boucle de contrôle du robot de manière fluide, sans rater un battement.

2. La course du cerveau : Vitesse contre Patience
L'équipe a entraîné deux types différents de cerveaux de robot sur exactement le même ensemble de démonstrations : ACT (Action Chunking with Transformers) et Diffusion Policy.

• La configuration : Ils ont donné à ACT 100 000 étapes d'entraînement (un montant standard pour ce type de cerveau) et ont donné à Diffusion Policy 200 000 étapes (deux fois plus, car la Diffusion a généralement besoin de plus de temps pour apprendre).
• Le résultat : ACT a appris la tâche parfaitement, réussissant 19 essais sur 20. Diffusion Policy, malgré le double de temps d'entraînement, n'a pas réussi à apprendre une stratégie utilisable (0 sur 10 essais).
• La leçon : Ce n'est pas parce que Diffusion est un « mauvais » cerveau. C'est parce que Diffusion est coûteux à entraîner. Avec un budget serré, le « apprenant rapide » (ACT) était le seul capable de terminer la course. Les chercheurs soulignent que cela ne signifie pas que Diffusion est pire pour toujours, mais qu'il coûte trop de « pas de gradient » (temps d'entraînement) pour être pratique dans cette configuration spécifique pour le moment.

3. L'astuce de vitesse : Quand le « assez bien » est en fait parfait
Pour rendre le robot assez rapide pour réagir en temps réel, l'équipe a converti le cerveau ACT pour qu'il fonctionne sur un moteur spécialisé appelé TensorRT et a essayé de le faire fonctionner avec une précision moindre (en utilisant des calculs FP16 et INT8 au lieu de la précision extrême FP32).

• Le boost de vitesse : Réduire la précision a rendu le robot beaucoup plus rapide pour réfléchir. Le temps nécessaire pour prendre une décision est passé de 114,02 ms (millisecondes) avec la pleine précision à 17,93 ms avec FP16, et descendu à 12,65 ms avec INT8. C'est presque 9 fois plus rapide.
• La surprise : Habituellement, quand on rend un ordinateur plus « bête » en utilisant une précision moindre, il fait des erreurs. Mais ici, même avec les calculs les plus « stupides » (INT8), le robot a quand même réussi 19 fois sur 20. Les erreurs numériques étaient énormes (jusqu'à 16,98 % de déviation dans certains nombres), mais le robot a quand même attrapé le sac de haricots.
• Le bémol : Les chercheurs ont constaté que le besoin de cette astuce de vitesse dépend de la façon dont le robot planifie ses mouvements. Si le robot planifie tout un bloc de 100 mouvements à la fois (ce qu'il a fait), il peut se permettre d'être lent. Mais s'il doit replanifier chaque étape (une technique appelée « ensemblage temporel »), alors la version lente en pleine précision manquerait son échéance, et la version rapide en précision moindre devient obligatoire.

Le verdict final

L'article conclut que vous pouvez effectivement faire fonctionner un robot complexe à deux mains sur un petit ordinateur de 8 Go. Le secret ne réside pas seulement dans l'économie de mémoire ; il s'agit de gérer la charge de travail du processeur pour qu'il ne soit pas submergé.

Ils recommandent une configuration spécifique pour quiconque tente de construire un robot similaire :

• Utilisez le pipeline vidéo GStreamer pour libérer la puissance du CPU.
• Entraînez la politique ACT (elle apprend plus vite que Diffusion pour cette tâche).
• Exécutez la politique en précision FP16 (ce qui est assez rapide et précis) ou en INT8 si vous avez besoin de encore plus de vitesse.

La leçon la plus importante ? Ne supposez pas que le plus gros ordinateur est la seule solution. Parfois, la meilleure façon de rendre un robot intelligent est de l'empêcher de gaspiller son énergie pour des choses dont il n'a pas besoin, et de le laisser se concentrer sur la tâche à accomplir. Le robot n'avait pas besoin d'un supercalculateur ; il avait juste besoin d'un peu d'efficacité.