💻 computer science

VOFA: Visual Object Goal Pushing with Force-Adaptive Control for Humanoids

Ce papier présente VOFA, un système hiérarchique de locomotion et de manipulation pour humanoïdes qui combine une politique conditionnée par un objectif visuel de haut niveau avec un contrôleur adaptatif aux forces de bas niveau afin de pousser robustement des objets lourds aux propriétés physiques inconnues vers des objectifs arbitraires en n'utilisant que la perception égocentrique embarquée.

Auteurs originaux : Zichao Hu, Zifan Xu, Dongsik Chang, He Yin, Linh Tran, Roberto Martín-Martín, Peter Stone, Jingyu Qiao, Joydeep Biswas

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zichao Hu, Zifan Xu, Dongsik Chang, He Yin, Linh Tran, Roberto Martín-Martín, Peter Stone, Jingyu Qiao, Joydeep Biswas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un robot humanoïde nommé « Booster T1 » se tenant dans un entrepôt. Sa tâche consiste à pousser une boîte lourde et mystérieuse à travers le sol jusqu'à un endroit précis. Le hic ? Le robot ne connaît pas le poids de la boîte, il ne sait pas si le sol est glissant ou collant, et il ne peut pas voir la boîte parfaitement car sa caméra est un peu floue.

Ce papier présente VOFA (Visual Object–Goal Pushing with Force-Adaptive Control), un système « cerveau et corps » qui apprend au robot comment pousser ces boîtes avec succès, même lorsque les choses tournent mal.

Voici comment VOFA fonctionne, décomposé en concepts simples :

1. Le système à deux cerveaux (La hiérarchie)

VOFA utilise une approche d'équipe à deux niveaux, comme un Général et un Soldat :

Le Général (Politique de haut niveau) : C'est la partie « visionnaire ». Il observe le flux vidéo de la caméra (qui est un peu bruité, comme un mauvais appel vidéo) et la position de l'objectif. Il décide où le robot doit aller et comment se positionner par rapport à la boîte. Il ne s'inquiète pas des micro-tressaillements musculaires ; il donne simplement de grands ordres comme « Avancez » ou « Tournez à gauche ».
Le Soldat (Contrôleur de bas niveau) : C'est la partie « muscle ». Il prend les grands ordres du Général et détermine exactement comment déplacer chaque articulation du corps du robot. Crucialement, cette partie est Adaptative à la Force. Pensez-y comme une personne poussant un chariot de supermarché qui se remplit soudainement de briques. Si le chariot devient lourd, la personne s'incline instinctivement plus fort et ajuste son appui pour ne pas tomber. Le Soldat fait la même chose automatiquement, s'adaptant au poids de la boîte et à la friction du sol sans avoir besoin qu'on le lui dise.

2. Le camp d'entraînement (Méthode Enseignant-Élève)

Apprendre à un robot à faire cela est difficile car on ne peut pas facilement lui donner une « vue parfaite » du monde pendant l'entraînement. Ainsi, les chercheurs ont utilisé une méthode Enseignant-Élève :

L'Enseignant : D'abord, ils ont entraîné un robot « Enseignant » qui possédait des superpouvoirs. Il pouvait voir le poids exact de la boîte, la friction exacte du sol et la position parfaite des articulations du robot. Il a appris à pousser la boîte parfaitement en utilisant ces informations « privilégiées ».
L'Élève : Ensuite, ils ont entraîné un robot « Élève » qui ne disposait que d'une caméra ordinaire et de capteurs de base (pas de superpouvoirs). L'Élève observait l'Enseignant et tentait de copier ses mouvements. Pour rendre l'Élève plus robuste, les chercheurs ont ajouté du « bruit visuel » pendant l'entraînement — comme flouter la caméra ou ajouter du statique — afin que l'Élève apprenne à pousser la boîte même lorsque la vue était désordonnée, tout comme ce serait le cas dans le monde réel.

3. L'astuce « Aligner d'abord »

L'un des plus grands défis est que si le robot essaie de pousser la boîte alors qu'il se tient du mauvais côté, il échouera. Les chercheurs ont ajouté une « récompense » spéciale (comme une étoile dorée) pour que le robot se repositionne d'abord.

Imaginez essayer de pousser un canapé lourd. Si vous vous tenez sur le côté, vous ne pouvez pas le faire avancer. Vous devez faire le tour pour vous placer derrière d'abord. VOFA a appris cette astuce par lui-même. Il attend d'être debout à l'endroit parfait derrière la boîte par rapport à l'objectif avant de commencer à pousser. Cela empêche le robot de faire un « contact prématuré » et de rester coincé.

4. Résultats dans le monde réel

L'équipe a testé cela sur le vrai robot Booster T1. Voici ce qui s'est passé :

Porter lourd : Le robot a poussé avec succès des boîtes pesant jusqu'à 17 kg (environ 37 livres). C'est plus de la moitié du poids du robot lui-même ! Le robot n'avait même pas été entraîné sur des boîtes aussi lourdes dans la simulation, pourtant il a trouvé la solution en temps réel.
Différents angles : Que l'objectif soit devant, sur le côté, ou même derrière le robot, VOFA a réussi plus de 80 % du temps dans le monde réel.
Récupération : Si quelqu'un donnait un coup de pied latéral à la boîte pendant que le robot la poussait, le robot ne paniquait pas. Il s'arrêtait, regardait où la boîte était allée, faisait le tour pour se remettre en ligne et continuait à pousser. Il fonctionne en boucle fermée, ce qui signifie qu'il vérifie constamment son environnement et corrige sa trajectoire, plutôt que de simplement suivre un scénario préétabli.

Résumé

VOFA est un système qui permet à un robot humanoïde de pousser des objets lourds et inconnus vers des cibles spécifiques en utilisant uniquement une caméra. Il combine un planificateur « visionnaire » intelligent avec un « muscle » qui s'ajuste instinctivement au poids et à la friction. En entraînant un robot élève à imiter un enseignant surpuissant tout en gérant des données de caméra désordonnées, le système a appris à pousser des boîtes lourdes, à se remettre des chocs et à naviguer dans des angles complexes sans tomber.

Résumé Technique : VOFA – Poussée d'Objet Visuel avec Contrôle Adaptatif à la Force pour les Humanoïdes

Énoncé du Problème

L'article aborde le défi consistant à permettre aux robots humanoïdes d'effectuer une poussée d'objet dirigée vers un objectif (loco-manipulation) en utilisant uniquement la perception égocentrique embarquée. Cette capacité est cruciale pour des applications réelles telles que la réorganisation des stocks dans les entrepôts. Le système doit fonctionner de manière robuste sous trois contraintes principales :

Propriétés Physiques Inconnues : Le robot doit manipuler des objets aux masses et coefficients de frottement au sol variables et inconnus.
Perception Embarquée Bruitée : Le système ne peut pas se fier à des informations privilégiées sur l'état de l'objet (par exemple, la position ou la vitesse réelle de l'objet) et doit fonctionner en utilisant des images de profondeur bruitées et des données proprioceptives.
Adaptabilité en Boucle Fermée : Le robot doit s'adapter en temps réel à diverses configurations objet-objectif, y compris les cas où le robot doit se repositionner par rapport à l'objet et à l'objectif avant d'initier le contact.

Les solutions existantes échouent souvent à répondre simultanément à ces critères, soit en s'appuyant sur une détection privilégiée, soit en manquant de robustesse face aux variations physiques, soit en échouant à s'adapter à différentes configurations d'objectifs sans définition manuelle des étapes.

Méthodologie

Les auteurs proposent VOFA (Visual Object–Goal Pushing with Force-Adaptive Control), un système hiérarchique à deux niveaux conçu pour le robot humanoïde Booster T1.

1. Architecture Hiérarchique

Politique Visuo-motrice de Haut Niveau : Cette politique traite les observations embarquées (proprioception et images de profondeur) et une position d'objectif désirée pour générer des commandes de haut niveau. Elle fonctionne à 50 Hz.
Contrôleur Adaptatif à la Force de Bas Niveau : Ce contrôleur traduit les commandes de haut niveau en actions au niveau des articulations. Il est basé sur le cadre FALCON, conçu spécifiquement pour gérer des forces externes substantielles et inconnues aux effecteurs terminaux, assurant ainsi la stabilité lors de l'interaction avec des objets de masses variables.

2. Stratégie d'Entraînement : Distillation Enseignant-Élève

Pour surmonter le défi de l'apprentissage à partir d'entrées visuelles bruitées, VOFA emploie un cadre Enseignant-Élève :

Politique Enseignante : Entraînée à l'aide de l'optimisation de politique proximale (PPO) avec des informations privilégiées (par exemple, l'orientation exacte de l'objet, la vitesse linéaire de la base et l'état de l'objet). Cette politique apprend le comportement optimal pour la poussée conditionnée par l'objectif.
Politique Élève : Distillée à partir de l'enseignant en utilisant DAgger (Agrégation de Jeux de Données). L'élève remplace les entrées privilégiées par l'historique proprioceptif embarqué et les images de profondeur.
Augmentation Visuelle : Pour combler l'écart simulation-réalité, l'entraînement de l'élève intègre des randomisations visuelles, notamment des perturbations du plan lointain de profondeur, du bruit de profondeur corrélé et des suppressions de pixels, afin de simuler les artefacts des capteurs et l'encombrement de l'arrière-plan.

3. Conception de la Récompense

L'entraînement utilise une fonction de récompense composite avec quatre termes clés :

Récompense d'Atteinte ( $R_{reach}$ ) : Encourage les deux effecteurs terminaux à s'approcher de l'objet.
Récompense de Poussée ( $R_{push}$ ) : Récompense la réduction de la distance entre l'objet et l'objectif.
Récompense de Suivi de Tête ( $R_{track}$ ) : Encourage le robot à suivre visuellement l'objet avec sa caméra.
Récompense d'Alignement Objet-Objectif ( $R_{align}$ ) : Un composant novateur qui encourage le robot à se repositionner du côté de l'objet opposé à l'objectif avant de pousser. Cela élimine le besoin d'étapes d'entraînement définies manuellement et favorise une planification à long horizon par rapport à des stratégies de contact myopes.

4. Simulation et Randomisation de Domaine

L'entraînement est réalisé dans Isaac Gym avec une randomisation extensive de la masse de l'objet (1–8 kg), du frottement et des placements initiaux objet-objectif. Pour combler l'écart simulation-réalité en vision, le système randomise les extrinsèques de la caméra (translations et rotations) et émule les motifs de bruit des capteurs observés sur les caméras de profondeur réelles (ZED 2i).

Contributions Clés

Système Conditionné par un Objectif Visuel : Introduction de VOFA, un système capable de poussée dirigée vers un objectif en boucle fermée à travers diverses configurations objet-objectif en utilisant uniquement la perception visuelle embarquée.
Robustesse aux Masses Inconnues : Démonstration d'un système qui pousse avec succès des objets de masses diverses et jamais vues auparavant, y compris des charges jusqu'à 17 kg (dépassant la moitié du poids corporel du robot), sans réentraînement sur ces masses spécifiques.
Validation sur Matériel Réel : Déploiement réussi sur le robot humanoïde Booster T1, atteignant des taux de réussite élevés aussi bien dans les simulations que dans les expériences réelles à travers diverses configurations de scène et propriétés physiques.

Résultats Expérimentaux

Le système a été évalué à la fois dans une simulation à grande échelle et lors d'essais réels sur le Booster T1.

Taux de Réussite : VOFA a atteint plus de 90 % de réussite en simulation et plus de 80 % de réussite lors d'essais réels.
Robustesse à la Masse : Dans les expériences réelles, le système a poussé avec succès un objet de 17 kg (une boîte de 5 kg avec 12 kg de poids ajouté), bien qu'entraîné sur des masses allant jusqu'à 8 kg.
Adaptabilité aux Configurations : Le système a maintenu des taux de réussite élevés (>90 % pour la politique élève) à travers les configurations d'objectifs avant, latéraux et arrière.
Études d'Ablation :
- Contrôle Adaptatif à la Force : La suppression du contrôleur de bas niveau adaptatif à la force a entraîné une baisse significative des taux de réussite (par exemple, de 91,38 % à 59,32 % pour la politique élève) et des comportements instables tels que le « coup de pied » de l'objet.
- Récompense d'Alignement : La suppression de la récompense d'alignement objet-objectif a conduit à des échecs de contact prématurés, en particulier dans les configurations d'objectifs arrière où un repositionnement est requis.
- Randomisation Visuelle : L'entraînement sans randomisation visuelle a conduit à une dégradation substantielle des performances dans les scénarios réels latéraux et arrière en raison de la sensibilité au bruit de fond et à la divergence de domaine.
Capacités en Boucle Fermée : Les démonstrations réelles ont montré que le robot pouvait se rétablir de perturbations latérales externes, compenser des distributions de centre de masse excentrées et pousser séquentiellement des objets vers plusieurs objectifs sans réinitialisation.

Importance et Revendications

L'article revendique que VOFA représente une étape significative vers une loco-manipulation humanoïde autonome et robuste dans des environnements non structurés. En découplant la planification visuo-motrice de haut niveau du contrôle adaptatif à la force de bas niveau, le système simplifie l'entraînement de la politique tout en maintenant la robustesse face aux variations physiques.

Les auteurs soulignent que la récompense d'alignement objet-objectif est cruciale pour permettre au robot d'apprendre des comportements complexes à long horizon (repositionnement avant la poussée) sans mise en scène manuelle. De plus, le transfert réussi vers du matériel réel avec des charges lourdes (17 kg) démontre que la combinaison du contrôle adaptatif à la force et de la randomisation visuelle atténue efficacement l'écart simulation-réalité.

L'ouvrage conclut en notant les limitations actuelles, spécifiquement le focus sur les scénarios à objet unique et la dépendance à un module externe pour le positionnement relatif de l'objectif. Les travaux futurs visent à étendre le cadre aux environnements multi-objets et à développer un raisonnement entièrement bout-en-bout pour la localisation de l'objet et de l'objectif à partir d'entrées sensorielles brutes.