When would Vision-Proprioception Policies Fail in Robotic Manipulation?

1. Problématique

La manipulation robotique repose traditionnellement sur la proprioception (état interne du robot, position des articulations, ouverture de la pince) pour un contrôle précis, et sur la vision pour la localisation des objets et la perception de l'environnement. Bien que l'intégration de ces deux modalités soit théoriquement souhaitable pour améliorer la robustesse, les études récentes présentent des résultats contradictoires :

• Certaines approches montrent des améliorations significatives avec la fusion vision-proprioception.
• D'autres (comme le modèle Octo) observent que l'ajout de proprioception dégrade les performances par rapport à une politique purement visuelle.

Le problème central identifié par les auteurs est le moment précis où cette fusion échoue. L'article démontre que les politiques combinées échouent spécifiquement lors des phases de transition de mouvement (ex: localiser un objet, passer d'une phase de déplacement à une phase de saisie).

• Cause racine (Analyse d'optimisation) : Pendant ces transitions, les changements visuels sont subtils (différences au niveau des pixels), tandis que les signaux proprioceptifs sont concis et directs. Lors de l'entraînement par apprentissage par imitation (Behavior Cloning), l'algorithme d'optimisation (descente de gradient) tend naturellement à minimiser la perte en s'appuyant excessivement sur les signaux proprioceptifs, car ils offrent une réduction de perte plus rapide.
• Conséquence : Cette domination de la proprioception supprime l'apprentissage de la modalité visuelle. Le modèle ne parvient pas à apprendre à utiliser la vision pour la localisation précise, ce qui entraîne une mauvaise généralisation, surtout lorsque la position initiale des objets varie (scénarios hors distribution).

2. Méthodologie : L'algorithme GAP

Pour résoudre ce problème de suppression de la modalité visuelle, les auteurs proposent l'algorithme GAP (Gradient Adjustment with Phase-guidance). Cette méthode vise à moduler dynamiquement l'optimisation de la proprioception pour forcer le modèle à utiliser la vision lors des phases critiques.

Le processus se décompose en trois étapes clés :

A. Représentation du Mouvement et Segmentation

• Les auteurs définissent une représentation du mouvement basée sur les changements de position ($p$), d'orientation ($\theta$) et d'ouverture de la pince ($g$).
• Ils utilisent un algorithme de Détection de Changement de Point (CPD - Change Point Detection) pour segmenter la trajectoire en phases de mouvement "cohérents" (mouvements continus) et identifier les intervalles entre ces phases.

B. Estimation des Phases de Transition

• Les phases de transition (où le robot doit localiser un nouvel objet) se situent entre les phases de mouvement cohérent.
• Pour capturer la nature continue de ces transitions (que les étiquettes discrètes du CPD ne peuvent pas bien modéliser), un réseau temporel (type LSTM) est entraîné sur les différences temporelles des signaux proprioceptifs.
• Ce réseau prédit un indicateur de probabilité $\rho_t$ pour chaque pas de temps $t$, estimant la probabilité que le robot soit en phase de transition.

C. Ajustement du Gradient (Gradient Adjustment)

• C'est le cœur de l'algorithme. Lors de la mise à jour des paramètres du réseau (descente de gradient), les auteurs appliquent un ajustement fin aux gradients de la branche proprioceptive.
• La formule de mise à jour des paramètres proprioceptifs $\omega_s$ est modifiée comme suit :
  $$\omega_s^{j+1} = \omega_s^j - \lambda \cdot (1 - \rho_t) \cdot \eta \nabla_{\omega_s^j} \mathcal{L}_{BC}$$
  Où :
  • $\rho_t$ est la probabilité estimée d'être en phase de transition.
  • Si $\rho_t$ est élevé (phase de transition), le terme $(1 - \rho_t)$ réduit la magnitude du gradient de la proprioception.
  • Cela force le modèle à ne pas s'appuyer uniquement sur la proprioception pour minimiser la perte, l'obligeant ainsi à exploiter les signaux visuels pour la localisation.
  • Si $\rho_t$ est faible (mouvement cohérent), la proprioception est utilisée normalement pour assurer la précision du contrôle.

3. Contributions Clés

1. Analyse de l'échec de la fusion : Identification précise que l'échec des politiques vision-proprioception provient d'une domination de l'optimisation par la proprioception durant les phases de transition, étouffant l'apprentissage visuel.
2. Algorithme GAP : Proposition d'un mécanisme d'ajustement de gradient guidé par la phase, qui permet une collaboration dynamique sans supprimer l'information proprioceptive nécessaire.
3. Compatibilité universelle : La méthode est compatible avec diverses architectures (MLP, Diffusion, Transformers) et modèles de type VLA (Vision-Language-Action) comme Octo.
4. Validation exhaustive : Tests réalisés sur des environnements simulés (Meta-World, RoboSuite) et réels (bras robotiques xArm, configurations mono et bi-bras), couvrant des tâches complexes (enfilage, assemblage, manipulation d'objets déformables).

4. Résultats Expérimentaux

Les expériences démontrent que GAP surpasse systématiquement les politiques "Vision-only" et les méthodes de fusion existantes (concaténation simple, masquage, perte auxiliaire) :

• Performance Globale : Dans Meta-World et RoboSuite, les politiques équipées de GAP atteignent des taux de réussite supérieurs, notamment sur des tâches difficiles comme l'enfilage ("threading") où la précision est cruciale.
  • Exemple : Sur la tâche "threading" en simulation, la politique pure visuelle obtient 44%, la concaténation simple 34%, tandis que GAP atteint 52%.
• Généralisation (OOD - Out-of-Distribution) : GAP améliore considérablement la robustesse lorsque la position initiale des objets change. Les politiques sans GAP s'effondrent souvent car elles n'ont pas appris à localiser les objets via la vision.
• Validation par Intervention : Des expériences d'intervention montrent que lors du passage d'une politique "Vision-only" à une politique "Vision-Proprio" (avec GAP) durant une phase de transition, la performance reste stable ou s'améliore, contrairement aux politiques sans GAP qui dégradent la tâche.
• Compatibilité VLA : L'application de GAP au modèle Octo (fine-tuning) inverse la tendance négative observée dans la littérature originale, améliorant les performances de 17% en moyenne par rapport à la version purement visuelle.
• Analyse des Pertes : Les courbes de perte montrent que GAP ralentit légèrement la convergence initiale (en empêchant la proprioception de "tricher" trop vite) mais converge vers une perte finale plus faible et une meilleure généralisation.

5. Signification et Impact

Ce travail offre une perspective fondamentale sur le temporalité des modalités (Modality Temporality) en robotique. Il démontre que la fusion statique des modalités n'est pas suffisante ; la contribution de chaque capteur doit être dynamiquement pondérée en fonction de la phase de la tâche.

• Insight Théorique : L'article prouve que l'échec de l'apprentissage multimodal n'est pas toujours dû à un manque de données, mais souvent à un biais d'optimisation qui favorise la modalité la plus "facile" à apprendre (ici la proprioception) au détriment de la modalité critique pour la généralisation (la vision).
• Impact Pratique : La méthode GAP est simple à implémenter (ajustement de gradient) et ne nécessite pas de nouvelles architectures complexes. Elle permet de débloquer le potentiel des politiques robotiques combinant vision et proprioception, rendant les robots plus robustes dans des environnements réels imprévisibles.
• Limites : Les politiques sont actuellement entraînées sur un seul type de robot (un seul "embodiment"). L'extension à des données multi-embodiments est identifiée comme une piste de recherche future.

En résumé, GAP résout le problème de la "cécité" des politiques robotiques lors des transitions critiques en forçant l'apprentissage visuel là où il est le plus nécessaire, tout en conservant la précision proprioceptive pour le contrôle moteur.