ReViP: Mitigating False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance

Ce papier présente ReViP, un cadre novateur pour les modèles Vision-Language-Action qui atténue les complétions fausses en rééquilibrant l'attention entre la vision et la proprioception grâce à des indices visuels conscients du progrès, tout en introduisant une nouvelle suite de benchmarks pour évaluer ce phénomène.

L'essentiel

🤖 Le Problème : Le Robot "Têtu" qui ne voit pas la réalité

Imaginez que vous apprenez à un robot à faire du café. Vous lui donnez une instruction : "Prends la tasse, verse le café, et pose-la sur la table."

Le robot commence l'action. Il saisit la tasse (c'est ce qu'il sent avec ses capteurs internes, comme si vous fermiez les yeux et sentiez que vous tenez quelque chose). Mais soudain, la tasse glisse de sa pince et tombe par terre !

• Ce que ferait un humain : Il verrait la tasse tomber, s'arrêterait, la ramasserait et recommencerait.
• Ce que fait le robot actuel (les modèles VLA) : Il est tellement concentré sur ce qu'il ressent ("J'ai serré la tasse, donc je suis en train de la porter") qu'il ignore ce qu'il voit ("La tasse est par terre !"). Il continue son mouvement vers la table, vide, et déclare : "Mission accomplie !".

C'est ce que les auteurs appellent la "Fausse Complétion" (False Completion). Le robot est comme un conducteur qui regarde son GPS (sa mémoire interne) au lieu de regarder la route, et qui continue de rouler même s'il y a un mur devant lui.

🔍 La Cause : Un Déséquilibre Sensoriel

Les chercheurs ont découvert que ces robots sont déséquilibrés. Ils font trop confiance à leur proprioception (leur sens interne de la position des bras et des doigts) et pas assez à leur vision (leurs yeux).

C'est comme si vous essayiez de cuisiner en vous bouchant les yeux, en comptant uniquement sur le nombre de mouvements que vous avez faits avec vos mains, sans jamais vérifier si vous avez bien mis les ingrédients dans la casserole.

💡 La Solution : ReViP (Le "Regard Intelligent")

Pour régler ce problème, l'équipe a créé ReViP. Imaginez que ReViP est un chef d'orchestre ou un assistant très attentif qui travaille avec le robot.

Voici comment ça marche, étape par étape :

1. L'Observateur (Le Gardien des Yeux) :
   Avant que le robot ne bouge, un "cerveau" spécial (un modèle de vision avancé) regarde la scène en temps réel. Il ne se contente pas de regarder, il raisonne.

   • Exemple : Il voit la tasse par terre et se dit : "Attends, la tasse n'est pas dans la pince ! Le plan initial est cassé. Il faut changer de stratégie."
     Il crée une "note mentale" visuelle : "La tasse est tombée, il faut la ramasser."

2. L'Amplificateur (Le Rééquilibrage) :
   Normalement, le robot écoute trop son "sentiment interne" (la proprioception). ReViP prend cette "note mentale" de l'Observateur et l'injecte directement dans le cerveau du robot.
   C'est comme si vous criiez au robot : "Oublie ce que tu penses sentir ! Regarde ce que tu vois ! La tasse est là-bas !"
   Cela force le robot à rééquilibrer ses sens : il écoute enfin ses yeux autant que ses muscles.

3. L'Action :
   Grâce à ce nouveau message, le robot annule son mouvement vers la table, tourne, va chercher la tasse tombée, et recommence correctement.

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé cette idée dans des simulations et avec de vrais robots. Ils ont créé des situations pièges (faire tomber des objets, changer la place des choses, mettre des objets trompeurs).

• Sans ReViP : Le robot tombe dans le piège, continue son mouvement inutile et déclare la tâche finie (Fausse Complétion).
• Avec ReViP : Le robot détecte le problème, s'adapte, et réussit sa tâche.

En résumé :
ReViP apprend au robot à ne pas être têtu. Il lui donne un "deuxième avis" visuel intelligent qui le force à vérifier la réalité avant de dire "C'est fini". C'est comme passer d'un robot qui marche les yeux fermés en suivant un script, à un robot qui regarde vraiment ce qui se passe autour de lui pour réussir sa mission.

C'est une avancée majeure pour rendre les robots plus sûrs et plus fiables dans nos maisons et nos usines, car ils ne se contenteront plus de "faire semblant" d'avoir réussi quand ils ont échoué.

Résumé technique

Voici un résumé technique détaillé de l'article « ReViP: Mitigating False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance » (ReViP : Atténuation de la fausse complétion dans les modèles Vision-Language-Action par rééquilibrage Vision-Proprioception).

1. Problématique : La « Fausse Complétion » (False Completion)

Les modèles Vision-Language-Action (VLA) ont fait des progrès remarquables en robotique, mais ils souffrent d'un mode de défaillance critique appelé « Fausse Complétion ».

• Définition : C'est une situation où la politique du robot déclare la fin de la tâche (ou arrête l'action) alors que l'objectif n'est pas atteint visuellement.
• Cause racine : Le papier identifie un déséquilibre de modalité (modality imbalance). Les politiques VLA existantes fusionnent directement les signaux proprioceptifs (état interne du robot, positions des articulations) avec les caractéristiques vision-langage. Cela crée un biais dominant de l'état (state-dominant bias).
• Conséquence : Le robot privilégie la progression de son état interne (ex: « j'ai saisi l'objet », « je me déplace vers la cible ») au détriment des preuves visuelles externes.
  • Exemple : Si un objet tombe de la pince pendant l'exécution, le robot continue son mouvement vers la zone cible et déclare la tâche terminée, ignorant le fait que l'objet est toujours au sol.
• Limitation des solutions actuelles : Supprimer simplement les entrées proprioceptives pour forcer le robot à regarder la caméra améliore la détection des erreurs mais dégrade drastiquement les performances globales, car l'état interne reste crucial pour le contrôle.

2. Méthodologie : Le cadre ReViP

Pour résoudre ce problème sans sacrifier les performances, les auteurs proposent ReViP (Rebalancing Vision-Proprioception), un nouveau cadre VLA qui rééquilibre dynamiquement les signaux visuels et proprioceptifs.

A. Le Benchmark de Fausse Complétion

Avant de proposer une solution, les auteurs introduisent le premier Benchmark Suite de Fausse Complétion sur l'environnement LIBERO. Il comprend 8 tâches avec trois types de perturbations contrôlées :

1. Chute d'objet (Object Drop) : L'objet tombe pendant la manipulation.
2. Échange d' distracteurs (Distractor Swap) : L'objet cible et un objet similaire échangent de place.
3. Réagencement (Relayout) : La position de l'objet et de la cible change par rapport à la démonstration.

B. Architecture ReViP

ReViP se compose de deux modules principaux intégrés à un modèle VLA de base (comme $\pi_0$) :

1. Task-Stage Observer (TSO) - Observateur de Stade de Tâche :

   • C'est un grand modèle de langage-vision (VLM) externe (ex: Qwen2.5-VL) qui analyse l'observation visuelle actuelle et l'instruction.
   • Il effectue un raisonnement spécifique à la tâche pour extraire des indices visuels conscients de la progression (progress-aware visual cues).
   • Il identifie l'état physique visible, la localisation des objets et la prochaine intention de tâche (ex: « L'objet est tombé, il faut le reprendre »).
   • Ces indices sont convertis en vecteurs d'embedding continus ($z_t$).

2. Task-Stage Enhancer (TSE) - Améliorateur de Stade de Tâche :

   • Ce module injecte les indices $z_t$ dans le backbone du VLA via un mécanisme de modulation linéaire au niveau des caractéristiques (TS-FiLM).
   • Il génère des paramètres de modulation ($\gamma_t, \beta_t$) qui ajustent dynamiquement l'importance relative des flux visuels et proprioceptifs.
   • Fonctionnement : En cas de perturbation (ex: chute), le TSE amplifie les signaux visuels contradictoires avec l'état interne et atténue le biais de l'état, forçant le robot à se réorienter vers la réalité visuelle plutôt que de suivre une trajectoire aveugle.

3. Contributions Clés

1. Identification et Analyse : Définition formelle de la « Fausse Complétion » comme un problème de déséquilibre modal, démontré par des expériences de masquage d'état (state masking) sur des robots réels et en simulation.
2. Nouveau Benchmark : Création d'une suite de benchmarks standardisée pour évaluer la robustesse des modèles VLA face aux perturbations visuelles et à la reprise d'erreurs.
3. Architecture ReViP : Proposition d'un cadre innovant utilisant un observateur externe pour guider la rééquilibrage des modalités, évitant ainsi le compromis entre précision de contrôle et robustesse visuelle.
4. Validation Étendue : Évaluation sur des simulations (LIBERO, RoboTwin 2.0) et des expériences en monde réel avec des perturbations complexes.

4. Résultats Expérimentaux

Les expériences montrent que ReViP surpasse systématiquement les modèles de base (SOTA) comme $\pi_0$, $\pi_0$-Fast, OpenVLA, etc.

• Benchmark de Fausse Complétion :
  • ReViP atteint un taux de réussite moyen de 59 % (contre 36 % pour $\pi_0$ et 44 % pour $\pi_0$-Fast).
  • Avec un observateur plus puissant (ReViP*), le taux grimpe à 62 % (gain de +26 % par rapport à $\pi_0$).
  • Améliorations notables sur les tâches de « Chute d'objet » (de 24 % à 62 %) et d'« Échange de distracteurs ».
• Benchmarks Standards (LIBERO & RoboTwin 2.0) :
  • ReViP atteint un taux de réussite moyen de 96,7 % sur LIBERO (vs 94,2 % pour $\pi_0$), prouvant que la rééquilibrage n'altère pas les performances sur des tâches normales.
  • Sur le benchmark bimanuel RoboTwin 2.0, ReViP double les performances par rapport aux bases (21 % vs 10 %).
• Monde Réel :
  • Sur des robots physiques (ROKAE), ReViP réussit 88 % des tâches avec perturbations, contre 62 % pour $\pi_0$. Le robot parvient à détecter les chutes et à reprendre l'objet, là où le modèle de base échoue.
• Efficacité : L'ajout du TSO (exécuté de manière asynchrone) n'entraîne qu'une légère latence (62 ms), maintenant une fréquence de contrôle de 16 Hz, suffisante pour le temps réel.

5. Signification et Impact

Ce travail est significatif car il adresse une faille fondamentale dans les modèles VLA actuels : leur tendance à « croire » leur propre état interne plutôt que de vérifier la réalité visuelle.

• Changement de paradigme : Au lieu de supprimer les signaux proprioceptifs (ce qui nuit au contrôle), ReViP propose de les moduler intelligemment en fonction du contexte visuel.
• Robustesse : Cela rend les robots beaucoup plus fiables dans des environnements non structurés où les erreurs (chutes, objets déplacés) sont fréquentes.
• Généralité : La méthode est « plug-and-play » et fonctionne sur différentes architectures de base ($\pi_0$, $\pi_0.5$), suggérant que le rééquilibrage vision-propriocception est une direction générale pour l'amélioration des politiques robotiques.

En résumé, ReViP transforme les échecs de complétion en opportunités de récupération, rapprochant le comportement des robots de l'intuition humaine commune (vérifier visuellement si la tâche est réellement terminée).