Résumé Technique : Pilotage de la Politique par l'Inférence via la Vision et le Toucher (ViTaL)

Énoncé du Problème

Le pilotage au moment de l'inférence adapte les politiques robotiques génératives pré-entraînées (par exemple, les politiques de diffusion) lors du déploiement sans ré-entraînement, en vérifiant ou en affinant les actions candidates avant l'exécution. Bien que les méthodes récentes utilisent avec succès les observations visuelles pour la vérification de tâches à long horizon, la vision seule est souvent insuffisante pour la manipulation riche en contacts. Dans des tâches telles que le pipetage, l'essuyage ou l'insertion, le succès dépend à la fois de la progression sémantique globale (observable via la vision) et d'interactions physiques locales subtiles, telles que la force de contact et la stabilité de la saisie (observables via le toucher).

Les approches actuelles sont confrontées à deux défis majeurs pour l'intégration de ces modalités :

1. Observabilité dépendante de la modalité à travers les échelles temporelles : Les résultats visuels nécessitent souvent des prédictions à long horizon pour distinguer les modes sémantiques (ex: se déplacer vers la bonne tasse), tandis que les résultats tactiles sont locaux et transitoires (ex: application de force lors d'un pressage), souvent obscurcis dans les prédictions visuelles à long horizon.
2. Modélisation de récompense multimodale : Définir une fonction de récompense unifiée est difficile car l'importance relative des résultats visuels et tactiles change selon les phases de la tâche. Une fonction de récompense unique peine à équilibrer la progression globale de la tâche et les exigences de contact fines (ex: distinguer une saisie douce d'un lâcher d'objet).

Méthodologie : Le Cadre ViTaL

Les auteurs proposent ViTaL (Visuo-Tactile Latent Steering), un cadre qui formule le pilotage multimodal comme un problème d'optimisation bi-niveau. Cette approche décompose le pilotage en deux étapes qui s'alignent sur les échelles de temps naturelles de la vision et du toucher :

1. Formulation de l'Optimisation Bi-niveau

L'objectif est de sélectionner une séquence d'actions $a^*_{t:t+h}$ qui maximise une récompense conditionnée par la tâche tout en respectant un a priori visuel.

• Optimisation Interne (Sélection du Mode Visuel) : Le système échantillonne des séquences d'actions à long horizon ($H$ étapes) à partir de la politique de base. Celles-ci sont déployées à l'aide d'un modèle de monde latent visuo-tactile pour prédire les états futurs. Un vérificateur visuel évalue ces prédictions en fonction de la progression sémantique vers l'objectif de la tâche. La séquence présentant la plus haute récompense visuelle, $\bar{a}_{t:t+H}$, est sélectionnée comme mode de comportement global.
• Optimisation Externe (Affinement Tactile) : Les $h$ premières étapes de la séquence visuellement sélectionnée servent d'« ancre d'action ». Le système effectue ensuite une édition de diffusion à court horizon ($h$ étapes) pour affiner cette ancre. Un vérificateur tactile évalue les futurs tactiles prédits, et la politique est repondérée pour favoriser les actions qui satisfont les contraintes de contact locales tout en restant proches du plan visuel.

2. Modèle de Monde Latent Visuo-Tactile

Pour soutenir le pilotage basé sur les résultats, ViTaL emploie un modèle de monde latent appris ($p_\phi$) qui prédit directement les états visuels et tactiles futurs dans l'espace latent.

• Architecture : Il utilise des encodeurs gelés (DINOv3 pour la vision, AnyTouch pour le tactile) pour mapper les observations en états latents ($z_v, z_\tau$). Un transformateur conditionné par l'action prédit les futurs latents articulaires de manière récursive.
• Efficacité : En opérant dans l'espace latent, le modèle évite le coût computationnel du décodage d'images complètes ou de cartes tactiles pour chaque action candidate, permettant un guidage efficace conditionné par le texte.

3. Vérificateurs Alignés Sémantiquement

ViTaL utilise le langage comme une représentation de tâche partagée pour jeter un pont entre le raisonnement visuel et tactile. Un modèle de langage-vision (VLM) décompose les instructions de haut niveau en objectifs textuels par phase ($\ell^v_p, \ell^\tau_p$).

• Vérificateur Visuel : Décode les latents visuels prédits en images RGB et utilise un modèle de récompense zero-shot (ROBOMETER) pour évaluer la progression sémantique (ex: « est-ce que le robot se dirige vers la tasse bleue ? »).
• Vérificateur Tactile : Calcule la similitude cosinus entre l'encodage du latent tactile prédit et l'encodage textuel de l'objectif de contact (ex: « saisir légèrement »). Cela constitue une récompense tactile conditionnée par le texte, permettant au système d'évaluer les futurs tactiles sans avoir à concevoir manuellement des fonctions de récompense spécifiques à la tâche ou à décoder des images tactiles.

4. Optimisation au Moment de l'Inférence

Le processus de pilotage combine l'échantillonnage pour la sélection visuelle et l'édition de diffusion pour l'affinement tactile :

• Étape Visuelle : Échantillonne $N$ trajectoires à long horizon, les déploie dans le modèle de monde, et sélectionne la meilleure selon le vérificateur visuel.
• Étape Tactile : Traite l'ancre visuelle sélectionnée comme une condition pour l'édition de diffusion. Elle bruite partiellement l'ancre et biaise le processus de débruitage vers des actions ayant des récompenses tactiles plus élevées, affinant ainsi l'exécution du contact.

Contributions Clés

1. Guidage Multimodal Bi-niveau : Un cadre qui utilise la vision pour la sélection de mode sémantique à long horizon et le toucher pour l'affinement de contact ciblé à court horizon, traitant le décalage d'échelle temporelle entre les modalités.
2. Récompense Tactile Conditionnée par le Langage : L'introduction d'un nouveau vérificateur tactile qui évalue les futurs tactiles prédits dans un espace latent aligné à l'aide de descriptions textuelles. Cela permet une vérification tactile scalable et sans démonstration, flexible aux différentes phases de la tâche.
3. Modélisation de Monde Latent : L'intégration d'un modèle de monde latent visuo-tactile qui permet une évaluation directe et efficace des résultats multimodaux dans l'espace latent sans décodage.

Résultats Expérimentaux

Les auteurs ont évalué ViTaL sur trois tâches de manipulation riche en contacts utilisant un robot Franka Emika avec des capteurs GelSight Mini : transfert de pipette, essuyage et insertion de tige.

• Gains de Performance : ViTaL a amélioré le succès global de la tâche de 51 % par rapport à la politique de base. Il a surpassé le pilotage unimodal (vision seule ou toucher seul) d'au moins 33 % et a dépassé la fusion multimodale naïve (simple sommation de récompenses) d'au moins 20 %.
• Modes d'Échec : Le pilotage basé uniquement sur la vision réussissait souvent l'alignement global mais échouait en raison d'erreurs de contact locales (ex: renverser du liquide). Le pilotage basé uniquement sur le toucher améliorait le contact mais manquait souvent l'objectif global. ViTaL a traité avec succès ces deux modes d'échec.
• Précision de la Récompense : Les vérificateurs proposés ont atteint une précision d'ordre de préférence élevée (environ 85 % pour la vision, 81 % pour le tactile) en comparant les futurs prédits par rapport à la vérité terrain, démontant la fiabilité du modèle de monde latent et des vérificateurs sémantiques.
• Efficacité : L'approche bi-niveau a fourni un meilleur compromis entre le succès et la vitesse d'inférence par rapport à la fusion naïve, n'ajoutant que 0,05 seconde par étape d'inférence tout en réduisant considérablement les taux d'échec.

Signification et Revendications

L'article affirme que ViTaL représente une étape significative pour rendre les politiques robotiques pré-entraînées robustes pour les tâches riches en contacts sans nécessiter de ré-entraînement ou d'ingénierie de récompense spécifique à la tâche. En décomposant le problème de pilotage en sélection de mode visuel et affinement tactile, la méthode tire parti des forces complémentaires de la vision (contexte global) et du toucher (précision locale).

Les auteurs soulignent que leur récompense tactile conditionnée par le texte est la première de son genre pour la manipulation robotique, permettant un raisonnement de contact flexible et piloté par le langage. Ils reconnaissent des limites, notant que la fidélité du système dépend du modèle de monde latent (où les erreurs cumulées peuvent affecter la vérification) et que les encodeurs tactiles sont actuellement pré-entraînés sur des jeux de données plus petits que les VLM modernes. Cependant, les résultats suggèrent que le pilotage multimodal au moment de l'inférence est une voie viable vers une manipulation robotique plus adaptable et fiable.