Résumé Technique : Régularisation des Représentations Contrastives pour les Modèles Vision-Langage-Action

Énoncé du Problème

Les modèles Vision-Langage-Action (VLA) ont démontré un potentiel significatif dans la manipulation robotique en exploitant des représentations sémantiques riches issues de modèles Vision-Langage (VLM) pré-entraînés. Cependant, une limitation critique persiste : les représentations dérivées de VLM à usage général sont souvent sous-optimales pour le contrôle robotique. Bien que les VLM soient entraînés sur des ensembles de données d'instructions visuelles à grande échelle, ils manquent d'une exposition explicite aux modalités robotiques, spécifiquement aux actions de contrôle de bas niveau et aux informations proprioceptives (par exemple, les positions des articulations, les états de l'effecteur terminal).

Par conséquent, lorsque les modèles VLA sont conditionnés sur des représentations VLM figées, les embeddings tendent à être dominés par l'apparence visuelle (par exemple, la disposition de la scène, les textures d'arrière-plan) plutôt que par des facteurs pertinents pour le contrôle. Ce désalignement entraîne des représentations qui échouent à capturer l'état physique du robot ou les signaux nécessaires à une prédiction d'action précise, conduisant à des performances sous-optimales dans les tâches nécessitant un positionnement exact.

Méthodologie : Perte Contrastive Sensible à l'État du Robot (RS-CL)

Pour remédier au désalignement entre les représentations VLM et les signaux robotiques, les auteurs proposent la Perte Contrastive Sensible à l'État du Robot (RS-CL). Il s'agit d'une technique de régularisation de représentation simple et efficace, conçue pour combler le fossé entre les embeddings VLM et les états proprioceptifs du robot, sans nécessiter d'étapes d'entraînement supplémentaires ni d'ensembles de données curatés.

Composants Clés

1. Augmentation au Niveau de la Représentation (Coupure de Vue) :
   Au lieu de réaliser des augmentations au niveau des données coûteuses nécessitant plusieurs passes avant à travers le VLM, les auteurs introduisent la « coupure de vue ». Cette opération masque aléatoirement la tranche de caractéristiques correspondant à une seule vue d'observation dans la sortie du VLM. Cela crée des embeddings alternatifs au niveau de la représentation avec une surcharge computationnelle minimale, permettant la construction efficace de paires contrastives diversifiées.

2. Jeton de Résumé Apprenable :
   Pour gérer le coût computationnel élevé de l'application de l'apprentissage contrastif sur des séquences VLM complètes (qui sont généralement longues), un jeton de résumé apprenable est ajouté à la sortie du VLM. L'adaptateur traite ce jeton pour produire un embedding représentatif compact ($z$) utilisé pour l'apprentissage contrastif, tandis que les embeddings originaux ($h$) restent disponibles pour le décodeur d'action.

3. Objectif Contrastif à Pondération Douce :
   RS-CL utilise un cadre d'apprentissage contrastif supervisé basé sur la perte InfoNCE. Contrairement aux pertes contrastives standard qui traitent toutes les paires négatives de manière égale, RS-CL attribue des pondérations douces aux scores de similarité basés sur la distance euclidienne entre les états proprioceptifs du robot ($q_i, q_j$).

   • Mécanisme : Les paires d'états avec de faibles distances proprioceptives (états physiques similaires) reçoivent des pondérations plus élevées, incitant le modèle à rapprocher leurs embeddings dans l'espace de représentation. Les paires avec de grandes distances sont pondérées plus faiblement.
   • Formule : La perte est définie comme une variante pondérée de l'InfoNCE :
     $$\mathcal{L}_{RS-CL} = - \sum_{i,j} w_{ij} \log \frac{\exp(\text{sim}(z_i, \tilde{z}_j)/\tau)}{\sum_k \exp(\text{sim}(z_i, \tilde{z}_k)/\tau)}$$
     où $w_{ij}$ est calculée à partir de la distance relative entre les états proprioceptifs.

4. Intégration à l'Entraînement :
   RS-CL fonctionne comme un objectif auxiliaire parallèlement à la perte standard de prédiction d'action (par exemple, la perte de matching de flux). L'objectif total est $\mathcal{L} = \mathcal{L}_{FM} + \lambda \mathcal{L}_{RS-CL}$. Le coefficient de pondération $\lambda$ est décroissant au cours de l'entraînement, mettant l'accent sur le raffinement de la représentation dans les premières étapes et la prédiction d'action précise dans les étapes ultérieures. Cela permet un entraînement en une seule étape, de bout en bout, compatible avec les pipelines VLA existants.

Contributions Principales

• Objectif Novel : Introduction de RS-CL, qui aligne explicitement les représentations VLM avec les états proprioceptifs du robot en utilisant une supervision douce continue basée sur la distance.
• Conception Efficace : Développement d'une stratégie d'augmentation au niveau de la représentation (« coupure de vue ») permettant un apprentissage contrastif léger et stable sans passes avant VLM supplémentaires.
• Compatibilité : Démonstration que RS-CL est entièrement compatible avec les pipelines d'entraînement VLA standards, ne nécessitant ni curatation de données supplémentaires ni processus d'entraînement multi-étapes.

Résultats Expérimentaux

Les auteurs ont évalué RS-CL sur des benchmarks de simulation et des expériences sur robot réel.

Benchmarks de Simulation

• RoboCasa-Kitchen : RS-CL a atteint un taux de réussite à la pointe de l'art de 69,7 % (utilisant 300 démonstrations), surpassant la baseline GR00T N1.5 (65,7 %) et d'autres baselines fortes comme $\pi_0$ (62,5 %). Notamment, il a généré des gains substantiels dans les tâches de préhension et déplacement, améliorant les taux de réussite de 30,3 % à 41,5 % (+11,2 %), une catégorie nécessitant un positionnement précis.
• LIBERO : RS-CL a amélioré le taux de réussite moyen de 95,7 % à 96,4 %, démontrant une robustesse à travers différentes suites de tâches multiples.
• Efficacité : Par rapport aux réseaux contrastifs temporels (TCN), RS-CL a atteint des taux de réussite plus élevés avec une surcharge computationnelle significativement plus faible (2,91 $\times 10^{12}$ FLOPs contre 7,53 $\times 10^{12}$ pour TCN), car il évite l'extraction de données temporellement structurées et les passes avant supplémentaires.

Expériences sur Robot Réel

• Configuration : Les expériences ont été menées sur un bras Franka Research 3 avec une pince Robotiq 2F-85.
• Performance : Sur des tâches de manipulation difficiles, RS-CL a amélioré le taux de réussite de 45,0 % à 58,3 % (+13,3 %).
• Généralisation : La méthode a démontré une robustesse améliorée face aux variations visuelles, aux changements de propriétés physiques (objets non vus), aux conditions d'éclairage et à l'ancrage linguistique. Elle a également montré une performance améliorée dans les tâches avec occlusion partielle (par exemple, fermer un couvercle), attribuée à des représentations invariantes à la vue.

Entraînement From-Scratch

Lors de l'entraînement de modèles VLA from scratch sur diverses architectures de backbones VLM pré-entraînés (Qwen2.5-VL, SigLIP2, GR00T N1.5), RS-CL a constamment amélioré les performances sur toutes les architectures. Il a surpassé les baselines qui reposaient sur un entraînement ultérieur des VLM sur des ensembles de données robotiques (par exemple, RoboBrain, VeBrain), suggérant qu'un alignement explicite via RS-CL est plus efficace que l'adaptation de domaine générale seule.

Importance et Revendications

L'article revendique que RS-CL adresse efficacement le « fossé de modalité » entre les VLM à usage général et les exigences spécifiques du contrôle robotique. En alignant explicitement les représentations avec les états proprioceptifs, la méthode redessine l'espace d'embedding pour capturer des signaux pertinents pour le contrôle (tels que la progression de la tâche et la pose du robot) plutôt que simplement l'apparence visuelle.

Les auteurs soulignent que cette approche est légère et transparente, évitant le besoin d'un entraînement multi-étapes complexe ou de grands ensembles de données robotiques curatés. Les résultats suggèrent que l'intégration directe des signaux d'état du robot dans le processus d'apprentissage de la représentation est cruciale pour une prédiction d'action précise, en particulier dans les tâches nécessitant un positionnement exact. Ce travail encourage les recherches futures sur l'intégration d'autres signaux de capteurs (par exemple, la pose d'objet, le retour tactile) pour faire progresser davantage les capacités VLA.