Résumé Technique : CLAW – Un cadre Vision-Langage-Action pour la préhension robotique sensible au poids

Énoncé du Problème

Les modèles Vision-Langage-Action (VLA) ont émergé comme un paradigme puissant pour le contrôle robotique, permettant des politiques de bout en bout qui associent des instructions en langage naturel et des observations visuelles à des actions motrices. Cependant, les architectures VLA actuelles peinent souvent à satisfaire des exigences de tâches précises et numériquement contraintes. Plus précisément, elles manquent de mécanismes explicites pour surveiller le retour d'information des capteurs, tels que les seuils de poids numériques, afin de déterminer quand interrompre une action. Parce que la génération d'actions des VLA est implicitement façonnée par des corrélations statistiques dans les données d'entraînement plutôt que par une surveillance de condition explicite, ces modèles échouent souvent à arrêter la préhension au moment exact des cibles de poids, s'appuyant plutôt sur des schémas heuristiques (par exemple, le nombre de tentatives de saisie) observés pendant l'entraînement. Cette limitation empêche les VLA d'exécuter des tâches nécessitant un contrôle quantitatif rigoureux et en temps réel.

Méthodologie

Les auteurs proposent CLAW (CLIP-Language-Action for Weight), un cadre qui découple l'évaluation de la condition de la génération d'actions pour répondre aux limites des VLA de bout en bout dans la manipulation sensible au poids. Le système intègre deux composants principaux :

1. Générateur de Prompts Léger (CLIP)

CLAW emploie un modèle CLIP affiné comme un module de perception spécialisé et léger.

• Fonction : Ce module surveille en continu l'affichage numérique d'une balance via une caméra fixe.
• Mécanisme : Il prend en entrée l'image de la balance et l'instruction de la tâche humaine (par exemple, « charger 40g d'ail »). Sur la base de la lecture visuelle, il génère un prompt symbolique discret : soit continue (continuer), soit stop (arrêter).
• Entraînement : Les auteurs ont construit un ensemble de données de 2 000 images de balances appariées à des instructions synthétiques. CLIP a été affiné pour classifier si le poids actuel ($w^*$) est inférieur ou supérieur au poids cible ($k$), en associant cette comparaison à des prompts binaires. Cette approche évite la latence des grands modèles VLM génératifs, garantissant une inférence à haute fréquence adaptée au contrôle en temps réel.

2. Politique Visuomotrice ($\pi_0$)

La génération d'actions est gérée par $\pi_0$, une politique VLA basée sur le flux (flow-based) de pointe.

• Fonction : $\pi_0$ reçoit des observations de l'espace de travail par plusieurs vues de caméras ainsi que les prompts discrets générés par le module CLIP.
• Mécanisme : Il conditionne sa distribution d'actions continues sur le contexte visuel et le prompt symbolique. La politique génère des commandes motrices à haute fréquence (jusqu'à 50 Hz) pour manipuler des objets.
• Entraînement : Les auteurs ont collecté des épisodes de démonstration où le robot effectuait des tâches de saisie et de retrait de bols. Crucialement, lors de la collecte de données, les images ont été annotées manuellement avec les étiquettes clip_prompt correspondantes (simulant la sortie de CLIP). $\pi_0$ a ensuite été affiné à l'aide d'une perte de correspondance de flux (flow-matching loss) conditionnée par ces prompts, apprenant à la politique à distinguer les phases « continuer la saisie » et « arrêter et retirer » sur la base de la directive linguistique fournie.

Architecture du Système

Le cadre forme une boucle fermée :

1. Perception : CLIP analyse l'image de la balance et l'instruction de la tâche.
2. Décision : CLIP génère un prompt ($m_t \in \{continue, stop\}$).
3. Action : $\pi_0$ intègre $m_t$ avec les observations multi-vues pour générer la prochaine tranche d'action (action chunk).
   Cette conception permet au système de combiner le raisonnement symbolique (seuils de poids) avec le contrôle visuomoteur continu.

Principales Contributions

L'article présente quatre contributions principales :

1. Conception du Cadre : Présentation de CLAW, qui augmente les architectures VLA standards avec un VLM léger et spécialisé pour la tâche, permettant une surveillance explicite des conditions, ce qui rend possible la manipulation sensible au poids.
2. Adaptation de CLIP : Une procédure d'affinage qui transforme CLIP en un générateur de prompts fiable, capable de traduire les lectures brutes de la balance en directives linguistiques compréhensibles par le VLA (continue/stop).
3. Intégration de la Politique : Une stratégie d'affinage pour $\pi_0$ utilisant la supervision par prompt, garantissant que la politique intègre efficacement les prompts symboliques avec les observations multi-vues pour produire des actions précises.
4. Validation Empirique : Évaluation complète à travers trois scénarios (prise d'un objet unique de bonbons, prise d'un objet unique d'ail, et manipulation à deux bras d'objets mixtes), démontant que CLAW surpasse les bases Raw-$\pi_0$ et Fine-tuned $\pi_0$ dans le respect des contraintes de poids.

Résultats Expérimentaux

Les auteurs ont évalué CLAW par rapport à deux bases : Raw-$\pi_0$ (pré-entraîné sans ajustement spécifique à la tâche) et Fine-tuned $\pi_0$ (entraîné sur la tâche spécifique mais sans le module de prompt CLIP).

• Taux de Succès : Dans les tâches à objet unique (prendre 20g, 30g ou 40g de bonbons ou d'ail), CLAW a atteint un taux de succès de 100 % tant pour l'exécution de l'action que pour le point d'arrêt correct.
• Performance des Bases :
  • Raw-$\pi_0$ n'a pas réussi à s'arrêter au poids correct (0 % de succès sur le point d'arrêt) et présentait de faibles taux de succès d'action (15–35 %).
  • Fine-tuned $\pi_0$ a atteint 100 % de succès d'action mais n'a pas réussi à s'arrêter systématiquement au poids cible (le succès du point d'arrêt variait de 0 % à 35 %). Les auteurs ont observé que ce modèle se fiait au nombre de saisies observées durant l'entraînement plutôt qu'à la lecture réelle de la balance, entraînant un comportement d'arrêt stochastique.
• Robustesse : Dans les tests d'objets mixtes et de perturbations (où un poids supplémentaire a été ajouté en cours de saisie), CLAW s'est adapté avec succès. Lorsque la lecture de la balance a dépassé le seuil, CLIP a immédiatement basculé le prompt sur stop, provoquant l'interruption du mouvement de saisie par $\pi_0$ et l'initiation du retrait du bol. Cela a démontré la capacité du système à gérer des variations d'entrées inattendues et à coordonner des tâches à deux bras.

Signification et Revendications

L'article affirme que CLAW répond à une lacune critique de la recherche actuelle sur les VLA : l'incapacité d'imposer des contraintes numériques précises dans des tâches de contrôle continu.

• Découplage des Préoccupations : Les auteurs soutiennent qu'en séparant la surveillance de la condition (gérée par un VLM léger et spécialisé) de la génération d'actions (gérée par un VLA basé sur le flux), le système atteint à la fois flexibilité et précision quantitative.
• Sensibilité aux Prompts : Les résultats soulignent que $\pi_0$ est très sensible aux prompts linguistiques. Même avec des instructions presque identiques, changer l'objet cible ou la directive continue/stop a permis au modèle de lever l'ambiguïté de manière fiable et d'exécuter des comportements distincts.
• Efficacité : L'utilisation d'un modèle CLIP affiné plutôt qu'un grand VLM génératif garantit que le système fonctionne à des fréquences compatibles avec le contrôle robotique en temps réel, évitant les problèmes de latence associés aux modèles plus volumineux.

Les auteurs concluent que bien que les modèles VLA offrent un fort ancrage sémantique, ils bénéficient considérablement de modules externes légers fournissant des contraintes explicites et spécifiques à la tâche. Cette approche permet aux robots de passer de la simple « exécution d'une action » à la « réalisation d'une tâche » avec un respect rigoureux des paramètres physiques.