Résumé technique : Entraînement hybride pour les modèles Vision-Language-Action

Énoncé du problème

Les modèles Vision-Language-Action (VLA) sont apparus comme une approche prometteuse pour le contrôle de robots généralistes, exploitant de grands modèles Vision-Language (VLM) préentraînés et affinés sur des ensembles de données robotiques. Cependant, un goulot d'étranglement significatif existe entre la performance et l'efficacité de l'inférence. Les stratégies récentes, telles que la Chaîne de Pensée Embodied (ECoT), améliorent les performances en entraînant les modèles à générer des « pensées » linguistiques intermédiaires (traces de raisonnement) avant d'exécuter des actions. Bien que ces sorties intermédiaires améliorent la planification et la généralisation de l'agent, elles augmentent considérablement la latence d'inférence. Dans la manipulation robotique réelle, où les tâches nécessitent de longues séquences d'actions, ce délai impacte négativement l'utilisabilité et la fréquence de contrôle.

La question centrale abordée par ce travail est la suivante : la génération de longues chaînes de pensée est-elle une condition préalable stricte pour obtenir des améliorations de performance dans les VLA ? Les auteurs émettent l'hypothèse que les gains de performance issus de la Chaîne de Pensée (CoT) ne proviennent pas de la génération de pensées au moment du test, mais de l'intériorisation des schémas de raisonnement pendant l'entraînement. Ils proposent que les modèles peuvent développer une « intuition experte » (analogue à la pensée de Système 1 dans la cognition humaine) leur permettant de prédire directement les actions avec une grande précision, ayant appris à partir de traces de raisonnement durant la phase d'entraînement.

Méthodologie : Entraînement Hybride (HyT)

L'article présente l'Entraînement Hybride (HyT), un cadre conçu pour permettre aux VLA d'apprendre à partir de traces de raisonnement tout en conservant la capacité d'effectuer une inférence d'actions directe et rapide.

Concept de base

HyT traite le VLA comme un modèle unique capable d'apprendre plusieurs distributions conditionnelles basées sur une variable de modalité ($m$). Au lieu d'entraîner des modèles séparés pour « penser » (ECoT) et pour « agir » (VLA standard), HyT optimise conjointement un seul ensemble de paramètres ($\theta$) pour gérer trois modes distincts :

1. Mode Agir ($m_a$) : Le modèle prédit les actions directement, conditionné uniquement par l'observation et la description de la tâche ($p(a_t | x_t, l)$). Cela imite l'inférence VLA standard.
2. Mode Penser ($m_\tau$) : Le modèle prédit d'abord des pensées intermédiaires ($\tau_t$), puis les actions conditionnées par ces pensées ($p(a_t, \tau_t | x_t, l)$), similaire à l'ECoT.
3. Mode Suivre ($m_f$) : Le modèle prédit des actions conditionnées par des pensées/instructions fournies par une source externe (par exemple, un humain ou un oracle), agissant comme une politique de bas niveau dans un système hiérarchique ($p(a_t | x_t, \tau_t, l)$).

Objectif d'entraînement

L'objectif d'entraînement est formulé comme une somme pondérée des pertes de vraisemblance négative pour chaque distribution :
$$\min_{\theta} \mathcal{L}_{hyt}(\theta) = w_\alpha \mathcal{L}_{act}(\theta) + w_\tau \mathcal{L}_{think}(\theta) + w_f \mathcal{L}_{follow}(\theta)$$

Pour éviter de réduire la variabilité des lots (ce qui se produirait si chaque point de données incluait les trois modes), les auteurs emploient une estimation de Monte Carlo. Pendant l'entraînement, pour chaque lot, le modèle échantillonne les entrées et les sorties selon les probabilités définies par les coefficients ($w_\alpha, w_\tau, w_f$). Dans les expériences, les auteurs utilisent les coefficients $\{w_\alpha: 0,25, w_\tau: 0,5, w_f: 0,25\}$, priorisant la distribution « penser » pour maximiser le signal d'apprentissage issu des traces de raisonnement.

Flexibilité d'inférence

Au moment du test, la variable de modalité est définie explicitement pour contrôler le comportement du modèle :

• Par défaut (Agir) : Le modèle est instruit avec $m = \langle act \rangle$ pour sortir directement les actions. Cela maintient la vitesse d'inférence des VLA standards (environ 3 Hz sur des GPU A100) tout en bénéficiant des connaissances intériorisées pendant l'entraînement.
• Modes alternatifs : Le modèle peut être basculé en mode « penser » pour l'interprétabilité ou en mode « suivre » pour exécuter des instructions granulaires fournies par un oracle ou un humain.

Contributions clés

1. Cadre HyT : Une stratégie d'entraînement novatrice qui unifie l'entraînement VLA standard, l'ECoT et le suivi d'instructions hiérarchique dans une seule architecture de modèle.
2. Découplage de l'entraînement et de l'inférence : La démonstration que les modèles peuvent apprendre à partir de traces de raisonnement (CoT) pendant l'entraînement mais exécuter des actions directement pendant l'inférence, « distillant » efficacement le processus de raisonnement dans les représentations internes du modèle sans encourir de latence d'inférence.
3. Modes d'inférence flexibles : La capacité de basculer dynamiquement entre la prédiction d'actions directe, la génération de pensées et le suivi d'instructions au sein du même modèle, offrant un compromis entre vitesse et interprétabilité.
4. Validation empirique : Évaluation approfondie sur des benchmarks simulés (ClevrSkills, LIBERO) et des tâches robotiques réelles (UFactory xArm 6).

Résultats expérimentaux

Benchmarks simulés

• ClevrSkills : Les modèles entraînés avec HyT ont systématiquement surpassé les VLA standards et généralement dépassé les ECoT et les bases hiérarchiques (HiRobot) sur toutes les tailles d'ensembles de données (de 300 à 3000 démonstrations). Notamment, HyT a montré les gains les plus significatifs sur des tâches complexes à long horizon.
  • Vitesse d'inférence : HyT et les VLA standards ont atteint ~3 Hz, tandis que l'ECoT était 3 fois plus lent et HiRobot 4 fois plus lent.
  • Efficacité des données : Les modèles HyT entraînés sur de petits ensembles de données (300 démos) ont montré des performances supérieures par rapport aux bases, suggérant que la distribution « penser » fournit un signal d'entraînement fort lorsque les données sont rares.
• LIBERO : Combiné à la recette OFT (Optimized Fine-Tuning), HyT a atteint des résultats de l'état de l'art, en particulier dans les suites de tâches « Goal » et « Long », surpassant les autres approches basées sur CoT et VLA standards.

Expériences réelles

• Configuration : Les expériences ont été menées sur un UFactory xArm 6 avec une pince à deux doigts.
• Performance : HyT a nettement surpassé la base OpenVLA, atteignant un taux de réussite global de 63 % contre 41 % pour OpenVLA.
• Généralisation : L'écart de performance était le plus prononcé dans les tâches Hors Distribution (OOD) (54 % contre 29 %), indiquant que HyT améliore la capacité du modèle à se généraliser à de nouvelles dispositions d'objets et scénarios.
• Analyse qualitative : Les modèles HyT ont démontré une plus grande précision dans le positionnement des prises et dépôts, et moins d'erreurs dans la sélection d'objets par rapport à OpenVLA.

Études d'ablation

• Coefficients : La distribution « penser » s'est révélée critique pour les petits ensembles de données, tandis que la distribution « suivre » a amélioré les performances lorsque le modèle devait suivre des instructions d'oracle externes.
• Modes d'inférence : Dans les configurations évaluées, les modes « agir » et « penser » ont produit des performances similaires, soutenant l'hypothèse que la génération de pensées intermédiaires n'est pas strictement nécessaire au moment du test pour les tâches de manipulation primitives.

Importance et affirmations

L'article affirme que l'utilité principale des techniques CoT dans les VLA est d'améliorer les représentations apprises du modèle plutôt que de servir d'étape intermédiaire obligatoire pendant l'exécution. En intériorisant les schémas de raisonnement, le modèle développe une « intuition experte » permettant un contrôle robuste et à haute fréquence.

Les auteurs positionnent HyT comme une solution évolutive comblant le fossé entre le raisonnement haute performance et le contrôle robotique en temps réel. Ils soutiennent que, bien que des tâches complexes nécessitant une mémoire ou un raisonnement avancés puissent encore bénéficier du CoT au moment du test, de nombreuses tâches de manipulation standards peuvent être résolues de manière robuste avec des coûts d'inférence faibles en exploitant HyT. Le cadre offre une voie pratique pour déployer des VLA haute performance dans des environnements réels où la latence est critique, sans sacrifier les bénéfices de généralisation de l'entraînement basé sur le raisonnement.