Résumé Technique : OneVLA – Un cadre unifié pour les tâches incarnées

Énoncé du Problème

Les modèles actuels de Vision-Langage-Action (VLA) pour l'intelligence incarnée font face à une limitation architecturale fondamentale : ils sont généralement contraints à des domaines de tâche unique (soit la navigation, soit la manipulation) ou nécessitent des variantes de modèles spécifiques aux tâches pour gérer plusieurs tâches. Bien que des modèles inter-tâches comme UniVLA aient tenté de transférer les connaissances à travers différents types d'incarnations robotiques, ils reposent toujours sur des têtes d'action séparées ou des configurations de modèles spécifiques pour différentes tâches. Cette fragmentation entrave le développement d'agents robotiques véritablement polyvalents capables d'interpréter de manière fluide le langage naturel et d'interagir physiquement avec leur environnement à travers divers domaines. Le document identifie deux questions clés : (1) Une architecture VLA unifiée peut-elle effectuer à la fois la navigation et la manipulation sans variantes spécifiques à la tâche ? et (2) Ces deux tâches fondamentales peuvent-elles bénéficier mutuellement d'un entraînement conjoint pour améliorer la performance globale ?

Méthodologie

Les auteurs proposent OneVLA, une architecture VLA unifiée conçue pour générer à la fois des réponses linguistiques et des actions robotiques pour la navigation et la manipulation au sein d'un cadre unique.

1. Architecture Unifiée

• Encodeur Vision-Langage Unifié : Le modèle utilise un squelette partagé comprenant un Transformer de vision à 32 couches (traitant des images RGB multi-vues) et un modèle de langage Transformer à 36 couches (utilisant le GQA). Les caractéristiques visuelles sont projetées dans la dimension cachée du modèle de langage ($d_h=2048$) pour créer une représentation multimodale unifiée.
• Décodage par Tokens : Pour gérer les doubles sorties, le vocabulaire est étendu avec des tokens spéciaux <text>...</text> et <action>...</action>. Cela permet au modèle de générer de manière autorégressive une réponse textuelle expliquant la compréhension de la tâche, suivie de la séquence d'action, en une seule passe avant (forward pass).
• Tête d'Action Unifiée : L'innovation centrale est une tête d'action unique qui concatène les dimensions d'action de la navigation et de la manipulation dans un espace unifié de 11 dimensions :
  • Navigation ($a_{navi} \in \mathbb{R}^4$) : Distribution de probabilité discrète pour les commandes (avancer, tourner à gauche, tourner à droite, s'arrêter).
  • Manipulation ($a_{mani} \in \mathbb{R}^7$) : Contrôle de l'effecteur terminal à 7 degrés de liberté ($\Delta x, \Delta y, \Delta z, \Delta roll, \Delta pitch, \Delta yaw, g$).
• Mécanisme de Flow-Matching : La tête d'action emploie un processus de diffusion par flow-matching pour prédire les séquences d'actions futures. Elle apprend à prédire un champ de vitesse en minimisant l'objectif de flow-matching, en utilisant un encodeur d'action, un squelette DiT avec attention croisée (cross-attention) et un décodeur d'action.
• Pondération Spécifique à la Tâche : Pour accommoder des espaces d'action hétérogènes, le modèle utilise des masques de poids spécifiques à la tâche pendant l'entraînement. Ces masques garantissent que seules les dimensions d'action pertinentes contribuent au calcul de la perte pour un échantillon donné, permettant un apprentissage simultané sans commutation architecturale.

2. Stratégie d'Entraînement Progressif Multi-étapes

Pour faciliter un transfert positif fort et un renforcement mutuel, les auteurs emploient une stratégie d'entraînement en trois étapes :

• Étape 1 (Fondation de la Manipulation) : Entraîne uniquement sur des jeux de données de manipulation et des données VQA générales pour établir des compétences de manipulation robustes et une compréhension vision-langage.
• Étape 2 (Transfert Inter-Tâches) : Introduit des données de navigation dans l'entraînement conjoint tout en conservant les données de manipulation et de VQA. Cette étape exploite la tête d'action unifiée pour apprendre les deux tâches simultanément, permettant le transfert de connaissances entre les domaines.
• Étape 3 (Amélioration du Raisonnement) : Intègre des données de Chaîne de Pensée (Chain-of-Thought - CoT) pour affiner les capacités de raisonnement et la qualité de la prise de décision du modèle à travers les deux tâches.

3. Fonction de Perte

Le modèle est entraîné de bout en bout à l'aide d'une fonction de perte composite :
$$L_{total} = \lambda_{vlm}L_{vlm} + \lambda_{text}L_{text} + \lambda_{action}L_{action}$$

• $L_{vlm}$ : Cross-entropie standard pour l'alignement vision-langage général.
• $L_{text}$ : Prédiction du prochain token pour la phase de texte de raisonnement (incluant les tokens de bordure).
• $L_{action}$ : Perte de flow-matching calculée avec des masques de poids spécifiques à la tâche pour gérer les sorties hétérogènes.

Principales Contributions

1. Architecture Unifiée : Proposition de OneVLA, le premier cadre VLA capable d'effectuer à la fois des tâches de navigation et de manipulation sans nécessiter de variantes de modèles spécifiques à la tâche ou de têtes d'action séparées.
2. Composants Innovants : Introduction d'une tête d'action unifiée avec flow-matching et d'une stratégie d'entraînement progressif multi-étapes qui facilite l'amélioration mutuelle efficace entre différents domaines de tâches.
3. Preuves Empiriques de Bénéfice Mutuel : Expérimentations complètes démontrant que l'entraînement conjoint sur la navigation et la manipulation conduit à des améliorations de performance significatives pour les deux tâches par rapport à l'entraînement sur une tâche unique.
4. Nouveau Paradigme : Briser les barrières architecturales entre des domaines de tâches indépendants pour établir un nouveau paradigme pour les systèmes robotiques à usage général.

Résultats Expérimentaux

Les auteurs ont évalué OneVLA sur des benchmarks simulés et réels, comparant le modèle à des modèles spécialisés sur une tâche unique et à des modèles inter-tâches existants.

• Benchmarks Simulés :

  • Navigation (VLN-CE) : OneVLA a atteint des performances de l'état de l'art (SOTA), atteignant 68,6 % sur le jeu de données R2R et 58,2 % sur le jeu de données RxR. Cela surpasse nettement UniVLA (respectivement 47,1 % et 26,3 %) et les modèles de navigation spécialisés comme StreamVLN.
  • Manipulation (SimplerEnv) : OneVLA a atteint un taux de succès moyen de 64,5 %, surpassant UniVLA-Mani (35,4 %) et le modèle de manipulation SOTA $\pi0$-Fast (48,3 %).
  • Efficacité : Notamment, le modèle OneVLA de 3 milliards de paramètres a surpassé tous les modèles spécifiques à une tâche de 7 milliards de paramètres, démontant l'efficacité de la conception unifiée.

• Expériences en Monde Réel :

  • En utilisant un bras robotique Franka Research 3 et une plateforme de robot mobile, OneVالA a atteint 78,8 % de succès dans les tâches de manipulation et 77,5 % dans les tâches de navigation.
  • Ces résultats représentent des améliorations de 16,3 % et 35,0 % respectivement par rapport à UniVLA dans des environnements réels, confirmant la capacité du modèle à se généraliser au-delà de la simulation.

• Études d'Ablation :

  • Entraînement Multi-étapes : Comparé à l'entraînement en une seule étape, la stratégie en trois étapes a amélioré la performance R2R de 12,5 % et la performance SimplerEnv de 18,3 %.
  • Entraînement Conjoint : L'entraînement conjoint a amélioré la performance par rapport à l'entraînement sur une tâche unique de 7,3 % (R2R) et de 5,5 % (SimplerEnv), validant l'hypothèse que les représentations partagées bénéficient aux deux domaines.
  • Horizon d'Action : Un horizon d'action de 5 pas de temps a été jugé comme offrant l'équilibre optimal entre la modélisation temporelle et la précision de la prédiction.

Signification et Revendications

L'article affirme que OneVLA ouvre la voie à de véritables systèmes robotiques à usage général en unifiant les capacités incarnées centrales (navigation et manipulation) dans un cadre cohérent et unique. Les auteurs soutiennent que cette approche est non seulement architecturalement plus élégante — éliminant le besoin de variantes spécifiques à la tâche — mais aussi supérieure en termes de performance. En démontrant que l'entraînement conjoint mène à des améliorations de performance mutuelles, ce travail suggère qu'une approche unifiée est essentielle pour faire progresser l'intelligence incarnée vers l'Intelligence Artificielle Générale (AGI). Le modèle et le code source sont rendus publics pour soutenir la recherche ultérieure dans cette direction.