Résumé technique : Amorçage auto-supervisé du raisonnement incarné prédictif d'actions

Énoncé du problème

Les modèles Vision-Language-Action (VLA) ont réussi à exploiter des modèles de base à l'échelle d'Internet pour créer des politiques robotiques généralistes. Cependant, l'intégration du raisonnement en chaîne de pensée (CoT) dans ces modèles se heurte à un goulot d'étranglement critique : les méthodes actuelles reposent sur des modèles rigides et « universels » pour spécifier les primitives de raisonnement (par exemple, la liste de tous les objets visibles, les plans de haut niveau ou les affordances structurelles). Ces modèles forcent souvent les politiques à traiter des informations non pertinentes ou distrayantes, ce qui dégrade la prédiction d'actions.

Un « fossé d'ancrage fondamental entre l'incarnation et le raisonnement » existe : contrairement aux modèles Vision-Language (VLM) entraînés sur d'énormes corpus image-texte, la robotique manque de données à l'échelle d'Internet reliant la vision et le langage à des actions spécifiques. Par conséquent, le processus de raisonnement efficace pour le contrôle physique reste une variable latente non observée. Il n'existe pas d'oracle pour vérifier si une pensée spécifique informe efficacement un mouvement, créant une dépendance circulaire où un entraînement robuste nécessite un raisonnement de haute qualité, alors que l'identification d'un tel raisonnement nécessite une politique réussie. Les approches actuelles peinent avec ce problème, recourant souvent à un raisonnement verbeux qui échoue à ancrer les connaissances à l'échelle d'Internet dans des contextes robotiques spécifiques.

Méthodologie : R&B-EnCoRe

Les auteurs présentent R&B-EnCoRe (Refine and Bootstrap Embodiment-specific Chain-of-Thought Reasoning), un cadre qui traite le raisonnement incarné non pas comme une annotation fixe, mais comme une variable latente ($Z$) à découvrir et à optimiser. La méthode permet aux modèles d'amorcer le raisonnement à partir de connaissances à l'échelle d'Internet grâce à un raffinement auto-supervisé, sans récompenses externes, vérificateurs ni annotation humaine.

Le cadre fonctionne en trois étapes :

1. Amorçage par dropout de raisonnement

Pour découvrir la combinaison optimale de primitives de raisonnement pour des tâches spécifiques, les auteurs construisent un ensemble de données de « démarrage à chaud » ($D_{warm}$) en exposant le modèle à diverses stratégies de raisonnement.

• Primitives : Un ensemble de primitives de raisonnement hypothétiques ($\mathcal{R}$) est défini (par exemple, Plan, Objets visibles, Sous-tâche, Déplacement, État égoïque).
• Dropout : Pour chaque démonstration $(C, A)$, des traces synthétiques sont générées en incluant ou en supprimant chaque primitive indépendamment avec une probabilité fixe $d$ (Dropout de raisonnement). Cela crée une distribution diversifiée de traces allant de concises à verbeuses, permettant au modèle d'explorer diverses stratégies.

2. Entraînement conjoint de l'a priori et de l'a posteriori

Un seul modèle est entraîné pour jouer un double rôle, reflétant la structure encodeur-décodeur des Autoencodeurs Variationnels (VAE) :

• Modèle A Priori ($p(Z, A | C)$) : Entraîné pour générer des stratégies de raisonnement $Z$ et prédire des actions $A$ étant donné le contexte $C$. Cela représente la politique en ligne.
• Modèle A Posteriori ($q(Z | C, A)$) : Entraîné pour générer des candidats de raisonnement $Z$ conditionnés à la fois au contexte $C$ et à l'action vraie $A$. Cela agit comme une distribution de proposition pour expliquer les actions a posteriori.

3. Raffinement et amorçage par échantillonnage d'importance

L'innovation centrale réside dans l'utilisation des Autoencodeurs pondérés par l'importance (IWAE) pour raffiner la distribution de raisonnement.

• Échantillonnage : Pour chaque démonstration, $K$ traces candidates de raisonnement sont échantillonnées à partir de l'a posteriori $q(Z | C, A)$.
• Pondération : Des poids d'importance sont calculés pour chaque trace : $w(Z_k) = \frac{p(Z_k, A | C)}{q(Z_k | C, A)}$.
• Resampling : Une seule trace $Z^*$ est resélectionnée parmi les candidats selon une distribution catégorielle proportionnelle à ces poids.
• Bénéfice informationnel : Théoriquement, ce processus amplifie les stratégies de raisonnement qui réduisent la divergence entre la distribution d'actions du modèle et celle de l'expert (bénéfice informationnel positif) tout en supprimant les stratégies distrayantes.
• Amorçage : Le VLA final est réentraîné sur cet ensemble de données raffiné de traces de raisonnement de haute qualité et prédictives d'actions, contournant ainsi le besoin d'ingénierie manuelle de modèles de raisonnement.

Contributions clés

1. Cadre R&B-EnCoRe : Une méthode qui formule le raisonnement incarné comme une variable latente, fournissant une recette d'entraînement plug-and-play qui s'améliore elle-même à partir d'a priori synthétiques en utilisant l'inférence variationnelle pondérée par l'importance. Elle élimine le besoin d'heuristiques « universelles » et d'annotations humaines coûteuses.
2. Filtrage auto-supervisé : L'approche filtre efficacement les informations « distrayantes » (par exemple, les boîtes englobantes d'objets non pertinents pour la tâche) et amplifie les signaux critiques (par exemple, les affordances structurelles pour les robots bipèdes) sans récompenses externes. Elle produit des traces de raisonnement de haute qualité et interprétables qui distinguent les indices essentiels du bruit.
3. Validation inter-domaines : La méthode est validée dans la manipulation (Franka Panda, WidowX), la navigation bipède (bipède, à roues, vélo, quadrupède) et la conduite autonome, en utilisant des architectures VLA allant de 1 à 30 milliards de paramètres.

Résultats expérimentaux

Les auteurs rapportent des gains de performance significatifs dans trois domaines :

• Manipulation (LIBERO-90 & Bridgev2) :

  • Un gain de 28 % dans les taux de réussite de manipulation par rapport aux modèles qui raisonnent indistinctement sur toutes les primitives disponibles.
  • Réduction de moitié du nombre moyen de tokens générés, indiquant un raisonnement plus concis.
  • Amélioration du Taux de Criticité des Objets (le pourcentage de traces où les objets listés sont saillants pour la tâche) passant de 0,03 % (liste de tous les objets) à 25,02 %.
  • Démonstration de robustesse dans des contextes hors distribution (OOD) avec distractions, où les modèles de base subissent des baisses de performance.

• Navigation bipède (NaviTrace) :

  • Une amélioration de 101 % des scores de navigation (métrique NaviTrace) à travers les incarnations bipèdes, à roues, vélo et quadrupèdes.
  • Élagage réussi de primitives non pertinentes, telles que les descriptions subjectives de la météo, tout en conservant le raisonnement critique sur les affordances et les obstacles.

• Conduite autonome (nuScenes) :

  • Une réduction de 21 % de la métrique de taux de collision par rapport aux modèles de base.
  • Réduction de l'erreur de prédiction de trajectoire (erreur de chemin L2) tout en maintenant des taux de collision plus faibles.
  • Démonstration que l'augmentation du nombre d'échantillons a posteriori ($K$) dans l'étape d'échantillonnage d'importance améliore de manière monotone les performances, avec une saturation autour de 16 échantillons.

Signification et revendications

L'article revendique que R&B-EnCoRe résout la dépendance circulaire dans le raisonnement incarné en permettant aux modèles de distiller un raisonnement prédictif d'un contrôle réussi. En traitant le raisonnement comme une variable latente et en utilisant un pondération d'importance auto-supervisée, la méthode ancre les connaissances à l'échelle d'Internet dans l'exécution physique sans ingénierie d'annotation manuelle.

Les auteurs soulignent que l'efficacité de l'approche repose sur la diversité et la couverture des primitives initiales de démarrage à chaud plutôt que sur leur qualité individuelle ; l'étape d'échantillonnage d'importance pondère automatiquement à la baisse les primitives non informatives. En fin de compte, R&B-EnCoRe permet la création de politiques auto-améliorantes qui apprennent non seulement à agir, mais aussi à exploiter des a priori pour « se poser les bonnes questions » avant d'agir, améliorant considérablement le succès des tâches et l'efficacité de l'inférence (réduction de la latence par l'élagage du raisonnement verbeux).