Résumé Technique : Modèle d'Action Géométrique pour l'Apprentissage de Politiques Robotiques

Énoncé du Problème

Le développement de politiques de manipulation robotique généralistes nécessite des modèles capables de suivre des instructions en langage naturel tout en raisonnant sur les interactions complexes entre les objets, les caméras et les actions du robot dans un espace physique 3D. Bien que les modèles récents de Vision-Langage-Action (VLA) et de Vidéo-Monde-Action (WAM) exploitent de grands modèles de fondation pour les priors sémantiques ou temporels, ils opèrent principalement sur des images 2D ou des espaces latents dérivés de la 2D. Par conséquent, des indices géométriques 3D critiques — tels que la profondeur, l'échelle et l'occlusion — restent implicites. Cette limitation entrave la généralisation face aux changements environnementaux, particulièrement concernant les états initiaux du robot et les points de vue de la caméra. Les tentatives existantes pour incorporer la géométrie 3D traitent souvent les Modèles de Fondation Géométriques (GFM) simplement comme des extracteurs de caractéristiques statiques ou distillent leurs caractéristiques dans les backbones de VLA, échouant ainsi à repurposer la structure géométrique multicouche du GFM comme le propre substrat temporel et générateur d'actions de la politique.

Méthodologie : Le Modèle d'Action Géométrique (GAM)

Les auteurs proposent le Modèle d'Action Géométrique (GAM), une politique de manipulation conditionnée par le langage qui repurpose directement un Modèle de Fondation Géométrique (GFM) préentraîné comme un substrat partagé pour la perception, la prédiction temporelle et le décodage de l'action.

Architecture Centrale

Le GAM fonctionne en divisant un GFM préentraîné (par exemple, DA3) à une couche intermédiaire $L_s$ et en insérant un Prédicteur de Futur Causal entre les couches peu profondes et profondes. Le cadre fonctionne en trois étapes séquentielles :

1. Encodage de l'Observation : Les couches peu profondes du GFM ($E_{\le L_s}$) agissent comme un encodeur d'observation. Elles traitent des observations RGB multi-vues pour extraire des caractéristiques géométriques latentes, produisant une séquence d'états latents géométriques par pas de temps.
2. Prédiction du Futur Causal : Au niveau de la couche de division, un prédicteur transformer causal ($g_\phi$) est inséré. Il prend les tokens géométriques latents actuels, concaténés avec les tokens représentant les instructions de la tâche (via un encodeur de texte gelé), les états proprioceptifs et l'historique des actions. En utilisant une auto-attention bloc-causale, ce prédicteur prévoit simultanément deux sorties :
   • Des tokens géométriques latents futurs ($\tilde{Z}^{(L_s)}_{t+1}$).
   • Un token d'action suivante prédit ($\tilde{a}_t$).
     Cette conception permet au modèle d'apprendre la modélisation de monde conditionnée par le langage avec une modification architecturale minimale, car seul le prédicteur inséré doit apprendre la fusion du langage, de la proprioception et de l'historique des actions avec les caractéristiques du GFM.
3. Propagation de Caractéristiques et Décodage : Les tokens futurs prédits et le token d'action sont acheminés à travers les blocs profonds restants du GFM ($D_{>L_s}$). Les blocs profonds, initialement préentraînés pour décoder les caractéristiques peu profondes en géométrie 3D, sont repurposés pour décoder les tokens futurs prédits. Cette étape produit :
   • Géométrie Future : Décodée via la tête de profondeur du GFM en cartes de profondeur futures alignées sur l'action.
   • Bloc d'Action (Action Chunk) : Décodé via une tête d'action légère en commandes de pose delta ou de joints exécutables.

Objectif d'Entraînement

La politique est entraînée de bout en bout en utilisant une fonction de perte multi-tâche :
$$\mathcal{L}_{total} = \lambda_{act}\mathcal{L}_{act} + \lambda_{feat}\mathcal{L}_{feat} + \lambda_{depth}\mathcal{L}_{depth}$$

• Perte d'Action ($\mathcal{L}_{act}$) : Régression $\ell_1$ entre le bloc d'action décodé et les actions expertes.
• Perte de Caractéristique ($\mathcal{L}_{feat}$) : Aligne les tokens latents futurs prédits avec les tokens latents de la frame suivante réelle (extraits d'un GFM gelé) pour ancrer le prédicteur aux transitions géométriques temporelles.
• Perte de Profondeur ($\mathcal{L}_{depth}$) : Supervise les cartes de profondeur futures décodées par rapport à la profondeur future réelle (ou des pseudo-labels dans des contextes réels) en utilisant des pénalités d'invariance d'échelle et de correspondance de gradient.

Contributions Clés

1. Architecture Unifiée : Le GAM introduit une architecture à backbone partagé unique qui combine la modélisation de monde temporelle, la prédiction de l'espace des caractéristiques latentes et un substrat de modèle de fondation géométrique.
2. Prédiction dans un Espace de Tokens Partagé : Les auteurs démontrent que l'action et la géométrie peuvent être prédites dans une séquence de tokens autorégressive partagée. Une seule passe avant (forward pass) produit à la fois les tokens d'action et les tokens de scène futurs, décodés par des têtes légères, plutôt que de s'appuyer sur des têtes séparées ou des processus de diffusion.
3. Repurposing des GFM : Contraなり aux travaux précédents qui utilisent les GFM comme des extracteurs statiques, le GAM repurpose explicitement les blocs profonds du GFM pour décoder les tokens futurs prédits, exploitant pleinement les priors géométriques du modèle pour la modélisation de monde dynamique.

Résultats Expérimentaux

Les auteurs ont évalué le GAM à travers diverses simulations (LIBERO, LIBERO-Plus) et des benchmarks de manipulation robotique en monde réel.

• Performance vs Baselines : Le GAM atteint des taux de succès comparables ou supérieurs aux baselines actuelles de l'échelle des modèles de fondation (VLA et WAM) tout en utilisant nettement moins de paramètres (1,4B contre 7B+).
• Robustesse : Le GAM démontre une robustesse supérieure aux perturbations hors-distribution. Notamment, dans le cadre de perturbation de caméra de LIBERO-Plus, le GAM surpasse la meilleure baseline de 9,7 points de pourcentage.
• Efficacité : Le GAM atteint une latence d'inférence en un seul passage avant de 6,9 ms (environ 145 Hz), ce qui est environ 55 fois plus rapide que les politiques basées sur la diffusion comme Cosmos-Policy.
• Transfert au Monde Réel : Dans des expériences en monde réel impliquant quatre tâches de manipulation, le GAM a nettement surpassé les baselines (incluant $\pi0.5$ et Spatial Forcing), maintenant sa robustesse sous les perturbations de caméra là où d'autres modèles peinaient.

Signification et Revendications

L'article affirme que le GAM représente une étape significative vers des politiques robotiques généralistes en résolvant les ambiguïtés spatiales inhérentes aux modèles de fondation centrés sur la 2D. En intégeant la dynamique du monde géométrique directement dans la voie prédictive de la politique, le GAM atteint un équilibre entre haute précision, robustesse aux changements environnementaux et efficacité computationnelle. Les auteurs postulent que leur approche prouve que l'action et la géométrie peuvent être modélisées efficacement dans un espace latent partagé, permettant à un seul backbone de gérer la perception, la prédiction d'état futur et le contrôle.

Les auteurs reconnaissent des limites, notant que les capacités de raisonnement linguistique et de bon sens du modèle sont limitées par l'encodeur de texte gelé utilisé, suggérant que l'intégration d'un grand modèle de langage ou d'un module de raisonnement externe est une direction naturelle pour les travaux futurs.