Résumé Technique : Modélisation d'Actions Covariantes Générales via le Découplage Spatio-Temporel

1. Énoncé du Problème

Le papier traite d'une limitation fondamentale des modèles actuels d'intelligence incarnée et de Vision-Langage-Action (VLA) : l'incapacité à atteindre une généralisation robuste à partir de données limitées en raison d'une violation du principe de Covariance Générale.

Les méthodes prévalentes traitent généralement les actions robotiques comme des vecteurs euclidiens non structurés, entraînant les modèles à la régression de coordonnées absolues via une régression directe. Les auteurs soutiennent que ce paradigme est fondamentalement erroné car il confond la géométrie intrinsèque de la tâche (le « quoi » et le « comment » du mouvement) avec les cadres extrinsèques spécifiques à l'instance (position absolue, orientation) et la dynamique (vitesse d'exécution).

Cette confusion conduit à deux échecs d'optimisation critiques :

1. Moyennage de Modes Spatiaux : Lorsque plusieurs trajectoires valides existent pour une tâche (par exemple, saisir un objet sous différents angles), la régression directe dans l'espace euclidien force le modèle à apprendre la moyenne arithmétique de ces chemins divergents. Cela produit des prédictions « hors-variété » (off-manifold), telles que saisir l'espace vide entre des objets.
2. Moyennage de Modes Temporels : Le recours à des indices temporels absolus force le modèle à moyenner des trajectoires exécutées à des vitesses différentes. Cela agit comme un filtre passe-bas, lissant les caractéristiques dynamiques à haute fréquence et les transitoires de contact critiques, menant à des politiques fragiles qui échouent face aux variations de vélocité.

Ces problèmes transforment le problème d'apprentissage en une optimisation non convexe sur un paysage multimodal, où les comportements valides sont séparés par des barrières d'énergie élevées, provoquant une stagnation de l'entraînement au niveau de points de selle.

2. Méthodologie : La Variété d'Action Généralisée (GAM)

Pour résoudre ces conflits, les auteurs proposent le cadre de la Variété d'Action Généralisée (Generalized Action Manifold - GAM). Le GAM impose la Covariance Générale en découplant structurellement le processus de génération d'actions en deux dimensions orthogonales d'invariance : l'Invariance Temporelle et l'Invariance Géométrique.

2.1. Fondement Théorique

Le cadre modélise l'espace d'action comme un fibré où l'espace de base représente les schémas de tâches invariants (intention géométrique) et le fibré représente les variables d'exécution équivariantes (pose spatiale et déformation temporelle). En projetant le problème d'apprentissage sur l'Espace Quotient ($Q = M/G$), les auteurs transforment la recherche globale non convexe en un problème de raffinement localement convexe.

2.2. Composants Clés

Le cadre GAM implémente cette théorie via deux mécanismes spécifiques :

• Invariance Temporelle via le Paramétriseur de Longueur d'Arc (ALP) :

  • Mécanisme : Au lieu d'aligner les trajectoires via des horodatages absolus, l'ALP ré-indexe les trajectoires en fonction de la longueur d'arc cumulée.
  • Effet : Cela orthogonalise la géométrie du chemin spatial par rapport à la dynamique temporelle. Cela découple la « forme » du mouvement de sa « vitesse », garantissant que la fonction de perte pénalise la déviation géométrique à la même distance parcourue, indépendamment de la vélocité d'exécution. Cela élimine les artefacts de désalignement temporel et préserve les détails dynamiques à haute fréquence.

• Invariance Géométrique via la Factorisation Affine de Schéma (SAF) :

  • Mécanisme : Le SAF projette les trajectoires brutes vers des « Lignes de Vie » canoniques dans un repère de pose normalisé. Il extrait analytiquement les paramètres de transformation affine (centroïde de translation $\mu$, cadre de rotation $U$, et échelle $\sigma$) pour factoriser les orbites du groupe $SE(3)$.
  • Effet : Cela isole le schéma d'action invariant (la forme pure du mouvement) des modulations affines équivariantes (position/orientation absolue). En normalisant les trajectoires, le paysage d'optimisation devient strictement convexe au sein de l'espace quotient, éliminant les points de selle causés par le moyennage de modes spatiaux.

2.3. Architecture GAM-VLA

Le cadre est instancié au sein d'une architecture VLA structurée utilisant un paradigme à deux étapes « Planifier puis Exécuter » :

1. Tokenisation de Variété Non Supervisée : Un RVQ-VAE est entraîné sur des formes canoniques (extraites via le SAF) pour apprendre un codebook discret de primitives géométriques (schémas).
2. Apprentissage de Politique Structuré :
   • Planificateur (Alignement d'Intention) : Un backbone Transformer prédit le schéma d'action discret (verrouillant le bassin de solution) et les paramètres affines à partir d'entrées visuelles et linguistiques.
   • Exécuteur (Flow Matching Conditionnel) : Une tête de flow-matching génère des actions continues et exécutables conditionnées par l'état caché du planificateur. Elle utilise le mécanisme ALP lors de l'entraînement pour aligner la trajectoire générée avec la vérité terrain paramétrée par la longueur d'arc.

3. Principales Contributions

Le papier expose trois contributions majeures :

1. Le Cadre GAM : Un paradigme théorique rigoureux qui impose la Covariance Générale en découplant structurellement les invariances géométriques et temporelles, dépassant la régression euclidienne.
2. Effondrement Topologique : La démonstration que les priors spatio-temporels (ALP et SAF) font s'effondrer les démonstrations déformées temporellement et transformées en poses en des bassins de schémas localement convexes, créant un objectif de raffinement bien conditionné.
3. Validation Empirique : La preuve que le GAM sert de biais inductif fort pour les modèles VLA, atteignant des performances de pointe et permettant des capacités de généralisation que les bases géométriquement agnostiques n'ont pas.

4. Résultats Expérimentaux

Les auteurs évaluent le GAM sur la suite de benchmarks LIBERO (se concentrant sur les tâches Spatiales, d'Objet, de But et de Longue Horizon) et sur le benchmark SimplerEnv (testant la robustesse face aux changements de distribution visuelle et dynamique).

• Apprentissage Généraliste (LIBERO) : Le GAM atteint un taux de succès moyen de 96,1 %, surpassant les bases solides incluant $\pi_0$ (94,1 %) et BEAST (92,5 %). Notamment, sur la suite exigeante LIBERO-Long, le GAM atteint 92,0 %, grâce à la stabilité apportée par le verrouillage de l'intention de haut niveau dans des schémas discrets.
• Robustesse (SimplerEnv) : Sous des changements de domaine significatifs (visuels, caméra et dynamiques), le GAM atteint un taux de succès global de pointe de 56,3 %, dépassant la meilleure base (SpatialVLA à 42,7 %) par une marge de +13,6 %.
• Études d'Ablation :
  • La suppression de l'un ou l'autre (SAF ou ALP) entraîne des baisses de performance modérées, confirmant leurs rôles complémentaires.
  • La suppression de la perte de supervision d'intention ($L_{plan}$) provoque un effondrement sévdes de la performance, soulignant la nécessité de la sélection de schémas discrets.
  • Validation de l'Invariance Temporelle : Testé avec du bruit de vitesse stochastique, les modèles sans ALP se dégradent brutalement (ex: le succès chutant de 45,8 % à 12,5 % pour « Put Spoon » avec un fort jitter), tandis que le GAM reste stable.
  • Validation de l'Invariance Géométrique : Les visualisations t-SNE et l'Analyse de Similitude de Représentation (RSA) confirment que le GAM induit un « Effondrement Topologique », où les états cachés se regroupent par intention géométrique plutôt que par pose spatiale, contrairement aux bases entrelacées.

5. Signification et Revendications

Le papier affirme qu'en recadrant l'apprentissage d'actions autour de la structure géométrique plutôt que sur la simple mise à l'échelle de paramètres, le GAM offre un fondement principled pour une intelligence incarnée physiquement cohérente.

• Efficacité : Les auteurs soutiennent que le GAM externalise les invariances qui sont mathématiquement gratues dans la représentation elle-même. Cela permet aux modèles d'éviter de dépenser de la capacité à réapprendre les invariances, offrant de meilleurs compromis entre données, calcul et robustesse hors-distribution à mesure que les modèles VLA passent à l'échelle.
• Sécurité : En atténuant les échecs de moyennage de mode (ex: prédire un chemin qui entre en collision avec un objet), le cadre contribue à des comportements robotiques plus sûrs.
• Rigueur Théorique : Ce travail établit que l'imposition de la Covariance Générale n'est pas seulement une amélioration heuristique, mais une condition nécessaire pour résoudre les pièges d'optimisation non convexes inhérents à l'entraînement actuel des VLA par régression.

Les auteurs concluent que le GAM transforme la recherche globale intractable de l'apprentissage d'actions en un raffinement local convexe garanti, permettant une généralisation robuste à partir de démonstrations éparses.