Résumé Technique : Actions Latentes à partir d'Effets de Transition Factorisés sous l'Ambiguïté de l'Agent

1. Énoncé du Problème

Les modèles d'actions latentes (Latent Action Models - LAM) visent à apprendre des proxies d'actions de type action directement à partir de transitions d'observations (par exemple, des images vidéo $x_t$ vers $x_{t+1}$) sans étiquettes d'action explicites. Bien qu'efficaces dans des environnements contrôlés où l'agent est la source dominante de changement, les LAM sont confrontés à une ambiguïté de l'agent significative dans des scènes complexes. Dans des environnements comportant des distracteurs, des arrière-plans en mouvement, des dynamiques de caméra ou des objets articulés, la transition visuelle $\Delta x_t$ est un mélange du mouvement contrôlé par l'agent et de facteurs exogènes non contrôlés.

Les LAM standards compressent l'ensemble de cette transition en un vecteur latent monolithique. Sans supervision, le modèle manque de base pour distinguer quels changements observés sont attribuables à l'agent par rapport aux distracteurs. Cette ambiguïté conduit à des espaces latents qui enchevêtrent le mouvement contrôlable avec le bruit spécifique à l'environnement, entravant la transférabilité et l'apprentissage de politiques en aval. Les approches existantes reposent souvent sur des priors centrés sur les objets ou sur la segmentation, ce qui impose des hypothèses rigides et limite la scalabilité.

2. Méthodologie

Les auteurs proposent la Factorisation des Transitions Observées (Observed Transition Factorization - OTF), une approche ascendante qui traite la transition visuelle non pas comme un événement unique à compresser, mais comme une composition parcimonieuse de primitives de transition observée réutilisables. Le cadre se compose de deux étapes principales :

2.1. Factorisation des Transitions Observées (OTF)

La première étape apprend un vocabulaire partagé d'effets de mouvement locaux.

• Construction de l'entrée : Une observation de mouvement $o_t$ est construite en appliquant une transformée de gradient (ou Sobel) à des images consécutives et en calculant la différence. Cela accentue le changement observable tout en réduisant la dépendance vis-à-vis de l'apparence statique et de l'identité des objets.
• Vectorisation par Patch (Patchwise Vector Quantization) : L'entrée de mouvement est partitionnée en patchs spatiaux. Chaque patch est encodé et quantifié dans un codebook discret de taille $K$ en utilisant un objectif de type VQ-VAE.
• Primitives : Le codebook apprend des primitives de transition observée réutilisables (ex: déplacement local, décalage de bord, résidus de type rotation, déformation de contact). Crucialement, ces primitives représentent des effets visuels plutôt que du mouvement physique pur ou des identités d'objets.
• Représentation factorisée : Pour chaque transition, le modèle produit un ensemble structuré de facteurs $E_t = \{e_{t,k}\}_{k=1}^K$, où chaque facteur $e_{t,k}$ consiste en une entrée du codebook, une carte d'occupation (support spatial) et une intensité d'activation.
• Objectif d'entraînement : Le factoriseur est entraîné pour reconstruire l'observation de mouvement $o_t$ en utilisant les primitives sélectionnées et l'image actuelle $x_t$ comme référence d'apparence, en minimisant la perte de reconstruction aux côtés des pertes VQ standards et d'un régularisateur d'orthogonalité pour assurer la diversité du codebook.

2.2. OTF-LAM : Abstraction d'Action

Une fois le module OTF pré-entraîné, celui-ci est gelé, et un Modèle d'Action Latente (Latent Action Model) est entraîné par-dessus les facteurs extraits.

• Abstraction sensible à l'état : Le modèle prend les facteurs $E_t$ et l'état actuel $x_t$ pour former une action latente compacte $z_t^{act}$.
• Mécanisme de porte (Gating Mechanism) : Un "Module d'Abstraction d'Action" convertit chaque facteur en un token sensible à l'état. Un réseau de porte assigne un poids de pertinence $\alpha_{t,k}$ à chaque facteur basé sur le contexte actuel, sélectionnant efficacement quelles primitives de transition observée sont pertinentes pour l'action de l'agent.
• Prédiction : L'agrégat latent $z_t^{act}$ est utilisé dans un cadre standard de dynamique inverse-directe pour prédire l'observation suivante (ou une mise à jour résiduelle).

2.3. OTF-LAM-Dino

Une variante sans décodeur est introduite pour séparer davantage les composants réutilisables des détails spécifiques à l'environnement.

• Représentation gelée : Au lieu de prédire dans l'espace des pixels, le modèle prédit les états futurs dans un espace de représentation DINOv2 gelé.
• Architecture : L'encodeur visuel (DINOv2) et l'extracteur de primitives de mouvement OTF sont tous deux gelés. Les composantes apprenables sont limitées à l'agrégateur d'actions et au prédicteur de dynamique directe au sein de l'espace de caractéristiques DINO. Cela force le modèle à se concentrer sur l'abstraction de la structure de transition pertinente pour le contrôle plutôt que sur la reconstruction de textures au niveau du pixel.

2.4. Apprentissage de Politique

Pour connecter l'espace latent appris au contrôle réel, une petite quantité de supervision d'action est utilisée. Une politique de clonage de comportement (behavioral cloning) mappe l'action latente $z_t^{act}$ vers les actions réelles, et un décodeur d'action est entraîné pour mapper l'action latente prédite vers l'action réelle, utilisant l'observation actuelle pour résoudre l'ambiguïté concernant l'objet auquel le mouvement s'applique.

3. Contributions Clés

1. Factorisation des Transitions Observées (OTF) : Une nouvelle méthode pour décomposer des transitions visuelles complexes en un ensemble parcimonieux de primitives localisées et réutilisables avant de tenter d'inférer des actions latentes. Cela déplace la cible d'apprentissage de "récupérer la véritable action" vers "structurer les effets de la transition observée".
2. OTF-LAM et OTF-LAM-Dino : Deux architectures qui utilisent l'interface de transition factorisée. OTF-LAM-Dino démontre spécifiquement que la combinaison de vocabulaires de transition réutilisables avec des représentations d'états visuels gelés (DINOv2) peut améliorer les performances en aval en agissant comme un régularisateur contre les facteurs de nuisance au niveau du pixel.
3. Transférabilité Zero-Shot : Des preuves empiriques montrant que les primitives de mouvement apprises se transfèrent en zero-shot à travers différents porteurs visuels (ex: différentes classes de chiffres dans Moving MNIST) et différentes morphologies d'agents (ex: de Walker à Cheetah dans le Distracting Control Suite), indiquant que le codebook capture des structures de transition générales plutôt que des templates spécifiques à l'environnement.
4. Robustesse à l'Ambiguïté : La méthode démontre que la factorisation des transitions permet un apprentissage d'action latente plus robuste en présence de distracteurs, surpassant ou égalant les bases monolithiques de type LAM dans des contextes complexes.

4. Résultats Expérimentaux

Le papier évalue la méthode sur le Distracting Control Suite (DCS) (Cheetah-Run et Walker-Run) et Moving MNIST.

• Réutilisabilité : Dans les expériences de transfert de morphologie et de porteur, le vocabulaire OTF a montré une dégradation de performance nettement plus faible par rapport aux bases VQ-VAE monolithiques. Par exemple, dans DCS, le vocabulaire OTF entraîné sur Walker-Run a maintenu une haute qualité de reconstruction lorsqu'appliqué en zero-shot à Cheetah-Run, alors que les bases monolithiques ont subi de fortes augmentations d'erreur (dégradation de 71 % contre environ 20 % pour OTF).
• Apprentissage de Politique en Aval :
  • Sur DCS, OTF-LAM et OTF-LAM-Dino ont obtenu des retours compétitifs ou supérieurs par rapport aux bases comme LAPO, FLAM et HiLAM.
  • OTF-LAM-Dino a systématiquement surpassé le modèle OTF-LAM basé sur décodeur, suggérant que la prédiction dans un espace de représentation gelé est plus efficace pour les tâches de contrôle que la reconstruction de pixels.
  • La méthode a réussi à distiller les actions latentes dans des politiques qui égalent ou dépassent les bases, même lorsque la transition visuelle contenait un bruit de distraction significatif.
• Ablation : L'étude sur la taille du codebook ($K$) a indiqué que si les vocabulaires plus larges aidaient généralement dans des environnements complexes (Cheetah-Run), la performance n'était pas strictement monotone, suggérant une capacité optimale dépendant de l'environnement et de l'architecture.

5. Signification et Revendications

Le papier affirme que les effets observés factorisés servent de représentation intermédiaire supérieure pour l'apprentissage d'actions latentes à partir de l'observation seule sous l'ambiguïté de l'agent.

• Changement de Perspective : Les auteurs soutiennent que, dans le cadre d'un apprentissage par observation seule, la cible la plus fiable n'est pas la véritable action elle-même, mais la structure des effets de transition observés. En traitant la transition comme une composition de primitives réutilisables, le modèle peut séparer le mouvement contrôlable des distracteurs sans dépendre de priors centrés sur les objets rigides.
• Généralisation : Les résultats suggèrent que l'apprentissage d'un "vocabulaire" d'effets de transition visuels permet une meilleure généralisation à travers différents agents et domaines visuels par rapport à l'apprentissage d'une action latente unique et monolithique par transition.
• Portée Modeste : Les auteurs déclarent explicitement que leur travail évalue ces approches dans des environnements contrôlés et des environnements de distracteurs DCS. Ils reconnaissent que l'extension de cela à des domaines de vidéos plus riches et diversifiés (ex: caméras en défilement, dynamiques de non-agents diverses) reste un travail futur. Ils ne prétendent pas résoudre le problème général de la récupération d'action sans aucune supervision, mais démontent qu'une représentation intermédiaire factorisée améliore considérablement la robustesse et la transférabilité de l'interface d'action latente apprise.