Résumé Technique : MaskLAM – Guidage des Modèles d'Action Latente en Présence de Distracteurs

Énoncé du Problème

Les Modèles d'Action Latente (LAM) offrent une voie pour pré-entraîner des agents incarnés sur de grandes quantités de vidéo sans action, en inférant des actions latentes entre observations consécutives. Ces actions latentes sont ensuite décodées en contrôles de vérité terrain à l'aide d'un petit ensemble d'exemples étiquetés. Cependant, les LAM standards, tels que LAPO, reposent sur des objectifs de reconstruction globale qui contraignent le modèle à encoder l'ensemble de la scène pour prédire les images futures.

Dans des environnements réalistes contenant des distracteurs visuels (par exemple, des arrière-plans dynamiques, des tremblements de caméra ou des objets en mouvement), cette approche échoue. La fonction de perte de reconstruction standard pousse l'action latente à encoder un mouvement exogène (distracteurs) plutôt que des dynamiques contrôlées par l'agent (endogènes). Ce phénomène, formalisé par le cadre des MDP à blocs exogènes (Ex-BMDP), aboutit à des espaces latents qui ne récupèrent pas les véritables actions, entraînant une sous-performance significative des politiques en aval lors du fine-tuning. Les tentatives antérieures pour résoudre ce problème ont nécessité des modifications architecturales, des pertes auxiliaires ou une supervision privilégiée par les actions durant le pré-entraînement, augmentant ainsi la complexité et les besoins en données.

Méthodologie : MaskLAM

Les auteurs proposent MaskLAM, une modification légère de l'objectif d'entraînement de LAPO qui résout le problème de contamination exogène sans modifier l'architecture du modèle ni exiger d'étiquettes d'action durant le pré-entraînement.

Insight Central

La méthode repose sur l'observation que, bien que les facteurs endogènes (agent) et exogènes (distracteur) soient entremêlés dans l'espace latent, ils sont typiquement spatialement séparables dans l'espace des pixels. Les changements contrôlés par l'agent sont concentrés sur les pixels de l'agent, tandis que le mouvement des distracteurs se produit ailleurs.

Implémentation Technique

1. Segmentation Zero-Shot : MaskLAM utilise des modèles de fondation de segmentation prêts à l'emploi (spécifiquement SAM 2.1) pour générer des masques binaires ($M_t$) identifiant les pixels de l'agent. Ces masques sont obtenus en zero-shot à partir d'une seule invite (par exemple, une boîte englobante) sur la première image et propagés à travers la séquence vidéo.
2. Perte de Dynamique Forward Masquée : Au lieu de reconstruire l'observation complète, la perte du modèle de dynamique forward (FDM) est restreinte aux pixels de l'agent. La fonction de perte est définie comme suit :
   $$L_{MaskLAM}^{FDM} = \frac{1}{\|M_{t+1}\|_1} \| M_{t+1} \odot (\hat{o}_{t+1} - o_{t+1}) \|_2^2$$
   où $\odot$ désigne le produit de Hadamard. Cela garantit que les pixels en dehors du masque de l'agent (distracteurs) contribuent pour zéro gradient à l'action latente $z_t$.
3. Entrées Conditionnées par le Masque : Les masques de segmentation sont concaténés en tant que canal d'entrée supplémentaire à la fois au Modèle de Dynamique Inverse (IDM) et au FDM. Cela permet aux modèles d'utiliser le contexte complet de la scène (y compris les objets avec lesquels l'agent interagit et qui peuvent se trouver en dehors du masque strict de l'agent) tout en s'assurant que le signal d'apprentissage pour $z_t$ est dérivé uniquement des dynamiques contrôlées par l'agent.
4. Aucun Changement Architectural : L'intervention modifie uniquement le calcul de la perte et les canaux d'entrée, laissant l'architecture sous-jacente de LAPO (la paire IDM/FDM) et le pipeline d'entraînement en trois étapes (pré-entraînement, re-étiquetage, fine-tuning du décodeur) intacts.

Contributions Clés

1. Séparabilité Spatiale comme Intervention : L'article identifie la séparabilité spatiale des pixels de l'agent et des distracteurs comme la propriété clé permettant d'implémenter la factorisation abstraite Ex-BMDP sous forme d'intervention concrète lors de l'entraînement.
2. Proposition MaskLAM : Une méthode qui élimine les gradients exogènes sur l'action latente en restreignant la perte de reconstruction aux pixels de l'agent, ne nécessitant aucune perte auxiliaire, aucun changement architectural et aucune étiquette d'action durant le pré-entraînement.
3. Validation Empirique : Une évaluation approfondie sur deux benchmarks (Distracting Control Suite et Distracting Meta-World) démontre que MaskLAM surpasse significativement les baselines sans étiquettes et réduit l'écart de performance avec les méthodes reposant sur une supervision privilégiée par les actions (LAOM-Labels).

Résultats

Les auteurs ont évalué MaskLAM sur 14 tâches répartis sur deux benchmarks, en le comparant à LAPO, LAOM-Labels (borne supérieure avec supervision par les actions), LAOF (basé sur le flux) et LAPO-Slots (centré sur les objets).

• Qualité de l'Action Latente : MaskLAM a réduit l'erreur quadratique moyenne (NMSE) normalisée par une sonde linéaire d'un facteur allant jusqu'à 3,51 par rapport à LAPO. Dans les visualisations (projections UMAP), MaskLAM a produit des variétés lisses et monotones alignées avec les actions de vérité terrain, tandis que LAPO s'est effondré en clusters entremêlés.
• Performance en Aval : MaskLAM a amélioré le retour normalisé d'un facteur allant jusqu'à 4,97 par rapport à LAPO dans des configurations avec distracteurs. Il a égalé ou dépassé toutes les baselines sans étiquettes et s'est approché de la performance de LAOM-Labels, qui utilise une supervision privilégiée par les actions.
• Efficacité Échantillonnale : MaskLAM a démontré une efficacité échantillonale supérieure lors de l'étape de fine-tuning du décodeur. Sur Distracting Meta-World, il a atteint une performance proche du pic avec aussi peu que 2 000 étiquettes d'action, alors que LAPO et LAPO-Slots nécessitaient près de deux ordres de grandeur d'étiquettes supplémentaires pour combler l'écart.
• Robustesse :
  • Occlusion : MaskLAM a maintenu des taux d'erreur faibles même avec jusqu'à 75 % d'occlusion de l'agent, alors que les modèles non masqués se sont dégradés de manière significative.
  • Masques Imperfaits : La méthode est restée efficace même lorsque les masques de segmentation étaient perturbés (le mIoU étant tombé à 0,4–0,6), indiquant qu'une segmentation parfaite au pixel n'est pas requise.
  • Espaces Latents Compacts : MaskLAM a permis d'utiliser des dimensions latentes plus petites (par exemple, 64 dimensions) pour atteindre la même alignement que des latents non masqués plus grands (256 dimensions), car l'espace latent n'est pas chargé d'encoder la variance exogène.

Signification et Revendications

L'article revendique que l'échec des LAM standards dans des environnements riches en distracteurs est dû à la cible de prédiction (reconstruction globale) plutôt qu'à l'architecture. En réallouant la charge de supervision des étiquettes d'action rares vers des masques de segmentation disponibles en zero-shot et peu coûteux, MaskLAM rend le pré-entraînement par action latente viable sur des vidéos bruyantes du monde réel.

Les auteurs soulignent que cette approche :

• Découple le besoin d'étiquettes d'action de la capacité d'apprendre des dynamiques désentrelacées.
• Préserve la simplicité du cadre LAPO tout en résolvant un problème critique de robustesse.
• Démontre que des priors spatiaux dérivés de modèles de fondation peuvent guider efficacement l'apprentissage de représentations en l'absence d'annotations de contrôle explicites.

Ce travail suggère que pour les agents incarnés opérant dans des environnements visuels complexes, la supervision requise pour désentrelacer les dynamiques de l'agent des distracteurs peut être tirée de masques de segmentation plutôt que d'étiquettes d'action, permettant potentiellement un pré-entraînement à grande échelle sur des données vidéo à l'échelle d'Internet.