Résumé Technique : Pourquoi les Actions Latentes Échouent et Comment Prévenir Cela

Énoncé du Problème

Les Modèles d'Actions Latentes (LAM) visent à apprendre des représentations pertinentes pour l'action à partir de vidéos non étiquetées en compressant les changements d'image à image, offrant ainsi une solution à la pénurie de jeux de données étiquetés par l'action dans la robotique réelle. Cependant, dans les vidéos « in-the-wild », les observations contiennent non seulement l'état endogène de l'agent, mais aussi des états exogènes (par exemple, l'encombrement de l'arrière-plan, le mouvement de la caméra, les changements d'éclairage). Ces facteurs exogènes introduisent des transitions d'image sans rapport avec les actions de l'agent.

Des travaux antérieurs ont observé que les LAM entraînés avec des objectifs de reconstruction standard échouent souvent à s'aligner sur les actions de vérité terrain dans de tels environnements. Au lieu d'apprendre la dynamique de l'action, les actions latentes encodent de manière fallacieuse le bruit exogène. Bien que des remèdes empiriques existent (par exemple, une supervision auxiliaire, des données multi-vues), aucune analyse théorique unifiée n'a expliqué pourquoi les objectifs standards échouent en présence de bruit exogène ou pourquoi des objectifs auxiliaires spécifiques atténuent cet échec.

Méthodologie

Les auteurs proposent un cadre théorique unifié basé sur le Processus de Décision Markovien à Blocs Exogènes (Ex-BMDP) pour analyser l'apprentissage des actions latentes.

1. Cadre Théorique : Ex-BMDP

Les auteurs étendent le BMDP (Block MDP) standard pour modéliser explicitement le bruit exogène. Dans cette formulation :

• L'état latent $x$ est décomposé en un état endogène $s$ (contrôlable par l'agent) et un état exogène $\xi$ (indépendant des actions de l'agent).
• Les fonctions de transition et les distributions initiales sont découplées : $T(x'|x, a) = T_s(s'|s, a)T_\xi(\xi'|\xi)$.
• Les observations sont générées via une carte d'émission déterministe $o = h(s, \xi)$, qui inclut un encodeur de vision $f$.

2. Analyse du LAM Linéaire

Pour assurer la traitabilité théorique, les auteurs analysent d'abord un cadre LAM Linéaire où :

• Les transitions d'observation sont additives : $o' = o + \phi_\xi(a) + \epsilon$, où $\phi_\xi(a)$ est l'effet de l'action et $\epsilon$ est un bruit exogène résultant des changements d'état ($\xi \to \xi'$).
• Le modèle de dynamique inverse ($\psi_{IDM}$) et le modèle de dynamique forward ($\psi_{FDM}$) sont des applications linéaires.
• L'objectif standard consiste à minimiser l'erreur de reconstruction $L_{LAM} = \mathbb{E}[\|o' - \hat{o}'\|_2^2]$.

3. Objectifs Auxiliaires

Les auteurs reformulent deux familles d'objectifs auxiliaires existants dans le cadre Ex-BMDP :

• Reconstruction Exogène Croisée ($L_{X-exo}$) : Utilise des observations appariées provenant d'états exogènes différents ($\xi, \tilde{\xi}$) partageant le même état endogène pour imposer une cohérence.
• Prédiction de Cible Robuste aux Exogènes ($L_{\xi-robust}$) : Supervise l'action latente avec une cible $y$ (par exemple, actions de vérité terrain ou flux optique) qui est robuste aux variations exogènes (c'est-à-dire que $y$ reste similaire quel que soit $\xi$).

Contributions Clés

1. Identification de la « Fuite Future »

Les auteurs prouvent que la minimisation de l'objectif de reconstruction standard $L_{LAM}$ en présence de bruit exogène provoque une fuite future.

• Mécanisme : Puisque le modèle forward $\psi_{FDM}$ doit reconstruire l'observation future $o'$ (qui contient l'état exogène futur $\xi'$), et que $\xi'$ n'est pas disponible comme entrée, l'action latente $z$ est forcée d'encoder des informations sur $\xi'$.
• Résultat : La Proposition 4.2 montre qu'aucun minimiseur global de $L_{LAM}$ n'admet une action latente indépendante de $\xi'$. Par conséquent, $z$ absorbe l'information exogène de l'image future, réduisant la capacité disponible pour encoder la dynamique réelle de l'action.

2. Rôle de la Sensibilité de l'Encodeur de Vision

L'analyse révèle que l'énergie du bruit exogène dans l'espace latent est régie par la sensibilité de l'encodeur de vision aux changements exogènes.

• L'énergie du bruit est proportionnelle à la fréquence des commutations d'état exogène et à la sensibilité de la fonction d'émission $h$ à $\xi$.
• Les résultats empiriques montrent que des encodeurs comme DINOv2, qui sont centrés sur les objets et robustes aux variations d'arrière-plan, réduisent considérablement cette sensibilité par rapport aux entrées brutes de pixels, conduisant à un meilleur alignement des actions.

3. Justification Théorique des Objectifs Auxiliaires

L'article fournit des preuves montrant comment les objectifs auxiliaires atténuent les interférences exogènes en imposant une cohérence à travers les états exogènes :

• Reconstruction Exogène Croisée : Sous des hypothèses linéaires, la minimisation de $L_{X-exo}$ équivaut à l'Analyse des Corrélations Canoniques (CCA). Cela supprime les composantes de transition qui varient avec des états exogènes spécifiques tout en préservant les composantes qui persistent à travers eux (c'est-à-dire les changements pilotés par l'action).
• Prédiction Robuste aux Exogènes : La Proposition 4.8 démontre que la prédiction d'une cible $y$ qui est $\eta$-robuste aux états exogènes fournit une borne explicite sur le décalage des actions latentes à travers différents états exogènes. Minimiser cette perte force l'action latente à être cohérente indépendamment de l'arrière-plan.

Résultats Expérimentaux

Expériences LAM Linéaires

En utilisant des données synthétiques avec des probabilités de commutation exogène contrôlées ($p_{switch}$) :

• Validation de la Fuite Future : Les expériences ont confirmé que les actions latentes encodent les états exogènes futurs. Lorsque l'état exogène de l'image suivante était échangé pendant l'inférence, la sortie de reconstruction se décalait pour correspondre à l'image échangée, confirmant le comportement de « raccourci ».
• Sensibilité au Bruit : À mesure que la sensibilité de l'observation aux changements exogènes ($\alpha$) augmentait, l'Erreur Quadratique Moyenne Normalisée (NMSE) pour la prédiction d'action s'aggravait, validant le lien théorique entre la sensibilité de l'encodeur et l'échec.
• Efficacité des Auxiliaires : L'ajout de $L_{X-exo}$ ou de $L_{\xi-robust}$ à la perte standard a systématiquement amélioré l'alignement des actions et réduit la variance des actions latentes à travers les états exogènes.

Expériences LAM Non Linéaires (Pratiques)

Pour tester la généralisabilité, les auteurs ont entraîné un LAM non linéaire (VQ-VAE avec CNN/UNet) sur un jeu de données de type grille avec un bruit exogène multiplicatif (violant les hypothèses linéaires) :

• LAM Vanilla : À mesure que l'intensité du bruit augmentait, le modèle encodait les régions exogènes, conduisant à une perte de cohérence élevée et à une faible MSE de région exogène (signifiant qu'il prédisait le bruit).
• LAM Augmenté : Les modèles entraînés avec $L_{X-exo}$ ou $L_{\xi-robust}$ ont maintenu une MSE de région exogène élevée (ignorant le bruit) et une faible perte de cohérence à tous les niveaux de bruit.
• Conclusion : Les insights théoriques concernant la fuite future et les avantages des objectifs imposant la cohérence restent valables même lorsque les hypothèses de linéarité et d'additivité sont violées.

Signification et Revendications

L'article revendique fournir une analyse théorique unifiée des échecs de l'apprentissage des actions latentes en présence de bruit exogène. Sa signification principale réside dans :

1. Explication des Modes d'Échec : Il identifie formellement la « fuite future » comme le mécanisme par lequel les objectifs de reconstruction standards dégradent l'apprentissage de l'action, plutôt que de simplement observer le phénomène empiriquement.
2. Unification des Remèdes : Il démontre que divers objectifs auxiliaires (multi-vues, supervision d'action, flux optique) partagent un mécanisme théorique commun : ils imposent la cohérence des actions latentes à travers les états exogènes.
3. Orientation de la Conception : Il souligne l'importance critique de la sensibilité de l'encodeur de vision aux facteurs exogènes, suggérant que des extracteurs de caractéristiques robustes sont une condition préalable à des LAM efficaces.

Les auteurs concluent que, bien que leurs preuves théoriques reposent sur des hypothèses linéaires, la validation empirique sur des modèles non linéaires suggère que ces principes s'étendent aux scénarios pratiques d'apprentissage d'actions latentes dans le monde réel.