Résumé Technique : Géométrie Latente au-delà de la Recherche

Énoncé du Problème

Les modèles du monde basés sur la vision moderne, en particulier ceux fondés sur des Architectures d'Embedding Joint Prédictif (JEPA), excellent à représenter les observations sous forme de variétés latentes compactes et expressives. Cependant, un goulot d'étranglement majeur persiste dans le contrôle orienté vers un objectif : bien que le modèle du monde puisse prédire efficacement les états futurs, la conversion de ces prédictions en actions nécessite généralement une optimisation en ligne coûteuse (par exemple, la méthode de l'entropie croisée ou CEM).

Les auteurs identifient une « taxe de planification » où le coût computationnel de la prise de décision (la recherche parmi des séquences d'actions candidates) dépasse largement le coût de la prédiction du modèle du monde lui-même. Par exemple, dans LeWorldModel (LeWM), une seule étape de planification nécessite 9 000 déroulements candidats et 45 000 passes avant du prédicteur. La question centrale soulevée est de savoir si cette recherche est intrinsèque au contrôle ou un artefact de la formulation du problème. Plus précisément, si un espace latent est suffisamment régularisé (lisse et uniforme), le fardeau de la planification peut-il être déplacé de l'optimisation en ligne vers une inférence apprise ?

Méthodologie : Modèle d'Inversion Dynamique Conditionné par l'Objectif (GC-IDM)

L'article propose GC-IDM, une méthode qui remplace la recherche itérative au moment du test par une cartographie d'inversion dynamique apprise, légère.

Insight Central

Les auteurs émettent l'hypothèse que si un espace latent est régularisé pour la douceur et l'uniformité (via des techniques telles que SIGReg), la cartographie d'un état courant, d'un état objectif et d'un horizon restant vers l'action suivante constitue un problème d'inversion local bien posé. Au lieu de rechercher une trajectoire, le contrôleur peut directement inférer l'action optimale.

Architecture et Entraînement

1. Backbone Gelé : La méthode utilise un LeWorldModel (LeWM) préentraîné avec un encodeur et un prédicteur gelés. L'espace latent est régularisé pour être isotrope et lisse.
2. Le Modèle : GC-IDM est un Modèle d'Inversion Dynamique Conditionné par l'Objectif léger (un MLP à 3 couches avec environ 1,5 million de paramètres).
3. Entrées :
   • $z_t$ : État latent courant (encodé à partir de l'observation $o_t$).
   • $z_g$ : État latent objectif (encodé à partir de l'observation objectif $o_g$).
   • $h_t$ : Horizon restant (normalisé et encodé de manière sinusoïdale).
4. Sortie : L'action suivante $\hat{a}_t$.
5. Entraînement : Le modèle est entraîné par régression supervisée sur les latents gelés de LeWM en utilisant le même jeu de données de démonstration hors ligne que pour LeWM. Il minimise l'erreur quadratique moyenne (MSE) entre l'action prédite et l'action réelle pour un tuple $(z_t, z_g, h_t)$ donné.
6. Inférence : Au moment du test, le contrôleur opère de manière en boucle fermée. À chaque étape, il ré-encode l'observation courante, calcule l'horizon restant et effectue une seule passe avant à travers GC-IDM pour déterminer l'action. Aucune recherche itérative ni aucun déroulement de trajectoire n'est effectué.

Contributions Clés

1. Proposition GC-IDM : Une méthode de planification apprise pour les modèles du monde JEPA qui reformule le contrôle comme un problème d'inversion dans l'espace latent, remplaçant la recherche itérative au moment du test par une seule passe avant par étape d'environnement.
2. Supériorité Empirique : Démonstration qu'un modèle d'inversion léger peut surpasser ou égaler une large famille de planificateurs au moment du test (incluant CEM, iCEM, MPPI et les méthodes basées sur le gradient) sur les benchmarks LeWM, tout en réduisant les coûts de planification de 100 à 130 fois.
3. Validation de la Structure Latente : Confirmation expérimentale que l'apprentissage de la dynamique d'inversion latente sur des représentations bien régularisées permet une planification en boucle fermée rapide et efficace, suggérant qu'une grande partie de la structure récupérée par la recherche est déjà encodée localement dans la représentation.

Résultats Expérimentaux

Les auteurs ont évalué GC-IDM sur quatre environnements de référence : Two-Room (navigation), Push-T (manipulation riche en contacts), OGBench-Cube (manipulation d'objets 3D) et Reacher (atteinte continue).

• Taux de Réussite : GC-IDM a égalé ou dépassé les performances de CEM dans 7 cas sur 8 des configurations environnement-protocole (variant les tailles d'échantillons $n=50$ et $n=200$).
  • Des gains notables ont été observés dans OGBench-Cube et Reacher, où GC-IDM a significativement surpassé CEM en taux de réussite.
  • Dans Push-T (une tâche nécessitant de longues séquences de contacts), CEM était légèrement supérieur à $n=50$, mais GC-IDM est resté compétitif et infiniment plus efficace.
• Efficacité :
  • Accélération : GC-IDM a réalisé une réduction de 100 à 130 fois du coût de planification par décision par rapport à CEM.
  • Temps Réel : Dans l'environnement Two-Room, GC-IDM a complété les épisodes en ~2,9 secondes contre ~42 secondes pour CEM.
• Qualité de la Trajectoire : GC-IDM a produit des trajectoires plus lisses (jerk d'action plus faible) et des chemins plus directs (monotonie latente plus élevée) que CEM. Cela est attribué à la nature en boucle fermée de GC-IDM, qui ré-encode l'état à chaque étape, évitant ainsi l'accumulation d'erreurs et les discontinuités inhérentes à la planification par blocs en boucle ouverte de CEM.
• Comparaison de la Famille de Solveurs : L'écart de performance s'est maintenu pour d'autres planificateurs (iCEM, MPPI, GradientSolver), GC-IDM atteignant systématiquement les taux de réussite les plus élevés au coût computationnel le plus bas.

Signification et Revendications

L'article soutient que la « taxe de planification » n'est pas intrinsèque au contrôle mais est largement un artefact de la manière dont le contrôle est formulé lorsque la représentation latente n'est pas suffisamment structurée.

• Passage de l'Optimisation à l'Inférence : Les résultats suggèrent qu'avec des espaces latents suffisamment régularisés (par exemple via SIGReg), le problème de planification peut être déplacé de l'optimisation en ligne vers une inférence apprise. La « structure » requise pour la planification est encodée localement dans la représentation, rendant la recherche explicite redondante pour de nombreuses tâches.
• Limites : Les auteurs notent que l'efficacité de cette approche diminue dans les tâches nécessitant une planification délicate de contacts multi-étapes (comme Push-T à certains horizons), où la récupération locale d'inversion devient plus difficile. Ils reconnaissent également que la méthode dépend de la qualité de la géométrie latente du modèle du monde préentraîné.
• Travaux Futurs : Les auteurs suggèrent d'explorer les limites de ce régime dans des contextes avec une irréversibilité plus forte, des structures de contacts à plus long horizon et des espaces d'actions de plus haute dimension, ainsi que de comparer les espaces latents isotropes versus non isotropes.

En résumé, l'article démontre qu'en exploitant les propriétés géométriques d'un modèle du monde latent bien régularisé, il est possible de remplacer les planificateurs basés sur la recherche, computationnellement coûteux, par un simple modèle d'inversion dynamique rapide et efficace, modifiant fondamentalement le profil d'efficacité du contrôle basé sur un modèle.