Résumé Technique : Latent Memory Palace (LMP)

Problématique

La prise de décision humaine présente un spectre allant des actions réflexes au raisonnement délibéré et multi-étapes, où le temps et l'effort investis augmentent avec la complexité de la tâche. Bien que les grands modèles de langage (LLM) aient démontré avec succès des capacités de « raisonnement » similaires grâce à la génération itérative de tokens (ex: Chain-of-Thought), transférer cette capacité aux politiques de contrôle robotique continue reste un défi. Le raisonnement direct dans l'espace du langage manque souvent de la granularité nécessaire à la compréhension spatiale et au contrôle précis du mouvement. De plus, les approches classiques d'inférence variationnelle pour le contrôle reposent généralement sur des variables latentes de dimension fixe, incapables d'adapter leur profondeur de calcul aux exigences spécifiques de chaque entrée. Le problème central est de savoir comment permettre aux politiques robotiques d'effectuer un calcul itératif et adaptatif dans un espace latent appris de bout en bout pour la prédiction d'actions, afin de trouver un équilibre entre une prise de décision efficace et une amélioration de la généralisation.

Méthodologie

Les auteurs proposent le Latent Memory Palace (Liment/LMP), un cadre qui formule le raisonnement pour le contrôle comme une inférence variationnelle autorégressive.

1. Formulation Fondamentale

LMP traite une action $a$ non pas comme une prédiction directe d'une observation $o$, mais comme le résultat d'un calcul latent intermédiaire $z$. La politique est définie par une borne inférieure variationnelle (ELBO) :
$$\log p(a | o) \geq \mathbb{E}_{z \sim q_\theta(z|o,a)} [\log p_\phi(a | o, z)] - D_{KL}(q_\theta(z | o, a) \parallel p_\theta(z | o))$$
Contrairement aux approches standards, la variable latente $z$ n'est pas un vecteur unique mais une séquence autorégressive de longueur variable $z = (z_1, z_2, \dots, z_{T(z)})$ tirée d'un vocabulaire incluant un token de fin de séquence (EOS). La séquence se termine lorsque l'EOS est généré, permettant au modèle d'allouer de manière adaptative les étapes de calcul en fonction de la complexité de la décision.

2. Raisonnement Adaptatif via la Compression

Pour susciter un comportement adaptatif où le modèle n'utilise davantage d'étapes que si nécessaire, LMP introduit un mécanisme de compression. Le décodeur d'action $p_\phi$ est paramétré comme un Gaussien isotrope dont la variance $\sigma(T(z))$ décroît exponentiellement avec la longueur de la séquence latente $T(z)$.
$$\sigma(T(z)) = \gamma^{T(z)} \sigma_0, \quad \gamma \in (0, 1)$$
Cela impose une pénalité de longueur : chaque étape latente supplémentaire affine la distribution Gaussienne. Par conséquent, le modèle ne peut "se permettre" de générer une étape supplémentaire que si la précision de l'action prédite justifie la réduction de la variance. Cela force la politique à consacrer plus de calcul aux décisions complexes et moins aux décisions simples ou irrédûcement incertaines (par exemple, le moment précis de la fermeture d'une pince).

3. Optimisation Traitable via l'Apprentissage par Renforcement (RL) dans l'Espace Latent

L'optimisation de l'ELBO via l'échantillonnage autorégressif non différentiable est intraitable via la rétropropagation standard. Les auteurs dérivent un objectif d'Apprentissage par Renforcement (RL) sur les trajectoires latentes :

• Épisode Latent : Une trajectoire est échantillonnée à partir de la distribution postérieure $q_\theta$ jusqu'à l'EOS.
• Récompense : Composée d'une récompense de reconstruction ($\log p_\phi(a|o,z)$) et d'une pénalité KL par rapport au prior.
• Réduction de la Variance : Le terme KL est décomposé en récompenses par étape grâce à la structure autorégressive, permettant une attribution de crédit par étape.
• Optimisation : Les auteurs utilisent un objectif de substitut découpé de type PPO pour stabiliser l'entraînement et éviter l'effondrement latent, en utilisant des rollouts on-policy collectés dans un tampon (buffer).

4. Tokenisation d'Action (LMP-tok)

En supprimant le conditionnement par l'observation du cadre variationnel, la même architecture instancie LMP-tok, un tokeniseur d'action à longueur variable. Il compresse des blocs d'actions continues en tokens discrets, qui peuvent ensuite être utilisés pour entraîner des politiques autorégressives en aval. Contrairement aux tokeniseurs nécessitant une reconstruction exacte de transformations discrètes (ex: FAST), LMP-tok permet à des séquences de longueur arbitraire d'être décodées en actions valides.

Contributions Clés

1. Latent Memory Palace (LMP) : Une formulation novatrice du raisonnement comme inférence variationnelle avec une distribution latente autorégressive, permettant un calcul itératif et adaptatif pour le contrôle robotique.
2. LMP-$\pi$ (Politique) : Une politique de contrôle qui génère des traces de "raisonnement" de longueur variable lors du test, allouant l'ordinateur de manière adaptative selon la difficulté et l'incertitude de la tâche.
3. LMP-tok (Tokeniseur) : Un tokeniseur d'action à longueur variable qui améliore significativement les performances des politiques autorégressives en aval en compressant les actions dans des espaces latents discrets.
4. Cadre d'Optimisation : Une méthode basée sur le RL, traitable, pour optimiser la borne inférieure variationnelle pour l'échantillonnage autorégressif à longueur variable, incluant des techniques pour stabiliser l'entraînement contre l'effondrement latent.

Résultats Expérimentaux

Les auteurs ont évalué LMP sur des benchmarks réels (DROID) et simulés (LIBERO, D3IL, RoboMimic).

• Performance de la Politique (LMP-$\pi$) :

  • Zero-Shot & Fine-tuning : Sur la plateforme DROID, LMP-$\pi$ a surpassé Diffusion Policy (DP) en configuration zero-shot et a atteint des taux de réussite plus élevés (ex: 95 % sur le nettoyage multi-objets) dans des tâches de haute précision après fine-tuning.
  • Généralisation : Sur LIBERO-90, LMP-$\pi$ a montré un "plancher" de performance nettement plus élevé sur les 10 tâches les plus difficiles par rapport à DP, indiquant une réduction de l'interférence entre les tâches et de meilleures capacités de récupération.
  • Itératif vs Non-Itératif : LMP-$\pi$ a systématiquement surpassé les bases non-itératives (VAE Policy, VQ-BeT), démontrant que les représentations latentes de longueur fixe manquent de la granularité requise pour la manipulation complexe.

• Performance du Tokeniseur (LMP-tok) :

  • Lorsqu'il est utilisé pour entraîner des politiques autorégressives en aval, LMP-tok surpasse significativement les bases (VQ-VAE, FAST, OAT) sur les tâches RoboMimic et LIBERO.
  • Notamment, LMP-tok était la seule méthode atteignant une performance non triviale sur la tâche de haute précision "tool-hang" de RoboMimic, là où les autres tokeniseurs échouaient en raison de contraintes de précision ou de reconstruction.

• Analyse du Calcul Adaptatif :

  • Interprétabilité : Les visualisations montrent que le nombre d'étapes de raisonnement latent est corrélé à la complexité de la tâche. Le modèle utilise moins d'étapes lors des mouvements de la pince (où le timing est irrédûcement variable) et plus d'étapes lors des tâches d'alignement précises.
  • Compression : Les études d'ablation ont confirmé qu'une compression plus forte (décroissance plus rapide de la variance) conduit à une meilleure généralisation, à condition qu'elle soit équilibrée pour éviter un excès d'erreur de reconstruction.
  • Mode-Seeking (Recherche de Mode) : Tronquer les étapes latentes lors du test n'a pas dégradé significativement les performances ; au contraire, le modèle a exhibited un comportement de "recherche de mode", s'engageant vers des modes d'action spécifiques plutôt que de faire la moyenne entre eux.

Signification et Revendications

L'article affirme établir l'inférence variationnelle autorégressive comme un cadre pratique et fondé pour le calcul itératif et adaptatif dans l'apprentissage robotique. En tirant une analogie avec la mnémotechnique du "palais de la mémoire", ce travail démontre qu'organiser l'information dans un espace latent de longueur variable permet aux politiques de :

1. Imiter la variabilité de la décision humaine : Échelle l'effort de calcul avec la complexité de la décision.
2. Améliorer la généralisation : Atteindre des performances robustes à travers diverses tâches et environnements en apprenant à allouer le calcul efficacement.
3. Améliorer la tokenisation : Fournir une méthode supérieure pour discrétiser les actions continues pour la modélisation autorégressive.

Les auteurs positionnent LMP comme un pont entre les capacités de raisonnement des modèles de fondation et les exigences de précision du contrôle robotique, offrant une nouvelle perspective où le "raisonnement" est un processus latent implicite optimisé par inférence variationnelle et apprentissage par renforcement.