Résumé technique : µVLA – Sur la mémoire récurrente pour la manipulation partiellement observable dans les modèles VLA

Énoncé du problème

Les modèles Vision-Language-Action (VLA) formulent généralement le contrôle robotique comme une prédiction de jetons suivante sur des séquences multimodales, supposant que l'observation actuelle (potentiellement augmentée par une fenêtre de contexte courte) est une statistique suffisante pour le contrôle. Cette hypothèse markovienne est valable dans les environnements pleinement observables, mais échoue sous la partielle observabilité, où les informations pertinentes pour la décision sont transitoires, occultées ou établies plus tôt dans un épisode.

Les approches existantes concernant la mémoire dans les VLA combinent souvent la récurrence avec d'autres mécanismes complexes, tels que des systèmes de recherche externes, des structures de mémoire hiérarchiques, des objectifs auxiliaires (par exemple, la prédiction des observations passées) ou des changements architecturaux spécifiques aux tâches. Par conséquent, la contribution spécifique de la récurrence elle-même reste entrelacée avec ces mécanismes environnants, ce qui rend difficile l'isolement de savoir si les gains de performance proviennent de l'état récurrent ou des composants auxiliaires.

Méthodologie : µVLA

Les auteurs présentent µVLA, une étude d'isolation contrôlée de la récurrence au sein d'un puissant squelette VLA pré-entraîné (OpenVLA-OFT). La formulation centrale augmente le transformer avec un ensemble minimal de jetons de mémoire apprenables ($M_t \in \mathbb{R}^{m \times d}$) transportés à travers les pas de temps et mis à jour via l'auto-attention standard.

Choix de conception clés

1. Architecture minimaliste : Le modèle ajoute uniquement $m$ jetons de mémoire apprenables à la séquence d'entrée (placés entre la proprioception et les jetons textuels). Aucun nouveau calque, banque de mémoire externe ou module de recherche n'est introduit.
2. Régime d'entraînement :
   • DataLoader épisodique : Contra'irement à l'entraînement standard par mélange (shuffling), le modèle est entraîné sur des épisodes temporellement ordonnés en utilisant un dataloader en "round-robin" pour maintenir la continuité de l'état.
   • Rétropropagation à travers le temps tronquée (TBPTT) : Le modèle est affiné de bout en bout avec TBPTT sur une fenêtre de $K$ étapes. Les gradients circulent à travers la chaîne récurrente à l'intérieur de la fenêtre mais sont détachés à la limite.
   • Pas de pertes auxiliaires : Le modèle est entraîné uniquement sur la perte de prédiction d'action standard (régression L1), sans objectifs auxiliaires comme la prédiction de l'observation passée.
3. Garde de masque d'attention : Un élément de conception critique est un masque d'attention modifié qui empêche les jetons de mémoire d'être attentifs aux jetons d'action. Cela empêche une solution dégénérée où le modèle copierait trivialement le bloc d'action prédit dans la mémoire, le forçant ainsi à encoder des indices environnementaux pertinents pour la tâche.
4. Inférence à horizon fuyant : Pour aligner l'entraînement et l'inférence, le modèle utilise un contrôle à horizon fuyant, interrogeant le modèle et exécutant seulement la première action d'un bloc prédit à chaque étape de l'environnement. Cela garantit que les mises à jour de la mémoire se produisent au bon rythme, évitant le décalage entraînement-test inhérent au découpage (chunking) en boucle ouverte.

Configuration expérimentale

L'étude évalue µVLA sur deux benchmarks :

• MIKASA-Robo : Un benchmark de manipulation partiellement observable conçu pour isoler la dépendance à la mémoire (ex: rappel de indices, suivi d'occlusion, mémoire séquentielle).
• LIBERO : Un benchmark pleinement observable utilisé comme témoin pour tester la régression de performance dans les contextes markoviens.

Les auteurs font varier trois paramètres pour créer une famille de modèles : la largeur de la mémoire ($m$), la longueur de la TBPTT ($K$), et la règle de mise à jour de la mémoire (TBPTT vs Moyenne Mobile Exponentielle détachée).

Principales contributions

1. Étude d'isolation contrôlée : Ce travail fournit la première isolation contrôlée de la récurrence dans un squelette VLA pré-entraîné, faisant varier la récurrence comme un axe expérimental unique sans recherche, compression ou pertes auxiliaires entrelacées.
2. Famille µVLA : L'introduction d'une famille paramétrée d'affinages récurrents d'OpenVLA-OFT qui partagent le même squelette, le même optimiseur et le même protocole d'inférence, ne différant que par leur configuration d'état récurrent.
3. Calibration de la capacité : Le papier calibre l'« enveloppe de capacité » d'une récurrence minimale intégrée, identifiant les régimes spécifiques où elle est suffisante et ceux où elle échoue.

Résultats

Performance sur les tâches partiellement observables (MIKASA-Robo)

• Tâches d'entraînement : Sur les cinq tâches d'entraînement (couvrant le rappel d'indices, l'occlusion et la mémoire séquentielle), la meilleure configuration µVLA ($m=64, K=2$) a amélioré le taux de succès moyen (SR) de 0,42 (baseline sans mémoire) à 0,84.
  • Des gains significatifs ont été observés dans les tâches de rappel d'indices (ex: RememberColor5 : 0,04 $\to$ 0,93).
• Tâches hors-ensemble (Sémantique identique) : Sur les tâches partageant la même sémantique de mémoire que l'entraînement mais avec des niveaux de difficulté différents, le meilleur µVLA a atteint un SR de 0,23, contre 0,07 pour la baseline sans mémoire.
• Tâches hors-ensemble (Sémantique nouvelle) : Sur les tâches nécessitant des structures de mémoire non présentes dans le mélange d'entraînement (ex: mémoire de forme uniquement alors qu'entraîné sur la couleur), la performance est restée proche de la baseline, indiquant que la récurrence minimale ne généralise pas à des sémantiques de mémoire entièrement nouvelles sans ré-entraînement.
• Longueur de troncature ($K$) : Une courbe de performance en forme de U a été observée. $K=2$ surpasse à la fois $K=1$ (pas de gradients inter-étapes) et $K=8$ (gradients plus longs), suggérant un point optimal entre l'attribution de crédit et la résolution du signal.

Performance sur les tâches pleinement observables (LIBERO)

• Absence de régression : Sur la suite LIBERO pleinement observable, la variante récurrente la plus forte ($m=64, K=8$) a atteint un SR moyen de 96,2 %, égalant ou dépassant la baseline OpenVLA-OFT sans mémoire. Cela confirme que l'ajout d'un canal récurrent ne dégrade pas la performance dans les contextes markoviens.
• Sensibilité à l'inférence : Les résultats ont souligné l'importance de l'inférence à horizon fuyant. Lorsque le même modèle µVLA était évalué avec un découpage en boucle ouverte (mise à jour de la mémoire une seule fois par bloc), la performance s'est effondrée (ex: le SR de Long-10 est passé de 95,8 % à 5,4 %), démontrant l'alignement critique entre la cadence d'entraînement et d'inférence.

Diagnostics et interventions

• Interventions causales : Remplacer les jetons de mémoire par du bruit gaussien pendant l'inférence a provoqué une chute brutale des taux de succès sur les tâches dépendantes de la mémoire (ex: RememberColor5 : 0,94 $\to$ 0,09), confirmant que la politique lit activement l'état récurrent.
• Déroulements d'attention (Attention Rollouts) : L'analyse de l'attention a montré que les jetons de mémoire se concentrent sur les régions d'indices (ex: une lampe ou une grille) durant la phase d'observation et se diffusent durant l'occlusion, s'alignant sur les transitions de phase de la tâche.
• Généralisation : Le modèle a montré une robustesse partielle aux identités d'indices hors-distribution (ex: inversions de couleurs) mais a nettement dégradé lorsque la longueur de la phase (délai entre l'indice et l'action) dépassait l'horizon d'entraînement.

Signification et affirmations

Les auteurs positionnent µVLA non pas comme un nouveau modèle de fondation, mais comme une calibration de l'enveloppe de capacité de la récurrence minimale.

• La récurrence est un ingrédient puissant : Les résultats soutiennent que la récurrence elle-même est une composante puissante et sous-étudiée des systèmes VLA. Même un petit ensemble de jetons apprenables, entraînés de bout en bout sans pertes auxiliaires, peut qualitativement changer le régime opérationnel d'un VLA, lui permettant de résoudre des tâches partiellement observables impossibles pour des politiques sans mémoire.
• Limites de la récurrence minimale : L'étude révèle des limites claires. La récurrence minimale est suffisante pour les tâches où l'exigence de mémoire est représentée dans la distribution d'entraînement et où l'horizon temporel est court. Cependant, elle ne généralise pas automatiquement à de nouvelles sémantiques de mémoire ou à des dépendances à très long terme sans mécanismes de mémoire structurés supplémentaires.
• Implications de conception : Ce travail suggère que les futurs VLA augmentés par la mémoire devraient soigneusement distinguer les contributions de la récurrence de celles de la recherche et des structures hiérarchiques. Le "point idéal" pour la longueur de la TBPTT ($K=2$) et la nécessité de la garde d'attention sont des découvertes spécifiques et exploitables pour concevoir des VLA récurrents efficaces.

En résumé, l'article démontre que la récurrence seule, lorsqu'elle est isolée et correctement entraînée, est un mécanisme puissant pour gérer la partialité de l'observation dans la manipulation robotique, à condition que la sémantique de la tâche soit dans la distribution apprise et que le protocole d'inférence s'aligne sur la cadence d'entraînement.