💻 computer science

HAMLET: Switch your Vision-Language-Action Model into a History-Aware Policy

Ce papier présente HAMLET, un cadre évolutif qui transforme les modèles Vision-Language-Action en politiques conscientes de l'historique en intégrant des « tokens de moment » et un module de mémoire léger, permettant ainsi d'améliorer considérablement les performances des robots sur des tâches de manipulation à long terme dépendant du contexte passé.

Auteurs originaux : Myungkyu Koo, Daewon Choi, Taeyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

Publié 2026-04-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Myungkyu Koo, Daewon Choi, Taeyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🤖 Le Problème : Le Robot qui a la "mémoire de poisson rouge"

Imaginez que vous donnez des instructions à un robot pour qu'il range votre cuisine.

La situation : Vous lui dites : "Prends la tasse bleue, mets-la sous la soucoupe, puis empile la tasse rouge dessus."
Le problème des robots actuels : La plupart des robots intelligents d'aujourd'hui (appelés modèles VLA) sont comme des gens qui ont une mémoire de poisson rouge. Ils ne voient que l'image exacte devant eux à l'instant T.
- Si le robot regarde la table et voit une tasse, il ne sait pas si il vient de la prendre ou s'il doit la prendre.
- Si un objet est caché (occlusion), le robot panique car il ne se souvient pas de ce qu'il a vu il y a deux secondes.
- C'est comme essayer de résoudre un puzzle en ne regardant qu'une seule pièce à la fois, sans jamais se souvenir des pièces précédentes.

💡 La Solution : HAMLET (Le Robot qui se souvient)

Les chercheurs ont créé HAMLET. C'est une petite "boîte à outils" intelligente que l'on peut ajouter à n'importe quel robot existant pour lui donner une mémoire à court terme.

Pour comprendre comment ça marche, imaginons que le robot est un chef cuisinier très occupé.

1. Les "Jetons de Moment" (Moment Tokens) : Les Post-it Magiques

Au lieu de faire lire au robot toutes les vidéos de la cuisine (ce qui serait trop lourd et lent), HAMLET utilise de petits Jetons de Moment.

L'analogie : Imaginez que le robot prend un "Post-it" à chaque seconde importante. Au lieu de noter tout ce qui se passe (le bruit, la couleur du mur, la poussière), il écrit seulement l'essentiel sur ce Post-it : "J'ai saisi la tasse bleue" ou "Le cube est caché".
L'astuce : Ces Post-it sont créés de manière spéciale (grâce à une technique appelée apprentissage contrastif temporel) pour s'assurer qu'ils ne notent que ce qui change et ce qui est important, en ignorant le fond statique.

2. Le Module Mémoire : Le Tableau de Bord

Ensuite, ces Post-it sont envoyés à un petit Tableau de Bord (le module mémoire).

L'analogie : Ce tableau ne colle pas tous les Post-it les uns sur les autres au hasard. Il agit comme un chef d'orchestre. Il regarde les Post-it passés et se demande : "Ah, 3 secondes plus tôt, j'ai vu le cube bleu ! C'est crucial pour décider quoi faire maintenant."
Il ignore les Post-it inutiles (comme "le mur est blanc") et se concentre sur les indices qui aident à prendre la bonne décision.

🚀 Pourquoi c'est génial ? (Les Résultats)

Le papier montre que cette méthode change la donne :

C'est léger et rapide : Contrairement à d'autres méthodes qui essaient de faire lire au robot des heures de vidéo (ce qui le rend lent et gourmand en énergie), HAMLET est comme un résumé. Le robot reste rapide, mais il est beaucoup plus intelligent.
Il résout les tâches complexes : Sur des tâches où il faut se souvenir de plusieurs étapes (comme "échanger deux cubes" ou "empiler des objets"), les robots sans mémoire échouent souvent. Avec HAMLET, leur taux de réussite explose.
- Exemple : Dans un test réel, un robot qui réussissait seulement 29% des tâches complexes avec la méthode classique a atteint 76% avec HAMLET. C'est énorme !
C'est universel : On peut ajouter cette "mémoire" à presque n'importe quel robot déjà existant sans avoir à le rééduquer de zéro. C'est comme ajouter un module GPS à une voiture qui n'en avait pas : elle roule déjà bien, mais maintenant elle ne se perd plus.

🎯 En Résumé

HAMLET, c'est comme donner à un robot une mémoire de travail humaine.

Sans HAMLET : Le robot regarde, agit, oublie, regarde, agit, oublie... (Il se trompe souvent).
Avec HAMLET : Le robot regarde, note l'essentiel sur un Post-it, consulte son tableau de bord pour se souvenir de l'action précédente, et agit avec précision.

C'est une avancée majeure pour rendre les robots capables de faire des tâches longues et complexes dans notre monde réel, sans avoir besoin de super-ordinateurs gigantesques.

Titre : HAMLET : Switch Your Vision-Language-Action Model Into A History-Aware Policy

Auteurs : Myungkyu Koo, Daewon Choi, et al. (KAIST, UC Berkeley, RLWRLD)

1. Problématique

Les modèles Vision-Language-Action (VLA) actuels, tels que GR00T N1.5 ou OpenVLA, ont démontré une grande capacité à apprendre des politiques robotiques en exploitant des modèles de langage-vision pré-entraînés (VLM). Cependant, la majorité de ces architectures reposent sur une hypothèse de single-frame (cadre unique) : elles prédisent l'action suivante uniquement à partir de l'observation visuelle et de l'instruction actuelle, en ignorant le contexte historique.

Ce manque de mémoire est un frein majeur pour les tâches de manipulation robotique, qui sont intrinsèquement dépendantes de l'histoire (non-markoviennes). Par exemple :

Un objet peut être occlus (caché) dans le cadre actuel mais visible dans les frames précédentes.
La décision de relâcher un objet dépend de savoir s'il a déjà été saisi ou déplacé.
Les tâches à long horizon nécessitent de suivre l'état d'avancement d'une séquence d'actions.

L'ajout naïf de frames passées directement en entrée du VLA (approche "Multi-frame") s'avère coûteux : il augmente considérablement la latence (environ +35 %) et la consommation mémoire (environ 3,6x), limitant la scalabilité et la taille des lots d'entraînement.

2. Méthodologie : HAMLET

Pour résoudre ce problème sans ré-entraîner les modèles de base à partir de zéro, les auteurs proposent HAMLET (History-Aware Memory with LEarned Tokens), un cadre de fine-tuning "plug-in" composé de deux composants principaux :

A. Moment Tokens (Jetons de Moment)

Au lieu d'injecter les images brutes passées, HAMLET compresse l'information de chaque timestep en un ensemble de jetons appris, appelés moment tokens.

Fonctionnement : À chaque timestep $t$ , un ensemble de jetons appris $m_t$ est ajouté à l'entrée du VLM (avec l'image et l'instruction). Le VLM produit une représentation compressée $m'_t$ qui résume l'état instantané.
Initialisation par Time-Contrastive Learning (TCL) : Pour éviter que ces jetons n'apprennent des informations redondantes (comme le fond statique), ils sont initialisés via une tâche d'apprentissage contrastif temporel.
- L'objectif est d'aligner les jetons d'une même frame (avec des augmentations d'image) tout en les rendant discriminants par rapport aux jetons d'autres frames de la même trajectoire.
- Cela force les jetons à capturer les dynamiques temporelles pertinentes et à ignorer les éléments statiques.

B. Module de Mémoire Léger

Une fois les moment tokens générés, un module de mémoire léger les agrège pour fournir un contexte historique à l'expert d'action.

Architecture : Un Transformer léger (2 couches) applique une attention causale sur une fenêtre historique de moment tokens passés.
Sélection intelligente : Contrairement à une simple concaténation, ce module apprend à pondérer les timesteps passés. Il peut ainsi se concentrer sur les moments critiques (ex: quand un objet a été saisi) et ignorer les moments moins pertinents, évitant ainsi la "confusion causale".
Intégration : La représentation enrichie par l'histoire ( $\tilde{m}'_t$ ) est concaténée à la représentation actuelle du VLM ( $h_t$ ) et passée à l'expert d'action (généralement un modèle de diffusion) pour prédire la séquence d'actions futures.

3. Contributions Clés

Cadre adaptable : HAMLET permet d'ajouter une conscience historique à des VLA pré-entraînés existants sans nécessiter de ré-entraînement massif ou de modification de l'architecture de base.
Efficacité computationnelle : En compressant l'histoire en quelques jetons et en utilisant un module de mémoire léger, HAMLET évite l'explosion de la mémoire et de la latence observée avec les approches multi-frames naïves.
Apprentissage contrastif temporel : L'initialisation par TCL permet aux jetons d'apprendre à extraire des caractéristiques dynamiques et discriminantes, améliorant la qualité du contexte mémorisé.

4. Résultats Expérimentaux

Les auteurs ont évalué HAMLET sur des environnements réels et des benchmarks de simulation, en le comparant à des modèles de base (GR00T N1.5, CogACT, OpenVLA) et à des baselines multi-frames.

Tâches Réelles (Long Horizon) :
- Sur des tâches complexes comme "Swap Cubes" ou "Cover-and-Stack" (impliquant des occlusions et des dépendances temporelles), HAMLET a surpassé le modèle de base GR00T N1.5 de 47,2 % en taux de réussite moyen.
- Le taux de réussite global est passé de 29,2 % (GR00T N1.5 seul) à 76,4 % avec HAMLET.
- Les baselines multi-frames ont souvent échoué ou montré des performances inférieures en raison de la surcharge d'information et de la perte de généralisation.
Benchmarks de Simulation :
- RoboCasa Kitchen : HAMLET a amélioré le taux de réussite de 64,1 % à 66,4 % (sur 100 démonstrations).
- LIBERO : Sur ce benchmark de transfert de connaissances, HAMLET a porté la performance de pointe de 95,6 % à 97,6 %, atteignant un état quasi-saturé.
- Généralisation : L'approche a également fonctionné sur d'autres architectures comme CogACT (SimplerEnv-Bridge), passant de 52,1 % à 63,5 %, prouvant son indépendance vis-à-vis du backbone.
Efficacité :
- L'ajout de HAMLET n'augmente la latence d'inférence que de 2 % (1,02x) et la mémoire GPU de 96 % (1,96x) par rapport au modèle de base, contre une augmentation de 3,6x pour l'approche multi-frame.

5. Signification et Impact

Ce travail démontre que l'intégration de la mémoire dans les politiques robotiques modernes n'est pas nécessairement un compromis entre performance et efficacité.

Paradigme de conception : HAMLET propose une alternative élégante aux architectures lourdes de mémoire, montrant qu'une compression intelligente de l'information historique via des jetons appris est suffisante pour résoudre des tâches complexes.
Praticité : La capacité à transformer des modèles "off-the-shelf" en politiques conscientes de l'histoire sans ré-entraînement coûteux facilite l'adoption de ces technologies dans des scénarios réels où les données sont limitées.
Futur : Cette approche ouvre la voie à des robots capables de gérer des occlusions, de raisonner sur des séquences longues et de récupérer de leurs erreurs en se basant sur leur "mémoire" contextuelle, un pas crucial vers une manipulation robotique autonome et fiable.