💻 computer science

Remember what you did?: Learning Behavioral Memories for Partially Observable Object Manipulation

Cet article présente la politique de mémoire d'action compressée (CAMP), une nouvelle approche qui permet aux robots de maîtriser des tâches de manipulation à long terme et riches en contacts sous une observabilité partielle en apprenant une représentation compressée et auto-supervisée de leur propre historique d'actions afin de suivre implicitement leur progression et de se rétablir après des échecs sans supervision externe.

Auteurs originaux : Kuancheng Wang, Seungho Yeom, Jinglin Cao, Yuheng Zhi, Nikhil Shinde, Michael Yip

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kuancheng Wang, Seungho Yeom, Jinglin Cao, Yuheng Zhi, Nikhil Shinde, Michael Yip

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le robot amnésique

Imaginez que vous essayez de résoudre un puzzle, mais chaque fois que vous faites un mouvement, quelqu'un vous couvre les yeux pendant une seconde. Quand vous les rouvrez, vous voyez le puzzle, mais vous ne vous souvenez pas de comment vous en êtes arrivé là. Avez-vous essayé de déplacer une pièce vers la gauche et avez échoué ? Avez-vous déjà déplacé cette pièce vers la droite ?

C'est le problème auquel les robots sont confrontés dans les tâches de « contact riche » (des tâches où ils doivent pousser, faire glisser ou toucher des objets). La caméra d'un robot voit l'image actuelle, mais il ne connaît pas l'historique de ce qu'il vient de tenter.

Le résultat : Le robot est confus. Il peut pousser un bloc contre un mur, réaliser qu'il est coincé, puis pousser à nouveau le bloc contre le mur parce qu'il a oublié qu'il l'avait déjà fait. Il souffre d'« amnésie ».

La solution : CAMP (Le « carnet de notes mental » du robot)

Les auteurs ont créé un nouveau système appelé CAMP (Compressed Action Memory Policy). Voyez CAMP non pas comme un robot qui voit mieux, mais comme un robot qui se souvient mieux.

Au lieu d'essayer de se souvenir de chaque pixel du passé (ce qui représente trop de données), CAMP tient un « carnet de notes mental » de ses propres actions. Il se demande : « Qu'est-ce que je viens d'essayer de faire ? »

Voici comment cela fonctionne, décomposé en étapes simples :

1. La mémoire « compressée » (Le résumé)

Si vous essayiez de noter chaque mouvement que vous avez fait dans une journée, votre carnet serait énorme et désordonné. CAMP est intelligent à ce sujet. Il utilise une astuce mathématique (appelée DCT) pour écrire un résumé de ses actions passées.

Analogie : Imaginez que vous décrivez un film à un ami. Vous ne listez pas chaque image ; vous dites : « D'abord, le héros a couru vers la gauche, puis il a sauté par-dessus une clôture, puis il est tombé. » Vous gardez la forme de l'histoire, mais vous jetez les détails minuscules.
Pourquoi cela aide : Ce résumé est assez petit pour tenir dans le « cerveau » du robot, mais assez détaillé pour lui dire : « Hé, tu as déjà essayé de pousser ce bloc vers la gauche, alors ne le refais pas. »

2. L'entraînement (Apprendre de ses erreurs)

CAMP est entraîné selon une méthode « auto-supervisée ». Cela signifie que le robot apprend en observant son propre passé, et non en étant guidé par un enseignant humain.

Le jeu : On montre au robot une vidéo d'un humain effectuant une tâche. Il essaie de deviner quelles étaient les actions passées de l'humain en se basant sur l'image actuelle.
La leçon : Si le robot se trompe dans sa supposition, il apprend. Avec le temps, il devient très doué pour regarder la scène actuelle et dire : « Ah, d'après l'endroit où se trouvent les choses maintenant, j'ai dû essayer de pousser le bloc ici plus tôt. »

3. L'entraînement en « deux étapes » (Échauffement puis ajustement)

L'article a découvert une méthode d'enseignement spécifique qui fonctionne le mieux :

Échauffement (Warm-up) : D'abord, le robot s'entraîne à seulement se souvenir des actions passées. Il construit une base de mémoire solide.
Gel (Freeze & Learn) : Ensuite, ils verrouillent cette mémoire en place pour qu'elle ne soit pas confondue.
Ajustement (Fine-tune) : Enfin, ils laissent le robot apprendre comment utiliser cette mémoire pour réellement bouger son bras.

Analogie : C'est comme un étudiant qui mémorise d'abord les règles d'un jeu (échauffement), puis pratique le jeu sans changer les règles (gel), et enfin apprend à jouer de manière stratégique (ajustement). Si vous essayez d'apprendre les règles et de jouer au jeu exactement en même temps, vous devenez confus et vous oubliez les règles.

Les résultats : De 0 % à 70 %

Les chercheurs ont testé cela sur des robots effectuant des tâches complexes, comme pousser un bloc en forme de « T » dans trois endroits différents sans toucher deux fois le même endroit, ou trouver un bouton caché.

Sans mémoire (Les anciens robots) : Ils échouaient presque tout. Ils poussaient le bloc, restaient coincés, et poussaient à nouveau, tournant en rond. Taux de réussite : 0 %.
Avec CAMP : Le robot se souvenait : « J'ai déjà essayé l'emplacement de gauche, ça n'a pas marché. Je vais essayer celui du milieu. » Taux de réussite : Jusqu'à 94 % en simulation et 70 % sur de vrais robots.

Pourquoi cela importe

La plupart des robots s'appuient sur des modèles « Vision-Langage-Action », qui reviennent à demander à un humain : « Rappelle-toi de pousser le bloc rouge. » Mais vous devez leur dire exactement quoi se rappeler à chaque fois.

CAMP est différent. Il apprend au robot à se souvenir par lui-même. Il apprend que l'historique de ses propres mouvements est l'indice le plus important pour résoudre le puzzle. Il transforme un problème « partiellement observable » (où l'on ne voit pas toute l'image) en un problème « clair » en comblant les lacunes grâce à la mémoire.

Résumé

Le Problème : Les robots oublient ce qu'ils viennent d'essayer, donc ils répètent les erreurs.
La Solution : CAMP donne au robot une « mémoire compressée » de ses propres actions passées.
La Magie : Il n'a pas besoin qu'un humain lui dise quoi se rappeler ; il apprend à se souvenir en reconstruisant son propre passé.
Le Résultat : Les robots peuvent enfin résoudre des puzzles complexes à plusieurs étapes où ils doivent apprendre de leurs échecs, tout comme un humain le ferait.

Résumé Technique : Compressed Action Memory Policy (CAMP)

Énoncé du Problème

Les tâches de manipulation robotique à long horizon et riches en contacts sont intrinsèquement partiellement observables. Dans ces scénarios, une seule observation visuelle capture rarement le contexte d'action complet du robot, incluant les tentatives antérieures, les interactions physiques ou la phase actuelle de progression de la tâche. Par conséquent, les politiques visuomotrices standards et les modèles Vision-Language-Action (VLA) souffrent d'« amnésie », agissant sur des signaux ambigus qui ne parviennent pas à distinguer des états qui semblent visuellement identiques mais diffèrent par leur historique d'interaction.

Les solutions existantes font face à des limitations significatives :

Politiques sans mémoire : Échouent à suivre la progression ou à apprendre des tentatives ratées dans des environaux riches en contacts.
Approches basées sur les VLA : Nécessitent souvent un prompting humain fastidieux et non scalable pour dicter ce qu'il faut mémoriser, ou reposent sur la prédiction d'observations visuelles passées ou futures de haute dimension, ce qui est informatiquement prohibitif et sujet à l'apprentissage de détails non pertinents pour la tâche.
Mémoire Visuelle : Les méthodes reposant sur la mémoire de tokens visuels ou la récupération de clés d'images (keyframes) peinent lorsque l'information critique est encodée dans l'historique du contact physique plutôt que dans l'apparence visuelle.

Méthodologie : Compressed Action Memory Policy (CAMP)

CAMP répond à ces défis en exploitant l'historique des actions du robot comme un signal hautement informatif et auto-supervisé. L'idée centrale est qu'en apprenant à reconstruire les actions passées, une politique peut naturellement extraire et conserver uniquement les informations comportementales les plus critiques nécessaires pour lever l'ambiguïté des états partiellement observables.

L'architecture CAMP se compose de trois composants principaux :

1. Pré-entraînement du Module de Mémoire (Auto-supervisé)

Un module de mémoire récurrent (implémenté sous la forme d'un LSTM à deux couches) est pré-entraîné pour résumer l'historique des interactions.

Entrée : Le module traite des paires observation-action, utilisant spécifiquement une troisième vue de caméra fixe (pour une référence spatiale cohérente) et la proprioception.
Objectif : Au lieu de mémoriser des séquences d'actions brutes, le module prédit une représentation compressée de la trajectoire d'action passée en utilisant la Transformée en Cosinus Discrète (DCT).
Fonction de Perte : L'objectif d'entraînement combine :
- Perte de Reconstruction ( $L_{rec}$ ) : Supervise la prédiction des coefficients DCT dans le domaine fréquentiel. Un poids fréquentiel réduit les coefficients de haute fréquence, forçant la mémoire à capturer la structure de basse fréquence (la forme) de la trajectoire tout en éliminant le bruit au niveau des étapes.
- Consistance Temporelle ( $L_{cons}$ ) : Garantit que la reconstruction d'une action passée fixe reste cohérente à mesure que l'épisode progresse, empêissant la dérive du compte de la mémoire.
Résultat : L'état caché $h_t$ devient un résumé latent compact de l'historique comportemental plutôt qu'un tampon brut.

2. Discrétisation (Quantification Vectorielle)

Pour améliorer la généralisation, l'état caché continu $h_t$ est discrétisé à l'aide d'un Quantificateur Vectoriel (VQ).

L'état est projeté vers l'entrée la plus proche d'un codebook appris.
Cette discrétisation force la mémoire à encoder des états comportementaux à grain grossier plutôt que des identités de trajectoires fines, ce que les auteurs ont jugé crucial pour la généralisation à travers les démonstrations.
L'état quantifié est projeté vers un code de mémoire $m_t$ qui sert de seul signal d'historique pour la tête d'action.

3. Tête d'Action de Diffusion

La tête d'action suit le cadre de la Diffusion Policy, prédisant un bloc d'actions futures.

Conditionnement : Le modèle de diffusion est conditionné par la concaténation des caractéristiques visuelles (provenant d'une caméra tierce et d'une caméra au poignet), de la proprioception et du code de mémoire discrétisé $m_t$ .
Calendrier d'Entraînement : Un calendrier par étapes de type "warm-up-then-finetune" (échauffement puis ajustement fin) est employé. Le module de mémoire est pré-entraîné et gelé pendant que la tête d'action apprend à s'y adapter. Par la suite, la mémoire est dégelée et ajustée conjointement avec la tête d'action. Cela empêche la perte d'action d'éroder l'information à long terme installée lors du pré-entraînement.

Contributions Clés

Formulation de Mémoire Auto-supervisée : Introduit la reconstruction de l'historique des actions via la compression DCT comme un signal auto-supervisé scalable pour capturer la mémoire comportementale pertinente sans supervision externe.
L'Architecture CAMP : Un nouveau cadre intégrant un module de mémoire récurrent (entraîné via la compression DCT des actions) avec une politique de diffusion, permettant une manipulation à long horizon et riche en contacts dans des environnements partiellement observables.
Benchmarks Nouveaux : La publication de Memory-T-Bench (poussée 2D riche en contacts) et Memory-Manip-Bench (manipulation 3D basée sur la vision), spécifiquement conçus pour évaluer les tâches dépendantes de la mémoire comme le suivi de progression et l'apprentissage par l'échec.
Validation Étendue : Démonstration empirique de la supériorité de CAMP par rapport aux meilleures méthodes de l'état de l'art à travers la simulation et quatre configurations de robots réels.

Résultats Expérimentaux

Benchmarks de Simulation

Memory-T-Bench : CAMP surpasse significativement la Diffusion Policy (DP) sans mémoire sur les variantes partiellement observables.
- Multi-Goals : 94.0% (CAMP) vs 56.0% (DP).
- Swap-Shuffle : 92.0% (CAMP) vs 48.0% (DP).
- Sur les tâches pleinement observables (Push-T standard), CAMP est comparable à DP (98.0% vs 94.0%), démontant l'absence de pénalité de la mémoire lorsqu'elle n'est pas nécessaire.
Memory-Manip-Bench : CAMP atteint un taux de réussite moyen de 64.3%, surpassant la base la plus forte (DP à 40.9%) de plus de 23%. Il domine sur 6 des 7 tâches, avec les marges les plus importantes sur les tâches nécessitant un rappel d'état (ex: Swap-Block : 86.0% vs 18.0%).
Efficacité des Données : Le taux de réussite de CAMP augmente de manière monotone avec le nombre de démonstrations (de 42% à 94% lorsque les démos passent de 80 à 320), tandis que les politiques sans mémoire ne montrent aucun gain constant, indiquant que le goulot d'étranglement des politiques sans mémoire est la partialité de l'observation, et non le volume de données.

Expériences sur Robot Réel

Évalué sur quatre tâches : Push-T-Multi-Goals, Swap-Can, Wipe-Plate, et Probe-Insert.

Baselines : Toutes les baselines sans mémoire (ACT, DP, $\pi^{0.5}$ , MemoryVLA) ont échoué avec un score de 0/10 sur Push-T-Multi-Goals, Swap-Can, et Wipe-Plate.
CAMP : A obtenu 7/10 de succès sur ces trois tâches et 11/15 sur Probe-Insert.
Modes d'Échec : Les baselines ont échoué en oscillant entre les objectifs, en restant bloquées après des échanges partiels, ou en entrant dans des boucles infinies (réutilisation de brosses/assiettes) car elles ne pouvaient pas suivre quels sous-objectifs étaient complétés. CAMP a résolu ces problèmes grâce au souvenir des interactions passées.

Études d'Ablation

Discrétisation : Supprimer la quantification vectorielle fait chuter la performance (94% $\to$ 60%), confirmant que les états comportementaux grossiers généralisent mieux que les identités de trajectoires continues.
Compression : Remplacer la DCT par des points de passage (waypoints) bruts ou la DFT réduit la performance, soulignant la nécessité de la compression de basse fréquence.
Calendrier d'Entraînement : L'entraînement conjoint dès le départ (66%) ou le pré-entraînement suivi d'un ajustement immédiat (46%) échoue. Le calendrier "warm-up-then-finetune" est critique pour préserver la mémoire pré-entraînée tout en permettant à la politique de s'y adapter.
Reconstruction vs Utilité : La mémoire ajustée (finetuned), bien qu'atteignant un succès de politique plus élevé (94%), possède une perte de reconstruction pire (1.46) par rapport à la mémoire pré-entraînée (0.35). Cela indique que la politique bénéficie d'un résumé compressé aligné sur la prise de décision, plutôt que d'une reconstruction parfaite du passé.

Signification et Revendications

L'article affirme que CAMP est, à la connaissance des auteurs, la première politique démontrant un succès substantiel sur des tâches de manipulation riches en contacts et partiellement observables uniquement par l'apprentissage de la mémoire.

Les points clés soulignés par les auteurs :

La mémoire résout la partialité de l'observation : En compressant l'historique des actions, CAMP transforme des problèmes partiellement observables en problèmes effectivement Markoviens pour la politique.
L'auto-supervision est suffisante : Les robots peuvent apprendre une mémoire comportementale robuste à partir de leur propre historique d'actions sans avoir besoin d'étiquettes de tâches explicites ou de prompting humain.
Scalabilité : L'approche évite le coût computationnel de la prédiction visuelle et les problèmes de scalabilité du prompt engineering manuel.

Les auteurs notent des limites : la méthode éprouve encore des difficultés avec les exigences de mémoire à très long horizon, et l'extension à la manipulation dextre reste une direction ouverte pour les travaux futurs.