💻 computer science

Spatial Memory for Out-of-Vision Manipulation in Vision-Language-Action

L'article présente SOMA, un cadre de mémoire spatiale qui améliore la capacité des modèles Vision-Language-Action à effectuer des manipulations hors du champ de vision en construisant, affinant et récupérant des représentations spatiales 3D persistantes à partir d'observations multi-vues, permettant ainsi un raisonnement robuste et une exécution plus rapide des tâches même lorsque les objets cibles sont initialement invisibles.

Auteurs originaux : Pengteng Li, Weiyu Guo, He Zhang, Tiefu Cai, Xiao He, Yandong Guo, Hui Xiong

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pengteng Li, Weiyu Guo, He Zhang, Tiefu Cai, Xiao He, Yandong Guo, Hui Xiong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de saisir une tasse rouge spécifique sur une table, mais que chaque fois que vous tendez la main pour la prendre, vous la faites accidentellement tomber hors de vue. Une caméra robotique standard fonctionne comme un humain qui ne fait confiance qu'à ce qu'il peut voir à l'instant même. Si la tasse disparaît derrière un bol, le robot panique, s'arrête et dit : « Je ne la trouve pas ! » Il n'a aucun souvenir de l'endroit où se trouvait la tasse une seconde plus tôt.

Ce document présente SOMA (Mémoire spatiale pour la manipulation hors du champ de vision), un nouveau « cerveau » pour les robots qui résout ce problème en leur fournissant une carte mentale persistante de la pièce.

Voici comment SOMA fonctionne, décomposé en concepts simples :

1. Le Problème : Le Robot à la « Mémoire de Poisson Rouge »

La plupart des robots actuels sont comme des poissons rouges avec une mémoire de 7 secondes. Ils ne connaissent que les objets actuellement dans le champ de vision de leur caméra.

Le Scénario : Un humain demande à un robot : « Prends la tasse rose et mets-la dans le panier. »
L'Échec : Si la tasse est cachée derrière une boîte, ou si le robot bouge la tête et que la tasse sort du cadre, le robot se fige. Il ne sait pas que la tasse existe toujours ; il ne voit que de l'espace vide. Il reste « bloqué » car il manque d'une compréhension globale de la pièce.

2. La Solution : La « Carte Mentale » du Robot

SOMA donne au robot une mémoire spatiale, similaire à la façon dont vous vous souvenez où vous avez laissé vos clés même si vous ne pouvez pas les voir à l'instant présent. Il procède en trois étapes :

Étape A : Le « Balayage » (Construction de la Carte)

Avant que le robot n'essaie de saisir quoi que ce soit, s'il ne peut pas voir la cible, il utilise sa caméra montée sur la tête pour balayer la pièce comme un agent de sécurité effectuant une rotation à 360 degrés.

Analogie : Imaginez que vous cherchez une pièce de monnaie perdue dans une pièce sombre. Vous ne fixez pas un seul endroit ; vous balayez toute la pièce avec votre lampe de poche pour voir où se trouve chaque chose.
Ce qui se passe : Le robot assemble ces différents angles en une seule « carte mentale » unifiée qui inclut à la fois ce que sont les objets (une tasse rose) et où ils se trouvent (coordonnées 3D).

Étape B : La « Mise à Jour » (Maintien de la Carte à Jour)

Au fur et à mesure que le robot se déplace et que la scène change (les objets bougent, sont couverts ou apparaissent), SOMA ne jette pas simplement l'ancienne carte. Il la met à jour.

Analogie : Pensez à une carte météorologique. Si une tempête se déplace du nord vers le sud, vous ne jetez pas la carte ; vous mettez simplement à jour l'emplacement de la tempête.
Ce qui se passe : Si le robot voit la tasse bouger, il ajuste l'emplacement de la tasse sur la carte mentale. Si la tasse est cachée derrière une boîte, la carte se souvient : « La tasse est derrière la boîte », afin que le robot n'oublie pas qu'elle existe.

Étape C : La « Recherche » (Utilisation de la Carte pour Agir)

Lorsque le robot doit saisir la tasse, il ne se promène pas à l'aveugle à la recherche d'elle. Il interroge sa mémoire.

Analogie : Au lieu de vous promener dans une maison à la recherche de votre téléphone, vous vous souvenez : « Je l'ai vu pour la dernière fois sur le comptoir de la cuisine », et vous vous rendez directement là-bas.
Ce qui se passe : Le robot demande à sa mémoire : « Où est la tasse rose ? » La mémoire répond : « Elle est à gauche, derrière le panier. » Le robot tourne alors directement sa tête vers cet endroit, saisit la tasse et la place dans le panier, souvent en un seul essai.

3. Les Résultats : Du « Bloqué » au « Fluide »

Les chercheurs ont testé cela sur de vrais robots avec de vraies tâches (comme saisir des tasses et les déplacer vers des paniers).

Sans SOMA : Le robot restait souvent bloqué, faisait tourner sa tête au hasard en essayant de trouver l'objet, et échouait à le saisir.
Avec SOMA : Le robot était beaucoup plus rapide. Il savait exactement où regarder, bougeait moins sa tête et saisissait l'objet presque immédiatement (comme une saisie en « un coup »). Il réussissait même lorsque l'objet était complètement invisible au départ.

Résumé

Pensez à SOMA comme donnant à un robot un GPS et un journal de bord combinés.

Les Robots Standards n'ont que des yeux ; s'ils ne peuvent pas le voir, il n'existe pas.
Les Robots SOMA ont des yeux et une mémoire. Ils peuvent « voir » des objets actuellement cachés car ils se souviennent de leur emplacement dans l'espace 3D de la pièce.

Cela permet aux robots d'effectuer des tâches complexes dans des environnements réels et désordonnés où les objets entrent et sortent constamment de la vue, les rendant beaucoup plus fiables en tant qu'aides.

Résumé Technique : SOMA – Mémoire Spatiale pour la Manipulation Hors du Champ de Vision dans les Modèles Vision-Language-Action

1. Énoncé du Problème

Les modèles Vision-Language-Action (VLA) actuels fonctionnent généralement sous une hypothèse « limitée au champ de vision », où les objets pertinents pour la tâche sont supposés être visibles dans le champ de vue de la caméra actuelle du robot au moment de la prise de décision. La plupart des VLA existants reposent sur des configurations de caméras statiques ou des points de vue uniques, ce qui conduit à des comportements fragiles et réactifs lorsque les cibles sont occultées ou sortent du cône de vue de la caméra. Bien que certaines approches récentes tentent de compenser la perception hors champ de vision en utilisant un raisonnement spatial interne ou des a priori appris, ces méthodes sont intrinsèquement fragiles ; elles manquent d'un ancrage perceptif persistant et échouent rapidement dès que les cibles sont totalement hors du champ observable. Cette limitation empêche une manipulation robuste dans des scénarios nécessitant une planification multi-étapes, une coordination à deux bras ou une interaction avec des objets temporairement invisibles.

2. Méthodologie : Le Cadre SOMA

Les auteurs proposent SOMA (Cadre de mémoire spatiale pour la Manipulation Hors du Champ de Vision), un cadre VLA conçu pour permettre le raisonnement et l'action au-delà du cône de vision actuel. SOMA intègre une caméra mobile montée sur la tête avec une mémoire spatiale globale et persistante. Le cadre fonctionne à travers trois composants principaux :

A. Construction de la Mémoire Spatiale

Avant le début de la manipulation, si l'objet cible n'est pas localisé dans la vue actuelle, le robot initie une phase de balayage actif en utilisant une caméra mobile montée sur la tête.

Processus : Le système agrège les observations angulaires d'une séquence vidéo de balayage en une représentation spatiale-sémantique unifiée.
Chaîne de traitement : Elle emploie une chaîne d'abstraction visuelle multi-niveaux combinant :
1. A priori Géométriques : Utilisation de VGGT pour estimer les poses de la caméra et la géométrie 3D grossière de la scène.
2. Perception Sémantique : Utilisation de YOLO pour la localisation et la catégorisation des objets.
3. Caractéristiques Visuelles : Utilisation de DINOv3 pour les embeddings d'apparence de haute dimension.
Fusion : Les boîtes englobantes 2D détectées sont projetées dans un système de coordonnées 3D global. Les instances sont associées et fusionnées à travers les vues en utilisant la similarité apparence-géométrie pour résoudre les doublons et les ambiguïtés, formant une mémoire de scène globale ( $M_0$ ) composée de triplets unifiés (apparence, encodage spatial 3D, catégorie).

B. Raffinement Dynamique de la Mémoire

Pendant la manipulation, la scène évolue à mesure que les objets se déplacent ou sont occultés.

Mécanisme : Les nouvelles observations de la caméra de tête sont traitées et fusionnées dans la mémoire existante ( $M_0$ ) pour produire une mémoire courante raffinée ( $\hat{M}_t$ ).
Fusion Adaptative : Le système effectue une association au niveau des instances entre les nouvelles observations et les entrées de mémoire existantes. Il utilise un mécanisme de fusion sensible à la similarité qui calcule un score de similarité sémantique et un score de fusion dynamique. Ces scores déterminent un coefficient de mise à jour adaptatif, permettant à la mémoire d'équilibrer les nouvelles preuves visuelles avec les données historiques via une moyenne mobile exponentielle temporelle (EMA). Cela assure une cohérence globale tout en s'adaptant aux changements de scène.

C. Récupération Contextuelle de la Mémoire

Pour guider la sélection des actions, le cadre récupère des indices spatiaux pertinents basés sur l'instruction de l'utilisateur.

Alignement : Les embeddings vision-langage ancrés dans l'instruction provenant du VLM servent de requêtes, tandis que la mémoire spatiale raffinée agit comme la banque clé-valeur.
Intégration : Un module d'attention croisée active sélectivement les régions pertinentes pour l'instruction au sein de la mémoire. Ces caractéristiques récupérées et enrichies par la mémoire sont injectées dans les blocs DiT (Transformateur de Diffusion) en tant qu'a priori spatial-sémantique, modulant les interactions de tokens pour générer des actions de manipulation précises et ancrées, même lorsque la cible est temporairement hors de vue.

3. Contributions Clés

Cadre SOMA : L'introduction d'un cadre de mémoire spatiale pour les modèles VLA qui déplace le paradigme de l'exploration réactive limitée au champ de vue vers une manipulation guidée par la mémoire, permettant une opération au-delà de la vue actuelle de la caméra.
Architecture Centrée sur la Mémoire : Une architecture novatrice comprenant la Construction de Mémoire Spatiale, le Raffinement Dynamique de la Mémoire et la Récupération Contextuelle de la Mémoire. Cette conception maintient une représentation spatiale persistante centrée sur les objets qui soutient la cohérence inter-vues et la sélection d'actions consciente des instructions sous une couverture de points de vue limitée.
Validation Empirique : Des expériences dans le monde réel démontrant que SOMA améliore non seulement les taux de réussite des tâches, mais induit également des comportements de manipulation qualitativement différents, tels qu'une localisation plus rapide des cibles, une réduction de l'exploration de la tête et une saisie quasi en un seul essai sous observabilité partielle.

4. Résultats Expérimentaux

Tâches Hors du Champ de Vision (OOV) dans le Monde Réel

Les auteurs ont évalué SOMA sur cinq tâches de saisie et de déplacement OOV dans le monde réel, conçues par eux-mêmes, allant de la manipulation d'un seul objet à des scénarios de coordination séquentielle d'objets doubles et de bras doubles où les cibles étaient initialement invisibles.

Performance : SOMA a obtenu les taux de réussite les plus élevés sur les cinq tâches par rapport aux bases de référence incluant GR00T-N1.5, StarVLA et SpatialVLA.
Métriques Comportementales : Par rapport à GR00T-N1.5, SOMA a démontré des améliorations significatives dans :
- Temps de Première Fixation : Réduit de 40 à 59 %.
- Longueur du Parcours de Recherche de la Tête : Réduite de 40 à 57 %.
- Nombre de Corrections de Point de Vue : Réduit de 42 à 57 %.
- Nombre de Tentatives de Saisie : Réduit de 40 à 57 %, indiquant un comportement de saisie quasi en un seul essai.
- Temps jusqu'à la Saisie : Réduit de 41 à 60 %.
Ablation : Les expériences ont confirmé que la mémoire spatiale persistante est le facteur dominant des gains de performance, surpassant les stratégies qui reposent uniquement sur le balayage sans mémoire ou sur la mémoire sans raffinement.

Benchmarks de Simulation

RoboCasa Tabletop GR1 : SOMA a obtenu un taux de réussite moyen de pointe de 52,0 % (avec 300 démonstrations) et de 49,3 % (données complètes), surpassant Diffusion Policy, GR00T-N1.5 et StarVLA. Notamment, SOMA a montré une forte efficacité d'échantillonnage, atteignant des taux de réussite élevés avec seulement 30 démonstrations par tâche.
SimplerEnv : Sur la suite Fractal, SOMA a obtenu le meilleur taux de réussite (63,2 % dans la correspondance visuelle et 52,5 % dans l'agrégation de variantes), dépassant d'autres modèles de pointe comme RoboVLM et OpenVLA.

5. Importance et Revendications

L'article revendique que SOMA adresse fondamentalement la limitation de la perception limitée au champ de vue dans les paradigmes VLA actuels. En intégrant l'exploration de scènes multi-vues avec une mémoire spatiale-sémantique persistante et interrogeable, SOMA permet aux robots de conserver et de réutiliser des preuves spatiales au-delà de l'entrée visuelle instantanée.

Les auteurs soulignent que cette conception centrée sur la mémoire permet un raisonnement et une manipulation robustes lorsque les objets pertinents pour la tâche sont temporairement hors du champ de vision, sans dépendre de comportements fragiles dépendants de la vue. De plus, l'efficacité du cadre s'étend aux environnements entièrement observables conventionnels (comme montré dans RoboCasa et SimplerEnv), suggérant qu'une mémoire spatiale structurée fournit un biais inductif bénéfique pour les tâches de manipulation générales, améliorant l'efficacité d'échantillonnage et la stabilité même lorsque les objets sont visibles. Le travail met en évidence que le raisonnement spatial seul, sans preuves perceptives ancrées conservées dans la mémoire, est insuffisant pour une manipulation robuste dans des environnements dynamiques ou partiellement observables.