💻 computer science

Spatial Memory for Out-of-Vision Manipulation in Vision-Language-Action

Het artikel introduceert SOMA, een ruimtelijk geheugenkader dat de vaardigheid van Vision-Language-Action-modellen om manipulatie buiten het zicht uit te voeren, verbetert door persistente 3D-ruimtelijke representaties te construeren, te verfijnen en op te halen uit meervoudige weergaveobservaties, waardoor robuust redeneren en snellere taakuitvoering mogelijk worden zelfs wanneer doelobjecten aanvankelijk onzichtbaar zijn.

Oorspronkelijke auteurs: Pengteng Li, Weiyu Guo, He Zhang, Tiefu Cai, Xiao He, Yandong Guo, Hui Xiong

Gepubliceerd 2026-05-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Pengteng Li, Weiyu Guo, He Zhang, Tiefu Cai, Xiao He, Yandong Guo, Hui Xiong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een specifieke rode beker van een tafel te pakken, maar elke keer als je er naar grijpt, duw je hem per ongeluk uit het zicht. Een standaard robotcamera werkt als een mens die alleen vertrouwt op wat hij nu kan zien. Als de beker achter een kom verdwijnt, raakt de robot in paniek, stopt en zegt: "Ik kan hem niet vinden!" Hij heeft geen herinnering aan waar de beker een seconde geleden was.

Dit artikel introduceert SOMA (Spatial Memory for Out-of-Vision Manipulation), een nieuw "brein" voor robots dat dit probleem oplost door hen een persistent mentale kaart van de kamer te geven.

Hier is hoe SOMA werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: De "Goudvisgeheugen"-Robot

De meeste huidige robots zijn als goudvissen met een geheugen van 7 seconden. Ze weten alleen van objecten die momenteel in het zichtveld van hun camera liggen.

Het Scenario: Een mens vraagt een robot: "Pak de roze beker en doe hem in de mand."
Het Mislukken: Als de beker verstopt zit achter een doos, of als de robot zijn hoofd beweegt en de beker uit beeld verdwijnt, bevriest de robot. Hij weet niet dat de beker nog bestaat; hij ziet alleen lege ruimte. Hij komt "vast te zitten" omdat hij geen globaal begrip heeft van de kamer.

2. De Oplossing: De "Mentale Kaart" van de Robot

SOMA geeft de robot een ruimtelijk geheugen, vergelijkbaar met hoe jij herinnert waar je je sleutels hebt neergelegd, zelfs als je ze op dit moment niet kunt zien. Dit doet het in drie stappen:

Stap A: De "Sweep" (Het Bouwen van de Kaart)

Voordat de robot iets probeert te grijpen, gebruikt hij, als hij het doelwit niet kan zien, zijn op het hoofd gemonteerde camera om de kamer te scannen, zoals een beveiliger die een 360-graden draai maakt.

Analogie: Stel je voor dat je op zoek bent naar een verloren munt in een donkere kamer. Je staart niet naar één plek; je zwaait met je zaklamp door de hele kamer om te zien waar alles is.
Wat er gebeurt: De robot neemt deze verschillende hoeken en naait ze samen tot één uniforme "mentale kaart" die zowel wat de objecten zijn (een roze beker) als waar ze zijn (3D-coördinaten) bevat.

Stap B: De "Update" (De Kaart Vers Houden)

Terwijl de robot beweegt en het tafereel verandert (objecten bewegen, worden bedekt of verschijnen), gooit SOMA de oude kaart niet zomaar weg. Het werkt hem bij.

Analogie: Denk aan een weerkaart. Als een storm van het noorden naar het zuiden trekt, gooi je de kaart niet weg; je werkt alleen de locatie van de storm bij.
Wat er gebeurt: Als de robot ziet dat de beker beweegt, past hij de locatie van de beker op de mentale kaart aan. Als de beker achter een doos wordt verstopt, onthoudt de kaart: "De beker is achter de doos", zodat de robot niet vergeet dat hij bestaat.

Stap C: De "Zoektocht" (De Kaart Gebruiken om te Handelen)

Wanneer de robot de beker moet grijpen, dwaalt hij niet blindelings rond op zoek ernaar. Hij vraagt zijn geheugen af.

Analogie: In plaats van door een huis te dwalen op zoek naar je telefoon, herinner je je: "Ik heb hem laatst op het aanrecht in de keuken gezien", en je loopt er direct naartoe.
Wat er gebeurt: De robot vraagt zijn geheugen: "Waar is de roze beker?" Het geheugen zegt: "Hij is links, achter de mand." De robot beweegt zijn hoofd dan direct naar die plek, grijpt de beker en legt hem in de mand – vaak in slechts één poging.

3. De Resultaten: Van "Vastzitten" naar "Vlot"

De onderzoekers testten dit op echte robots met echte taken (zoals bekers oppakken en ze naar manden verplaatsen).

Zonder SOMA: De robot zou vaak vastzitten, willekeurig zijn hoofd ronddraaien in een poging het object te vinden, en het grijpen mislukken.
Met SOMA: De robot was veel sneller. Hij wist precies waar hij moest kijken, bewoog zijn hoofd minder en greep het object bijna direct (zoals een "one-shot" grijpbeurt). Hij slaagde zelfs wanneer het object volledig onzichtbaar was aan het begin.

Samenvatting

Denk aan SOMA als het geven van een GPS en een dagboek gecombineerd aan een robot.

Standaard Robots hebben alleen ogen; als ze het niet kunnen zien, bestaat het niet.
SOMA Robots hebben ogen en een geheugen. Ze kunnen objecten "zien" die momenteel verborgen zijn, omdat ze herinneren waar ze zich bevinden in de 3D-ruimte van de kamer.

Dit stelt robots in staat complexe taken uit te voeren in rommelige, echte omgevingen waar objecten voortdurend in en uit het zicht bewegen, waardoor ze veel betrouwbaardere helpers worden.

Technische Samenvatting: SOMA – Ruimtelijk Geheugen voor Manipulatie Buiten het Zichtveld in Vision-Language-Action

1. Probleemstelling

Huidige Vision-Language-Action (VLA)-modellen opereren doorgaans onder een "view-bound" aanname, waarbij taakgerelateerde objecten worden verondersteld zichtbaar te zijn binnen het huidige camera-zichtveld van de robot op het moment van besluitvorming. De meeste bestaande VLAs vertrouwen op statische camera-opstellingen of een enkel gezichtspunt, wat leidt tot breekbaar, reactief gedrag wanneer doelen worden afgeschermd of buiten het frustum van de camera bewegen. Hoewel sommige recente benaderingen proberen perceptie buiten het zichtveld te compenseren met interne ruimtelijke redenering of aangeleerde priors, zijn deze methoden inherent breekbaar; ze missen persistente perceptuele verankering en falen snel zodra doelen volledig buiten het waarneembare veld vallen. Deze beperking verhindert robuuste manipulatie in scenario's die meestapsplanning, coördinatie van twee armen of interactie met objecten vereisen die tijdelijk onzichtbaar zijn.

2. Methodologie: Het SOMA-kader

De auteurs stellen SOMA (Spatial memory framework for Out-of-Vision Manipulation) voor, een VLA-kader dat is ontworpen om redenering en actie mogelijk te maken buiten het huidige visuele frustum. SOMA integreert een beweegbare hoofd-camera met een globaal, persistent ruimtelijk geheugen. Het kader werkt via drie kerncomponenten:

A. Constructie van Ruimtelijk Geheugen

Voordat de manipulatie begint, initieert de robot, indien het doelobject niet in het huidige zicht is gelokaliseerd, een actieve scanfase met een beweegbare hoofd-camera.

Proces: Het systeem aggregeert hoeksgewijze observaties uit een scannende videosequentie tot een unificerde ruimtelijk-semantische representatie.
Pijplijn: Het maakt gebruik van een multi-level visuele abstractiepijplijn die combineert:
1. Geometrische Priors: Gebruik van VGGT om cameraposities en ruwe 3D-scènegeometrie te schatten.
2. Semantische Perceptie: Gebruik van YOLO voor objectlokalisatie en categorisatie.
3. Visuele Kenmerken: Gebruik van DINOv3 voor hoogdimensionale uiterlijke embeddings.
Fusie: Gedetecteerde 2D-bounding boxes worden opgetild naar een globaal 3D-coördinatenstelsel. Instances worden geassocieerd en gefuseerd over verschillende zichtpunten heen met behulp van uiterlijk-geometrische gelijkenis om duplicaten en ambiguïteiten op te lossen, waardoor een overzichtsscènegeheugen ( $M_0$ ) ontstaat dat bestaat uit unificerde tripletten (uiterlijk, 3D-ruimtelijke codering, categorie).

B. Dynamische Geheugenverfijning

Tijdens de manipulatie evolueert de scène naarmate objecten bewegen of worden afgeschermd.

Mechanisme: Nieuwe observaties van de hoofd-camera worden verwerkt en gefuseerd in het bestaande geheugen ( $M_0$ ) om een verfijnd huidig geheugen ( $\hat{M}_t$ ) te produceren.
Adaptieve Fusie: Het systeem voert associatie op instance-niveau uit tussen nieuwe observaties en bestaande geheugenvermeldingen. Het maakt gebruik van een gelijkenis-bewuste fusiemechanisme dat een semantische gelijkenis-score en een dynamische fusie-score berekent. Deze scores bepalen een adaptieve update-coëfficiënt, waardoor het geheugen nieuwe visuele bewijzen kan afwegen tegen historische data via een temporale exponentiële voortschrijdende gemiddelde (EMA). Dit zorgt voor globale consistentie terwijl het tegelijkertijd rekening houdt met veranderingen in de scène.

C. Contextueel Geheugentoegang

Om de actiekeuze te sturen, haalt het kader relevante ruimtelijke aanwijzingen op op basis van de gebruikersinstructie.

Alignering: Instructie-gegrondeerde vision-language embeddings van het VLM dienen als queries, terwijl het verfijnde ruimtelijke geheugen fungeert als de key-value bank.
Integratie: Een cross-attention module activeert selectief instructie-relevante regio's binnen het geheugen. Deze opgehaalde, geheugen-versterkte kenmerken worden geïnjecteerd in de DiT (Diffusion Transformer) blokken als een ruimtelijk-semantische prior, waardoor token-interacties worden gemoduleerd om precieze, verankerde manipulatie-acties te genereren, zelfs wanneer het doel tijdelijk buiten het zicht is.

3. Belangrijkste Bijdragen

SOMA-kader: De introductie van een ruimtelijk geheugenkader voor VLA-modellen dat het paradigma verschuift van reactieve, view-bound verkenning naar geheugengeleide manipulatie, waardoor operatie mogelijk wordt buiten het huidige camera-zicht.
Geheugencentrale Architectuur: Een innovatieve architectuur bestaande uit Constructie van Ruimtelijk Geheugen, Dynamische Geheugenverfijning en Contextueel Geheugentoegang. Dit ontwerp behoudt een persistente, object-gerichte ruimtelijke representatie die consistentie over verschillende zichtpunten en instructie-bewuste actiekeuze ondersteunt onder beperkte zichtpuntdekking.
Empirische Validatie: Experimenten in de echte wereld tonen aan dat SOMA niet alleen de taaksuccespercentages verbetert, maar ook kwalitatief verschillende manipulatie-gedragingen induceert, zoals snellere doellokalisatie, verminderde hoofdverkenning en bijna één-shot grijpen onder gedeeltelijke waarneembaarheid.

4. Experimentele Resultaten

Real-world Out-of-Vision (OOV) Taken

De auteurs evalueerden SOMA op vijf zelfontworpen real-world OOV-pick-and-place-taken, variërend van manipulatie van een enkel object tot sequentiële scenario's met twee objecten en coördinatie van twee armen, waarbij doelen aanvankelijk onzichtbaar waren.

Prestatie: SOMA behaalde de hoogste succespercentages over alle vijf taken in vergelijking met baselines waaronder GR00T-N1.5, StarVLA en SpatialVLA.
Gedragsmaten: In vergelijking met GR00T-N1.5 toonde SOMA significante verbeteringen in:
- Tijd tot Eerste Fixatie: Verminderd met 40–59%.
- Lengte van het Hoofdzoekpad: Verminderd met 40–57%.
- Aantal Correcties van het Zichtpunt: Verminderd met 42–57%.
- Aantal Grijp-pogingen: Verminderd met 40–57%, wat wijst op een gedrag van bijna één-shot grijpen.
- Tijd tot Grijpen: Verminderd met 41–60%.
Ablatie: Experimenten bevestigden dat persistent ruimtelijk geheugen de dominante factor is in prestatiewinst, en dat dit strategieën overtreft die alleen vertrouwen op scannen zonder geheugen of geheugen zonder verfijning.

Simulatiebenchmarks

RoboCasa Tabletop GR1: SOMA behaalde een state-of-the-art gemiddeld succespercentage van 52,0% (met 300 demos) en 49,3% (volledige data), en presteerde beter dan Diffusion Policy, GR00T-N1.5 en StarVLA. Opmerkelijk is dat SOMA een sterke steekproefefficiëntie toonde, met hoge succespercentages die werden bereikt met slechts 30 demonstraties per taak.
SimplerEnv: Op de Fractal-suite behaalde SOMA het beste succespercentage (63,2% bij Visuele Matching en 52,5% bij Variant Aggregatie), en overtrof andere SOTA-modellen zoals RoboVLM en OpenVLA.

5. Betekenis en Claims

Het artikel beweert dat SOMA fundamenteel de beperking van view-bound perceptie in huidige VLA-paradigma's aanpakt. Door multi-view scèneverkenning te integreren met een persistent, opvraagbaar ruimtelijk-semantisch geheugen, stelt SOMA robots in staat om ruimtelijke bewijzen te behouden en opnieuw te gebruiken buiten het instantane visuele input.

De auteurs benadrukken dat dit geheugencentrale ontwerp robuuste redenering en manipulatie mogelijk maakt wanneer taakgerelateerde objecten tijdelijk buiten het gezichtsveld vallen, zonder te vertrouwen op breekbaar, view-afhankelijk gedrag. Bovendien reikt de effectiviteit van het kader uit tot conventioneel volledig waarneembare settings (zoals getoond in RoboCasa en SimplerEnv), wat suggereert dat gestructureerd ruimtelijk geheugen een gunstige inductieve bias biedt voor algemene manipulatietaken, waardoor steekproefefficiëntie en stabiliteit worden verbeterd, zelfs wanneer objecten zichtbaar zijn. Het werk onderstreept dat ruimtelijke redenering alleen, zonder verankerde perceptuele bewijzen die in het geheugen worden bewaard, onvoldoende is voor robuuste manipulatie in dynamische of gedeeltelijk waarneembare omgevingen.