💻 computer science

SERF: Spatiotemporal Environment and Robot Feature Map for Long-Horizon Mobile Manipulation

Dit artikel introduceert SERF, een spatiotemporele feature map die zowel de omgeving als het robotlichaam codeert in een gedeelde latente ruimte om langetermijnredeneren bij mobiele manipulatie te verbeteren, waarbij een superieure prestatie wordt aangetoond ten opzichte van enkel op beelden gebaseerde baselines op de BEHAVIOR-1K benchmark.

Oorspronkelijke auteurs: Sunghwan Kim, Byeonghyun Pak, Kehan Long, Yulun Tian, Nikolay Atanasov

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sunghwan Kim, Byeonghyun Pak, Kehan Long, Yulun Tian, Nikolay Atanasov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rommelige kinderkamer probeert op te ruimen, maar je bent een robot met camera's als ogen en een geheugen dat slechts een fractie van een seconde duurt. Elke keer als je je hoofd draait, verdwijnt het vorige beeld van de kamer uit je geest. Je pakt een speeltje op, loopt langs een stoel, en plotseling ben je vergeten waar het speeltje vandaan kwam of waar de boekenkast staat. Dit is het probleem met veel huidige robots: ze zijn geweldig in korte taken, maar raken verdwaald of in de war wanneer een taak lang duurt en bewegingen door een grote ruimte vereist.

Het artikel introduceert een oplossing genaamd SERF (Spatiotemporal Environment and Robot Feature Map). Denk aan SERF als het geven van een levende, 3D "mentale kaart" aan de robot die zichzelf in realtime bijwerkt, waarbij wat de robot ziet wordt gecombineerd met waar zijn eigen lichaam zich bevindt.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. De "Neurale Punten" (De hersencellen van de robot)

In plaats van een enorme, zware 3D-modellen van de kamer op te slaan, gebruikt SERF duizenden kleine, onzichtbare puntjes die neurale punten worden genoemd.

De Omgevingspuntjes: Stel je voor dat je glitters over het speelgoed, de vloer en de meubels strooit. Elk puntje "onthoudt" waar het naar kijkt (zoals een rode bal of een houten stoel).
De Robotpuntjes: Stel je nu voor dat je een andere kleur glitters over het lichaam van de robot zelf strooit, van de wielen tot de robotarmen.
De Gedeelde Ruimte: Beide sets glitters bestaan in dezelfde "mentale ruimte". Dit stelt de robot in staat om direct de relatie tussen zichzelf en de wereld te begrijpen. De robot weet: "Mijn arm is deze afstand verwijderd van het speeltje," zonder dat hij hoeft te gokken.

2. De "Levende Kaart" (Hoe het wordt bijgewerkt)

De meeste kaarten zijn als een geprinte foto; ze blijven hetzelfde, zelfs als je een stoel verplaatst. De kaart van SERF is als een live videofeed die alles onthoudt.

Bewegende Objecten: Als de robot een speeltje over de vloer duwt, glijden de "omgevingspuntjes" die aan dat speeltje vastzitten mee. De robot hoeft niet de hele kamer opnieuw te scannen; hij hoeft alleen de positie van die specifieke puntjes bij te werken.
Bewegend Lichaam: Terwijl de robot loopt of zijn arm buigt, bewegen de "robotpuntjes" mee, berekend door de eigen interne sensoren van de robot (proprioceptie).
Het Resultaat: De kaart is altijd actueel en laat zien waar alles nu zich bevindt, zelfs als de robot zijn rug naar een object heeft gekeerd.

3. De "Slimme Assistent" (Hoe de robot de kaart gebruikt)

De robot gebruikt een krachtig AI-brein (een Vision-Language-Action model) om te beslissen wat hij moet doen. Meestal kijkt dit brein alleen naar het huidige camerabeeld. Met SERF voert de robot ook zijn 3D mentale kaart in het brein in.

Lokale Blik: De robot kijkt naar de puntjes vlak naast zijn hand om te beslissen hoe hij iets moet pakken.
Globale Blik: De robot kijkt naar de puntjes die ver weg zijn om te onthouden waar de boekenkast staat, zelfs als deze momenteel buiten het zicht is.
De Analogie: Het is het verschil tussen proberen door een stad te navigeren terwijl je alleen naar de straat direct voor je auto kijkt (alleen beeld) versus het hebben van een GPS die je auto, het verkeer en de bestemming allemaal op één scherm laat zien (SERF).

Wat het onderzoek aantoonde

De onderzoekers testten dit op een computersimulatie van een robot die huishoudelijke taken uitvoert (zoals het opruimen van speelgoed of het ordenen van schoenen). Ze vergeleken de robot met de SERF-kaart met robots die alleen hun camera's gebruikten.

Sneller en Slimmer: De robot met de SERF-kaart nam directere paden en voltooide taken sneller. Hij dwaalde niet in de war rond.
Beter Geheugen: Wanneer objecten naar nieuwe plaatsen werden verplaatst of in hoeken werden verstopt die de robot nog niet had bezocht, vond de SERF-robot ze nog steeds. De camera-only robots raakten vaak de weg kwijt omdat ze "vergat" waar dingen waren zodra ze hun blik afwendden.
Herstel van Fouten: Als de robot per ongeluk een speeltje liet vallen, kon de SERF-robot snel onthouden waar hij het had laten vallen en het weer oppakken. De camera-only robot kon het gedropte object vaak niet meer vinden omdat het niet langer in het camerabeeld was.

De Kern van het Verhaal

Het artikel stelt dat door robots een gedeeld, bijwerkend 3D-geheugen van zowel de wereld als hun eigen lichaam te geven, ze veel beter worden in lange, complexe taken. Ze vertrouwen niet langer alleen op wat ze in het splitseconde-moment zien terwijl ze kijken, maar beginnen een continu begrip te gebruiken van waar ze zijn en wat er om hen heen verandert.

Noot: Het artikel vermeldt expliciet dat deze resultaten uit een simulatie (BEHAVIOR-1K) komen en dat testen in de echte wereld een noodzakelijke volgende stap is.

Technische Samenvatting: SERF – Spatiotemporele Omgevings- en Robotkenmerkkaart voor Lange-termijn Mobiele Manipulatie

1. Probleemformulering

Lange-termijn mobiele manipulatie in grote, dynamische omgevingen vereist dat een robot continu kan redeneren over drie gekoppelde vragen: zijn huidige lokalisatie, veranderingen in de omgeving en zijn voortgang bij een taak. Hoewel Vision-Language-Action (VLA) modellen veelbelovend zijn in het mappen van observaties naar acties, missen ze doorgaans expliciete mechanismen om informatie te behouden buiten het huidige observatievenster. Deze beperking is cruciaal voor mobiele manipulatie, waarbij beslissingen afhangen van lange-termijncontext die evolueert terwijl de robot met de wereld interageert.

Bestaande benaderingen vallen uiteen in twee categorieën met duidelijke beperkingen:

Modulaire systemen die gebruikmaken van gestructureerde scène-representaties (bijv. 3D scene graphs) abstraheren vaak de dichte geometrie en robot-omgevingsinteractiekenmerken weg die nodig zijn voor continue visuomotorische controle.
Policy-embedded geheugen (bijv. geschiedenis-tokens, retrieval buffers) laat ruimtelijke gronding vaak impliciet, waardoor de policy wordt gedwongen relevantie te infereren. Bovendien representeren bestaande kenmerkkaart-benaderingen doorgaans alleen statische omgevingen, waardoor ze niet worden bijgewerkt wanneer de robot met objecten interageeert, en laten ze het robotlichaam zelf vaak weg uit de geheugenrepresentatie.

De auteurs stellen een oplossing voor die deze hiaten aanpakt door een persistente, ruimtelijk gegronde geheugen te creëren dat evolueert met robotinteractie en de ruimtelijke relaties tussen de robot en zijn omgeving expliciet representeert.

2. Methodologie

De kernbijdrage is de Spatiotemporele Omgevings- en Robotkenmerkkaart (SERF), een 4D-kenmerkenmapping-formulering die zowel de omgeving als het gelede robotlichaam representeert als neurale punten in een gedeelde latente ruimte.

A. Spatiotemporele Kenmerkenmapping (Probleem 1)

De kaart $m_\tau$ wordt geparametriseerd met behulp van neurale punten in de 3D-ruimte. Elk punt draagt een leerbaar latent kenmerkvector en een instantie-label.

Representatie: De kaart bestaat uit twee sets punten:
- Omgevingspunten ( $P^e_\tau$ ): 3D-punten die vanuit RGB-D observaties zijn opgetild met behulp van een Vision Foundation Model (VFM) zoals DINOv3. Deze punten worden gevoxeliseerd en voorzien van instantie-labels.
- Robotpunten ( $P^r_\tau$ ): Oppervlaktepunten gesampled uit het kinematische model van de robot (bijv. URDF). Hun posities worden bijgewerkt via voorwaartse kinematica op basis van de proprioceptieve staat van de robot.
Gedeelde Latente Ruimte: Beide sets punten worden gedecodeerd door een gedeelde MLP-decoder om VFM-embeddings te reconstrueren. Dit moedigt de robot- en omgevingskenmerken aan om in een gemeenschappelijke latente ruimte te verblijven.
Trainingsdoel: Het systeem wordt offline getraind met een reconstructieverlies (cosine similarity) om gedecodeerde kenmerken te laten overeenkomen met VFM-embeddings. Daarnaast worden contrastieve verliezen ( $L_{inter}$ en $L_{intra}$ ) gebruikt om kenmerken binnen dezelfde categorie/onderdeel uit te lijnen en verschillende categorieën/onderdelen te scheiden, wat een semantische structuur induceert.
Online Updates: Tijdens de uitvoering blijven de latente kenmerken en de decoder constant. Alleen de puntcoördinaten worden bijgewerkt:
- Omgeving: Objectbeweging wordt gevolgd via 3D-sleutelpunt-correspondenties tussen opeenvolgende frames, waarbij een object-niveau SE(3)-transformatie wordt geschat om de bijbehorende neurale punten rigide te verplaatsen.
- Robot: Puntposities worden bijgewerkt met behulp van voorwaartse kinematica vanuit de huidige gewrichtstoestanden.

B. Kaart-geconditioneerde VLA Policy (Probleem 2)

De auteurs ontwerpen een policy $\pi_\phi$ die actievoorspellingen conditioneert op de SERF-kaart.

Kaart-tokenizer: Een subset van de neurale punten wordt gefilterd (waarbij de robotbody en taakrelevante objecten worden behouden) en gecodeerd met een Point Transformer-backbone.
Token Extractie: Acht parallelle koppen extraheren kaart-tokens over meerdere referentiekaders en ruimtelijke schalen:
1. Robot-basis tokens: Drie tokens bij toenemende radii (1m, 2m, 4m) voor lokale context.
2. End-effector tokens: Twee tokens rond de grijpers voor grasp-redenering.
3. Alleen-robot token: Vat de configuratie van de robot samen.
4. Alleen-omgeving token: Vat de huidige omgevingstoestand samen.
5. Globale token: Aggregeert alle punten voor scène-niveau redenering.
Policy Architectuur: De kaart-tokens worden geprojecteerd en geconcateneerd met beeldkenmerken, proprioceptieve staat-tokens en taak-embeddings. Deze gecombineerde input wordt gevoed aan een VLA-model (gebaseerd op $\pi_{0.5}$ ) dat via conditional flow matching is getraind om actie-chunks te voorspellen. De VLM-backbone en de vision encoder zijn bevroren, waarbij LoRA-lagen zijn ingevoegd in de actie-expert en de kaart-tokenizer voor fine-tuning.

3. Belangrijkste Bijdragen

SERF Kaart: Een spatiotemporele kenmerkenkaart die het robotlichaam en de evoluerende omgeving representeert in een gedeelde latente ruimte, wat een persistent geheugen mogelijk maakt dat online wordt bijgewerkt.
Kaart-geconditioneerde Policy: Een VLA-policy ontwerp dat gebruikmaakt van kaart-tokens van meerdere referentiekaders (robot-basis, end-effector, globaal) om zowel lokale als globale ruimtelijke context te bieden voor actievoorspelling.
Empirische Validatie: Demonstratie dat de SERF-policy beter presteert dan image-only baselines op lange-termijn mobiele manipulatietaken, specifiek door verbetering van taakvoortgang, trajectefficiëntie, robuustheid tegen scèneverschuivingen en herstel van fouten.

4. Experimentele Resultaten

De methode werd geëvalueerd op BEHAVIOR-1K, een benchmark voor huishoudelijke bimanuele mobiele manipulatie die navigatie en multi-object herordening omvat.

Taakvoortgang: De volledige SERF-policy bereikte de hoogste taakvoortgang over drie geëvalueerde taken (Speelgoed verzamelen, Schoenen op een rek zetten, Cadeelmandjes assembleren), waarbij de gemiddelde voortgang verbeterde van 44,0% (image-only baseline) naar 58,7%.
Trajectefficiëntie: SERF volgde directere trajecten en bereikte subdoelen sneller vergeleken met image-only policies, die vaak vastliepen wanneer objecten buiten het gezichtsveld verdwenen.
Generalisatie van Scène-Configuratie: In OOD-tests (out-of-distribution) met verplaatste doelen, extra objecten en niet-bezochte regio's, presteerde SERF significant beter dan de image-only baseline. Bijvoorbeeld, in niet-bezochte regio's steeg de taakvoortgang van 28,0% naar 51,0%.
Foutherstel: In scenario's waar objecten tijdens transport werden laten vallen, slaagde SERF erin om objecten te herlokaliseren en opnieuw te grijpen met een succespercentage van 95% (tegenover 65% voor de baseline) en verminderde de gemiddelde hersteltijd van 24,3s naar 20,5s.
Ablatie: De studie bevestigde dat zowel de temporele kaartupdates (SERF versus statische SBP) als de inclusie van robot-neurale punten (SERF versus SERF-env) positief bijdroegen aan de prestaties.

5. Betekenis en Claims

Het artikel beweert dat lange-termijn mobiele manipulatie coherente spatiotemporele redenering vereist die huidige VLA-modellen missen. Door een gedeelde latente representatie van de robot en de omgeving te introduceren, maakt SERF twee vormen van redenering mogelijk:

Allocentrische Redenering: Het behouden van een persistent ruimtelijk geheugen om de locaties van objecten en doelen globaal te volgen.
Egocentrische Redenering: Het expliciet inbedden van het robotlichaam om beslissingen te ondersteunen op basis van afstand, oriëntatie en bereikbaarheid.

De auteurs stellen dat SERF een gestructureerde context biedt voor neurale policies, waardoor ze kunnen herstellen van fouten en effectiever kunnen generaliseren naar nieuwe scèneconfiguraties dan image-only benaderingen.

6. Beperkingen

De auteurs erkennen verschillende beperkingen:

Simulatie-afhankelijkheid: De huidige implementatie vertrouwt op geprivilegieerde instantie-labels uit de simulator en een vooraf geleerde kaart vóór uitvoering. Real-world deployment zou feed-forward encoders en segmentatie-foundationmodellen (bijv. SAM 2) vereisen.
Rigide Bewegingsaanname: Kaartupdates gaan uit van object-niveau rigide beweging (SE(3)), wat de capaciteit van het systeem om met gelede of vervormbare objecten om te gaan, beperkt.
Tokenisatie: De huidige kaart-tokenizer gebruikt handmatig gespecificeerde ruimtelijke subsets in plaats van taak-geconditioneerde semantische separatie.
Real-World Validatie: Experimenten zijn momenteel beperkt tot simulatie; de transfer naar de echte wereld moet nog worden beoordeeld.