🤖 AI

FlowMaps: Modeling Long-Term Multimodal Object Dynamics with Flow Matching

FlowMaps is een latent flow matching-model dat ruimtelijk-temporele patronen van mens-objectinteracties leert om multimodale distributies van toekomstige objectlocaties te voorspellen, wat de robotnavigatie en zoekprestaties in dynamische huishoudelijke omgevingen aanzienlijk verbetert.

Oorspronkelijke auteurs: Francesco Argenziano, Miguel Saavedra-Ruiz, Sacha Morin, Charlie Gauthier, Daniele Nardi, Liam Paull

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Francesco Argenziano, Miguel Saavedra-Ruiz, Sacha Morin, Charlie Gauthier, Daniele Nardi, Liam Paull

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je op zoek bent naar je verloren sleutels in een huis waar je samen met een huisgenoot woont. Als je een standaard robot vraagt: "Waar zijn mijn sleutels?", zou deze misschien de tafel controleren waar je ze gisteren hebt achtergelaten. Maar in een echt huis veranderen dingen. Je huisgenoot kan de sleutels naar het aanrecht in de keuken hebben verplaatst, of misschien wel naar de wastafel in de badkamer, afhankelijk van hun dagelijkse routine.

Dit is het probleem dat FlowMaps oplost. Het is een nieuw type AI dat is ontworpen om robots te helpen begrijpen dat objecten in een huis geen statische standbeelden zijn; ze zijn als acteurs in een toneelstuk, die rondbewegen op basis van menselijke gewoonten.

Hier is een eenvoudige uitleg van hoe het werkt, met behulp van alledaagse analogieën:

1. Het Probleen: Het "Bewegende Doelwit"

In een huis verplaatsen mensen constant dingen. Een koffiemok kan 's ochtends op het aanrecht staan, rond het middaguur in de vaatwasser liggen en in de avond op de eettafel staan.

Oude robots: Handelen alsof ze amnesie hebben. Ze gaan ervan uit dat als een object gisteren op een bepaalde plek lag, het daar vandaag ook ligt. Als je hen vraagt om je bril te zoeken, kijken ze naar de laatste plek waar ze het zagen en falen ze.
De uitdaging: Robots moeten kunnen raden waar een object zou kunnen zijn, niet alleen waar het was. Maar omdat mensen verschillende gewoonten hebben, is er niet één enkel antwoord. De bril kan op het nachtkastje liggen, in de badkamerwastafel of op het bureau. De robot moet al deze mogelijkheden tegelijkertijd overwegen.

2. De Oplossing: "FlowMaps" (De Glazen Bol)

De onderzoekers hebben een systeem ontwikkeld genaamd FlowMaps. Zie dit als een weersverwachting voor objecten.

Net zoals een weersverwachting niet zegt: "Het gaat om exact 14:00 uur regenen," maar eerder een kaart laat zien met een kans van 70% op regen in één gebied en 30% in een ander gebied, raadt FlowMaps niet één enkele plek voor een object.
In plaats daarvan creëert het een wolk van mogelijkheden. Het zegt: "Op basis van hoe mensen zich gewoonlijk gedragen, is de kans groot dat de telefoon op het bureau ligt, een gemiddelde kans dat hij op het nachtkastje ligt en een kleine kans dat hij in de woonkamer ligt."

3. Hoe het leert: De "Patroondetective"

Hoe leert de robot deze gewoonten zonder dat dit expliciet wordt verteld?

De training: Het team heeft de robot niet geleerd door te zeggen: "Mensen leggen brillen op nachtkastjes." In plaats daarvan gebruikten ze een videogame-simulator (ProcTHOR) om duizenden nep-huizen te genereren. Ze programmeerden "virtuele mensen" om wekenlang in deze huizen te leven en objecten op realistische wijzen te verplaatsen (bijvoorbeeld een boek van de plank naar de tafel verplaatsen).
Het leren: De robot keek hoe deze virtuele mensen dingen verplaatsten. Het leerde het ritme van het huis begrijpen. Het realiseerde zich dat, hoewel het niet wist waarom de mens de mok verplaatste, het patroon van de beweging consistent was.
De magie: Het leerde de toekomstige locatie van een object te voorspellen door naar de huidige scène en het label van het object (bijv. "Telefoon") te kijken, zonder de specifieke menselijke activiteit te hoeven kennen die de verplaatsing veroorzaakt.

4. Het Geheim: "Flow Matching"

De technische motor achter dit proces wordt Flow Matching genoemd.

De analogie: Stel je voor dat je een druppel inkt in een glas water hebt. Je wilt weten waar die inkt over 10 seconden zal zijn.
- Traditionele methoden proberen misschien de exacte route van de inkt te voorspellen.
- Flow Matching is als het leren van de stroming van het water. Het leert de "stroom" die de inkt van het startpunt naar het eindpunt duwt.
In dit papier is de "inkt" de locatie van het object. De "stroom" is de menselijke gewoonte. Het model leert de onzichtbare stroom die objecten door het huis verplaatst over de tijd. Omdat het de stroom leert, kan het veel verschillende mogelijke bestemmingen (multimodaal) voorspellen in plaats van slechts één rechte lijn.

5. De Resultaten: Het vinden van de verloren telefoon

De onderzoekers hebben dit op twee manieren getest:

In Simulatie: Ze draaiden meer dan 600 scenario's waarbij een robot een object in een virtueel huis moest vinden. FlowMaps was veel beter in het vinden van objecten dan eerdere methoden. Het raadde niet alleen één plek, maar gaf de robot een gerangschikte lijst van de meest waarschijnlijke plekken, waardoor de robot eerst de beste vermoedens kon controleren.
In de echte wereld: Ze plaatsten het systeem op een echte robot (een TIAGo-robot) in een laboratorium. De robot moest een mobiele telefoon vinden die een persoon tussen twee bureaus had verplaatst. De robot gebruikte FlowMaps om te voorspellen waar de telefoon uren later zou zijn. Het vond de telefoon succesvol door de voorspelde locaties in volgorde te controleren.

Samenvatting

FlowMaps is als het geven van een "zesde zintuig" voor menselijke gewoonten aan een robot. In plaats van alleen te onthouden waar dingen waren, begrijpt het hoe dingen bewegen op basis van routines. Door een wolk van waarschijnlijke toekomstige locaties te voorspellen in plaats van één enkel punt, helpt het robots om chaotische, veranderende huizen veel effectiever te navigeren, waardoor ze verloren voorwerpen sneller en met minder fouten vinden.

Kernboodschap: Het paper beweert dat deze methode beter werkt dan de huidige state-of-the-art benaderingen voor het vinden van objecten in dynamische huizen, zowel in simulaties als op een echte robot, door objectbeweging te modelleren als een continue stroom van mogelijkheden in plaats van een vaststaand vermoeden.

Technische Samenvatting: FlowMaps

Probleemformulering

Robotische agenten die opereren in door mensen bewoonde omgevingen worden geconfronteerd met aanzienlijke uitdagingen vanwege de intrinsieke dynamiek van deze ruimtes. In tegenstelling tot statische scènes worden alledaagse objecten frequent verplaatst door menselijke interacties, waardoor hun locaties in de loop van de tijd veranderen. Dit creëert een kritieke moeilijkheid voor taken zoals Object Navigatie (ObjNav), waarbij een robot een doelobject moet lokaliseren (bijv. "zoek mijn bril") zonder de garantie dat dit zich nog op de eerder geobserveerde positie bevindt.

Het kernprobleem dat wordt aangepakt is de inferentie van de distributie over toekomstige bounding boxes van een dynamisch object, $p(b_{q,\tau_f} | M_\tau, l_q, \tau_f)$ , gegeven de huidige scènekaart $M_\tau$ , een gevraagde objectlabel $l_q$ , en een voorspellingshorizon $\tau_f$ . Bestaande benaderingen vertrouwen vaak op discrete receptacle-niveau relaties, gaan uit van statische scènes, of zijn afhankelijk van kostbare Vision-Language Models (VLM's) en handmatig ontworpen priors. Bovendien zijn objectverplaatsingen inherent multimodaal (een object kan plausibele locaties naar meerdere verschillende plaatsen verplaatsen) en vinden ze plaats in de continue 3D-ruimte, wat een modelleringsaanpak vereist die zowel ruimtelijke continuïteit als meerdere plausibele modi kan vastleggen zonder expliciete labeling van menselijke activiteiten.

Methodologie: FlowMaps

De auteurs stellen FlowMaps voor, een latent flow matching (FM) framework ontworpen om multimodale distributies over toekomstige objectlocaties in continue 3D-ruimte te schatten. De architectuur bestaat uit twee primaire modules:

Variational Autoencoder (VAE):
- Codeert object-tokens (bestaande uit een genormaliseerde 3D bounding box en een semantisch label) naar een compacte latente ruimte $z \in \mathbb{R}^{d_z}$ .
- De VAE is getraind om zowel geometrie (bounding box parameters) als semantiek (objectklasse labels) te reconstrueren.
- Eenmaal getraind, is de encoder bevroren om target latents te leveren voor het flow-model, terwijl de decoder de gegenereerde latents terug mapt naar objectvoorspellingen.
Latent Flow Matching Network:
- Gebouwd op een Conditional Diffusion Transformer (CDiT) architectuur, leert dit netwerk een vectorveld $u_\theta^t$ dat samples transporteert van een eenvoudige Gaussische basisdistributie $p_0$ naar de doel-latente distributie $p_1$ (die toekomstige objecttoestanden representeert).
- Map Encoder: Aggregeert de scènecontext (dynamische objecten en statische achtergrondmeubels) in een sequentie van gecontextualiseerde tokens met behulp van een Transformer encoder. Deze encoder is permutatie-invariant en vertrouwt op bounding box embeddings voor de ruimtelijke structuur.
- CDiT Blocks: Een stapel CDiT blocks verfijnt een ruisende query-latent door cross-attention toe te passen op de scènecontext. De conditionering vector bevat de flow-tijd $t$ , de uiteindelijke tijdstempel $\tau_f$ , en het gevraagde label $l_q$ .
- Training: Het model wordt getraind met behulp van Conditional Flow Matching (CFM) op een conditional optimal transport pad. Target latents worden afgeleid van ground-truth toekomstige bounding boxes, gecodeerd door de bevroren VAE. Source-target paren worden gematcht via een exact mini-batch optimal transport plan om rechtere trajecten te garanderen.
- Inference: Gegeven een scène en een query, berekent de map encoder de context tokens eenmalig. De flow wordt vervolgens geïntegreerd van een gesamplede ruisvector $z_0$ naar een finale latent $z_1$ , die wordt gedecodeerd naar een voorspelde bounding box. Herhaaldelijk samplen genereert een multimodale distributie van plausibele toekomstige locaties.

Datageneratie:
Om het model op schaal te trainen, maken de auteurs gebruik van ProcTHOR om dynamische binnenomgevingen te genereren. Ze simuleren drie verschillende menselijke gewoonten (routines) om semantisch consistente objectbewegingspatronen te creëren:

Gewoonte #1: Preferentie-gestuurd (objecten keren terug naar een kleine set favoriete locaties).
Gewoonte #2: Gebalanceerd (tijd is uniform verdeeld over relevante locaties).
Gewoonte #3: Zeer dynamisch (frequente transities tussen locaties).
Dit proces levert meer dan 1,8 miljoen trainingssamples per gewoonte op, waardoor het model latente regelmatigheden leert uit data in plaats van expliciete activiteitslabels.

Belangrijkste Bijdragen

FlowMaps Architectuur: Een nieuw FM-gebaseerd framework voor het representeren en voorspellen van continue, multimodale spatio-temporele objectdistributies in dynamische omgevingen, opererend direct in 3D-ruimte in plaats van in discrete receptacle categorieën.
Downstream Applicatie (ObjNav): Demonstratie van FlowMaps als een prior voor Object Navigatie in dynamische scènes. De methode stelt robots in staat om na te denken over waarschijnlijke objectplaatsingen in de loop van de tijd, waarbij zij zero-shot baselines en getrainde expert policies overtreft.
Uitgebreide Evaluatie: Een uitgebreide kwantitatieve en kwalitatieve evaluatie die meer dan 600 gesimuleerde ObjNav episodes beslaat over uiteenlopende omgevingen en real-world deployments. De studie valideert de degelijkheid, effectiviteit, cross-environment generalisatie en praktische levensvatbaarheid van de methode.

Experimentele Resultaten

De evaluatie werd uitgevoerd in zowel gesimuleerde (ProcTHOR/AI2-THOR) als real-world (TIAGo robot) settings.

Distributionele Prestaties: FlowMaps bereikte een minFDE van 0,342m, waarmee het de sterkste baseline (FreqPrior met 0,370m) met 7,6% versloeg. Het vertoonde superieure density (0,886) en coverage (0,999) metrieken vergeleken met baselines, wat aangeeft dat de samples nauw rond de ground-truth modi concentreren terwijl de plausibele ruimte effectief wordt gedekt. Single-point predictors (bijv. EmpiricalMean) presteerden aanzienlijk slechter (minFDE > 2m), wat het belang van multimodale modellering onderstreept.
Object Navigatie (ObjNav): Over drie verschillende gewoonten heen, behaalde FlowMaps consistent de hoogste Mean Success Rate (mSR) en Mean Success weighted by Path Length (mSPL).
- In Gewoonte #1 behaalde FlowMaps een mSR van 69,26%, waarmee het de op één na beste methode (SGM met 67,26%) versloeg.
- In Gewoonte #3 (de meest dynamische en uitdagende) behaalde FlowMaps een mSR van 64,39%, wat significant beter is dan graph-gebaseerde methoden (HOMER: 58,93%, SGM: 56,84%) en zero-shot LLM baselines.
- Opvallend genoeg was de SR@1 (succes op de eerste voorspelling) van FlowMaps vaak hoger dan de SR@5 van concurrerende baselines, wat duidt op een hoge precisie in de top-gerangschikte voorspellingen.
Real-World Deployment: De methode werd succesvol ingezet op een TIAGo robot om een "CellPhone" te lokaliseren in een real-world labsetting, wat het vermogen demonstreert om geleerde priors te transfereren naar fysieke omgevingen.

Betekenis en Claims

Het artikel claimt dat het modelleren van objectdynamiek via continue, multimodale spatio-temporele distributies de robotische zoek- en navigatieprocessen in veranderende huishoudelijke omgevingen aanzienlijk verbetert. Belangrijke beweringen zijn onder meer:

Impliciet Leren: Het voorspellen van objectlocaties vereist niet het expliciet identificeren van de menselijke activiteit die de verplaatsing veroorzaakt; de structuur komt direct voort uit de data.
Generalisatie: De geleerde prior generaliseert naar onbekende huishoudelijke lay-outs en objectconfiguraties, mits deze vergelijkbare objectroutines (gewoonten) delen, zonder dat per huishouden fine-tuning nodig is.
Efficiëntie: Door het vermijden van expliciete scene graph constructie of zware VLM redenering tijdens de inference, blijft FlowMaps efficiënt terwijl het eerdere dynamische ObjNav methoden overtreft.
Modaliteit: De aanpak handelt effectief af van de inherente multimodaliteit van objectverplaatsingen, waardoor een rijkere prior voor robotische redenering wordt geboden dan statische scène-aannames of discrete staatvoorspellingen.

De auteurs erkennen beperkingen, waaronder de huidige afhankelijkheid van een gesloten set objectklassen en receptacles, de noodzaak van substantiële trainingsdata (gemitigeerd door simulatie), en het feit dat de evaluatie beperkt is tot drie specifieke type gewoonten. Toekomstig werk zal zich richten op open-vocabulary settings en het verbeteren van de sample-efficiëntie voor online fine-tuning.