🤖 AI

FlowMaps: Modeling Long-Term Multimodal Object Dynamics with Flow Matching

FlowMaps ist ein latentes Flow-Matching-Modell, das räumlich-zeitliche Muster von Mensch-Objekt-Interaktionen lernt, um multimodale Verteilungen zukünftiger Objektpositionen vorherzusagen, was die robotergestützte Navigation und Suchleistung in dynamischen Haushaltsumgebungen signifikant verbessert.

Ursprüngliche Autoren: Francesco Argenziano, Miguel Saavedra-Ruiz, Sacha Morin, Charlie Gauthier, Daniele Nardi, Liam Paull

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Francesco Argenziano, Miguel Saavedra-Ruiz, Sacha Morin, Charlie Gauthier, Daniele Nardi, Liam Paull

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie suchen in einem Haus, in dem Sie mit einem Mitbewohner zusammenleben, nach Ihren verlorenen Schlüsseln. Wenn Sie einen Standardroboter fragen: „Wo sind meine Schlüssel?“, würde er vielleicht den Tisch überprüfen, auf dem Sie sie gestern liegen gelassen haben. Aber in einem echten Zuhause bewegen sich die Dinge. Ihr Mitbewohner hat die Schlüssel vielleicht auf die Küchentheke gelegt oder vielleicht auf das Waschbecken im Badezimmer, je nach seinem täglichen Ablauf.

Dies ist das Problem, das FlowMaps löst. Es ist eine neue Art von KI, die entwickelt wurde, um Robotern zu helfen zu verstehen, dass Objekte in einem Haus keine statischen Statuen sind; sie sind wie Schauspieler in einem Theaterstück, die sich basend auf menschlichen Gewohnheiten bewegen.

Hier ist eine einfache Aufschlüsselung der Funktionsweise, unter Verwendung einiger alltäglicher Analogien:

1. Das Problem: Das „bewegliche Ziel“

In einem Haus bewegen Menschen ständig Dinge. Eine Kaffeetasse kann morgens auf der Arbeitsplatte stehen, mittags in der Spülmaschine und abends auf dem Esstisch.

Alte Roboter: Handeln so, als hätten sie Amnesie. Sie nehmen an, wenn ein Objekt gestern an einem Ort war, ist es heute auch dort. Wenn man sie nach der Brille fragt, suchen sie an dem letzten Ort, an dem sie sie gesehen haben, und scheitern.
Die Herausforderung: Roboter müssen erraten, wo ein Objekt sein könnte, nicht nur wo es war. Da Menschen jedoch unterschiedliche Gewohnheiten haben, gibt es nicht nur eine einzige Antwort. Die Brille könnte auf dem Nachttisch, auf dem Waschbecken im Bad oder auf dem Schreibtisch liegen. Der Roboter muss all diese Möglichkeiten gleichzeitig berücksichtigen.

2. Die Lösung: „FlowMaps“ (Die Kristallkugel)

Die Forscher entwickelten ein System namens FlowMaps. Betrachten Sie es als eine Wettervorhersage für Objekte.

Genau wie eine Wettervorhersage nicht sagt: „Es wird definitiv um 14:00 Uhr regnen“, sondern eher eine Karte zeigt, die eine 70-prozentige Regenwahrscheinlichkeit in einem Gebiet und eine 30-prozentige Wahrscheinlichkeit in einem anderen anzeigt, rät FlowMaps nicht einen einzigen Punkt.
Stattdessen erstellt es eine Wolke aus Möglichkeiten. Es sagt: „Basierend darauf, wie Menschen normalerweise handeln, besteht eine hohe Wahrscheinlichkeit, dass das Telefon auf dem Schreibtisch liegt, eine mittlere Wahrscheinlichkeit, dass es auf dem Nachttisch liegt, und eine geringe Wahrscheinlichkeit, dass es im Wohnzimmer ist.“

3. Wie es lernt: Der „Musterdetektiv“

Wie lernt der Roboter diese Gewohnheiten, ohne explizit dazu angewiesen zu werden?

Das Training: Das Team hat dem Roboter nicht beigebracht: „Menschen legen Brillen auf den Nachttisch.“ Stattdessen nutzten sie einen Videospiel-Simulator (ProcTHOR), um tausende von fiktiven Häusern zu generieren. Sie programmierten „virtuelle Menschen“, die in diesen Häusern Wochen lang lebten und dabei Objekte auf realistische Weise bewegten (z. B. ein Buch vom Regal auf den Tisch legten).
Das Lernen: Der Robot beobachtete diese virtuellen Menschen beim Bewegen von Dingen. Er lernte den Rhythmus des Hauses kennen. Er erkannte, dass er zwar nicht wusste, warum der Mensch die Tasse bewegte, das Muster der Bewegung aber konsistent war.
Die Magie: Er lernte, den zukünftigen Standort eines Objekts vorherzusagen, indem er die aktuelle Szene und das Etikett des Objekts (z. B. „Telefon“) betrachtete, ohne die spezifische menschliche Aktivität kennen zu müssen, die die Bewegung verursachte.

4. Das Geheimrezept: „Flow Matching“

Der technische Motor dahinter ist etwas namens Flow Matching.

Die Analogie: Stellen Sie sich vor, Sie haben einen Tropfen Tinte in einem Glas Wasser. Sie möchten wissen, wo sich diese Tinte nach 10 Sekunden befinden wird.
- Traditionelle Methoden würden versuchen, den exakten Pfad der Tinte zu erraten.
- Flow Matching ist wie das Erlernen der Strömung des Wassers. Es lernt die „Strömung“, die die Tinte von ihrem Startpunkt zu ihrem Endpunkt treibt.
In diesem Paper ist das „Tintenbild“ der Standort des Objekts. Die „Strömung“ ist die menschliche Gewohnheit. Das Modell lernt die unsichtbare Strömung, die Objekte über die Zeit durch das Haus bewegt. Da es die Strömung lernt, kann es viele verschiedene mögliche Ziele (multimodal) vorhersagen, anstatt nur eine einzige gerade Linie.

5. Die Ergebnisse: Das Finden des verlorenen Telefons

Die Forscher testeten dies auf zwei Arten:

In der Simulation: Sie ließen über 600 Szenarien laufen, in denen ein Roboter ein Objekt in einem virtuellen Haus finden musste. FlowMaps war deutlich besser darin, das Objekt zu finden, als bisherige Methoden. Es rät nicht nur einen Punkt, sondern liefert dem Roboter eine Rangliste der wahrscheinlichsten Orte, sodass der Roboter zuerst die besten Vermutungen prüfen kann.
In der realen Welt: Sie implementierten das System auf einem echten Roboter (einem TIAGo-Roboter) in einem Labor. Der Roboter musste ein Mobiltelefon finden, das eine Person zwischen Schreibtischen bewegt hatte. Der Roboter nutzte FlowMaps, um vorherzusagen, wo sich das Telefon Stunden später befinden würde. Er fand das Telefon erfolgreich, indem er die vorhergesagten Orte nacheinander überprüfte.

Zusammenfassung

FlowMaps ist wie das Geben eines „sechsten Sinns“ für menschliche Gewohnheiten an einen Roboter. Anstatt sich nur daran zu erinnern, wo Dinge waren, versteht er, wie sich Dinge basierend auf Routinen bewegen. Indem er eine Wolke wahrscheinlicher zukünftiger Standorte statt eines einzelnen Punktes vorhersagt, hilft er Robotern, in unordentlichen, sich verändernden Häusern viel effektiver zu navigieren und verlorene Gegenstände schneller und mit weniger Fehlern zu finden.

Kernaussage: Das Paper behauptet, dass diese Methode aktuelle State-of-the-Art-Ansätze für das Finden von Objekten in dynamischen Haushalten sowohl in Simulationen als auch auf einem echten Roboter übertrifft, indem sie die Bewegung von Objekten als einen kontinuierlichen Fluss von Möglichkeiten modelliert, anstatt als eine feste Vermutung.

Technisches Resümee: FlowMaps

Problemformulierung

Roboteragenten, die in von Menschen bewohnten Umgebungen operieren, stehen aufgrund der intrinsischen Dynamik dieser Räume vor erheblichen Herausforderungen. Im Gegensatz zu statischen Szenen werden Alltagsgegenstände durch menschliche Interaktionen häufig bewegt, was dazu führt, dass sich ihre Positionen im Laufe der Zeit ändern. Dies stellt eine kritische Schwierigkeit für Aufgaben wie die Objektnavigation (Object Navigation, ObjNav) dar, bei denen ein Roboter ein Zielobjekt (z. B. „finde meine Brille“) lokalisieren muss, ohne die Garantie zu haben, dass dieses an seiner zuvor beobachteten Position verbleibt.

Das Kernproblem, das hier adressiert wird, ist die Inferenz der Verteilung über zukünftige Begrenzungsrahmen (Bounding Boxes) eines dynamischen Objekts, $p(b_{q,\tau_f} | M_\tau, l_q, \tau_f)$ , gegeben die aktuelle Szenenkarte $M_\tau$ , ein abgefragtes Objektlabel $l_q$ und einen Vorhersagehorizont $\tau_f$ . Bestehende Ansätze verlassen sich oft auf diskrete Receptacle-Beziehungen (Behälterbeziehungen), setzen statische Szenen voraus oder hängen von kostspieligen Vision-Language-Modellen (VLMs) und handgefertigten Priors ab. Darüber hinaus sind Objektverschiebungen inhärent multimodal (ein Objekt kann plausibel an mehrere verschiedene Orte bewegt werden) und treten im kontinuierlichen 3D-Raum auf, was einen Modellierungsansatz erfordert, der sowohl räumliche Kontinuität als auch mehrere plausible Modi erfasst, ohne eine explizite Kennzeichnung menschlicher Aktivitäten.

Methodik: FlowMaps

Die Autoren schlagen FlowMaps vor, ein Framework für das latente Flow Matching (FM), das darauf ausgelegt ist, multimodale Verteilungen über zukünftige Objektpositionen im kontinuierlichen 3D-Raum zu schätzen. Die Architektur besteht aus zwei primären Modulen:

Variational Autoencoder (VAE):
- Kodiert Objekt-Token (bestehend aus einem normalisierten 3D-Begrenzungsrahmen und einem semantischen Label) in einen kompakten latenten Raum $z \in \mathbb{R}^{d_z}$ .
- Das VAE wird darauf trainiert, sowohl die Geometrie (Begrenzungsrahmen-Parameter) als auch die Semantik (Objektklassen-Labels) zu rekonstruieren.
- Nach dem Training wird der Encoder eingefroren, um Ziel-Latente für das Flow-Modell bereitzustellen, während der Decoder die generierten Latente zurück in Objektvorhersagen abbildet.
Latent Flow Matching Netzwerk:
- Basierend auf einer Conditional Diffusion Transformer (CDiT)-Architektur lernt dieses Netzwerk ein Vektorfeld $u_\theta^t$ , das Stichproben von einer einfachen Gaußschen Basenverteilung $p_0$ zu der Ziel-Latentverteilung $p_1$ (die zukünftige Objektzustände repräsentiert) transportiert.
- Map Encoder: Aggregiert den Szenenkontext (dynamische Objekte und statisches Hintergrundmobiliar) in eine Sequenz von kontextualisierten Token unter Verwendung eines Transformer-Encoders. Dieser Encoder ist permutationsinvariant und stützt sich auf Begrenzungsrahmen-Embeddings für die räumliche Struktur.
- CDiT-Blöcke: Ein Stapel von CDiT-Blöcken verfeinert ein verrauschtes Query-Latent durch Cross-Attention zum Szenenkontext. Der Konditionierungsvektor umfasst die Flow-Zeit $t$ , den endgültigen Zeitstempel $\tau_f$ und das abgefragte Label $l_q$ .
- Training: Das Modell wird mittels Conditional Flow Matching (CFM) auf einem bedingten Optimaltransport-Pfad trainiert. Ziel-Latente werden durch die vom gefrorenen VAE kodierten Ground-Truth-Zukunft-Begrenzungsrahmen abgeleitet. Source-Target-Paare werden über einen exakten Mini-Batch-Optimaltransport-Plan gematcht, um geradere Trajektorien zu gewährleisten.
- Inferenz: Gegeben eine Szene und eine Abfrage berechnet der Map-Encoder die Kontext-Token einmalig. Der Flow wird dann von einem gesampelten Rauschvektor $z_0$ zu einem finalen Latenten $z_1$ integriert, welcher in einen vorhergesagten Begrenzungsrahmen dekodiert wird. Wiederholtes Sampling erzeugt eine multimodale Verteilung plausibler zukünftiger Standorte.

Datengenerierung:
Um das Modell in großem Maßstab zu trainieren, nutzen die Autoren ProcTHOR, um dynamische Innenräume zu generieren. Sie simulieren drei verschiedene menschliche Gewohnheiten (Routinen), um semantisch konsistente Bewegungsmuster von Objekten zu erzeugen:

Gewohnheit #1: Präferenzgesteuert (Objekte kehren zu einer kleinen Menge bevorzugter Orte zurück).
Gewohnheit #2: Ausgewogen (Zeit ist gleichmäßig über relevante Orte verteilt).
Gewohnheit #3: Hochgradig dynamisch (häufige Übergänge zwischen Standorten).
Dieser Prozess liefert über 1,8 Millionen Trainingsproben pro Gewohnheit, wodurch sichergestellt wird, dass das Modell latente Regelmäßigkeiten aus den Daten lernt, anstatt explizite Aktivitätslabels zu benötigen.

Zentrale Beiträge

FlowMaps-Architektur: Ein neuartiges FM-basiertes Framework zur Repräsentation und Vorhersage kontinuierlicher, multimodaler spatio-temporaler Objektverteilungen in dynamischen Umgebungen, das direkt im 3D-Raum operiert, anstatt in diskreten Receptacle-Kategorien.
Downstream-Anwendung (ObjNav): Demonstration von FlowMaps als Prior für die Objektnavigation in dynamischen Szenen. Die Methode ermöglicht es Robotern, über wahrscheinliche Objektplatzierungen im Zeitverlauf zu argumentieren, wobei sie Zero-Shot-Baselines und trainierte Expert-Policies übertrifft.
Umfassende Evaluierung: Eine umfassende quantitative und qualitative Evaluierung über mehr als 600 simulierte ObjNav-Episoden in disjunkten Umgebungen sowie realeinsätze. Die Studie validiert die Korrektheit, Effektivität, Generalisierung über Umgebungen hinweg und praktische Umsetzbarkeit der Methode.

Experimentelle Ergebnisse

Die Evaluierung wurde sowohl in simulierten (ProcTHOR/AI2-THOR) als auch in realen Settings (TIAGo-Roboter) durchgeführt.

Distributionale Leistung: FlowMaps erreichte ein minFDE von 0,342 m und übertraf damit den stärksten Baseline-Ansatz (FreqPrior mit 0,370 m) um 7,6 %. Es demonstrierte überlegene Metriken in Bezug auf Dichte (0,886) und Abdeckung (0,999) im Vergleich zu Baselines, was zeigt, dass seine Stichproben eng um die Ground-Truth-Modi konzentriert sind und gleichzeitig den plausiblen Raum effektiv abdecken. Single-Point-Prädiktoren (z. B. EmpiricalMean) schnitten signifikant schlechter ab (minFDE > 2 m), was die Notwendigkeit der multimodalen Modellierung unterstreicht.
Objektnavigation (ObjNav): Über drei verschiedene Gewohnheiten hinweg erzielte FlowMaps konsistent die höchste mittlere Erfolgsrate (mSR) und die mittlere Erfolgsrate gewichtet nach Pfadlänge (mSPL).
- In Gewohnheit #1 erreichte FlowMaps eine mSR von 69,26 % und übertraf damit die nächstbeste Methode (SGM mit 67,26 %).
- In Gewohnheit #3 (der dynamischsten und anspruchsvollsten) erreichte FlowMaps eine mSR von 64,39 %, was graphbasierte Methoden (HOMER: 58,93 %, SGM: 56,84 %) und Zero-Shot-LLM-Baselines deutlich übertrifft.
- Bemerkenswerterweise lag die SR@1 (Erfolg bei der ersten Vorhersage) von FlowMaps oft über der SR@5 konkurrierender Baselines, was auf eine hohe Präzision in den Top-Ranked-Vorhersagen hindeutet.
Realeinsatz: Die Methode wurde erfolgreich auf einem TIAGo-Roboter eingesetzt, um ein „CellPhone“ in einer realen Laborumgebung zu lokalisieren, was die Fähigkeit demonstriert, gelernte Priors auf physische Umgebungen zu übertragen.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Modellierung der Objektdynamik durch kontinuierliche, multimodale spatio-temporale Verteilungen die robotische Suche und Navigation in sich verändernden Haushaltsumgebungen signifikant verbessert. Zentrale Aussagen sind:

Implizites Lernen: Die Vorhersage von Objektpositionen erfordert keine explizite Identifizierung der menschlichen Aktivität, die die Verschiebung verursacht; die Struktur ergibt sich direkt aus den Daten.
Generalisierung: Der gelernte Prior generalisiert auf ungesehene Haushaltslayouts und Objektanordnungen, sofern diese ähnliche Objektroutinen (Gewohnheiten) teilen, ohne dass ein pro-Haushalt spezifisches Fine-Tuning erforderlich ist.
Effizienz: Durch den Verzicht auf explizite Szenengraph-Konstruktion oder schwerfällige VLM-Argumentation während der Inferenz bleibt FlowMaps effizient und übertrifft dennoch bisherige dynamische ObjNav-Methoden.
Modalität: Der Ansatz handhabt effektiv die inhärente Multimodalität von Objektverschiebungen und bietet einen reichhaltigeren Prior für das robotische Denken als statische Szenenannahmen oder diskrete Zustandsprädiktionen.

Die Autoren räumen Einschränkungen ein, darunter die derzeitige Abhängigkeit von einem geschlossenen Satz an Objektklassen und Receptacles, der Bedarf an umfangreichen Trainingsdaten (der durch Simulation gemildert wird) und die Tatsache, dass die Evaluierung auf drei spezifische Gewohnheitstypen beschränkt ist. Zukünftige Arbeiten zielen darauf ab, Open-Vocabulary-Settings zu adressieren und die Stichproben-Effizienz für Online-Fine-Tuning zu verbessern.