EgoTraj-Bench: Towards Robust Trajectory Prediction Under Ego-view Noisy Observations

Die Arbeit stellt EgoTraj-Bench, das erste reale Benchmark für robuste Trajektorienvorhersage unter verrauschten Ego-Beobachtungen, und das dazugehörige BiFlow-Modell vor, das durch gleichzeitiges Entroischen der Vergangenheit und Vorhersage der Zukunft sowie den EgoAnchor-Mechanismus signifikant robustere und genauere Ergebnisse erzielt.

Das Wesentliche

Stell dir vor, du bist ein Roboter, der durch eine belebte Menschenmenge läuft. Deine Aufgabe ist es, vorherzusagen, wohin die anderen Menschen in den nächsten paar Sekunden gehen werden, damit du nicht gegen sie rennst. Das klingt einfach, oder? Aber in der echten Welt ist das viel schwieriger als in einem Computerspiel.

Hier ist die Geschichte der Forscher, die dieses Problem gelöst haben, erzählt wie eine Geschichte:

1. Das Problem: Die "Brille" des Roboters ist schmutzig

Bisher haben die meisten Roboter-Programme so trainiert, als würden sie die Welt aus der Vogelperspektive sehen – wie ein Gott, der von oben auf eine Karte schaut. Dort sieht man alles perfekt: Jeder Mensch ist klar zu erkennen, niemand wird verdeckt, und niemand verwechselt die Identitäten.

Aber in der Realität trägt der Roboter eine "Brille" (eine Kamera), die er selbst trägt (die sogenannte Ego-View).

• Das Problem: Stell dir vor, du läufst durch eine Menge. Jemand steht direkt vor dir und verdeckt den Weg (Verdeckung). Ein anderer läuft schnell an dir vorbei, und deine Kamera verliert ihn kurz aus den Augen, dann verwechselt sie ihn mit jemand anderem (ID-Switch). Oder die Perspektive verzerrt die Gesichter in den Ecken des Bildes.
• Die Folge: Die bisherigen Roboter-Programme waren wie ein Autofahrer, der nur auf einer perfekten, leeren Rennstrecke geübt hat. Sobald er auf eine echte, schmutzige Straße mit Schlaglöchern und anderen Autos kommt, macht er Fehler. Sie funktionieren nicht, wenn die Daten "verrauscht" sind.

2. Die Lösung Teil 1: Der neue "Prüfplatz" (EgoTraj-Bench)

Die Forscher haben gesagt: "Halt! Wir müssen unsere Roboter unter echten Bedingungen testen."
Sie haben einen neuen Prüfplatz (einen Benchmark namens EgoTraj-Bench) gebaut.

• Die Analogie: Stell dir vor, du willst einen Koch testen. Bisher hast du ihm nur perfekte, frische Zutaten gegeben. Jetzt gibst du ihm Zutaten, die leicht matschig sind, von denen einige fehlen und bei denen die Etiketten verrutscht sind.
• Was sie gemacht haben: Sie haben echte Videos von Robotern in Menschenmengen genommen. Sie haben die "schmutzigen" Daten (was die Roboter-Kamera sieht) mit den "sauberen" Daten (was eine Kamera von oben sieht) verglichen. So haben sie eine Datenbank geschaffen, die genau zeigt, wie gut ein Roboter funktioniert, wenn die Welt nicht perfekt ist.

3. Die Lösung Teil 2: Der neue "Super-Roboter" (BiFlow)

Mit diesem neuen Prüfplatz haben sie einen neuen Roboter-Algorithmus entwickelt, der BiFlow heißt.

• Wie er funktioniert: Stell dir BiFlow wie einen sehr erfahrenen Detektiv vor, der zwei Dinge gleichzeitig tut:

  1. Er reinigt die Vergangenheit: Er schaut sich die schmutzigen, unvollständigen Daten der letzten Sekunden an und versucht, sich ein klares Bild davon zu machen, was wirklich passiert ist (z. B. "Ah, dieser Mensch war hinter dem Baum, nicht verschwunden").
  2. Er plant die Zukunft: Basierend auf diesem bereinigten Bild sagt er voraus, wohin die Menschen gehen werden.

• Der Trick (EgoAnchor): Der Roboter hat noch einen besonderen Helfer namens EgoAnchor.

  • Die Analogie: Stell dir vor, du versuchst, das Verhalten einer Person vorherzusagen, aber du siehst sie nur kurz und undeutlich. Der EgoAnchor ist wie ein intuitives Gefühl oder ein "Kompass", der dir sagt: "Hey, diese Person hat die Absicht, nach links zu gehen, auch wenn sie gerade kurz hinter einem Schild verschwindet." Er fängt die Absichten der Menschen ein, bevor sie sich bewegen, und hilft dem Roboter, auch bei schlechten Daten eine stabile Vorhersage zu treffen.

4. Das Ergebnis

Als sie BiFlow auf ihrem neuen Prüfplatz getestet haben, passierte Folgendes:

• Die alten Modelle (die nur auf perfekten Daten trainiert waren) sind komplett zusammengebroben, sobald die Daten "schmutzig" wurden.
• BiFlow hingegen war wie ein erfahrener Seemann im Sturm. Er hat die "schmutzigen" Daten erfolgreich bereinigt und die Zukunft viel genauer vorhergesagt als alle anderen. Er war um etwa 10–15 % besser als die bisherigen Besten.

Zusammenfassung in einem Satz

Die Forscher haben erkannt, dass Roboter in der echten Welt oft "blind" oder verwirrt sind, weil ihre Kameras nicht perfekt sind. Sie haben einen neuen Test gebaut, um das zu messen, und einen neuen Roboter-Algorithmus entwickelt, der wie ein kluger Detektiv funktioniert: Er reinigt die verworrenen Erinnerungen der Vergangenheit, um die Zukunft sicher vorherzusagen.

Das Ziel? Damit Roboter sicher durch überfüllte Straßen, Einkaufszentren oder Parks laufen können, ohne die Menschen zu verletzen – selbst wenn die Sicht nicht perfekt ist.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „EgoTraj-Bench: Towards Robust Trajectory Prediction Under Ego-view Noisy Observations" auf Deutsch:

1. Problemstellung

Die Vorhersage von Fußgängertrajektorien aus einer Ego-Perspektive (First-Person View, FPV) ist entscheidend für die Navigation von Robotern in menschlichen Umgebungen. Bisherige Methoden basieren jedoch fast ausschließlich auf idealisierten Bird's-Eye-View (BEV)-Daten. Diese gehen von perfekten, global konsistenten Beobachtungen und fehlerfreiem Tracking aus.

In der realen Welt leiden FPV-Beobachtungen (z. B. über Frontkameras von Robotern) unter erheblichen Wahrnehmungsartefakten:

• Verdeckungen (Occlusions): Fußgänger werden teilweise oder ganz verdeckt.
• ID-Switches: Das Tracking-System verwechselt Personen bei Kreuzungen.
• Perspektivische Verzerrungen: Personen am Bildrand werden verzerrt dargestellt.
• Feld-of-View (FOV) Truncation: Personen verlassen das Sichtfeld.

Diese Diskrepanz zwischen den Trainingsannahmen (saubere BEV-Daten) und der Einsatzrealität (raues FPV-Rauschen) führt dazu, dass bestehende State-of-the-Art-Modelle bei der Vorhersage unter realen Bedingungen drastisch an Leistung verlieren. Es fehlte bisher an einem realistischen Benchmark, der dieses Rauschen systematisch abbildet.

2. Methodik

Das Paper stellt zwei Hauptkomponenten vor: einen neuen Benchmark und ein neues Modell.

A. EgoTraj-Bench (Der Benchmark)

Dies ist der erste reale Benchmark für Trajektorienvorhersage unter Ego-View-Rauschen.

• Datengrundlage: Basierend auf dem TBD-Datensatz, der synchronisierte Videos aus der Vogelperspektive (BEV, Overhead-Cameras) und der Ego-Perspektive (FPV, Roboter-Kamera) liefert.
• Prozess:
  1. Aus den FPV-Videos werden historische Trajektorien extrahiert (unter Verwendung von YOLOv8 und BotSort), die natürliche Fehler wie Verdeckungen und ID-Switches enthalten.
  2. Diese FPV-Trajektorien werden mittels Kalibrierung und Ego-Motion in das globale BEV-Koordinatensystem projiziert.
  3. Diese „verrauschten" FPV-Historien dienen als Eingabe.
  4. Die korrespondierenden, sauberen BEV-Trajektorien (Vergangenheit und Zukunft) dienen als Ground-Truth-Supervision.
• Ziel: Dies ermöglicht eine faire Bewertung, wie gut Modelle mit realen, unvollständigen und verrauschten Eingaben umgehen können, ohne auf synthetische Simulationen angewiesen zu sein.

B. BiFlow (Das Modell)

Um das Problem zu lösen, wird BiFlow vorgeschlagen, ein dualer Flow-Matching-Ansatz.

• Dual-Stream Architektur: Das Modell lernt zwei Aufgaben gleichzeitig aus demselben verrauschten Input ($\tilde{X}$):
  1. Rekonstruktion: Denoising der historischen Beobachtungen (Wiederherstellung der sauberen Vergangenheit $X$).
  2. Vorhersage: Vorhersage der zukünftigen Trajektorien ($Y$).
• Gemeinsamer Encoder: Ein kontextueller Encoder (Transformer-basiert) modelliert soziale Interaktionen unter Berücksichtigung von Verdeckungen und nutzt einen Gültigkeitsmasken (Validity Mask).
• EgoAnchor-Mechanismus: Ein neuartiger Mechanismus, der „Intent-Priors" (Absichten) aus den latenten Merkmalen der Historie destilliert. Diese Priors werden über Feature-Wise Affine Modulation in den Decoder eingespeist, um die Vorhersage auch bei teilweise korrupten Eingaben zu stabilisieren.
• Flow Matching: Anstatt Diffusion zu nutzen, verwendet BiFlow Flow Matching, um die Verteilung der Trajektorien effizienter zu modellieren und diverse, kohärente Vorhersagen zu generieren.

3. Wichtige Beiträge

1. EgoTraj-Bench: Schaffung des ersten realen Benchmarks, der FPV-Rauschen direkt in BEV-Koordinaten überträgt, um die Lücke zwischen idealisierten Benchmarks und der Realität zu schließen.
2. BiFlow Framework: Einführung eines dualen Flow-Matching-Modells, das historische Denoising und Zukunftsvorhersage koppelt, um saubere semantische Informationen aus der Historie für robustere Vorhersagen zu nutzen.
3. EgoAnchor: Entwicklung eines Mechanismus zur Extraktion von Intent-Priors, der die Vorhersagestabilität bei unvollständigen Daten signifikant erhöht.
4. Empirische Analyse: Nachweis, dass bestehende SOTA-Modelle (wie MoFlow, TUTR) unter FPV-Rauschen massiv an Leistung verlieren (bis zu 10–15% Verschlechterung), während BiFlow diese Lücke schließt.

4. Ergebnisse

Die Experimente wurden auf EgoTraj-TBD (reale Daten) und T2FPV-ETH (simulierte Daten) durchgeführt.

• Leistungsgewinn: BiFlow erreicht State-of-the-Art-Ergebnisse. Im Durchschnitt reduziert es den minADE (mittlerer Abweichungsfehler) und minFDE (Endpunkt-Abweichungsfehler) um 10–15% im Vergleich zu den besten Baselines unter verrauschten Bedingungen.
• Robustheit: Auf dem T2FPV-ETH-Datensatz erreicht BiFlow einen minADE von 0,60 m und minFDE von 0,74 m, was eine Verbesserung von über 11% bzw. 15% gegenüber dem vorherigen SOTA darstellt.
• Effizienz: Das Modell zeigt besonders gute Ergebnisse bei der Generierung weniger Kandidaten-Trajektorien (kleines $K$), was auf eine präzisere Verteilungsschätzung hindeutet.
• Ablationsstudie: Die Kombination aus Social Interaction (SI), EgoAnchor (EA) und Shared Encoder (SE) führt zu den besten Ergebnissen. Die Entfernung von EgoAnchor verschlechtert die Leistung deutlich, was die Wichtigkeit der Intent-Destillation unterstreicht.
• Qualitative Ergebnisse: Visualisierungen zeigen, dass BiFlow auch bei starken Verdeckungen und ID-Switches physikalisch plausible und genaue Vorhersagen trifft, während andere Modelle oft abdriften.

5. Bedeutung und Ausblick

Das Paper adressiert eine kritische Lücke in der Robotik und autonomen Systemen: Die meisten Algorithmen funktionieren nur in sauberen Simulationen oder mit perfekten Sensordaten. EgoTraj-Bench zwingt die Community, Modelle zu entwickeln, die mit den unvermeidbaren Fehlern realer Sensoren umgehen können.

BiFlow demonstriert, dass das gemeinsame Lernen von Denoising und Vorhersage ein vielversprechender Weg ist, um Robustheit zu erreichen. Die Arbeit legt den Grundstein für zuverlässigere soziale Roboter und autonome Fahrzeuge, die in dichten, unstrukturierten menschlichen Umgebungen navigieren müssen, wo perfekte Beobachtungen unmöglich sind. Zukünftige Arbeiten könnten sich auf die Verbesserung der Kalibrierung und die Anpassung an verschiedene Sensorplattformen konzentrieren.