Context-free Self-Conditioned GAN for Trajectory Forecasting

Die vorgestellte Arbeit führt einen kontextfreien, unüberwachten Ansatz auf Basis eines selbst-konditionierten GAN ein, um verschiedene Bewegungsmodi aus 2D-Trajektorien zu lernen und erreicht dabei bei der Trajektorienvorhersage für menschliche Bewegungen und Straßenakteure überlegene Ergebnisse im Vergleich zu bestehenden kontextfreien Methoden.

Das Wesentliche

Stellen Sie sich vor, Sie stehen an einer belebten Kreuzung und beobachten, wie sich Menschen und Autos bewegen. Ihr Gehirn versucht automatisch vorherzusagen: „Wird der Fußgänger gleich die Straße überqueren oder anhalten? Wird das Auto links abbiegen oder geradeaus fahren?"

Das ist das Problem, das sich diese Forscher aus Schweden gestellt haben: Wie kann man die Zukunft von Bewegung vorhersagen, ohne zu wissen, wer oder was sich bewegt?

Hier ist eine einfache Erklärung ihrer Lösung, verpackt in Alltagsbilder:

1. Das Problem: Der „Durchschnitts-Detektiv"

Bisherige Computer-Programme waren wie ein Detektiv, der nur auf den Durchschnitt schaut. Wenn 90 % der Fußgänger geradeaus laufen und nur 10 % plötzlich umdrehen, lernt der Computer: „Alle laufen geradeaus."
Das Problem: Wenn dann doch jemand umdreht, macht der Computer einen riesigen Fehler. Er ignoriert die seltenen, aber wichtigen Verhaltensweisen. Man nennt das in der Wissenschaft „Mode Collapse" – der Computer kollabiert in eine einzige, langweilige Vorhersage.

2. Die Lösung: Der „Selbst-organisierte Tanzlehrer"

Die Forscher haben eine neue Methode entwickelt, die sie „Self-Conditioned GAN" nennen. Das klingt kompliziert, ist aber im Grunde wie ein Tanzlehrer, der eine Gruppe von Tänzern beobachtet, ohne zu wissen, wer wer ist.

Stellen Sie sich vor, der Computer schaut auf tausende von Bewegungsaufnahmen (Trajektorien). Anstatt zu fragen: „Ist das ein Arbeiter oder ein Besucher?", schaut er sich die Muster an.

• Der Trick: Der Computer nutzt einen „Gegner" (den Diskriminator). Dieser Gegner schaut sich die Bewegungen an und versucht, echte Bewegungen von gefälschten zu unterscheiden.
• Die Entdeckung: Während er das tut, merkt er automatisch: „Hey, diese 20 Bewegungen hier sehen sich alle ähnlich an! Und diese anderen 10 dort sind wieder ganz anders!"
• Das Ergebnis: Der Computer sortiert die Bewegungen automatisch in Gruppen (Cluster) ein, basierend darauf, wie sie aussehen, nicht darauf, was sie sind. Er findet also die „seltenen Tänzer" (die, die umdrehen) und die „gewöhnlichen Tänzer" (die, die geradeaus laufen) und trennt sie voneinander.

3. Die Anwendung: Der „Schwerpunkt-Trainer"

Jetzt kommt der geniale Teil. Der Computer weiß nun: „Ah, Gruppe A ist sehr häufig, aber Gruppe B (die seltenen, schwierigen Bewegungen) wird von meinem Vorhersage-Modell oft falsch gemacht."

Sie haben drei neue Trainingsmethoden entwickelt, die wie ein guter Sporttrainer funktionieren:

• Normaler Trainer: Übt mit allen gleich viel.
• Ihr neuer Trainer: Sagt: „Okay, die Gruppe A können wir schon gut. Aber Gruppe B macht uns Probleme! Wir konzentrieren uns jetzt extra auf diese schwierigen Fälle."

Sie gewichten die Trainingsdaten so, dass der Computer mehr Zeit mit den „schwierigen" und seltenen Bewegungsmustern verbringt. Er lernt also nicht nur den Durchschnitt, sondern wird auch gut darin, die Ausnahmen vorherzusagen.

4. Das Ergebnis: Bessere Vorhersagen für alle

Sie haben das System an zwei verschiedenen Orten getestet:

1. In einer Fabrik (Menschen): Wo Besucher, Arbeiter und Inspektoren unterschiedliche Wege gehen.
2. Auf der Straße (Autos): Wo Autos, andere Fahrzeuge und Fußgänger sich bewegen.

Das Fazit:

• Bei den seltenen Fällen (z. B. ein Inspektor, der sich unerwartet bewegt, oder ein Fußgänger, der die Straße überquert) war ihr System viel besser als alle vorherigen Methoden.
• Bei den häufigen Fällen war es genauso gut wie die alten Methoden.

Zusammenfassend:
Stellen Sie sich vor, Sie lernen eine Sprache. Die alten Methoden lernten nur die häufigsten Sätze („Hallo", „Danke"). Wenn Sie dann eine seltene Frage stellten, wussten sie nichts zu sagen.
Diese neuen Forscher haben dem Computer beigebracht, alle Sätze zu hören, besonders die seltenen und schwierigen, indem er die Sprache in verschiedene „Dialekte" (Muster) unterteilt hat. Dadurch versteht er nicht nur den Durchschnitt, sondern ist ein echter Experte für die ganze Vielfalt des menschlichen Verhaltens.

Das ist besonders wichtig für autonomes Fahren und Roboter, die sicher sein müssen, dass sie auch dann reagieren, wenn jemand etwas Unvorhersehbares tut.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert das Problem der Trajektorienvorhersage (Trajectory Forecasting) in 2D-Räumen. Das Hauptziel ist es, zukünftige Bewegungswege von Agenten (z. B. Fußgänger oder Fahrzeuge) basierend ausschließlich auf den beobachteten Anfangsschritten vorherzusagen.

• Herausforderung: Die Vorhersage ist schwierig, da Agenten bei ähnlichen Ausgangssituationen unterschiedliche Verhaltensmuster (Modi) zeigen können.
• Kontextfreiheit: Im Gegensatz zu vielen bestehenden Ansätzen, die zusätzliche Kontextinformationen (soziale Interaktionen, Umgebungsvisualisierung) nutzen, konzentriert sich dieser Ansatz strikt auf die kontextfreie Vorhersage. Dies soll die Flexibilität in verschiedenen Umgebungen erhöhen und die Frage klären, ob reine Trajektoriedaten ausreichen, um diverse Verhaltensmuster zu modellieren.
• Mode Collapse: State-of-the-Art-Methoden basieren oft auf Generative Adversarial Networks (GANs). Diese leiden jedoch unter dem „Mode Collapse"-Problem, bei dem der Generator nur die dominanten Verhaltensmuster lernt und seltenere, aber wichtige Modi ignoriert.

2. Methodik

Die Autoren schlagen einen zweistufigen, unüberwachten Ansatz vor, der auf einem selbst-konditionierten GAN (Self-Conditioned GAN) basiert.

A. Selbst-konditioniertes GAN zur Modus-Erkennung

Das System lernt zunächst verschiedene Verhaltensmodi aus den Daten, ohne dass diese vorab gelabelt sind.

1. Architektur: Ein Generator ($G$) und ein Diskriminator ($D$) werden adversarial trainiert.
   • Der Generator nimmt eine latente Variable $z$ und die beobachtete Trajektorie $X$ als Eingabe und erzeugt eine Vorhersage $\hat{Y}$.
   • Der Diskriminator unterscheidet zwischen realen und generierten Trajektorien ($X \oplus Y$ vs. $X \oplus \hat{Y}$).
2. Feature-Clustering: Der Diskriminator enthält einen Encoder (hier ein MLP, da es stabiler als LSTM trainiert wird), der Merkmale aus den Eingabedaten extrahiert. Anstatt diese Merkmale nur zur Unterscheidung von Real/Fake zu nutzen, werden sie geclustert (z. B. mit k-Means).
3. Selbst-Konditionierung: Die resultierenden Cluster-IDs werden als „unsupervised labels" (Modi $m$) interpretiert. Diese Cluster repräsentieren unterschiedliche Verhaltensmuster im Merkmalsraum des Diskriminators. Diese Cluster-Information wird genutzt, um den Generator zu konditionieren.

B. Drei Trainingssettings für verbesserte Vorhersage

Basierend auf den gelernten Clustern werden drei Trainingssettings für einen „Vanilla GAN"-Vorhersager entwickelt, um das Mode-Collapse-Problem zu mildern und seltene Modi besser zu lernen:

1. Weighted Loss (wL2): Die Verlustfunktion des Generators wird gewichtet. Trajektorien aus Clustern, die schwerer zu lernen sind (hoher Vorhersagefehler im Selbst-konditionierten GAN) oder unterrepräsentiert sind, erhalten höhere Gewichte. Dies zwingt den Generator, sich stärker auf schwierige Unterbereiche des Datenraums zu konzentrieren.
   • Die Gewichtung $\Lambda_i$ berücksichtigt den durchschnittlichen Fehler (ADE/FDE) des Clusters, die Anzahl der Samples im Cluster und die Gesamtanzahl der Samples.
2. Weighted Batch Sampler (wB): Beim Training werden Batches nicht zufällig, sondern basierend auf einer multinomialen Verteilung gezogen, die durch die oben genannten Gewichte gesteuert wird. Dies stellt sicher, dass seltene Modi häufiger im Training vorkommen.
3. Kombination (wL2 + wB): Eine Kombination aus beiden oben genannten Ansätzen.

3. Wichtige Beiträge

• Neue Architektur: Anpassung des selbst-konditionierten GAN-Frameworks (ursprünglich für Bilder entwickelt) auf den Bereich der 2D-Trajektorien.
• Unüberwachtes Clustering für Vorhersage: Erstmalige Nutzung von Clustern aus dem Diskriminator-Feature-Raum eines GANs, um „soft assumptions" (weiche Annahmen) über Verhaltensmuster zu treffen und diese zur Verbesserung des Trainings zu nutzen.
• Verbesserung seltener Modi: Der Ansatz zielt spezifisch darauf ab, die Vorhersagegenauigkeit für die am wenigsten repräsentativen Klassen (seltenste Verhaltensweisen) zu verbessern, ohne dabei die Leistung bei dominanten Klassen signifikant zu verschlechtern.
• Open Source Tool: Bereitstellung eines Preprocessing-Tools (pythor-tools) für den THÖR-Datensatz.

4. Experimentelle Ergebnisse

Die Methode wurde auf zwei Datensätzen getestet:

1. THÖR: Menschliche Bewegungen in einer industriellen Umgebung (Rollen: Besucher, Arbeiter, Inspektor).
2. Argoverse: Fahrzeugbewegungen auf Straßen (Autonome Fahrzeuge, andere Fahrzeuge, andere Agenten).

Quantitative Ergebnisse:

• Leistung bei seltenen Klassen: Die vorgeschlagenen Methoden (insbesondere Vanilla GAN + wB und Vanilla GAN + wL2 + wB) übertrafen bestehende kontextfreie Methoden (LSTM, Vanilla GAN) signifikant bei den am wenigsten repräsentativen Klassen (z. B. „Inspektor" in THÖR oder „andere Agenten" in Argoverse).
• Gesamtleistung:
  • Bei menschlichen Bewegungen (THÖR) übertraf der Ansatz die Baselines global in beiden Metriken (ADE und FDE).
  • Bei Straßenagenten (Argoverse) war die Leistung gut, konnte aber den globalen Durchschnitt nicht immer verbessern, da der Fokus stark auf den sehr seltenen Klassen lag (was die Balance im Durchschnitt leicht verschob).
• Cluster-Analyse: Die Cluster, die vom selbst-konditionierten GAN gebildet wurden, erwiesen sich als sinnvoll: Sie gruppierten Trajektorien mit ähnlichen Mustern (z. B. Richtung, Länge) und korrelierten mit der Vorhersageschwierigkeit (kleine Cluster hatten höhere Fehler, wurden aber durch die neuen Trainingssettings verbessert).

5. Bedeutung und Fazit

Das Paper demonstriert, dass es möglich ist, diverse Verhaltensmuster in Trajektorien zu modellieren, ohne auf externe Kontextdaten zurückzugreifen. Der Kernbeitrag liegt in der Nutzung der internen Struktur eines GAN (durch Clustering im Diskriminator), um dem Generator zu signalisieren, welche Modi vernachlässigt werden.

• Lösung des Mode Collapse: Durch die gezielte Gewichtung schwieriger Cluster wird das Problem des Mode Collapse effektiv gemildert.
• Praktische Relevanz: Für Anwendungen wie autonomes Fahren oder Robotik ist es entscheidend, auch seltene, aber kritische Verhaltensweisen (z. B. ein Fußgänger, der unerwartet die Richtung wechselt) vorherzusagen, nicht nur den Durchschnittsverlauf.
• Ergebnis: Der Ansatz liefert robustere Vorhersagen für eine breitere Palette von Verhaltensmustern und verbessert insbesondere die Vorhersagegenauigkeit für unterrepräsentierte Agenten-Typen.