Robust Human Trajectory Prediction via Self-Supervised Skeleton Representation Learning

Die Autoren stellen eine robuste Methode zur Vorhersage menschlicher Trajektorien vor, die ein selbstüberwachtes, auf Masked Autoencoding basiertes Skelett-Repräsentationsmodell nutzt, um die Genauigkeit auch bei durch Okklusionen verursachten fehlenden Gelenkdaten zu erhalten.

Das Wesentliche

Das Problem: Der "versteckte" Tänzer

Stell dir vor, du versuchst vorherzusagen, wohin ein Tänzer auf einer Bühne laufen wird, basierend auf dem, was er in den letzten paar Sekunden getan hat. Das ist das Ziel von Trajektorien-Vorhersage (also: Wo geht der Mensch als Nächstes hin?).

Bisher haben Computer dafür hauptsächlich nur die Bodenbahn des Tänzers analysiert (wo waren seine Füße?). Das funktioniert okay, wenn alles klar ist. Aber in der echten Welt gibt es Probleme:

• Jemand läuft hinter einem Bus vorbei.
• Ein anderer Mensch verdeckt den Tänzer.
• Die Kamera hat einen Moment lang das Signal verloren.

In diesen Momenten fehlen dem Computer wichtige Teile des Bildes. Es ist, als würdest du versuchen, die Tanzbewegung zu erraten, aber plötzlich fehlen dem Tänzer Arme oder Beine im Bild. Die bisherigen Computer-Modelle geraten dann in Panik und machen schlechte Vorhersagen. Sie sind wie ein Dirigent, der die Musik nicht mehr hören kann, sobald ein Instrument ausfällt.

Die Lösung: Ein "Gedächtnis-Trainer" für Skelette

Die Autoren dieses Papers haben eine clevere Idee entwickelt, um das Problem zu lösen. Sie nennen es "Selbstüberwachtes Lernen".

Stell dir das so vor:

1. Der Trainer (Pre-Training): Zuerst nehmen sie einen KI-Modell und geben ihm Tausende von Bildern von tanzenden Menschen. Aber sie machen etwas Besonderes: Sie verdecken absichtlich zufällige Körperteile (z. B. den Kopf oder ein Bein) auf dem Bildschirm.
2. Die Aufgabe: Der KI-Modell muss nun raten: "Wo war der Kopf eigentlich, wenn ich ihn nicht sehe?" Er muss die fehlenden Teile aus den sichtbaren Teilen und der Bewegung rekonstruieren.
3. Der Effekt: Durch dieses ständige "Raten und Ausfüllen" lernt das Modell, wie ein menschlicher Körper wirklich funktioniert. Es versteht die Zusammenhänge (wenn sich die Hüfte dreht, muss sich auch der Oberkörper bewegen), auch wenn Teile fehlen. Es entwickelt ein robustes inneres Verständnis des Körpers, das nicht auf jedem einzelnen Pixel beruht.

Der große Vorteil: Der "Unverwüstliche"

Nachdem das Modell diesen "Gedächtnistraining" abgeschlossen hat, wird es in das eigentliche Vorhersage-System eingebaut.

• Die alten Modelle waren wie ein Schüler, der nur auswendig gelernt hat, wie ein ganzer Körper aussieht. Wenn ein Teil fehlt, weiß er nichts mehr.
• Das neue Modell ist wie ein erfahrener Tänzer, der die Choreografie im Kopf hat. Wenn ihm ein Arm verdeckt wird, weiß er trotzdem genau, wie der Rest des Körpers sich bewegen muss, weil er die Struktur und den Rhythmus verstanden hat.

Das Ergebnis: Besser und stabiler

Die Forscher haben getestet, was passiert, wenn sie den KI-Modellen wieder Teile des Körpers verdecken (wie in einer echten, chaotischen Umgebung):

1. Bei klarem Wetter (keine Verdeckungen): Das neue Modell ist sogar noch genauer als die alten Modelle. Es nutzt die Skelett-Informationen besser, um die Absichten des Menschen zu verstehen (z. B. "Ah, er dreht sich, also wird er bald abbiegen").
2. Bei schlechtem Wetter (Teile fehlen): Während die alten Modelle sofort Fehler machen, bleibt das neue Modell ruhig und liefert immer noch gute Vorhersagen. Es ist nicht so leicht aus der Fassung zu bringen.

Die wichtigste Erkenntnis (Der "Aha"-Moment)

Früher dachte man: "Um robust zu sein, müssen wir die KI dazu bringen, sich weniger auf die Skelett-Daten zu verlassen, falls die schlecht sind." Das wäre wie ein Dirigent, der sagt: "Ich höre die Geige nicht mehr, also ignoriere ich sie einfach." Das führt aber zu schlechterer Musik, wenn die Geige doch da ist.

Die Autoren zeigen das Gegenteil: Wir sollten die KI nicht lehren, die Geige zu ignorieren. Stattdessen lehren wir sie, die Geige so gut zu verstehen, dass sie auch dann noch die Melodie erkennt, wenn nur ein paar Töne fehlen.

Zusammenfassend:
Die Forscher haben eine KI entwickelt, die durch "Raten von fehlenden Körperteilen" lernt, wie Menschen sich wirklich bewegen. Dadurch ist sie nicht nur genauer, wenn alles klar ist, sondern auch viel robuster, wenn Teile des Bildes fehlen – genau wie ein erfahrener Tänzer, der auch im Dunkeln weiß, wohin er als Nächstes springen muss.

Technische Zusammenfassung

1. Problemstellung

Die Vorhersage menschlicher Trajektorien (Bewegungsbahnen) ist entscheidend für Anwendungen wie autonome Navigation und Videoüberwachung. Während bestehende Methoden oft nur vergangene Positionen nutzen, zeigen neuere Ansätze, dass die Integration von Skelettdaten (Körperhaltung) wichtige Hinweise auf die Bewegungsabsicht liefert, die reine Trajektorien nicht erfassen können.

Das zentrale Problem liegt jedoch in der Robustheit gegenüber unvollständigen Daten:

• In realen Umgebungen führen Okklusionen (Verdeckungen), Erkennungsfehler oder Änderungen der Körperorientierung häufig dazu, dass Gelenke im Eingabe-Skelett fehlen.
• Herkömmliche Modelle, die auf vollständigen Skeletten trainiert wurden, leiden unter starken Genauigkeitsverlusten, sobald Gelenke fehlen.
• Ein direkter Ansatz, Modelle auf unvollständigen Daten zu trainieren, führt oft zu einem Zielkonflikt (Trade-off): Die Robustheit gegenüber fehlenden Gelenken steigt, aber die Vorhersagegenauigkeit unter sauberen (vollständigen) Bedingungen sinkt, da die Modelle lernen, wichtige Skelett-Informationen zu ignorieren.

2. Methodik

Die Autoren schlagen einen zweistufigen Framework vor, der das Lernen robuster Repräsentationen von der eigentlichen Trajektorienvorhersage entkoppelt.

A. Selbstüberwachtes Lernen der Skelett-Repräsentation (Pre-Training)

• Architektur: Ein asymmetrischer Encoder-Decoder-Ansatz wird verwendet. Der Encoder ist ein ST-GCN (Spatio-Temporal Graph Convolutional Network), der als leichtgewichtiger MLP-Decoder rekonstruiert wird.
• Masked Autoencoding: Während des Pre-Trainings werden zufällige Teilmengen der Gelenke im Eingabe-Skelett maskiert (auf Null gesetzt). Das Modell muss die Koordinaten der fehlenden Gelenke basierend auf den sichtbaren Gelenken und dem zeitlichen Kontext rekonstruieren.
• Maskierungsstrategien: Um verschiedene reale Szenarien abzubilden, werden drei Maskierungsmuster verwendet:
  1. Temporally Consistent: Dieselben Gelenke fehlen über alle Frames hinweg (simuliert langfristige Verdeckungen).
  2. Random: Gelenke werden zufällig pro Frame maskiert (simuliert sporadische Erkennungsfehler).
  3. Body-Part: Ganze Körperteile werden maskiert (simuliert starke Verdeckungen durch Hindernisse).
• Ziel: Der Encoder lernt stabile latente Repräsentationen, die auch bei teilweiser Beobachtung aussagekräftig bleiben. Der Decoder wird nach dem Pre-Training verworfen; nur der Encoder wird genutzt.

B. Integration in die Trajektorienvorhersage

• Das vorgeschlagene System baut auf dem Social-TransMotion Framework auf.
• Ersatz des Embeddings: Anstatt die 3D-Skelett-Eingabe linear zu projizieren, wird der vortrainierte Encoder (eingefroren) verwendet, um die Skelettsequenzen in robuste latente Merkmale zu kodieren.
• Fusion: Diese Merkmale werden mit den Trajektoriedaten in einem Cross-Modality Transformer fusioniert, um die Bewegungsabsicht zu erfassen und die Interaktion zwischen Agenten zu modellieren.
• Wichtig: Es werden keine rekonstruierten Koordinaten direkt in den Vorhersagemodell eingespeist, sondern nur die robusten latenten Repräsentationen des Encoders. Dies verhindert, dass Rekonstruktionsfehler direkt die Vorhersage korrumpieren.

3. Hauptbeiträge

1. Zweistufiges Framework: Eine Trennung von Repräsentationslernen und Vorhersage, die es ermöglicht, Robustheit auf Repräsentationsebene zu erlangen, ohne die Genauigkeit unter sauberen Bedingungen zu opfern.
2. Robustheit durch Self-Supervision: Die Demonstration, dass maskenbasiertes selbstüberwachtes Lernen (Masked Autoencoding) Skelett-Repräsentationen lernt, die gegenüber verschiedenen Mustern fehlender Daten invariant sind. Dies wird als prinzipieller Ansatz für Robustheit positioniert, nicht nur als spezifische Leistungssteigerung.
3. Analyse des Trade-offs: Durch detaillierte Experimente wird gezeigt, dass die Verbesserungen nicht durch eine Schwächung der Skelett-Nutzung erreicht werden, sondern durch die Erhaltung der Nützlichkeit von Skelett-Features auch bei partiellen Beobachtungen.

4. Ergebnisse

Die Experimente wurden auf dem großen synthetischen JTA-Datensatz durchgeführt, der häufige Okklusionen simuliert.

• Rekonstruktionsqualität: Das Pre-Training mit Random-Masking (50% Maskierungsrate) führte zu den besten Ergebnissen in Bezug auf Rekonstruktionsfehler (MPJPE) und Konsistenz der Merkmale (Cosine Similarity) über verschiedene Test-Maskierungsszenarien hinweg.
• Vorhersageleistung:
  • Unter sauberen bis moderaten Bedingungen (bis zu 40% fehlende Gelenke) übertrifft die vorgeschlagene Methode alle Baseline-Modelle (inkl. Standard-Social-TransMotion und Modelle, die direkt auf korrupten Daten trainiert wurden) in Bezug auf ADE (Average Displacement Error) und FDE (Final Displacement Error).
  • Unter starker Verdeckung (>60% fehlende Gelenke) bleibt die Methode wettbewerbsfähig, wobei andere Baselines (die Rekonstruktion vor der Vorhersage nutzen) hier leicht besser abschneiden, aber zu Lasten der Genauigkeit bei sauberen Daten.
• Abhängigkeit von Skelettdaten: Eine Analyse zeigte, dass das vorgeschlagene Modell stärker auf Skelett-Informationen angewiesen ist als die Baselines. Dies führt zu einer höheren Genauigkeit bei sauberen Daten. Im Gegensatz zu anderen Ansätzen, die ihre Robustheit durch eine Reduktion der Skelett-Nutzung erreichen, behält das vorgeschlagene Modell die Nutzung der Skelett-Features bei, macht diese aber robuster gegen Ausfälle.

5. Bedeutung und Fazit

Die Arbeit adressiert eine kritische Lücke in der Trajektorienvorhersage: Die Diskrepanz zwischen Laborbedingungen (saubere Daten) und der Realität (unvollständige Daten).

• Paradigmenwechsel: Statt die Vorhersage selbst an unvollständige Daten anzupassen (was oft die Leistung bei guten Daten mindert), wird die Robustheit bereits in der Darstellungsebene (Representation Level) durch Pre-Training erlernt.
• Praktische Relevanz: Die Methode ermöglicht autonome Systeme, auch in schwierigen Umgebungen mit häufigen Verdeckungen präzise Vorhersagen zu treffen, ohne auf die Vorteile von Skelettinformationen verzichten zu müssen.
• Skalierbarkeit: Der zusätzliche Rechenaufwand durch den vortrainierten Encoder ist gering, was die Methode für den praktischen Einsatz geeignet macht.

Zusammenfassend beweist das Paper, dass selbstüberwachtes Lernen mit Maskierung ein effektiver Weg ist, um die inhärente Zielkonfliktsituation zwischen hoher Genauigkeit und hoher Robustheit in der Skelett-gestützten Trajektorienvorhersage zu überwinden.