Zero-Shot Skeleton-Based Action Anticipation

Stellen Sie sich vor, Sie schauen einen Film, aber der Bildschirm wird nach nur wenigen Sekunden plötzlich schwarz. Eine Figur beugt die Knie und senkt ihren Schwerpunkt. Hat sie Zeit, über einen Zaun zu springen, oder setzt sie sich gerade auf eine Bank? In der Welt der Informatik ist dies die Herausforderung der Aktionsantizipation (Action Anticipation). Es ist die Kunst für einen Roboter oder eine KI, vorherzusagen, was eine Person als Nächstes tun wird, noch bevor sie damit überhaupt fertig ist. Dies ist entscheidend für Sicherheitsroboter, Hilfsmittel und autonome Autos, die sofort reagieren müssen.

Normalerweise werden diese Computer trainiert wie Schüler, die ein Lehrbuch auswendig lernen: Sie sehen tausende Beispiele für „Springen“ und tausende für „Sitzen“ und lernen, die Muster zu erkennen. Aber was passiert, wenn der Roboter eine völlig neue Bewegung sieht, die er noch nie zuvor gesehen hat, wie einen spezifischen Tanzschritt oder eine einzigartige Art, einen Ball zu werfen? Traditionelle Computer erstarren, weil sie diesen spezifischen Zug nicht auswendig gelernt haben. Hier kommt Zero-Shot Learning ins Spiel. Denken Sie an einen Detektiv, der nicht das Gesicht eines Verdächtigen gesehen haben muss, um ihn zu identifizieren; stattd�essen nutzt er eine Beschreibung (wie „trägt einen roten Hut und hält einen Gehstock“), um herauszufinden, wer es ist. Diese Arbeit befasst sich mit der schwierigen Kombination dieser beiden Ideen: eine Aktion aus nur einem winzigen, frühen Blick darauf zu erraten und dies für Aktionen zu tun, die der Computer noch nie zuvor gelernt hat.

---

Das Geheimnis des halb gesehenen Tanzes

In dieser Arbeit stellen die Autoren, Hongsong Wang und sein Team, eine neue Herausforderung vor, die sie Zero-Shot Skeleton-Based Action Anticipation (oder kurz ZS-SkAA) nennen. Stellen Sie sich vor, Sie versuchen ein Lied zu erraten, indem Sie nur die ersten zwei Noten hören, aber das Lied ist eines, das Sie noch nie gehört haben. Sie müssen sich auf die „Form“ der Melodie und die Beschreibung des Liedes verlassen, um es zu identifizieren.

Die Forscher stellten fest, dass Computer zwar gut darin werden, vollständige Aktionen zu erkennen, sie aber Schwierigkeiten haben, wenn sie nur den Beginn einer Bewegung (den „Frühstadium“-Teil) sehen und wenn diese Bewegung etwas völlig Neues ist. Bestehende Methoden setzen voraus, dass der Computer jede mögliche Aktion bereits zuvor gesehen hat, was in der realen Welt nicht realistisch ist. Um dies zu beheben, entwickelten sie ein neues „Baseline“-Modell – einen Ausgangspunkt für die zukünftige Forschung –, das versucht, dieses Rätsel zu lösen.

Wie das Modell denkt: Das Werkzeugset des Detektivs

Die Autoren entwarfen ein System, das wie ein superintelligenter Detektiv mit drei Haupttricks arbeitet:

1. Die Skelett-Karte (GCN): Anstatt ein Video von einem Gesicht oder der Kleidung einer Person anzusehen, betrachtet das Modell eine „Strichfigur“, die aus 3D-Gelenken besteht (wie Ellbogen, Knie und Schultern). Sie verwenden ein Werkzeug namens Graph Convolutional Network (GCN). Man kann sich das als eine Karte vorstellen, die versteht, wie Ihr Ellbogen mit Ihrer Schulter verbunden ist und wie sich Ihr Knie mit Ihrer Hüfte bewegt. Es kennt den „Stammbaum“ Ihrer Körperteile.
2. Die Zeitmaschine (Transformer): Da das Modell nur die ersten Sekunden der Aktion sieht, muss es verstehen, wie die Bewegung im Zeitverlauf fließt. Sie verwenden einen Transformer (dieselbe Technologie, die Chatbots hilft, Sprache zu verstehen), um die Sequenz der Bewegungen zu beobachten. Es ist wie das Lesen einer Geschichte, bei der die Reihenfolge der Wörter genauso wichtig ist wie die Wörter selbst.
3. Der Beschreibungsabgleich (Mutual Information): Dies ist die „Zero-Shot“-Magie. Das Modell sieht nicht nur die Strichfigur; es liest auch eine Textbeschreibung der Aktion (wie „springen“ oder „tanzen“). Das Modell versucht, die „gegenseitige Information“ (Mutual Information) zwischen der visuellen Strichfigur und der Textbeschreibung zu maximieren. Stellen Sie sich vor, Sie versuchen, ein verschwommenes Foto eines Hundes mit einer schriftlichen Beschreibung eines „flauschigen, bellenden Tieres“ abzugleichen. Das Modell lernt, die visuelle Form der Bewegung mit der Bedeutung der Wörter in Einklang zu bringen, selbst wenn es diesen spezifischen Hund noch nie gesehen hat.

Um dies noch besser zu machen, betrachtet das Modell das Skelett gleichzeitig auf drei verschiedene Arten:

• Gelenke (Joints): Wo sich die Körperteile befinden.
• Knochen (Bones): Die Linien, die die Teile verbinden.
• Bewegung (Motion): Wie schnell sich die Teile bewegen.
  Durch die Verschmelzung dieser drei Ansichten erhält das Modell ein reichhaltigeres Bild, besonders wenn es nur über einen winzigen Zeitabschnitt verfügt.

Was sie fanden: Frühe Vermutungen werden besser

Das Team testete ihr Modell auf einem berühmten Datensatz namens NTU RGB+D, der tausende von aufgezeichneten menschlichen Bewegungen enthält. Sie unterteilten die Aktionen in zwei Gruppen: solche, die das Modell während des Trainings „gesehen“ hat (die „gesehenen“ Klassen), und solche, die es nie gesehen hat (die „ungesehenen“ Klassen).

Sie maßen, wie gut das Modell die Aktion erraten konnte, wenn es nur 10 % bis 90 % des Videos sah. Hier ist das Ergebnis:

• Der frühe Vorteil: Wenn das Modell erst den Beginn der Aktion sah (10 % bis 30 % des Videos), war die Verwendung aller drei Ansichten (Gelenke, Knochen und Bewegung) zusammen ein riesiger Hilfe. Es verbesserte die Genauigkeit um bis zu 4 % im Vergleich zum reinen Betrachten der Gelenke. Es ist, als hätte man gleichzeitig eine Lupe, eine Taschenlampe und einen Tacho zur Hand, wenn man nur einen Sekundenbruchteil Zeit hat, um hinzusehen.
• Die spätere Verschiebung: Als das Modell mehr vom Video sah (40 % bis 90 %), wurde das Betrachten der reinen Gelenke genauso gut oder sogar etwas besser als die komplexe Mischung. Dies deutet darauf hin, dass, sobald man genügend Informationen hat, die zusätzlichen Details vielleicht nur Rauschen sind.
• Den Wettbewerb schlagen: Im Vergleich zu einer bisherigen Methode namens SMIE errat das neue Modell konsequent besser. Beispielsweise erreichte ihr Modell auf dem NTU RGB+D 60-Datensatz, als nur 10 % der Aktion sichtbar waren, eine korrekte Vorhersage in 39,62 % der Fälle, während die alte Methode nur 36,50 % erreichte. Auf dem größeren NTU RGB+D 120-Datensatz war der Abstand zu Beginn sogar noch größer, wobei ihr Modell eine Genauigkeit von 26,46 % erreichte gegenüber 23,38 % für die andere Methode.

Die „Aha!“-Momente

Die Autoren führten auch Experimente durch, um zu sehen, welche Teile ihres Detektiv-Werkzeugkastens tatsächlich die Hauptarbeit leisteten.

• Position ist entscheidend: Sie fanden heraus, dass das Modell verwirrt war, wenn sie die „Positionskodierung“ (den Teil, der dem Modell sagt, welches Gelenk welches ist und in welcher Reihenfolge die Frames stehen) entfernten. Es ist, als würde man versuchen, ein Buch zu lesen, in dem die Wörter durcheinandergewürfelt sind; das Modell konnte nicht unterscheiden, ob sich der Arm nach oben oder unten bewegte.
• Schlüsselbilder (Keyframes): Sie testeten auch ein spezielles Modul, das versucht, die wichtigsten „Keyframes“ (die dramatischsten Momente der Bewegung) zu finden. Als sie dieses ausschalteten, sank die Leistung des Modells. Dies beweist, dass das Modell wirklich lernt, sich auf die spannendsten Teile der Aktion zu konzentrieren, um seine Vermutung abzugeben.

Das Fazit

Diese Arbeit behauptet nicht, das Problem der Roboter-Antizipation für immer gelöst zu haben. Stattdessen schafft sie einen neuen Spielplatz (einen Benchmark) und einen starken Ausgangspunkt (ein Baseline-Modell), auf dem andere aufbauen können. Sie zeigt, dass Computer durch die Kombination eines intelligenten Verständnisses der Körperstruktur, eines scharfen Zeitgefühls und einer cleveren Methode zum Abgleich von Bildern mit Wörtern damit beginnen können, vorherzusagen, was Menschen als Nächstes tun werden – selbst bei Aktionen, die sie noch nie zuvor gesehen haben.

Die Ergebnisse legen nahe, dass dieser Ansatz eine vielversprechende Richtung ist, um Roboter zu bauen, die sicher mit uns in der realen Welt interagieren können, in der Überraschungen unvermeidlich sind. Wie die Autoren anmerken, ist dies erst der Anfang eines lebenswichtigen Forschungsweges, um Maschinen zu schaffen, die wirklich anpassungsfähig sind.