💻 computer science

T-MOR: Learning Motion-Aware Skeleton Representations for Human Action Recognition

Dieses Paper schlägt T-MOR vor, ein bewegungsbewusstes Framework, das einen neuen groß angelegten PoseCap-1M-Datensatz und multimodales kontrastives Lernen nutzt, um Skelettsequenzen mit Video- und Sprachrepräsentationen abzugleichen und dadurch durch eine leichtgewichtige Skelett-Inferenz eine überlegene und generalisierbare Leistung bei der Erkennung menschlicher Aktionen zu erzielen.

Ursprüngliche Autoren: Di Yang, Mahmoud Ali, Quan Kong, Gianpiero Francesca, Francois Bremond

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Di Yang, Mahmoud Ali, Quan Kong, Gianpiero Francesca, Francois Bremond

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, menschliche Handlungen zu verstehen, wie zum Beispiel „Tennis spielen“ oder „Möbel abstauben“.

Die meisten aktuellen KI-Modelle sind wie Touristen mit einer Kamera. Sie betrachten ein Video und versuchen zu erraten, was passiert, basierend darauf, wie die Dinge aussehen: die Farbe des Hemdes, die Hintergrundkulisse oder die Form eines Tennisschlägers. Wenn sich das Licht ändert oder die Person ein anderes Hemd trägt, gerät der Roboter in Verwirrung.

Andere Modelle sind wie Strichmännchen-Künstler. Sie schauen nur auf das Skelett (die Gelenke und Knochen), um zu sehen, wie sich der Körper bewegt. Das ist großartig, weil es den unordentlichen Hintergrund ignoriert, aber diese Modelle müssen jede Handlung einzeln von Grund auf neu lernen. Wenn man ihnen eine neue Handlung zeigt, die sie noch nie gesehen haben, sind sie verloren.

T-MOR ist ein neues Framework, das in diesem Paper vorgeschlagen wurde und versucht, das Beste aus beiden Welten zu vereinen. Denken Sie an einen Tanzlehrer, der Millionen von Videos gesehen und Millionen von Büchern gelesen hat, aber nur den Tänzer benötigt, um die Bewegung zu verstehen, um die Bewegung zu verstehen.

So funktioniert es, unterteilt in einfache Konzepte:

1. Der „Super-Lehrer“ (Multi-Modales Lernen)

Während seiner Trainingsphase ist T-MOR wie ein Schüler, der in einem Klassenzimmer mit drei verschiedenen Lehrern sitzt:

Der visuelle Lehrer: Zeigt ihm Videos von Menschen, die Handlungen ausführen.
Der Sprach-Le Lehrer: Liest Beschreibungen dieser Handlungen (z. B. „Eine Person staubt Möbel ab“).
Der Bewegungs-Lehrer: Zeigt ihm die Skelettdaten (die eigentliche Bewegung der Gelenke).

Das Ziel ist es, dem Modell beizubringen, dass die Bewegung des Skeletts, das Aussehen des Videos und die Worte, die die Handlung beschreiben, alle dasselbe bedeuten. Es verwendet eine Technik namens „Contrastive Learning“, was wie ein Spiel des „Paare-Matchens“ ist. Es lernt zu sagen: „Diese Skelettbewegung passt zu diesem Videoclip und dieser Textbeschreibung.“

2. Das „Gruppierungsspiel“ (Cluster-Guided Learning)

Einer der cleveren Tricks des Papers ist der Umgang mit Fehlern. Stellen Sie sich vor, Sie sortieren einen riesigen Haufen gemischter Fotos. Wenn Sie einfach zufällige Fotos vergleichen, könnten Sie versehentlich zwei Fotos derselben Handlung auswählen und denken, sie seien unterschiedlich (ein „False Negative“).

T-MOR nutzt eine „Gruppierungsstrategie“. Vor dem Vergleich organisiert es die Bewegungen in Clustern (wie das Sortieren von Fotos in Ordner). Es vergleicht dann Bewegungen innerhalb dessselben Ordners als „Freunde“ (positive Paare) und Bewegungen in verschiedenen Ordnern als „Fremde“ (negative Paare). Dies hilft dem Modell, die wahre Struktur der menschlichen Bewegung zu verstehen, ohne durch zufälliges Rauschen verwirrt zu werden.

3. Die „Neue Bibliothek“ (PoseCap-1M)

Um dieses Modell zu lehren, stellten die Autoren fest, dass sie eine massive Bibliothek von Daten benötigen, die Videos, Text und Skelette gleichzeitig kombiniert. Sie konnten keine einzige finden, die groß genug war, also bauten sie ihre eigene: PoseCap-1M.

Denken Sie an diese Bibliothek mit über einer Million Einträgen.
Jeder Eintrag enthält einen Videoclip, die entsprechenden Skelettdaten und eine Textbeschreibung.
Dieser massive Datensatz ermöglicht es dem Modell, allgemeine Regeln darüber zu lernen, wie Menschen sich bewegen, anstatt nur spezifische Beispiele auswendig zu lernen.

4. Die „Leichtgewichtige Leistung“ (Inferenz)

Dies ist der wichtigste Teil für die reale Anwendung. Nachdem das Modell von all diesen Videos und Texten gelernt hat, braucht es diese nicht mehr.

Training: Es nutzt schwere Video- und Textdaten, um zu lernen.
Testen (Inferenz): Es benötigt nur das Skelett.

Es ist wie ein Koch, der gelernt hat zu kochen, indem er tausende Gerichte probiert und Rezepte gelesen hat, aber nun ein perfektes Essen zubereiten kann, indem er nur die Zutatenliste (das Skelett) betrachtet, ohne das ursprüngliche Rezeptbuch oder das Tasting-Menü zu benötigen. Dies macht es sehr schnell und effizend, perfekt für Geräte mit begrenzter Leistung.

Was haben sie herausgefunden?

Die Autoren haben T-MOR bei mehreren realen Herausforderungen getestet:

Erkennen von Handlungen: Es war besser darin, Handlungen wie „Tennis spielen“ oder „Abstauben“ zu identifizieren als bisherige Methoden, selbst wenn der Hintergrund unordentlich oder die Beleuchtung schlecht war.
Erkennen des Timings: Es konnte genau feststellen, wann eine Handlung in einem langen Video begann und endete.
Der „Zauber“ des Zero-Shot: Dies ist der beeindruckendste Teil. Sie baten das Modell, Handlungen zu erkennen, die es noch nie zuvor gesehen hatte (wie das „Spielen eines spezifischen Spiels“, für das es nicht trainiert wurde). Da es das Konzept der Bewegung durch Sprache und Video gelernt hat, konnte es die Handlung allein durch das Lesen des Namens der Handlung und das Betrachten des Skeletts erraten. Es schnitt so gut oder sogar besser ab als Modelle, die speziell auf diese Handlungen trainiert worden waren.

Zusammenfassung

Kurz gesagt ist T-MOR ein System, das lernt, menschliche Bewegungen zu verstehen, indem es Videos studiert und Texte liest, aber es benötigt nur ein Strichmännchen-Skelett, um seinen Job zu erledigen. Durch die Verwendung eines massiven neuen Datensatzes und einer intelligenten „Gruppierungsstrategie“ erschafft es ein Modell, das präzise, schnell und in der Lage ist, neue Handlungen zu verstehen, mit denen es zuvor noch nie konfrontiert war.

Technisches Resümee: T-MOR

Problemstellung

Obwohl Vision-Language-Modelle (VLMs) wie CLIP große Erfolge beim visuellen Verständnis erzielt haben, stützen sie sich primär auf eine über das Erscheinungsbild basierende Überwachung und mangelt es ihnen an einer expliziten Modellierung menschlicher Bewegung. Diese Einschränkung behindert ihre Effektivität bei feingranularen, menschenzentrierten Aktionserkennungsaufgaben, bei denen Aktionen durch zeitlich strukturierte und physisch fundierte Körperbewegungen definiert sind. Umgekehrt arbeiten bestehende skelettbasierte Methoden oft in Closed-Set-Szenarien, was deren Transfer auf neue Aktionen oder Aufgaben ohne umfangreiches Re-Training erschwert. Die zentrale Herausforderung besteht darin, wie man groß angelegte semantische Überwachung (aus Video und Text) nutzen kann, um übertragbare, physisch fundierte und zeitlich kohärente menschliche Bewegungsrepräsentationen zu erlernen, die für die Inferenz robust und leichtgewichtig bleiben.

Methodik

Die Autoren schlagen T-MOR (Transferable skeleton MOtion Representation) vor, ein bewegungsorientiertes Framework, das darauf ausgelegt ist, übertragbare Aktionsrepräsentationen aus Skelettsequenzen durch die Nutzung von Video- und Sprachüberwachung während des Trainings zu erlernen.

1. Architektur und Merkmalsextraktion

Kernrepräsentation: Das Framework nutzt Skelettsequenzen ( $s_k$ ) als primären Input für die Inferenz. Der Bewegungsencoder ( $E_M$ ) basiert auf UNIK, einer hybriden Architektur, die Transformer und TCNs kombiniert, um räumliche Gelenkbeziehungen und die zeitliche Entwicklung zu erfassen.
Multimodale Ausrichtung: Während des Pre-trainings richtet T-MOR die Bewegungs-Embeddings ( $E_M(s_k)$ $E_{M} (s_{k})$ ) an folgenden Komponenten aus:
- Visuelle Embeddings ( $E_V(v)$ ): Extrahiert aus RGB-Videoframes mittels eines eingefrorenen ViCLIP-Videoencoders.
- Textuelle Embeddings ( $E_T(a)$ ): Extrahiert aus Aktionsbeschreibungen mittels eines eingefrorenen ViCLIP-Textencoders.
Effizienz der Inferenz: Die Video- und Textencoder sind eingefroren und werden nach dem Pre-training verworfen. Zur Inferenzzeit nutzt das Modell ausschließlich den leichtgewichtigen Skelettencoder, was es für ressourcenbeschränkte Szenarien geeignet macht.

2. Cluster-gesteuerte multimodale kontrastive Lernstrategie

T-MOR verwendet eine zweistufige Trainingsstrategie, die durch einen cluster-gesteuerten Kontrastmechanismus ergänzt wird, um die Auswahl positiver und negativer Proben zu verfeinern und so Fehlern durch falsch-negative Ergebnisse zu begegnen, die durch zufälliges Sampling in Memory Banks entstehen.

Clustering: Nach jeder Epoche werden die Bewegungs-Embeddings mittels DBSCAN geclustert. Proben innerhalb desselben Clusters werden als positive Paare behandelt, während solche in anderen Clustern als negative Paare dienen.
Selbstüberwachtes Pre-training (Motion-Video): Das Modell optimiert eine Verlustfunktion ( $L_{self} = L_{mm} + L_{mv}$ ), um Motion-Motion-Paare und Motion-Video-Paare auszurichten, ohne Aktionsannotationen zu verwenden. Dies lernt einen übertragbaren Skelettencoder, der mit visuellen Bewegungscues ausgerichtet ist.
Überwachte Ausrichtung (Motion-Text): Eine zweite Stufe richtet die Bewegungsrepräsentationen an der Sprachsemantik aus ( $L_{mt}$ ), um einen Zero-Shot-Transfer zu ermöglichen. Das gesamte überwachte Ziel ist $L_{sup} = L_{mm} + L_{mv} + L_{mt}$ .
Verlustformulierung: Der kontrastive Verlust nutzt die Cosinus-Ähnlichkeit mit Temperaturskalierung, um die Bewegungs-Embeddings dazu zu bewegen, semantisch kompakte, aber diskriminative Manifolds über verschiedene Modalitäten hinweg zu bilden.

3. PoseCap-1M Datensatz

Um ein groß angelegtes Pre-training zu unterstützen, haben die Autoren PoseCap-1M konstruiert, einen neuen Datensatz, der über eine Million synchronisierte Triplets aus Video, Skelett und Text enthält. Dieser Datensatz deckt vielfältige menschliche Aktivitäten ab und adressiert den Mangel an groß angelegten, multimodalen Skelett-Ressourcen in bestehenden öffentlichen Datensätzen.

Zentrale Beiträge

T-MOR Framework: Ein neuartiges Framework, das überfahrbare Skelettrepräsentationen lernt, indem es Bewegungs-Embeddings mittels cluster-gesteuerter multimodaler kontrastiver Lernverfahren mit visuellen und sprachlichen Embeddings abgleicht.
PoseCap-1M Datensatz: Ein groß angelegter Aktionsdatensatz, der Motion-Video-Text-Triplets bereitstellt, um das multimodale Pre-training von skelettbasierten Modellen zu erleichtern.
Leistung und Generalisierung: Umfangreiche Experimente zeigen, dass T-MOR die Leistung bei Aktionsklassifizierungs- und Frame-basierten Detektionsaufgaben verbessert und die Bedeutung der körpergebundenen Bewegungsmodellierung für das übertragbare Verständnis von Aktionen hervorhebt.

Experimentelle Ergebnisse

Die Autoren evaluierten T-MOR auf mehreren Benchmarks, darunter Toyota Smarthome, UAV-Human, Penn Action, TSU und Charades, unter Linear Probing und Fine-Tuning Settings.

Aktionsklassifizierung: T-MOR übertraf konsistent bisherige State-of-the-Art (SoTA) skelettbasierte Methoden. Beispielsweise erreichte T-MOR auf dem Penn Action Datensatz eine Top-1 Genauigkeit von 97,8 % (feingetunt mit V+M+T Pre-training), verglichen mit 97,3 % für das vorherige SoTA und 29,8 % für das UNIK-Backbone, das von Grund auf trainiert wurde.
Aktionsdetektion: Auf den TSU- und Charades-Datensätzen zeigte T-MOR signifikante Gewinne. Beim Fine-Tuning auf TSU erreichte es eine CS-Genauigkeit von 38,3 %, womit es das vorherige SoTA (SD-TCN), das 31,2 % erreichte, übertraf.
Zero-Shot Transfer: T-MOR demonstrierte eine starke Generalisierung in Zero-Shot-Settings. Auf dem Smarthome Datensatz erreichte es eine Genauigkeit von 21,9 % unter Verwendung von reinen Motion-Inputs, übertraf damit bestehende Skelettmodelle, die mit visuellen-textuellen Features trainiert wurden, und konkurrierte mit Video-Sprach-Foundation-Modellen.
3D Transfer: Das Framework zeigte auch eine starke Übertragbarkeit auf die 3D-Aktionsdetektion auf dem PKU-MMD Datensatz und erreichte ein mAP von 94,3 % bei IoU 0.1.

Bedeutung und Ansprüche

Das Paper behauptet, dass T-MOR erfolgreich die Lücke zwischen groß angelegter semantischer Überwachung und physisch fundierter Bewegungsmodellierung schließt. Durch die Nutzung von Video- und Sprachdaten während des Trainings, aber die Beschränkung auf reine Skelett-Inputs während der Inferenz, bietet das Framework eine praktische Lösung für reale Szenarien mit begrenzten Rechenressourcen.

Die Autoren betonen, dass motionszentrierte und körpergebundene Repräsentationen entscheidend für das übertragbare Verständnis von Aktionen sind. Die Ergebnisse legen nahe, dass groß angelegte Videodaten das Verständnis von nachgelagerten Skelett-Aufgaben erheblich unterstützen können, selbst ohne explizite Aktionslabels während des Pre-trainings. Darüber hinaus zeigt der vorgeschlagene Ansatz, dass die Kombination von Bewegungsfeatures mit visuellen-sprachlichen Features (oder die Nutzung von Motion allein in Zero-Shot-Settings) zu einer stärkeren Generalisierung in anspruchsvollen, feingranularen Aktionserkennungsszenarien führt. Die Arbeit positioniert bewegungsorientierte, körpergebundene Repräsentationen als eine Schlüsselrichtung für das zukünftige Verständnis menschlicher Aktionen.