💻 computer science

Fine-grained Human Motion Understanding with Language Models

Dieses Paper stellt \methodname vor, ein auf LLMs basierendes Modell, das durch die Repräsentation von Skelettposen mit expliziten Zeitstempeln und die Nutzung vielfältiger Pose- und Motion-bezogener Überwachung einen State-of-the-Art der feingranularen menschlichen Bewegungsverständnis erreicht und dadurch eine überlegene Leistung in sowohl 2D- als auch 3D-Benchmarks ermöglicht, ohne dabei auf Ground-Truth-3D-Motion-Capture angewiesen zu sein.

Ursprüngliche Autoren: Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem sehr intelligenten Roboter beizubringen, menschliche Bewegungen zu verstehen. Die meisten Roboter von heute versuchen, durch das Beobachten von Videos zu lernen, wie etwa eine Überwachungskameraaufnahme. Aber Videos sind unordentlich: Sie sind riesige Dateien, sie zeigen Kleidung und Hintergründe (was ablenkend oder ein Datenschutzrisiko sein kann), und wenn man sie beschleunigt oder verlangsamt, wird der Roboter verwirrt darüber, wann Dinge passiert sind.

Dieses Paper stellt ein neues Robotergehirn namens FiGMo (Fine-Grained Motion understanding) vor. Anstatt ein Video zu beobachten, sieht FiGMo das "Strichmännchen"-Skelett einer Person. Aber hier liegt der magische Trick: FiGMo sieht nicht nur das Strichmännchen; es sieht das Strichmännchen mit einer Uhr, die an jeder einzelnen Pose befestigt ist.

So funktioniert es, unterteilt in einfache Konzepte:

1. Die Analogie des "Zeitstempel-Skeletts"

Stellen Sie sich vor, Sie versuchen, einem Freund am Telefon einen Tanz zu beschreiben.

Der alte Weg: Sie sagen: "Er hat sich gedreht, dann ist er gesprungen, dann hat er eine Kniebeuge gemacht." Ihr Freund kennt die Reihenfolge, aber er hat keine Vorstellung davon, wie lange die Drehung dauerte oder ob der Sprung ein kurzer Hupfer oder ein langsamer Satz war.
FiGmos Weg: Sie sagen: "Bei 0,0 Sekunden beginnt er sich zu drehen. Bei 2,4 Sekunden hört er auf sich zu drehen und springt. Bei 3,2 Sekunden landet er in einer Kniebeuge."

FiGMo behandelt menschliche Bewegung genau so. Es zerlegt die Bewegung in eine Sequenz aus statischen Posen und sagt der KI explizit: "Diese Pose geschah zu dieser exakten Sekunde." Dies ermöglicht es der KI, Fragen zu beantworten wie: "Wie lange dauerte die Kniebeuge?" oder "Was geschah unmittelbar bevor er aufstand?" – und zwar mit unglaublicher Präzision.

2. Der "Universelle Übersetzer" (Der Pose Encoder)

Normalerweise sind KI-Modelle wählerisch. Einige verstehen nur perfekte 3D-Bewegungsdaten, die in einem Labor mit speziellen Anzügen erfasst wurden (wie in einem Hollywood-Motion-Capture-Studio). Andere verstehen nur 2D-Zeichnungen von normalen Kameras.

FiGMo besitzt einen speziellen "Universellen Übersetzer" (einen sogenannten Unified Pose Encoder). Denken Sie an einen Übersetzer, der sowohl "Labor-Anzug" (3D) als auch "Handy-Kamera" (2D) spricht.

Wenn Sie ihm ein unordentliches, verrauschtes 2D-Skelett aus einem normalen Video einspeisen, bereinigt es dieses und versteht es.
Wenn Sie ihm perfekte 3D-Daten einspeisen, versteht es diese ebenfalls.
Das Ergebnis: FiGMo ist so gut darin, dass es selbst dann andere Modelle schlägt, die auf teuren, hochwertigen 3D-Daten basieren, wenn es nur 2D-Strichfiguren verwendet (die weniger detailliert sind).

3. Der "Lehrplan" (Trainingsstrategie)

Um FiGMo so intelligent zu machen, haben die Forscher ihm nicht einfach einen riesigen Haufen Daten vorgeworfen. Sie bauten einen Lehrplan, wie ein Schulsystem:

Stufe 1 (Die Grundlagen): Sie brachten ihm bei, eine einzelne, eingefrorene Pose zu beschreiben. "Schau dir dieses Knie an; es ist gebeugt."
Stufe 2 (Die Details): Sie brachten ihm bei, spezifische Fragen über Körperteile zu beantworten. "Ist der linke Arm höher als der rechte?"
Stufe 3 (Die Geschichte): Sie begannen, Posen zu kurzen Sequenzen zu verbinden. "Welche Aktion findet hier gerade statt?"
Stufe 4 (Der Film): Schließlich brachten sie ihm bei, lange, komplexe Sequenzen mit Zeitfragen zu handhaben. "Wie lange dauerte die Laufphase?"

Das Paper fand heraus, dass der wichtigste Teil dieser Schule die Vielfalt der Lektionen war. Es war entscheidend, den Roboter über einzelne Posen und vollständige Bewegungsabläufe zu lehren. Der "gestufte" Ansatz (das Lernen Schritt für Schritt) half ein wenig, aber die eigentliche Superkraft kam aus der Vielfalt der Trainingsdaten.

4. Warum das wichtig ist (Privatsphäre und Präzision)

Das Paper hebt zwei Hauptvorteile hervor:

Privatsphäre: Da FiGMo nur das Skelett (das Strichmännchen) betrachtet, sieht es weder das Gesicht noch die Kleidung oder den Hintergrund der Person. Es ist, als würde man ein Schattenspiel beobachten anstatt eines Films. Dies macht es sicher für Orte, an denen das Aufzeichnen von Videos illegal oder unethisch ist, wie etwa in einem Fitnessstudio oder einem Krankenhaus.
Präzision: Da es die "Uhr" an jeder Pose hat, kann es subtile Details erfassen. Es kann zwischen einer langsamen, kontrollierten Kniebeuge und einer schnellen, ruckartigen Bewegung unterscheiden, was für videobasierte KI schwer zu erfassen ist.

Das Fazit

FiGMo ist eine neue Art für Computer, menschliche Bewegung zu verstehen. Anstatt ein verschwommenes Video zu beobachten, liest es ein "Skelett-Skript", bei dem jede Bewegung mit einem Zeitstempel versehen ist. Indem man der KI beibrachte, dieses Skript durch eine Mischung aus einfachen Posenbeschreibungen und komplexen Bewegungsgeschichten zu lesen, ist sie in ihrem Fachgebiet zur Besten geworden – selbst wenn sie einfache 2D-Daten anstelle von teuren 3D-Daten verwendet. Es beweist, dass man keinen Hollywood-Film braucht, um menschliche Bewegung zu verstehen; man braucht nur das richtige "Skelett-Skript" und eine gute Uhr.

Technisches Resümee: FiGMo – Feingranulares Verständnis menschlicher Bewegung mit Sprachmodellen

Problemstellung

Das Verständnis menschlicher Bewegungen mit feingranularer zeitlicher Präzision ist ein entscheidender Schritt zum Aufbau menschenzentrierter KI-Systeme für Anwendungen wie Mensch-Roboter-Interaktion, Rehabilitationsüberwachung und Sportcoaching. Während jüngste Fortschritte bei großen Sprachmodellen (LLMs) das multimodale Denken erweitert haben, stehen bestehende Ansätze vor erheblichen Einschränkungen:

Video-zentrierte Limitationen: Die meisten Methoden verlassen sich auf rohe Videoeingaben, die rechenintensiv sind, aggressives zeitliches Subsampling erfordern (was schnelle oder subtile Dynamiken verschleiert) und Datenschutzbedenken aufgrund von Identitäts- und Hintergrundinformationen aufwerfen.
Verlust der zeitlichen Verankerung: Bestehende skelettbasierte LLMs komprimieren Bewegungen oft in diskrete Token (z. B. via VQ-VAE) oder verketten Pose-Sequenzen ohne explizite Zeitstempel. Dies behandelt Bewegungsclips als atomare Einheiten und verhindert, dass das Modell über die exakte Zeitplanung, Dauer und den Rhythmus spezifischer Aktionen nachdenkt.
Datenbeschränkungen: Viele vorangegangene Arbeiten stützen sich ausschließlich auf saubere, kontrollierte 3D-Motion-Capture-Daten (MoCap), was ihre Anwendbarkeit auf reale Szenarien einschränkt, in denen Bewegungen aus verrauschten 2D-Pose-Detektoren aus monokularen Videos abgeleitet werden.

Methodik

Die Autoren schlagen FiGMo (Fine-Grained Motion) vor, ein LLM-basiertes Framework, das menschliche Bewegung explizit als zeitlich verankerte Sequenz von Skelettposen modelliert.

1. Einheitlicher Pose-Encoder

Um sowohl 2D- als auch 3D-Eingaben robust zu handhaben, passen die Autoren den Bewegungs-Encoder von MotionBERT an.

Architektur: Der Encoder behält nur räumliche Transformer-Blöcke bei, um einzelne statische Posen zu kodieren, statt kontinuierliche Bewegungen.
Pre-training: Der Encoder wird darauf vortrainiert, 3D-Posen aus korrumpierten Eingaben (additives Rauschen und zufälliges Maskieren von Gelenken) zu rekonstruieren. Er wird auf einer Mischung aus detektierten 2D-Posen, 3D-MoCap-Daten und 2D-Projektionen von 3D-Sequenzen trainiert. Dies ergibt einen einheitlichen Encoder, der in der Lage ist, sowohl verrauschte 2D-Detektionen als auch saubere 3D-Daten konsistent zu verarbeiten.

2. Multimodale LLM-Struktur mit zeitlicher Verankerung

Die Kerninnovation liegt darin, wie Bewegung für das LLM repräsentiert wird:

Pose Translator: Ein leichtgewichtiges zwei-Schicht-MLP projiziert Pose-Embeddings in den semantischen Raum des LLMs.
Explizite Zeitstempelung: Im Gegensatz zur naiven Verkettung von Posen verkettet FiGMo jedes Pose-Embedding mit einem spezifischen Zeitstempel-Token (z. B. Time: 0.00s <pose>, Time: 0.03s <pose>). Dies ermöglicht es dem LLM, über die Reihenfolge, Dauer und den Rhythmus der Bewegung auf Pose-Ebene zu argumentieren.
Optionaler Video-Kontext: Die Architektur unterstützt optionale Videoeingaben über einen visuellen Encoder, um kontextuelle Hinweise zu liefern, ohne den Repräsentationsraum der Bewegung einzuschränken.

3. Diverse Supervisionsstrategie

Die Autoren untersuchen die Notwendigkeit verschiedener Supervisionsstufen, indem sie eine diverse Trainingsmischung konstruieren, die vier Module umfasst:

Pose-Ebene-Supervision: Beinhaltet Pose-Captioning (PS-short, PS-fine) und Pose-Fragebeantwortung (PS-QA, PF-fine), abgeleitet aus den PoseScript- und PoseFix-Datensätzen. Diese Aufgaben konzentrieren sich auf statische Körperkonfigurationen und räumliche Beziehungen.
Bewegungs-Ebene-Supervision: Beinhaltet Bewegungs-Captioning (BABEL-cap) und Bewegungs-Fragebeantwortung (HML3D-QA, BABEL-QA, FTM-QA). Das FTM-QA-Modul ist speziell darauf ausgelegt, feingranulares zeitliches Denken (Dauer, Start-/Endzeiten, Reihenfolge) zu supervidieren.
Trainingsplan: Die Autoren vergleichen einen einstufigen Trainingsansatz mit einem gestuften Curriculum (Pose $\to$ Motion). Der gestufte Ansatz führt zuerst Aufgaben auf Pose-Ebene ein, gefolgt von Aufgaben auf Bewegungs-Ebene, um die Ausrichtung zu etablieren, bevor komplexeres zeitliches Denken angegangen wird.

Wichtigste Beiträge

FiGMo-Architektur: Eine LLM-basierte Methode, die Bewegung explizit als Sequenz von zeitgestempelten Skelettposen darstellt und so feingranulares Denken über die Abfolge, Dauer und den Rhythmus von Aktionen ermöglicht.
Einheitlicher 2D/3D-Encoder: Ein Pose-Encoder, der auf gemischten und korrumpierten Daten vortrainiert wurde, was es demselben Modell ermöglicht, sowohl auf praktischen 2D-Detektionen als auch auf sauberen 3D-MoCap-Sequenzen zu operieren.
Supervisionsanalyse: Eine Ablationsstudie, die zeigt, dass diverse Supervisions auf Pose- und Bewegungs-Ebene der primäre Treiber für Leistungssteigerungen sind, während das gestufte Training einen kleineren, zusätzlichen Nutzen bietet. Entscheidend ist, dass die Studie zeigt, dass die Pose-Ebene-Supervision essenziell für das nachgelagerte Bewegungsverständnis ist.
State-of-the-Art Performance: Die Methode erreicht Spitzenleistungen in mehreren Benchmarks, wobei eine bemerkenswerte Erkenntnis ist, dass eine 2D-Variante bisherige 3D-basierte Methoden übertrifft.

Experimentelle Ergebnisse

FiGMo wurde auf fünf Benchmarks evaluiert: BABEL-QA, HuMMan-QA, CompMo, NTU-RGB+D und QEVD-Coach.

BABEL-QA (Motion QA): FiGMo (3D) erreichte eine Gesamtgenauigkeit von 0,758 und übertraf damit bisherige State-of-the-Art-Methoden wie HuMoCon (0,711). Bemerkenswerterweise erreichte die FiGMo (2D)-Variante 0,750 und übertraf damit alle bisherigen 3D-basierten Methoden trotz der Verwendung von reinem 2D-Skelett-Input. Die Gewinne waren besonders signifikant bei zeitlich gefilterten Abfragen ("Vorher", "Nachher", "Dazwischen").
HuMMan-QA: Die Methode erzielte die beste Leistung über alle Metriken hinweg (Gesamt: 0,824 für 3D, 0,792 für 2D), was eine starke Generalisierung über BABEL hinaus demonstriert.
CompMo (Dense Captioning): FiGMo übertraf UniMotion und DEMO deutlich sowohl in den Captioning-Metriken (z. B. CIDEr: 456,95 vs. 134,44) als auch in der zeitlichen Lokalisierung (tIoU: 98,44 vs. 77,94), was die Effektivität der expliziten zeitlichen Verankerung validiert.
NTU-RGB+D 120 (One-Shot Action Recognition): Unter Verwendung von reinem 2D-Bewegungsinput erreichte FiGMo eine Genauigkeit von 69,2 % und übertraf damit bisherige Methoden. Das Hinzufügen von Video als Hilfsmodalität steigerte diesen Wert auf 77,4 %.
QEVD-Coach (Exercise Feedback): Das bewegungsbasierte Modell übertraf Video-only-LLMs bei der Bereitstellung von Feedback zur Ausführung von Übungen, was die Wirksamkeit expliziter Skelett-Repräsentationen unterstreicht.

Bedeutung und Behauptungen

Das Paper behauptet, dass explizite zeitliche Kodierung und diverse Supervision die Schlüssel zum feingranularen Verständnis menschlicher Bewegung sind.

Privatsphäre und Effizienz: Durch die Nutzung von Skelettposen anstelle von Rohvideos bietet FiGMo eine datenschutzfreundliche und recheneffiziente Alternative, die für Edge-Geräte und sensible Anwendungen wie die Rehabilitation geeignet ist.
Robustheit gegenüber der Eingangsmodalität: Die Fähigkeit der 2D-Variante, 3D-basierte Baselines zu übertreffen, stellt die Annahme infrage, dass hochpräziser 3D-MoCap-Input für feingranulares Denken zwingend erforderlich ist, sofern das Modell mit angemessener Supervision trainiert wird und über einen robusten Encoder verfügt.
Supervisionshierarchie: Die Arbeit etabliert, dass das Verständnis auf Pose-Ebene eine Voraussetzung für effektives Denken auf Bewegungs-Ebene ist, was darauf hindeutet, dass zukünftige Bewegungs-LLMs auch statische Pose-Aufgaben integrieren sollten, selbst wenn das ultimative Ziel das zeitliche Denken ist.

Die Autoren kommen zu dem Schluss, dass während ihre Methode einen bedeutenden Schritt nach vorne darstellt, zukünftige Arbeiten die Integration von Szenen- und Objektkontext untersuchen könnten, da Skelettposen allein Informationen über Interaktionen mit Objekten und das 3D-Szenenlayout auslassen.