💻 computer science

GMoT: Gated Motion-Aware Tokenization for Fine-Grained Micro-Gesture Video Reasoning with Multimodal LLMs

Dieses Paper stellt GMoT vor, ein Gated Motion-Aware Tokenization-Modul in Kombination mit einem progressiven, belohnungsgesteuerten Policy-Refinement-Paradigma, um die Fähigkeit von Multimodalen Großen Sprachmodellen zur feingranularen Video-Argumentation von Mikrogesten durch die explizite Destillation spärlicher kinematischer Evidenz und anatomischer Fundierung zu verbessern und so eine State-of-the-Art-Leistung auf den iMiGUE- und SMG-Benchmarks zu erzielen.

Ursprüngliche Autoren: Taorui Wang, Wei Xia, Hui Ma, Zijia Song, Jiayu Zhang, Zeheng Wang, Yong Xu, Zitong Yu

Veröffentlicht 2026-07-21

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Taorui Wang, Wei Xia, Hui Ma, Zijia Song, Jiayu Zhang, Zeheng Wang, Yong Xu, Zitong Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die menschliche Körpersprache zu verstehen. Sie zeigen ihm ein Video einer Person und möchten, dass der Roboter Ihnen genau sagt, was diese Person fühlt oder denkt, basierend auf einer winzigen Bewegung. Dies ist die Welt des Computer Vision, eines Zweigs der Wissenschaft, in dem Computer lernen, die visuelle Welt zu „sehen“ und zu interpretieren. Normalerweise sind diese Computer großartig darin, große, offensichtliche Handlungen wie Rennen, Springen oder Winken zu erkennen. Aber es gibt eine knifflige Ecke dieser Welt, die sogenannten Mikro-Gesten. Das sind die super-subtilen Bewegungen, die wir alle tun, ohne darüber nachzudenken: ein kurzes Zucken eines Fingers, ein kaum merkliches Zucken der Schulter oder ein flüchtiges Zusammenpressen der Lippen. Sie geschehen so schnell und in einem so kleinen Raum, dass sie leicht zu übersehen sind.

Das Problem ist, dass die derzeit intelligentesten Video-lesenden Computer, bekannt als Multimodale Large Language Models (MLLMs), wie Studenten sind, die sehr gut in der Lage sind, Lehrbücher zu lesen, aber schrecklich darin, ein Live-Theaterstück zu beobachten. Sie sind so sehr auf das große Ganze konzentriert – die statische Pose, den Hintergrund, das Gesicht der Person –, dass sie oft die winzigen, flüchtigen Hinweise übersehen, die tatsächlich die Wahrheit offenbaren. Sie könnten eine Person mit verschränkten Armen sehen und „verärgert“ raten, wobei sie völlig ignorieren, dass die Person gerade einmal mit dem Finger getippt hat, was eigentlich „ungeduldig“ bedeutet. Dieses Paper widmet sich der Herausforderung, diese leistungsstarken KI-Modelle zu lehren, aufzuhören, basierend auf dem großen Bild zu raten, und statfangen, den winzigen, beweglichen Details Aufmerksamkeit zu schenken, die darauf ankommen.

Das Problem: Die „Statische Schnappschuss“-Falle

Stellen Sie sich einen Standard-Video-KI-Modell wie einen Fotografen vor, der eine einzige, verschwommene Momentaufnahme eines Films macht und versucht, die Handlung zu erraten. Wenn der Film von einer Person handelt, die nervös mit den Schultern wackelt, sieht eine Standard-KI vielleicht nur eine stehende Person und rät „stehend“. Sie übersieht die Bewegung, weil sie das Video zu langsam betrachtet oder alles herausmittelt, wodurch die winzigen, schnellen Bewegungen weggewaschen werden.

Die Autoren dieses Papers, Taorui Wang und sein Team, bemerkten, dass bestehende KI-Modelle „voreilige Vermutungen“ anstellten. Sie betrachteten eine Pose mit verschränkten Armen und entschieden sofort, die Person sei „defensiv“, wobei sie ein subtiles Tippen mit dem Finger ignorierten, das etwas völlig anderes bedeuten könnte. Die Modelle verließen sich auf statische Erscheinungsbilder (wie die Person aussieht) statt auf kinematische Beweise (wie sie sich bewegte). Schlimmer noch, da die Modelle nur dafür belohnt wurden, die endgültige Antwort richtig zu geben, „halluzinierten“ sie manchmal – sie erfanden einen schick klingenden Grund für ihre Vermutung, der zwar logisch klang, aber nichts mit dem zu tun hatte, was tatsächlich im Video geschah.

Die Lösung: GMoT (Der „Bewegungsdetektiv“)

Um dies zu beheben, entwickelte das Team ein neues Werkzeug namens GMoT (Gated Motion-Aware Tokenization). Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber etwas faulen Detektiv (das KI-Modell), der versucht, ein Verbrechen zu lösen. Der Detektiv wirft normalerweise nur einen Blick auf den Tatort und rät. GMoT ist wie ein spezialisierter Assistent, der dem Detektiv eine Lupe und einen Textmarker reicht.

So funktioniert GMoT, Schritt für Schritt:

Das Geschehen beleuchten: Anstatt den gesamten Videorahmen gleichmäßig zu betrachten, fungiert GMoT wie ein Scheinwerfer. Es scannt das Video, um genau zu finden, wo die Bewegung stattfindet (wie ein bestimmter Finger oder eine Schulter), und ignoriert das langweilige Hintergrundrauschen.
Die Bewegung einfrieren: Es nimmt zwei Videoframes, die direkt nebeneinander liegen, und subtrahiert einen vom anderen. Dies ist vergleichbar damit, zwei Fotos eines Läufers zu machen und das erste vom zweiten abzuziehen, um nur den „Blur“ der Bewegung übrig zu lassen. Dies isoliert die reine Energie der Bewegung und entfernt die statischen Teile des Körpers der Person.
Die „Gated Injection“ (Gesteuerte Injektion): Das Team war besorgt, dass das Hinzufügen dieser neuen „Bewegungsinformation“ das bestehende Gehirn der KI verwirren könnte. Also bauten sie ein „Gate“ (einen Kontrollschalter). Zu Beginn ist das Gate fast geschlossen und lässt die KI sich auf das verlassen, was sie bereits weiß. Während die KI lernt, öffnet sich das Gate langsam und lässt genau die richtige Menge an Bewegungshinweisen hinein, um der KI zu helfen, eine bessere Vermutung anzustellen, ohne sie zu überfordern.

Das Training: Lernen zu erklären, nicht nur zu raten

Das Team wollte nicht nur, dass die KI die richtige Antwort gibt; sie wollten, dass sie ihre Argumentation basierend auf dem, was sie tatsächlich sah, erklärt. Um dies zu erreichen, entwickelten sie einen speziellen Trainingsprozess mit vier Phasen:

Warm-up (Aufwärmphase): Sie lehrten das neue GMoT-Modul zuerst, wie man Bewegungen in allgemeinen Videos findet.
Domain Adaptation (Domänenanpassung): Sie zeigten ihm tausende von Mikro-Gesten-Videos, damit es die spezifische Sprache winziger Bewegungen lernte.
Chain-of-Thought (CoT) Learning: Sie brachten der KI bei, ihre Gedanken vor der Antwort aufzuschreiben. Anstatt nur „Schultern wackeln“ zu sagen, musste sie schreiben: „Ich sehe, dass sich die Schultern schnell auf und ab bewegen, was darauf hindeutet, dass...“
Reward-Guided Refinement (Belohnungsgestützte Verfeinerung): Dies war der letzte Schliff. Sie richteten ein Bewertungssystem ein, das die KI für „faules Raten“ (die Wahl der häufigsten Antwort ohne Hinsehen) bestrafte und sie dafür belohnte, sich auf die tatsächliche Bewegung zu konzentrieren. Wenn die KI versuchte, eine Geschichte über den Hintergrund oder die Stimmung der Person zu erfinden, ohne die Bewegung zu sehen, erhielt sie eine Strafe. Wenn sie auf das spezifische Körperteil hinwies, das sich bewegte, erhielt sie eine Belohnung.

Die Ergebnisse: Das Unsichtbare sehen

Das Team testete ihr neues System auf zwei wichtigen Datensätzen für Mikro-Gesten: iMiGUE und SMG.

Auf dem iMiGUE-Datensatz erreichte ihr Modell (basierend auf dem Qwen3-VL-8B Backbone) eine Genauigkeit von 67,32 %. Dies war ein riesiger Sprung und verbesserte das Basismodell um 6,80 Punkte.
Auf dem SMG-Datensatz erreichte es eine Genauigkeit von 73,11 %, eine Verbesserung von 3,11 Punkten gegenüber dem Basismodell.

Diese Zahlen bedeuten, dass das Modell signifikant besser darin ist, jene flüchtigen, winzigen Bewegungen zu entdecken, die andere Modelle übersehen. Aber das Team hörte nicht beim Score auf. Sie führten eine neue Methode ein, um zu messen, ob die KI tatsächlich in der Realität „geerdet“ war. Sie prüften, ob die Erklärung der KI das korrekte Körperteil (wie „Lippen“ oder „Schultern“) erwähnte, wenn sie die richtige Antwort gab. Sie nennen dies Body-Region Grounding (BRG) Recall. Ihr Modell zeigte, dass es nicht nur rät, sondern tatsächlich an den richtigen Stellen hinsieht.

Warum das wichtig ist

Dieses Paper legt nahe, dass eine KI, um menschliches Verhalten wirklich zu verstehen, aufhören muss, sich auf statische Schnappschüsse zu verlassen, und anfangen muss, der „Flimmerbewegung“ Aufmerksamkeit zu schenken. Durch den Aufbau eines Systems, das explizit nach diesen winzigen, vorübergehenden Hinweisen sucht und die KI dazu zwingt, ihre Argumentation basierend auf diesen zu erklären, haben die Forscher ein Modell geschaffen, das weniger wahrscheinlich halluziniert und wahrscheinlicher die subtile, unausgesprochene Sprache des menschlichen Körpers versteht. Es ist ein Schritt hin zu einer KI, die nicht nur sieht, wie wir aussehen, sondern versteht, was wir tun.

Technisches Resümee: GMoT für die feingliedrige Mikrogesten-Videoanalyse

Problemstellung

Die Erkennung von Mikrogesten (Micro-Gesture Recognition, MGR) umfasst das Detektieren flüchtiger, räumlich lokalisierter menschlicher Bewegungen (z. B. ein leichtes Schulterzucken oder ein Zusammenpressen der Lippen), die latente affektive und kognitive Zustände offenbaren. Diese Aktionen sind durch eine geringe Amplitude, kurze Dauer und schmale räumliche Regionen charakterisiert, die oft nur wenige Frames umfassen.

Aktuelle multimodale große Sprachmodelle (Multimodal Large Language Models, MLLMs) sind zwar leistungsstark für das allgemeine Videoverständnis, haben jedoch aufgrund zweier primärer Limitationen Schwierigkeiten bei der MGR:

Statische Verzerrung (Static Bias): Standardmäßige Video-MLLMs verlassen sich auf spärliches zeitliches Sampling und zeitliche Pooling-Verfahren, was subtile kinematische Signale verdünnt oder ganz übersehen lässt. Infolgedessen neigen die Modelle dazu, sich auf „statische Haltungspriors“ (z. B. die Klassifizierung einer verschränkten Armhaltung) zu verlassen, anstatt auf die diskriminativen Bewegungsmerkmalen.
Halluzinierte Argumentation (Hallucinated Reasoning): Ohne explizite Einschränkungen generieren MLLMs plausibel klingende, aber visuell nicht fundierte Argumentationsketten („hastiges Raten“), um die endgültige Klassifizierungsbezeichnung zu erfüllen, wodurch sie keine evidenzbasierten Erklärungen liefern können.

Bestehende Evaluierungen, die sich ausschließlich auf die Top-1-Genauigkeit innerhalb eines einzelnen Datensatzes konzentrieren, versäumen es zu verifizieren, ob Modelle tatsächlich übertragbare Mikro-Dynamiken erfassen oder lediglich datensatzspezifische Erscheinungs-Biases auswendig lernen.

Methodik: GMoT

Die Autoren schlagen GMoT (Gated Motion-Aware Tokenization) vor, ein leichtgewichtiges Modul, das darauf ausgelegt ist, einen expliziten kinematischen Bias in ein natives MLLM zu injizieren, ohne dessen vortrainierte visuell-sprachliche Schnittstelle zu stören. GMoT operiert durch drei Kernmechanismen:

1. Bewegungsbewusste Tokenisierung (Motion-Aware Tokenization)

GMoT destilliert spärliche spatio-temporale Merkmale in eine kompakte Bewegungs-Token-Sequenz, bevor diese mit dem visuellen Stream fusioniert werden:

Bewungsimpulsierte räumliche Salienz (Motion-Prompted Spatial Saliency): Ein leichtgewichtiger Scorer projiziert Patch-Token, um Relevanzwerte zu generieren, und wendet eine räumliche Softmax-Funktion an, um eine gewichtete Frame-Ebene-Repräsentation zu erstellen. Dies fungiert als gelernter Filter, um lokalisierte Bewegungsbeweise zu verstärken und Hintergrundrauschen zu unterdrücken.
Kinematik-inspirierte zeitliche Differenzierung (Kinematics-Inspired Temporal Differencing): Anstatt sich auf komplexes zeitliches Mixing zu verlassen, berechnet GMoT explizite Differenzen zwischen benachbarten Frames. Es entkoppelt dies in zwei Ströme: die mittlere Magnitude (zur Quantifizierung der Bewegungsenergie) und die Vorzeichen-Differenz (zur Bewahrung der gerichteten Kinematik). Diese werden konkateniert und in ein festlängiges Bewegungs-Token projiziert.
Semantik-erhaltende adaptive Steuerung (Semantic-Preserving Adaptive Gating): Um die ausgerichtete visuell-semantische Struktur des vortrainierten MLLM nicht zu stören, wird das Bewegungs-Token über ein konservativ initialisiertes semantisches Gate ( $\tilde{z}_t = z_t + \sigma(g) \odot m_t$ ) fusioniert. Das Gate beginnt in einem „nahezu geschlossenen“ Regime, was es dem Modell ermöglicht, schrittweise zu lernen, wie viel Bewegungsbeweis eingeführt werden soll.

2. Trainingsstrategie

Die Autoren verwenden eine vierstufige progressive Trainingspipeline, um das Modell vom einfachen Klassifizieren zur evidenzbasierten Argumentation zu führen:

Stufe 0 (Warm-up): Das GMoT-Modul wird auf allgemeinen Video-Datensätzen trainiert, während das LLM und der Vision-Encoder eingefroren bleiben, um die Generierung der Bewegungs-Tokens zu stabilisieren.
Stufe 1 (Video-Label-Paarung): Überwachtes Fine-Tuning (SFT) an Mikrogesten-Video-Label-Paaren unter Verwendung von LoRA, um die visuellen Repräsentationen mit domänenspezifischer Semantik abzugleichen.
Stufe 2 (CoT-Format SFT): Das Modell wird darauf trainiert, Chain-of-Thought (CoT)-Beschreibungen zu generieren, die auf beobachtbaren Bewegungsbeweisen basieren. Diese Stufe nutzt eine semi-automatische Annotations-Pipeline, bei der mehrere LMMs Kandidaten-Beschreibungen generieren und ein Selektor (Qwen3-VL-MoE) diejenxt auswählt, die klassenrichtig, visuell fundiert und frei von Halluzinationen ist.
Stufe 3 (Belohnungsgesteuerte Policy-Verfeinerung): Eine Reinforcement-Learning-Phase unter Verwendung von Group Relative Policy Optimization (GRPO). Die Belohnungsfunktion ( $R_i$ $R_{i}$ ) kombiniert vier Terme:
- Label-Korrektheit ( $R_{label}$ ): Belohnt exakte Übereinstimmungen, bestraft falsche Annahmen und bestraft Out-of-Domain-Halluzinationen streng.
- Lazy-Prediction-Penalty ( $R_{lazy}$ ): Verhindert, dass das Modell die Long-Tail-Verteilungen ausnutzt, indem es wiederholt hochfrequente Klassen rät.
- Format-Konformität ( $R_{format}$ ): Stellt sicher, dass die Ausgabe dem erforderlichen CoT-Template folgt.
- Fokus auf Beobachtung ( $R_{focus}$ ): Bestraft Argumentationsketten, die irrelevante Hintergrund-Keywords enthalten.

Zentrale Beiträge

GMoT-Modul: Ein neuartiger Tokenisierungsansatz, der räumliche Salienz, explizite zeitliche Differenzierung und geführte Fusion in MLLMs integriert, was es ermöglicht, subtile Mikrogesten ohne schwere 3D-Konvolutionen zu erfassen.
Argumentationsorientiertes Training: Ein Framework, das semi-automatisches CoT-Supervision mit einer progressiven, belohnungsgesteuerten Policy-Verfeinerung kombelt. Dies fördert die anatomische Fundierung und den Widerstand gegen „träges“, erscheinungsbasiertes Raten.
Breitere Evaluierungsprotokolle:
- Body-Region Grounding (BRG) Recall: Eine neue Metrik, die auf korrekt klassifizierten Stichproben berechnet wird, um zu quantifizieren, wie oft die Argumentation des Modells die relevante anatomische Region korrekt identifiziert.
- Domänenübergreifender Transfer: Ein Protokoll für den Transfer überlappender Labels zwischen den iMiGUE- und SMG-Datensätzen, um die Robustheit unter Datensatzverschiebungen zu testen.

Experimentelle Ergebnisse

Die Methode wurde auf den Datensätzen iMiGUE und SMG unter Verwendung des Qwen3-VL-8B Backbones evaluiert.

Top-1 Genauigkeit: GMoT erreichte 67,32 % auf iMiGUE und 73,11 % auf SMG. Dies entspricht einer Verbesserung von +6,80 bzw. +3,11 Punkten gegenüber dem Baseline-Modell Qwen3-VL-8B.
Vergleich: Das GMoT-augmentierte Modell übertraf alle verglichenen CNN, Transformer und State-Space-Modell (SSM) Baselines sowie andere MLLMs (z. B. InternVL2.5, Video-LLaMA2).
Robustheit: Das Modell behielt klare Gewinne unter label-erhaltenden Korruptionen bei und demonstrierte starke domänenübergreifende Transferfähigkeiten.
Fundierung: Das Framework zeigte eine hohe anatomische Fundierung in den generierten Rationales, gemessen durch den vorgeschlagenen BRG-Recall.

Bedeutung und Behauptungen

Das Paper argumentiert, dass das Feld der Mikrogesten-Erkennung einen Paradigmenwechsel von der rein label-getriebenen Erkennung hin zur evidenzbasierten kinematischen Argumentation erfordert.

Die Autoren behaupten, dass GMoT erfolgreich die der aktuellen Video-MLLMs inhärente „statische Verzerrung“ adressiert, indem es schwache lokale Bewegungen explizit in kompakte Tokens destilliert. Durch die Durchsetzung eines Trainingsregimes, das Halluzinationen bestraft und den Fokus auf Anatomie belohnt, verbessert das Framework nicht nur die Klassifizierungsgenauigkeit, sondern generiert auch interpretierbare, visuell fundierte Erklärungen. Die Arbeit hebt hervor, dass Modelle bei der feingliedrigen Verhaltensanalyse gezwungen werden müssen, darauf zu achten, was sich bewegte und wie es sich veränderte, anstatt sich auf statische Erscheinungsmuster zu verlassen.

Die Autoren merken an, dass der Ansatz zwar signifikante Verbesserungen zeigt, aber spezifisch für die Mikrogesten-Argumentation entwickelt wurde und nicht inhärent die Herausforderungen des klasseninkrementellen Lernens löst, wennglich er Inspirationen aus Methoden des kontinuierlichen Lernens bezüglich der Repräsentationsadaption zieht. Der gesamte Code soll öffentlich zugänglich gemacht werden.