Technische Samenvatting: GMoT voor Fine-Grained Micro-Gesture Video Reasoning

Probleemstelling

Micro-gebaarherkenning (MGR) omvat het detecteren van vluchtige, ruimtelijk gelokaliseerde menselijke bewegingen (bijv. een lichte schouderophaling of een lipdruk) die latente affectieve en cognitieve toestanden onthullen. Deze acties worden gekenmerkt door een lage amplitude, korte duur en smalle ruimtelijke regio's, die vaak slechts enkele frames beslaan.

Huidige Multimodale Large Language Models (MLLM's), hoewel krachtig voor algemeen video-begrip, worstelen met MGR vanwege twee primaire beperkingen:

1. Statische Bias: Standaard video-MLLM's vertrouwen op ijle temporele sampling en temporele pooling, wat subtiele kinematische signalen verwatert of mist. Bijgevolg neigen modellen naar "statische houdingsprioriteiten" (bijv. het classificeren van een gekruiste armhouding) in plaats van de discriminerende bewegingskenmerken.
2. Gehallucineerde Redenering: Zonder expliciete beperkingen genereren MLLM's plausibel klinkende maar visueel ongegronde redeneersporen ("hastige gokken") om het uiteindelijke classificatielabel te voldoen, waardoor ze falen in het leveren van bewijs-gebaseerde verklaringen.

Bestaande evaluaties die zich uitsluitend richten op Top-1 nauwkeurigheid binnen een enkele dataset, falen in het verifiëren of modellen werkelijk overdraagbare micro-dynamiek vastleggen of slechts dataset-specifieke verschijningsbiases memoriseren.

Methodologie: GMoT

De auteurs stellen GMoT (Gated Motion-Aware Tokenization) voor, een lichtgewicht module die is ontworpen om expliciete kinematische bias in een vanilla MLLM te injecteren zonder de vooraf getrainde visuele-talige interface te verstoren. GMoT werkt via drie kernmechanismen:

1. Motion-Aware Tokenization

GMoT destilleert ijle spatio-temporele aanwijzingen naar een compacte motion token sequentie voordat deze wordt gefuseerd met de visuele stroom:

• Motion-Prompted Spatial Saliency: Een lichtgewicht scorer projecteert patch-tokens om relevantiescores te genereren, waarbij een spatial softmax wordt toegepast om een gewogen frame-niveau representatie te creëren. Dit fungeert als een geleerd filter om gelokaliseerde bewegingsbewijslast te versterken terwijl achtergrondruis wordt onderdrukt.
• Kinematics-Inspired Temporal Differencing: In plaats van te vertrouwen op complexe temporele mixing, berekent GMoT expliciete aangrenzende-frame temporele verschillen. Het ontkoppelt dit in twee stromen: de gemiddelde magnitude (die bewegingsenergie kwantificeert) en het getekende verschil (dat directionele kinematica behoudt). Deze worden geconcateneerd en geprojecteerd naar een motion token met een vaste lengte.
• Semantic-Preserving Adaptive Gating: Om de uitgelijnde visuele-semantische ruimte van de vooraf getrainde MLLM niet te verstoren, wordt de motion token gefuseerd via een conservatief geïnitialiseerd semantisch gate ($\tilde{z}_t = z_t + \sigma(g) \odot m_t$). De gate begint in een "bijna gesloten" regime, waardoor het model geleidelijk kan leren hoeveel bewegingsbewijs moet worden geïntroduceerd.

2. Trainingsstrategie

De auteurs hanteren een vierfasige progressieve trainingspipeline om het model te laten overgaan van eenvoudige classificatie naar bewijs-gegronde redenering:

• Fase 0 (Warm-up): De GMoT-module wordt getraind op algemene video-datasets terwijl de LLM en de visuele encoder bevroren blijven om de generatie van motion tokens te stabiliseren.
• Fase 1 (Video-Label Pairing): Supervised fine-tuning (SFT) op micro-gebaar video-label paren met behulp van LoRA om visuele representaties af te stemmen op domein-specifieke semantiek.
• Fase 2 (CoT-format SFT): Het model wordt getraind om Chain-of-Thought (CoT) beschrijvingen te genereren die gericht zijn op observeerbare bewegingsbewijslast. Deze fase maakt gebruik van een semi-automatische annotatie-pipeline waarbij meerdere LMM's kandidaat-beschrijvingen genereren, en een selector (Qwen3-VL-MoE) degene kiest die class-correct, visueel gegrond en vrij van hallucinaties is.
• Fase 3 (Reward-Guided Policy Refinement): Een reinforcement learning fase met behulp van Group Relative Policy Optimization (GRPO). De beloningsfunctie ($R_i$) combineert vier termen:
  • Label Correctness ($R_{label}$): Beloont exacte overeenkomsten, straft incorrecte gokken af en straft out-of-domain hallucinaties streng af.
  • Lazy-Prediction Penalty ($R_{lazy}$): Ontmoedigt het model om de long-tail distributies uit te buiten door herhaaldelijk veelvoorkomende klassen te raden.
  • Format Compliance ($R_{format}$): Zorgt ervoor dat de output de vereiste CoT-template volgt.
  • Observation Focus ($R_{focus}$): Bestraft redeneersporen die irrelevante achtergrondzoekwoorden bevatten.

Belangrijkste Bijdragen

1. GMoT Module: Een nieuwe tokenisatie-aanpak die spatial saliency, expliciete temporele differencing en gated fusie integreert in MLLM's, waardoor ze subtiele micro-gebaren kunnen vastleggen zonder zware 3D-convoluties.
2. Reasoning-Oriented Training: Een framework dat semi-automatische CoT-supervisie combineert met een progressieve reward-geleide policy refinement strategie. Dit stimuleert anatomische grounding en weerstand tegen "luie" verschijnings-gebaseerde gokken.
3. Breder Evaluatieprotocol:
   • Body-Region Grounding (BRG) Recall: Een nieuwe metriek die wordt berekend op correct geclassificeerde monsters om te kwantificeren hoe vaak de redenering van het model de relevante anatomische regio correct identificeert.
   • Cross-Domain Transfer: Een overlapping-label transfer protocol tussen de iMiGUE en SMG datasets om robuustheid onder dataset shift te testen.

Experimentele Resultaten

De methode werd geëvalueerd op de iMiGUE en SMG datasets met de Qwen3-VL-8B backbone.

• Top-1 Nauwkeurigheid: GMoT behaalde 67,32% op iMiGUE en 73,11% op SMG. Dit vertegenwoordigt een verbetering van respectievelijk +6,80 en +3,11 punten ten opzichte van de baseline Qwen3-VL-8B.
• Vergelijking: Het GMoT-geaugmenteerde model presteerde beter dan alle vergeleken CNN, Transformer en State-Space Model (SSM) baselines, evenals andere MLLM's (bijv. InternVL2.5, Video-LLaMA2).
• Robuustheid: Het model behield duidelijke winsten onder label-preserverende corrupties en demonstreerde sterke cross-domain transfer capaciteiten.
• Grounding: Het framework vertoonde een hoge anatomische grounding in de gegenereerde rationales, gemeten door de voorgestelde BRG Recall.

Betekenis en Claims

Het artikel betoogt dat het veld van micro-gebaarherkenning een paradigmaverschuiving vereist van puur label-gedreven herkenning naar bewijs-gebaseerde kinematische redenering.

De auteurs beweren dat GMoT succesvol de "statische bias" aanpakt die inherent is aan huidige video-MLLM's door expliciet zwakke lokale beweging te destilleren naar compacte tokens. Door een trainingsregime af te dwingen dat hallucinaties bestraft en anatomische focus beloont, genereert het framework niet alleen verbeterde classificatienauwkeurigheid, maar ook interpreteerbare, visueel gegronde verklaringen. Het werk benadrukt dat voor fijnmazige gedragsanalyse modellen gedwongen moeten worden om te letten op wat bewoog en hoe het veranderde, in plaats van te vertrouwen op statische verschijningspatronen.

De auteurs merken op dat hoewel de aanpak significante verbeteringen laat zien, deze specifiek is ontworpen voor micro-gebaarredenering en niet inherent class-incremental learning uitdagingen oplost, hoewel het inspiratie put uit continual learning methoden met betrekking tot representatie-adaptatie. Alle code zal publiekelijk worden vrijgegeven.