Technische Samenvatting: T-MOR

Probleemstelling

Hoewel Vision-Language Models (VLM's) zoals CLIP succes hebben behaald in visueel begrip, vertrouwen ze primair op supervisie op basis van uiterlijke verschijning en ontbreekt het hen aan expliciete modellering van menselijke beweging. Deze beperking belemmert hun effectiviteit bij fijnmazige, mensgerichte actieherkenningstaken, waarbij acties worden gedefinieerd door temporeel gestructureerde en fysiek gegronde lichaamsbewegingen. Daartegenover staan bestaande skeletgebaseerde methoden die vaak opereren in closed-set omgevingen, waardoor ze moeilijk te transfereren zijn naar nieuwe acties of taken zonder uitgebreide hertraining. De kernuitdaging die wordt aangepakt is hoe men grootschalige semantische supervisie (van video en tekst) kan aanwenden om overdraagbare, fysiek gegronde en temporeel coherente menselijke bewegingsrepresentaties te leren die robuust en lichtgewicht blijven voor inferentie.

Methodologie

De auteurs stellen T-MOR voor (Transferable skeleton MOtion Representation), een bewegingsbewust framework dat ontworpen is om overdraagbare actierepresentaties te leren van skeletsequenties met behulp van video- en taalsupervisie tijdens de training.

1. Architectuur en Feature Extractie

• Kernrepresentatie: Het framework gebruikt skeletsequenties ($s_k$) als de primaire input voor inferentie. De bewegingsencoder ($E_M$) is gebaseerd op UNIK, een hybride architectuur die Transformers en TCN's combineert om ruimtelijke gewrichtsrelaties en temporele evolutie te vangen.
• Multi-modale Uitlijning: Tijdens de pre-training lijnt T-MOR de bewegingsembeddings ($E_M(s_k)$) uit met:
  • Visuele Embeddings ($E_V(v)$): Geëxtraheerd uit RGB-videoframes met behulp van een bevroren ViCLIP-video-encoder.
  • Tekstuele Embeddings ($E_T(a)$): Geëxtraheerd uit actiebeschrijvingen met behulp van een bevroren ViCLIP-tekstencoder.
• Efficiëntie bij Inferentie: De video- en tekstencoders zijn bevroren en worden na de pre-training verwijderd. Tijdens de inferentie maakt het model uitsluitend gebruik van de lichtgewicht skeletencoder, wat het geschikt maakt voor scenario's met beperkte middelen.

2. Cluster-gestuurde Multi-modale Contrastieve Leerstrategie

T-MOR hanteert een tweetraps trainingsstrategie die wordt versterkt door een cluster-gestuurd contrastmechanisme om de selectie van positieve en negatieve samples te verfijnen, waardoor foutieve negatieven veroorzaakt door willekeurige sampling in memory banks worden gemitigeerd.

• Clustering: Na elke epoch worden bewegingsembeddings geclusterd met DBSCAN. Samples binnen hetzelfde cluster worden behandeld als positieve paren, terwijl samples in andere clusters dienen als negatieven.
• Zelf-gesuperviseerde Pre-training (Beweging-Video): Het model optimaliseert een verliesfunctie ($L_{self} = L_{mm} + L_{mv}$) om beweging-bewegingsparen en beweging-videoparen uit te lijnen zonder gebruik te maken van actie-annotaties. Dit leert een overdraagbare skeletencoder die is uitgelijnd met visuele bewegingskenmerken.
• Gesuperviseerde Uitlijning (Beweging-Tekst): Een tweede fase lijnt bewegingsrepresentaties uit met taalsemantiek ($L_{mt}$) om zero-shot transfer mogelijk te maken. Het totale gesuperviseerde objectief is $L_{sup} = L_{mm} + L_{mv} + L_{mt}$.
• Verliesformulering: De contrastieve verliesfunctie maakt gebruik van cosinus-gelijkenis met temperatuur-schaling, wat de bewegingsembeddings stimuleert om semantisch compacte maar onderscheidende manifolds over modaliteiten heen te vormen.

3. PoseCap-1M Dataset

Om grootschalige pre-training te ondersteunen, hebben de auteurs PoseCap-1M geconstrueerd, een nieuwe dataset die meer dan één miljoen gesynchroniseerde triplets van video, skelet en tekst bevat. Deze dataset dekt diverse menselijke activiteiten en adresseert het gebrek aan grootschalige, multi-modale skeletbronnen in bestaande publieke datasets.

Belangrijkste Bijdragen

1. T-MOR Framework: Een nieuw framework dat overdraagbare skeletrepresentaties leert door bewegingsembeddings uit te lijnen met visuele en taal-embeddings via cluster-gestuurde multi-modale contrastieve leerstrategieën.
2. PoseCap-1M Dataset: Een grootschalige actiedataset die beweging-video-tekst triplets biedt om de multi-modale pre-training van skeletgebaseerde modellen te faciliteren.
3. Prestaties en Generalisatie: Uitgebreide experimenten tonen aan dat T-MOR de prestaties verbetert op taken voor actieclassificatie en frame-wise temporele detectie, waarbij het belang van belichaamde bewegingsmodellering voor overdraagbaar actiebegrip wordt benadrukt.

Experimentele Resultaten

De auteurs hebben T-MOR geëvalueerd op meerdere benchmarks, waaronder Toyota Smarthome, UAV-Human, Penn Action, TSU en Charades, onder lineaire probing en fine-tuning instellingen.

• Actieclassificatie: T-MOR presteerde consistent beter dan voorheen gangbare (SoTA) skeletgebaseerde methoden. Zo behaalde T-MOR op de Penn Action dataset een 97,8% Top-1 nauwkeurigheid (fine-tuned met V+M+T pre-training), vergeleken met 97,3% voor de vorige SoTA en 29,8% voor de UNIK-backbone getraind vanaf nul.
• Actiedetectie: Op de TSU en Charades datasets liet T-MOR significante winsten zien. Bij fine-tuning op TSU behaalde het 38,3% CS nauwkeurigheid, waarmee het de vorige SoTA (SD-TCN) overtrof die 31,2% bereikte.
• Zero-Shot Transfer: T-MOR demonstreerde sterke generalisatie in zero-shot settings. Op de Smarthome dataset behaalde het 21,9% nauwkeurigheid met enkel bewegingsinputs, waarmee het bestaande skeletmodellen die getraind zijn met visuele-tekstuele kenmerken overtrof en concurreerde met video-taal fundamentele modellen.
• 3D Transfer: Het framework toonde ook sterke overdraagbaarheid naar 3D actiedetectie op de PKU-MMD dataset, met een behaalde 94,3% mAP bij IoU 0.1.

Betekenis en Claims

Het artikel claimt dat T-MOR succesvol de kloof overbrugt tussen grootschalige semantische supervisie en fysiek gegronde bewegingsmodellering. Door video- en taaldata te gebruiken tijdens de training, maar uitsluitend te vertrouwen op skeletinputs tijdens de inferentie, biedt het framework een praktische oplossing voor real-world scenario's waar computationele middelen beperkt zijn.

De auteurs benadrukken dat bewegingsgerichte en belichaamde representaties cruciaal zijn voor overdraagbaar actiebegrip. De resultaten suggereren dat grootschalige video-data aanzienlijk ten goede kan komen aan downstream skeletgebaseerde taken, zelfs zonder expliciete actielabels tijdens de pre-training. Bovendien laat de voorgestelde aanpak zien dat het combineren van bewegingskenmerken met visuele-taal kenmerken (of het gebruik van alleen beweging in zero-shot settings) leidt tot een sterker generalisatievermogen in uitdagende, fijnmazige actieherkenning scenario's. Dit werk positioneert bewegingsbewuste, belichaamde representaties als een belangrijke richting voor toekomstig menselijk actiebegrip.