Cross-Modal Action Recognition in Egocentric Video Using Mamba: Integrating RGB and Hand Skeleton Streams via CLS Token Fusion Strategies

Technische Samenvatting: Cross-Modale Actierecognitie in Egocentrische Video's met Mamba

Probleemstelling
Actierecognitie vanuit een egocentrisch perspectief stelt unieke uitdagingen die verschillen van scenario's met een vaste camera, waaronder onregelmatige camerabeweging, frequente occlusie door handen en de moeilijkheid om consistente visuele representaties in de tijd te behouden. Hoewel Transformer-gebaseerde architecturen goed geschikt zijn voor het opbouwen van sterke ruimtetijd-representaties en het verwerken van lange sequenties, schaalt hun zelf-attentie-mechanisme kwadratisch met de sequentielengte, wat hun haalbaarheid beperkt voor online video-toepassingen. Bovendien hebben bestaande Mamba-gebaseerde modellen nog geen skeletinformatie geïntegreerd met RGB-stromen binnen een unified framework, hoewel skeletbewegingsdata occlusieproblemen kan mitigeren en zuivere bewegingsaanwijzingen kan bieden.

Methodologie
De auteurs stellen een cross-modale architectuur voor die is gebouwd op State Space Models (SSM's), waarbij specifiek gebruik wordt gemaakt van het Mamba-model vanwege zijn lineaire tijdscomplexiteit. De architectuur bestaat uit drie hoofdcomponenten:

1. Video-stroom: Een VideoMamba-module extrahert visuele embeddings uit RGB-videoframes.
2. Skelet-stroom: Een dedicated encoder, gebaseerd op een stapel Mamba-blokken, verwerkt temporale hand-skeletdata.
3. Fusiemodule: Deze component integreert de twee modaliteiten in een unified representatie voor classificatie.

Een centrale methodologische innovatie is het ontwerp van vier distincte strategieën voor CLS Token Mixing. In Mamba- en Transformer-modellen fungeert de Class (CLS) token als een informatiezink, die contextuele informatie concentreert voor de definitieve classificatie. De auteurs betogen dat het weggooien van de vooraf getrainde CLS-tokens uit de unimodale encoders geleerde representaties verspillen. In plaats daarvan stellen zij voor om een nieuwe "Mixed CLS" token te initialiseren met behulp van de vooraf getrainde unimodale CLS-tokens via de volgende strategieën:

• Naive: Gooit beide vooraf getrainde CLS-tokens weg en initialiseert een nieuwe, trainbare token vanaf nul.
• Gemiddeld (Average): Initialiseert de Mixed CLS-token als het elementsgewijze gemiddelde van de video- en skelet-CLS-tokens.
• Gewogen (Weighted): Berekent een lineaire combinatie van de twee tokens met behulp van een leerbare scalair parameter $\alpha$ (afgeleid via een sigmoid-functie): $CLS_{mix} = \alpha CLS_{video} + (1-\alpha) CLS_{skeleton}$.
• Context-gebaseerd (Context-based): Berekent de wegingsparameter $\alpha$ dynamisch met behulp van een Mamba-blok dat de geconcateneerde niet-CLS-tokensequenties van beide modaliteiten verwerkt, waardoor de fusieweegfactor zich kan aanpassen op basis van de inputinhoud.

Experimentele Opstelling
De voorgestelde architectuur en fusiestrategieën werden geëvalueerd op het H2O-dataset, een egocentrisch videodataset dat gesynchroniseerde hand-skeletannotaties en actielabels biedt. De experimenten maakten gebruik van twee modelconfiguraties (Tiny en Small) met variërende embedding-dimensies en dieptes (24 Mamba-blokken). De VideoMamba-encoders werden geïnitieerd met checkpoints die vooraf waren getraind op het Something-Something V2-dataset, terwijl de skeletencoder direct op H2O werd getraind.

Belangrijkste Resultaten
Experimentele resultaten op het H2O-dataset tonen aan dat het integreren van skeletdata de prestaties significant verbetert ten opzichte van video-only baselines, met name wanneer beide modaliteiten informatieve signalen bieden.

• Prestatiewinst: De Gemiddelde (Average) strategie behaalde de beste prestaties. In de Tiny-configuratie leverde dit een 10,17% winst op in Top-1-accuraatheid ten opzichte van de VideoMamba-baseline. In de Small-configuratie bedroeg de winst 25,49%.
• Vergelijking van Strategieën: De Gewogen (Weighted) strategie presteerde vergelijkbaar met de Gemiddelde strategie, waarbij de geleerde parameters convergeerden naar een gebalanceerde combinatie ($\alpha \approx 0,5$), wat het benaderingsgemiddelde-effectief benadert.
• Baseline-prestaties: De Naive strategie, die vooraf getrainde CLS-tokens weggooit, presteerde consequent slechter, wat de belangrijkheid bevestigt van het behoud van geleerde unimodale representaties.
• Beperking van Context-gebaseerd: In tegenstelling tot de verwachtingen presteerde de meer flexibele Context-gebaseerde strategie niet beter dan de eenvoudigere fusiemethoden. De auteurs merken op dat dit mogelijk te wijten is aan architecturale beperkingen of de schaal van het gebruikte dataset.

Betekenis en Beweringen
Het artikel beweert dat het combineren van visuele en skeletmodaliteiten binnen een Mamba-framework consequent beter presteert dan video-only baselines wanneer beide modaliteiten betekenisvolle informatie dragen. De primaire bijdrage is de systematische evaluatie van CLS-tokenfusiestrategieën, waarbij wordt vastgesteld dat eenvoudig gemiddelden van vooraf getrainde tokens momenteel de meest effectieve aanpak is voor deze specifieke taak en dataset.

De auteurs presenteren het werk bescheiden als een stap in de richting van efficiënte, cross-modale egocentrische begrijpen. Zij identificeren toekomstige richtingen, waaronder het evalueren van deze strategieën op grotere datasets om te bepalen of de verzadiging van de Context-gebaseerde strategie een data- of architecturale beperking is, en het verkennen van het gebruik van skeletdata als "bevoorrechte informatie" tijdens training om visuele-only inferentie op testtijd te verbeteren.