Technische Samenvatting: MiRA voor het Begrip van Gelaatsexpressies

Probleemstelling

Het begrijpen van gelaatsexpressies in ongecontroleerde video's vereist het modelleren van subtiele, gelokaliseerde en transiënte spatio-temporele dynamiek (bijv. micro-rimpels, fronsen). Echter, bestaande Vision Transformer (ViT)-gebaseerde videomodellen, zelfs die zijn voorgetraind met grootschalige zelfgesuperviseerde doelstellingen zoals Masked Autoencoders (MAE), hebben moeite in dit domein. Deze modellen neigen te optimaliseren voor dominante globale bewegingen (bijv. hoofdbewegingen) en grove scène-niveau dynamiek. Bijgevolg worden subtiele intra-faciale variaties vaak behandst als redundant of overschaduwd door globale beweging, wat leidt tot onvoldoende modellering van fijnmazige expressieve aanwijzingen. Bovendien missen standaard aandachtmechanismen vaak de sensitiviteit om selectief de focus te richten op informatieve gezichtsmomenten, terwijl ze bewegingsgedomineerde of redundante frames onderdrukken.

Methodologie: MiRA (Marginal-induced Attention Redistribution)

Om deze beperkingen aan te pakken, stellen de auteurs MiRA voor, een plug-in frame-marginale aandacht-redistributie-framework ontworpen voor ViT-backbones. MiRA verbetert de spatio-temporele selectiviteit naar subtiele gezichtsdynamiek zonder extra trainbare parameters te introduceren. De methode werkt door frame-niveau statistieken af te leiden uit self-attention maps om de marginale belangrijkheid te schatten en de aandacht dienovereenkomstig te herverdelen.

1. Kernmechanisme: Frame-Marginale Herweging

De methode berekent twee complementaire statistieken uit de hoofd-gemiddelde aandachtmatrix $\bar{A}$:

• Frame-Niveau Vertrouwen ($c_t$): Meet de totale aandachtsmassa die aan een specieveke frame $t$ wordt toegewezen over de gehele sequentie, wat aangeeft hoe sterk de frame wordt bezocht als een sleutel-element.
• Intra-Frame Concentratie ($H_t$): Kwantificeert de ruimtelijke concentratie van aandacht binnen een frame met behulp van inverse entropie. Een hoge concentratie duidt op gelokaliseerde aandacht (gunstig voor gezichtscues), terwijl een lage concentratie duidt op diffuse globale patronen.

Deze statistieken worden gecombineerd in een frame-marginale belangrijkheidsscore $f_t$. Deze score wordt genormaliseerd en getransformeerd naar een doel-priorverdeling $\pi_t$ met behulp van een power-softmax functie. Om de aandacht te herverdelen zonder de geleerde query-key structuur te vernietigen, past MiRA een ratio-gebaseerde uitlijning toe. Het berekent schalingfactoren $\alpha_t$ op basis van de ratio van de doelprior tot het huidige vertrouwen, waarbij de waarden worden afgeknipt (clipping) om extreme afwijkingen te voorkomen. Deze factoren herschalen de aandachtskaart, gevolgd door een kleine uniforme menging en rij-gewijze normalisatie om geldige waarschijnlijkheidsverdelingen te waarborgen.

2. Twee Operationele Modi

Het artikel introduceert twee modi om effectiviteit en computationele efficiëntie in balans te brengen:

• Exact Mode: Dit is de principiële formulering die herweging uitvoert op de post-softmax aandachtskaart. Dit vereist het materialiseren van de volledige aandachtskaart ($O(L^2)$), het uitvoeren van rij-gewijze normalisatie, en het behouden van post-softmax activaties voor backpropagation. Hoewel effectief, brengt dit aanzienlijke geheugen I/O-overhead met zich mee en is het incompatibel met gefuseerde kernels zoals FlashAttention.
• FlashLite Mode: Om de efficiëntie te verbeteren, integreert deze modus de herverdeling direct in FlashAttention kernels. In plaats van post-softmax herschaling, benadert deze modus de noodzakelijke frame-niveau statistieken met behulp van key-wise proxies (specifiek de gekwadrateerde $L_2$-norm van key-tokens) die pre-softmax worden berekend. Deze proxies schatten de frame-salientie en concentratie. De resulterende schalingfactoren worden omgezet in additieve biases ($\log \alpha_t$) die worden toegepast op de aandacht-logits ($Z = QK^\top/\sqrt{d_K}$) vóór de softmax-operatie. Dit maakt het mogelijk dat de herverdeling plaatsvindt binnen de streaming computation van FlashAttention, waardoor de volledige aandachtskaart niet gematerialiseerd hoeft te worden, wat de geheugen I/O aanzienlijk vermindert.

Belangrijkste Bijdragen

1. Plug-in Aandacht-Redistributie: Een nieuw module voor ViT-backbones die de sensitiviteit voor subtiele gezichtsdynamiek verhoogt door aandacht te herverdelen op basis van frame-niveau vertrouwen en intra-frame concentratie, zonder extra trainbare parameters te vereisen.
2. FlashLite Approximatie: Een lichtgewicht, pre-softmax approximatie die het herverdelingsmechanisme integreert in FlashAttention kernels. Dit behoudt de nauwkeurigheid van de exacte formulering terwijl het geheugen I/O vermindert en de doorvoer verbetert, wat geschikt is voor grootschalige training.
3. Robuustheid tegen Ongecontroleerde Condities: De aanpak vertoont consistente verbeteringen ten opzichte van sterke ViT-baselines op uitdagende Facial Expression Recognition (FER) benchmarks zonder te vertrouwen op taakspecifieke heuristieken (bijv. nauwe gezichtsuitlijning of cropping), die vaak onpraktisch zijn in schaalbare pretraining en real-world settings.

Experimentele Resultaten

De auteurs evalueerden MiRA met gebruik van VideoMAE als de backbone, voorgetraind op VoxCeleb2 en gefinetuned op grootschalige in-the-wild FER benchmarks: DFEW, MAFW, en FERV39k.

• Prestatiewinst: MiRA presteert consequent beter dan sterke ViT-baselines (inclusclusief VideoMAE, VideoMAEv2 en andere MAE varianten) over alle datasets. Bijvoorbeeld, op DFEW (Fold 1) behaalde het ViT-B FlashLite model een Unweighted Average Recall (UAR) van 65,11% en een Weighted Average Recall (WAR) van 76,25%, waarmee het de vanilla VideoMAE baseline (59,94% UAR) overtreft.
• Vergelijking met SOTA: De methode bereikt state-of-the-art prestaties onder video-only methoden en blijft competitief met multimodale benaderingen die audio of taal-supervisie gebruiken. Opvallend genoeg bereikt het deze resultaten zonder gezichtsuitlijning als voorbewerking.
• Efficiëntie: De FlashLite mode biedt een reductie in latentie van 20% (400,6 ms $\to$ 318,7 ms) en een doorvoergewinst van 26% op een H100 GPU vergeleken met de exact mode, met bijna identieke herkenningsprestaties.
• Representatiekwaliteit: k-NN probing op micro-expressie datasets (SAMM, MMEW) met bevroren features toonde aan dat MiRA representaties leert die subtiele temporele dynamiek beter vastleggen dan algemene videomodellen en andere FER-specifieke baselines.
• Kwalitatieve Analyse: Visualisaties geven aan dat terwijl baseline modellen zich richten op dominante globale bewegingen (bijv. hoofdbewegingen, achtergrondgrenzen), MiRA succesvol de aandacht verschuift naar gelokaliseerde gezichtsregio's en informatieve temporele momenten.

Betekenis en Claims

Het artikel claimt dat effectieve modellering van gezichtsdynamiek in video's cruciaal is voor het representeren van affectieve context, zelfs zonder multimodale inputs. De betekenis van MiRA ligt in het vermogen om de self-attention mechanisme te herzien om specifiek de bias naar dominante globale bewegingen aan te pakken die inherent is aan generieke video-transformers.

Door een frame-marginale herverdelingsmechanisme te introduceren, laten de auteurs zien dat het mogelijk is om de spatio-temporele selectiviteit voor subtiele cues te verhogen zonder de efficiëntie van moderne trainingspipelines in gevaar te brengen (via FlashLite). Het werk suggereert dat het onderdrukken van hinderlijke globale beweging en het verminderen van redundantie modellen in staat stelt om beter te generaliseren naar grootschalige, diverse en ongecontroleerde data waar expliciete uitlijning onpraktisch is. De auteurs positioneren dit als een stap naar meer schaalbare en efficiënte video foundation models die in staat zijn tot fijnmazig begrip.