Multimodal Emotion Recognition via Bi-directional Cross-Attention and Temporal Modeling

Dit paper presenteert een multimodaal raamwerk voor emotionherkenning in onbeperkte video's dat gebruikmaakt van bevroren CLIP- en Wav2Vec 2.0-modellen, een TCN voor tijdsafhankelijkheid en een bi-directionele cross-attention-fusie om de prestaties te verbeteren ten opzichte van unimodale benaderingen.

De kern

Stel je voor dat je probeert te raden hoe iemand zich voelt door naar een filmpje te kijken. Soms lacht iemand, maar is het een echte blijdschap of een neplachje? Soms zegt iemand "ik ben prima", maar klinkt zijn stem alsof hij net een ongeluk heeft gehad.

Dit is precies het probleem waar deze wetenschappers zich mee bezig houden: Hoe kunnen we computers leren om echte emoties te begrijpen, zelfs als de omgeving rommelig is? (Denk aan slecht licht, een draaiende camera of lawaai op de achtergrond).

Hier is hoe hun oplossing werkt, vertaald naar een simpel verhaal:

1. De Twee Superhelden (De Basis)

In plaats van de computer vanaf nul te leren wat een gezicht of een stem is, hebben de onderzoekers twee bestaande, superkrachtige "superhelden" ingehuurd die al alles hebben geleerd:

• De Visuele Superheld (CLIP): Een computer die miljoenen foto's en teksten heeft gezien. Hij kan heel goed kijken naar gezichten, maar hij kijkt vaak naar één plaatje op een moment.
• De Audio Superheld (Wav2Vec 2.0): Een computer die miljoenen uren aan spraak heeft gehoord. Hij begrijpt de toon, de snelheid en de gevoelens in een stem.

De onderzoekers hebben deze twee "superhelden" vastgezet (ze mogen niet veranderen), zodat ze hun kennis kunnen gebruiken zonder dat het systeem opnieuw hoeft te leren.

2. Het Probleem: Emoties zijn een Film, geen Foto

Een groot probleem is dat emoties veranderen. Een boos gezicht begint misschien met een frons en eindigt met een schreeuw. Als je alleen naar één frame kijkt, mis je het verhaal.

• De Oplossing (De TCN): Ze hebben een speciaal hulpmiddel toegevoegd aan de visuele superheld, een soort tijdmachine genaamd een "Temporaal Convolutional Network" (TCN). Dit zorgt ervoor dat de computer niet alleen naar het nu kijkt, maar ook naar wat er net voor en net na gebeurde. Het is alsof je van een stilstaande foto naar een bewegend filmpje gaat om de echte sfeer te voelen.

3. Het Grote Gesprek (De Bi-directionele Cross-Attention)

Stel je voor dat de Visuele Superheld en de Audio Superheld in een kamer zitten. In oude systemen luisterden ze vaak alleen naar elkaar of keken ze alleen naar hun eigen notities.

• De Oplossing: De onderzoekers hebben een gespreksronde georganiseerd waar ze elkaar symmetrisch aanhoren.

  • De Visuele Superheld vraagt aan de Audio Superheld: "Hé, dit gezicht lijkt boos, maar klinkt de stem ook boos?"
  • De Audio Superheld vraagt terug: "Hé, die stem klinkt verdrietig, maar ziet het gezicht er ook verdrietig uit?"

  Ze vullen elkaar aan. Als het beeld wazig is (bijvoorbeeld door slecht licht), helpt de stem om de emotie te raden. Als de stem onduidelijk is (bijvoorbeeld door achtergrondlawaai), helpt het gezicht. Ze werken samen als een goed getraind duo.

4. De Vertaler (Tekst-Gestuurde Lering)

Om ervoor te zorgen dat de Visuele Superheld niet in de war raakt, hebben ze een vertaler toegevoegd.

• Ze zeggen tegen de computer: "Kijk naar dit gezicht en vergeleek het met het woord 'blij' of 'boos'."
• Dit zorgt ervoor dat de computer de beelden koppelt aan de echte betekenis van de emotie, net zoals een mens dat doet. Het helpt de computer om semantisch (betekenisvol) te denken in plaats van alleen patronen te zien.

5. Het Resultaat

Toen ze dit systeem testten op een grote wedstrijd (de ABAW Challenge), bleek het veel beter te werken dan de oude methoden.

• De les: Door te kijken naar de beweging in de tijd, door samen te werken tussen beeld en geluid, en door te leren van woorden, kan de computer veel beter inschatten hoe mensen zich echt voelen, zelfs in een chaotische wereld.

Kortom: Ze hebben een slim team gebouwd van een beeld-expert en een geluid-expert, die samen een film bekijken, elkaar raadplegen en weten wat de woorden betekenen, zodat ze de menselijke ziel beter kunnen doorgronden dan ooit tevoren.

Technische samenvatting

Probleemstelling

Het herkennen van emoties in video-data uit de echte wereld ("in-the-wild") blijft een uitdagend probleem. De complexiteit ontstaat door grote variaties in:

• Gezichtsverschijning en hoofdpositie.
• Verlichting en achtergrondruis.
• De dynamische aard van menselijke affectie (emoties evolueren in de tijd).

Het vertrouwen op slechts één modale (bijvoorbeeld alleen gezichtsuitdrukkingen of alleen spraak) is vaak onvoldoende om deze complexe emotionele signalen accuraat te vangen. Bestaande methoden kampen vaak met twee beperkingen:

1. Ze modelleren de bidirectionele interactie tussen visuele en audiosignalen niet volledig.
2. Ze gebruiken vaak alleen frame-gebaseerde representaties, wat onvoldoende is om de temporele context en de evolutie van een expressie te vangen.

Methodologie

De auteurs stellen een multimodaal raamwerk voor voor de "Expression (EXPR) Recognition" taak van de 10e ABAW Challenge. Het model bestaat uit vijf hoofdcomponenten:

1. Feature Extractie met Voorgereelde Backbones (Frozen)
Om robuuste representaties te krijgen zonder overfitting, worden grote, voorgereelde modellen gebruikt die tijdens het trainen vastgehouden worden (frozen):

• Visuele Stream: Gebruik van CLIP (ViT-B/32) voor het coderen van videoframes.
• Audios Stream: Gebruik van Wav2Vec 2.0 voor het leren van representaties uit ruwe audio.
• Tekst Prompts: Er worden tekstprompts gegenereerd (bijv. "Een gezicht dat [Emotie] uitdrukt") via de CLIP tekstencoder om semantische supervisie te bieden.

2. Temporele Modellering en Adaptatie

• Visueel: Een Temporal Convolutional Network (TCN) met 6 lagen wordt toegepast op de visuele features. Deze TCN gebruikt verdunde causale convoluties (dilated causal convolutions) om temporele afhankelijkheden efficiënt te modelleren zonder de temporele resolutie te verliezen.
• Audio: De audio-features worden via een "Audio Adapter" (lineaire projectie, LayerNorm, ReLU, Dropout) geprojecteerd naar dezelfde dimensie als de visuele features (512) om ze compatibel te maken voor fusie.

3. Bidirectionele Cross-Attention Fusie
In plaats van eenvoudige feature-concatenatie, wordt een symmetrisch bidirectioneel cross-attention mechanisme ingevoerd:

• Visuele features "queryen" de audiosignalen.
• Audiosignalen "queryen" de visuele features.
• Dit zorgt voor een wederzijdse verrijking van context, waarbij de ene modale kan helpen bij het interpreteren van de andere wanneer deze minder informatief is.

4. Temporele Pooling en Classificatie
Na de fusie worden de verrijkte features gemiddeld gepooled over de tijd (mean pooling) en samengevoegd tot een 1024-dimensionale vector. Deze wordt ingevoerd in een MLP-classificator (Multi-Layer Perceptron) voor de uiteindelijke voorspelling van 8 emotieklassen.

5. Tekst-gestuurde Contrastieve Leren
Om semantisch uitgelijnde visuele representaties te bevorderen, wordt een contrastieve loss-functie toegevoegd. Deze vergelijkt de gepoolde visuele features met de CLIP-tekst-embeddings van de bijbehorende emotie. Dit dwingt het visuele model om semantisch betekenisvolle eigenschappen te leren die overeenkomen met de tekstuele beschrijvingen van emoties.

Belangrijkste Bijdragen

1. Temporele Visuele Modellering: Implementatie van een TCN om de dynamiek van gezichtsuitdrukkingen over tijd te vangen, in plaats van alleen statische frames te analyseren.
2. Bidirectionele Cross-Modal Fusie: Een symmetrisch cross-attention mechanisme dat zorgt voor effectieve interactie tussen audio en visuele data in beide richtingen.
3. Tekst-gestuurde Semantische Uitlijning: Het gebruik van CLIP-tekstfeatures als leidraad voor contrastief leren, wat de semantische kwaliteit van de visuele representaties verbetert.

Resultaten

Het model is geëvalueerd op het validatie-set van de ABAW 10th EXPR Challenge. De prestaties werden vergeleken met de officiële baseline (vooraf getrainde VGGFace).

• Metingen: De belangrijkste metric is de Macro F1-score.
• Prestaties:
  • Officiële Baseline: 0.2500 Macro F1.
  • Voorgesteld Model (30 frames): 0.3224 Macro F1.
  • Voorgesteld Model (60 frames): 0.3334 Macro F1 (en 53,71% nauwkeurigheid).
• Conclusie: Het voorgestelde framework overtreft de baseline aanzienlijk. Een langere temporele context (60 frames) bleek het meest voordelig, wat aantoont dat het vangen van een bredere tijdscontext essentieel is voor robuuste emotieherkenning in onbeperkte omgevingen.

Betekenis

Dit paper demonstreert de effectiviteit van het combineren van state-of-the-art voorgereelde modellen (CLIP en Wav2Vec 2.0) met gespecialiseerde temporele en fusie-mechanismen voor affectieve analyse. De resultaten onderstrepen dat:

1. Multimodale integratie via bidirectionele attention superieur is aan unimodale benaderingen.
2. Het expliciet modelleren van temporele afhankelijkheden (via TCN) cruciaal is voor het begrijpen van emoties in video.
3. Het gebruik van tekstuele priors (via contrastief leren) de kwaliteit van visuele representaties kan verbeteren, zelfs in uitdagende "in-the-wild" scenario's.

Deze aanpak biedt een sterke baseline voor toekomstig onderzoek in robuuste emotionele AI-systemen voor toepassingen in gezondheidszorg, onderwijs en mens-computerinteractie.