Team RAS in 10th ABAW Competition: Multimodal Valence and Arousal Estimation Approach

Team RAS presenteert in de 10e ABAW-competitie een multimodale aanpak voor het schatten van valentie en opwinding in ongestructureerde omgevingen, die gezicht, gedrag en audio combineert via geavanceerde modellen zoals Qwen3-VL en Mamba, en resulteert in een CCC-score van 0,658 op de Aff-Wild2-dataset.

De kern

Team RAS en de 10e Emotie-uitdaging: Hoe computers gevoelens "lezen" in het echte leven

Stel je voor dat je in een drukke, chaotische markt staat. Mensen lachen, huilen, schreeuwen en fluisteren. Iedereen beweegt anders, het licht wisselt van fel naar schemerig, en soms staat er iemand voor je die je gezicht verbergt. Voor een computer is het een enorme uitdaging om in zo'n situatie te begrijpen wat iemand voelt. Dit noemen wetenschappers "emotieherkenning in het wild".

Team RAS uit Rusland heeft een slimme oplossing bedacht voor de 10e editie van de grote ABAW-uitdaging (een soort Olympiade voor AI). Hun doel? Een computer leren om twee specifieke gevoelens te meten:

1. Valentie: Is het gevoel positief (lekker) of negatief (onprettig)?
2. Arousal: Is het gevoel rustig of juist heel intens/energiek?

Hier is hoe hun systeem werkt, vertaald in alledaagse termen:

1. De Drie Sinnen van de Computer

In plaats van te vertrouwen op één ding, heeft Team RAS hun computer drie "zintuigen" gegeven, net als een mens die een situatie observeert:

• Het Oog (Gezicht): De computer kijkt naar het gezicht. Maar niet zomaar. Het gebruikt een slimme "oogopslag" (GRADA) die elke frame van een video analyseert. Het is alsof de computer een foto van elk moment maakt en zich afvraagt: "Is die mondhoeken omhoog of omlaag?"
• De Verstandige Observer (Gedrag): Dit is het nieuwe, spannende deel. De computer gebruikt een enorme, slimme taal- en beeldmachine (Qwen3-VL). Stel je voor dat je een expert in gedrag bent die naar een filmpje kijkt en zegt: "Ik zie iemand die met gebalde vuisten staat te schreeuwen, wat wijst op hoge spanning en onprettigheid." De computer doet precies dit: hij beschrijft het gedrag in woorden en gebruikt die beschrijving om het gevoel te begrijpen.
• Het Oor (Geluid): De computer luistert naar de stem. Maar omdat er in het wild veel ruis is (auto's, wind), filtert het systeem eerst het geluid. Het kijkt eerst of de mond van de persoon beweegt (via MediaPipe) om te zien of er daadwerkelijk gesproken wordt. Alleen als er gesproken wordt, luistert het echt goed naar de toonhoogte en het tempo van de stem.

2. De Chef-kok: Hoe worden de signalen gemengd?

Nu heeft de computer drie verschillende signalen: gezicht, gedrag en geluid. Maar wat als het gezicht slecht zichtbaar is? Of als iemand fluistert? Dan moet de computer weten welk signaal hij moet vertrouwen.

Team RAS heeft twee manieren bedacht om deze signalen te mixen, alsof het twee verschillende recepten zijn:

• Recept 1: De "Gespecialiseerde Teamwerkers" (DCMMOE)
  Stel je een keuken voor met verschillende chefs. Elke chef is een expert in het combineren van twee ingrediënten (bijvoorbeeld: "Gezicht + Geluid"). Een slimme "hoofd-kok" (een poortmechanisme) kijkt per seconde welk team het beste werkt. Is het gezicht wazig? Dan geeft de hoofd-kok meer vertrouwen aan het geluidsteam. Het systeem past zich dus continu aan.

• Recept 2: De "Betrouwbare Visuele Basis met Geluid als Hulp" (RAAV)
  Hier kijkt de computer eerst heel goed naar het beeld (gezicht en gedrag) om het moment vast te leggen. Het geluid wordt dan gebruikt als een "achtergrondinformatie" die helpt om de beslissing te versterken. Het is alsof je iemand in de ogen kijkt om te weten hoe hij zich voelt, maar zijn stemgeluid helpt je om te bevestigen of hij boos of juist opgewonden is.

3. Het Resultaat: Een Slimme Voorspeller

In de test (op een dataset met duizenden video's van echte mensen in het wild) bleek dat hun systeem heel goed werkt.

• Als ze alleen naar het gezicht keken, was het goed, maar niet perfect.
• Als ze alleen naar het geluid keken, was het vaak verkeerd omdat er veel ruis was.
• Maar toen ze alles samenbrachten (vooral met de tweede mix-methode), werd het systeem veel slimmer. Het haalde een score die laat zien dat het de gevoelens van mensen in het echte leven zeer nauwkeurig kan inschatten.

Kortom: Team RAS heeft een systeem gebouwd dat niet alleen "kijkt", maar ook "luistert" en "begrijpt" wat er gebeurt. Door slimme technologieën te gebruiken die lijken op hoe een mens verschillende zintuigen combineert, kunnen computers nu beter voelen wat mensen voelen, zelfs in de meest chaotische situaties.

Technische samenvatting

Probleemstelling

De continue herkenning van emoties, specifiek in termen van valentie (plezierigheid) en arousal (intensiteit), blijft een uitdagend probleem onder "in-the-wild" (ITW) omstandigheden. Deze omstandigheden kenmerken zich door grote variaties in uiterlijk, hoofdpositie, verlichting, obstructies en subject-specifieke patronen van affectieve expressie. Hoewel er vooruitgang is geboekt met diepe neurale netwerken en transformer-modellen, blijft het gebruik van Multimodale Visuele Taalmodellen (VLM's) om gedragsgerichte representaties af te leiden voor VA-schatting (Valence-Arousal) onderbelicht, ondanks hun potentieel om contextuele en situationele aanwijzingen te vangen.

Methodologie

Het team van Team RAS (St. Petersburg Federal Research Center & ITMO University) stelt een multimodale aanpak voor die drie complementaire bronnen combineert: gezicht, gedrag en audio. De pijplijn bestaat uit de volgende componenten:

1. Gezichtsmodule (Face Modality)

• Detectie & Voorverwerking: Gebruik van een YOLO-gebaseerde gezichtsdetector, gevolgd door handmatige identiteitscuratie om tracks met meerdere gezichten of wisselingen te verwijderen.
• Feature Extractie: Toepassing van de GRADA-encoder (gebaseerd op EfficientNet-B1), voorgetraind op ImageNet en fijngefineerd op een groot dataset van affectieve corpora. Dit levert frame-level affectieve embeddings op.
• Temporele Modellering: Een transformer-gebaseerd regressiemodel verwerkt de frame-level features in overlappende tijdsvensters om continue VA-schattingen te genereren.

2. Gedragsbeschrijvingsmodule (Behavior Modality)

• VLM-Gebruik: Er wordt gebruik gemaakt van Qwen3-VL-4B-Instruct om gedragsrelevante informatie uit videosegmenten te extraheren.
• Prompting: Het model ontvangt een specifieke prompt om aandacht te richten op gezichtsuitdrukkingen, lichaamshouding, gebaren, hoofdbewegingen en de omgevingscontext.
• Embeddings: Er worden twee instellingen getest: puur visueel en multimodaal (video + tekst). De embeddings worden gegenereerd op segmentniveau.
• Temporele Modellering: Een Mamba-model (State-Space Model) verwerkt de sequenties van embeddings om zowel korte-termijn fluctuaties als langere afhankelijkheden te modelleren.

3. Audiomodule (Audio Modality)

• Preprocessing: Audio wordt omgezet in segmenten van 4 seconden. Een cross-modale filtering stap (gebaseerd op MediaPipe voor mondopeningsdynamiek) filtert onbetrouwbare segmenten of niet-spraak gedeeltes.
• Encoder: Een WavLM-Large model (voorgetraind op MSP-Podcast) wordt gebruikt. Alleen de bovenste vier transformer-lagen worden fijngefineerd om overfitting te voorkomen.
• Pooling: Attention-statistics pooling wordt toegepast op de chunked features om een gewogen gemiddelde en standaardafwijking te berekenen, gevolgd door een regressiehoofd.

4. Fusiestrategieën

Het team onderzoekt twee strategieën om deze modaliteiten te combineren:

• Directed Cross-Modal Mixture-of-Experts (DCMMOE):
  • Alle modaliteiten worden geprojecteerd naar een gedeelde latente ruimte.
  • Er worden "experts" gedefinieerd voor elk geordend paar modaliteiten (query vs. key/value) om asymmetrische interacties te modelleren.
  • Een leerbaar gating-netwerk past de gewichten adaptief aan per segment, afhankelijk van de signaalkwaliteit.
• Reliability-Aware Audio-Visual (RAAV) Fusie:
  • Een frame-centric architectuur waarbij gezichts- en gedragsfeatures worden gefuseerd via een gemaskerde betrouwbaarheids-aware gating.
  • Audio fungeert als aanvullende context via een "bottleneck" latente representatie die door de visuele sequentie wordt aangevraagd.
  • Deze asymmetrische benadering erkent dat visuele modaliteiten de temporele resolutie bepalen, terwijl audio contextuele bewijsmateriaal biedt.

Belangrijkste Resultaten

De experimenten zijn uitgevoerd op de Aff-Wild2 dataset volgens het protocol van de 10e ABAW Challenge. De prestaties worden gemeten met de Concordance Correlation Coefficient (CCC).

• Unimodaal: Het videomodel (GRADA + Transformer) presteerde het beste onder de unimodale modellen (gemiddelde CCC: 0.6189 op de development set). Het audio-model en het visuele Qwen3-model presteerden aanzienlijk slechter.
• Gedragsmodellen: Het multimodale Qwen3-model (video + tekst prompt) presteerde aanzienlijk beter dan het puur visuele Qwen3-model, wat aantoont dat multimodale VLM-embeddings rijkere affectieve informatie bevatten.
• Multimodaal Fusie:
  • De DCMMOE-strategie verbeterde de resultaten consistent. De combinatie van Video + Multimodaal Qwen3 + Audio leverde een gemiddelde CCC van 0.6487 op de development set.
  • De RAAV-strategie behaalde de beste resultaten overall, met een gemiddelde CCC van 0.6576 op de development set (en 0.62 op de test set).
  • Specifiek voor arousal behaalde de RAAV-strategie een score van 0.7073.

Bijdragen en Significantie

1. Innovatieve Integratie van VLM's: Het artikel is een van de eerste die succesvol een Vision-Language Model (Qwen3) integreert in een VA-schattingssysteem voor ITW-omstandigheden, waarbij gedragsbeschrijvingen worden gebruikt als aanvullende features.
2. Gedetailleerde Fusie-architecturen: De ontwikkeling van twee nieuwe fusiestrategieën (DCMMOE en RAAV) die de onzekerheid en complementariteit van modaliteiten expliciet modelleren, in plaats van eenvoudige late fusie.
3. State-of-the-Art Prestaties: De voorgestelde methode bereikt concurrerende resultaten met de huidige state-of-the-art (SOTA) methoden voor de ABAW challenge, met name door de effectieve uitbuiting van complementaire informatie uit gezicht, audio en gedragsbeschrijvingen.
4. Robuustheid: De combinatie van cross-modale filtering voor audio en adaptieve gating voor fusie maakt het systeem robuuster tegen de variabiliteit van "in-the-wild" data.

Concluderend demonstreert dit werk dat een zorgvuldig ontworpen multimodale framework, dat gebruikmaakt van geavanceerde VLM's voor gedragsanalyse en adaptieve fusiestrategieën, essentieel is voor het verbeteren van continue affectieve schatting in complexe, ongestructureerde omgevingen.