💻 computer science

Two-Stage Multimodal Framework for Emotion Mimicry Intensity Prediction

Dit artikel presenteert een tweestaps multimodaal raamwerk dat tekst-, audio-, visuele en bewegingsencoders onafhankelijk traint voordat deze worden samengevoegd via een lichtgewicht regressor om zes continue intensiteitsdimensies van emotie te voorspellen, waarmee de derde plaats werd behaald in de Hume-ABAW10 Emotional Mimicry Intensity Challenge met een Pearson-correlatie van 0,57 op de testset.

Oorspronkelijke auteurs: Dinithi Dissanayake, Shaveen Silva, Ovindu Atukorala, Prasanth Sasikumar, Suranga Nanayakkara

Gepubliceerd 2026-05-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dinithi Dissanayake, Shaveen Silva, Ovindu Atukorala, Prasanth Sasikumar, Suranga Nanayakkara

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te raden hoe een persoon zich voelt, enkel door een video van hen te bekijken. Maar hier is de draai: je raadt niet zomaar "blij" of "verdrietig". Je moet de intensiteit van zes zeer specifieke gevoelens raden: Bewondering, Amusement, Beslissendheid, Empathische Pijn, Opwinding en Vreugde.

Dit artikel beschrijft de poging van een team om deze puzzel op te lossen voor een competitie genaamd de Hume-ABAW10-uitdaging. Ze bouwden een computersysteem dat werkt als een detective, die aanwijzingen uit verschillende bronnen aan elkaar plakt om zijn beste gok te doen.

Hier is hoe hun systeem werkt, eenvoudig uitgelegd:

1. Het Probleem: Een Rommelige, Wilde Dataset

Het team kreeg duizenden videoclips te zien die "in het wild" waren opgenomen (niet in een studio). Deze clips waren rommelig:

Verschillende Lengtes: Sommige video's waren slechts een seconde lang; andere waren meer dan 10.000 frames lang.
Ontbrekende Aanwijzingen: Soms ontbrak de tekst (wat de persoon zei), maar waren de audio en video wel aanwezig.
Zeldzame Emoties: Sommige gevoelens, zoals "Empathische Pijn" (pijn voelen voor iemand anders), werden bijna nooit getoond in de data. Het was alsof je probeerde een zeldzame vogel te leren herkennen terwijl je alleen maar foto's van spreeuwen hebt.

2. De Oplossing: Een "Tweestaps" Team van Experts

In plaats van te proberen één groot brein alles tegelijk te leren, bouwde het team een tweestapskader. Denk hierbij aan het inhuren van een team specialisten voordat je ze samenbrengt voor een groepsvergadering.

Stap 1: De Specialisten Trainen Apart
Eerst trainden ze vier aparte "experts" (neuronale netwerken) op slechts één type aanwijzing:

De Tekstexpert: Leest de transcriptie van wat er gezegd werd.
De Audioexpert: Luistert naar de toon van de stem en het geluid.
De Visuele Expert: Kijkt naar de gezichtsuitdrukkingen.
De Bewegingsexpert: (Optioneel) Kijkt naar de subtiele bewegingen van het hoofd en het gezicht.

Elke expert leerde om de emoties te raden met alleen hun specifieke aanwijzing. De Tekst- en Audioexperts bleken de sterkste individuele gokkers. De Visuele en Bewegingsexperts waren op zichzelf zwakker, maar hadden unieke inzichten.

Stap 2: De Groepsvergadering (Fusie)
Zodra de experts getraind waren, bracht het team ze samen. Ze lieten ze niet zomaar over elkaar heen schreeuwen; ze gebruikten een lichtgewicht "Fusieregressor" (een slimme manager).

De Taak van de Manager: Het neemt de notities van alle experts, combineert ze en doet de uiteindelijke voorspelling.
Het Veiligheidsnet: Om ervoor te zorgen dat het systeem niet lui wordt en alleen op de Tekstexpert vertrouwt, gebruikten ze een truc genaamd "Modality Dropout". Tijdens het trainen verbergden ze willekeurig de Tekst- of Audioaanwijzingen, waardoor de manager gedwongen werd om te leren hoe het Visuele of Bewegingsaanwijzingen te gebruiken wanneer de belangrijkste ontbraken.

3. Het "Beweging"-Experiment

Het team voegde een vierde expert toe die keek naar beweging (hoe het gezicht in de loop van de tijd beweegt).

Het Resultaat: Deze bewegingsexpert veranderde de score niet veel. Het was alsof je een vijfde persoon toevoegt aan een comité die een klein beetje extra informatie had. Het hielp iets, maar het was niet de ster van de show. Het artikel merkt op dat hoewel de winst klein was, het bestuderen hoe beweging helpt interessant is voor de toekomst.

4. De Resultaten: Hoe hebben ze het gedaan?

De Beste Strategie: Het systeem werkte het beste wanneer ze het alle vier de aanwijzingen (Tekst, Audio, Visie en Beweging) gaven en een grotere hoeveelheid trainingsdata gebruikten (door wat van de testdata te mengen in de trainingsset).
De Score: In de competitie behaalde hun systeem een gemiddelde correlatie van 0,57 op de uiteindelijke test. Dit betekent dat hun gokken matig overeenkwamen met de scores van de menselijke beoordelaars.
Rangschikking: Ze eindigden 3e van alle teams in de uitdaging.

5. Belangrijkste Leerpunten

Woorden en Stem Winnen: Als je maar één aanwijzing moest kiezen, was het lezen van de transcriptie of luisteren naar de stem de krachtigste manier om de intensiteit van de emotie te raden.
Gezichten en Beweging Helpen: Het zien van het gezicht en de beweging werkte niet zo goed alleen, maar voegden een beetje extra waarde toe wanneer ze werden gecombineerd met woorden en stem.
Eenvoudig is Goed: Hun methode was relatief eenvoudig in vergelijking met de winnaars. Ze gebruikten geen complexe, zware machines; ze trainden gewoon goed specialisten en lieten ze daarna samenwerken.

In het kort: Het team bouwde een systeem dat eerst individuele experts apart traint op tekst, geluid en video, en vervolgens hun meningen combineert om te raden hoe intens de emoties van een persoon zijn. Ze werden derde, wat bewijst dat een eenvoudige, gestage aanpak goed werkt voor deze lastige taak.

Technische Samenvatting: Een Tweestaps Multimodaal Kader voor Voorspelling van de Intensiteit van Emotie-imitatie

Probleemdefinitie

Het artikel behandelt de taak van het voorspellen van de Intensiteit van Emotie-imitatie (EMI), een uitdaging binnen de Hume-ABAW10-competitie. In tegenstelling tot categorische emotieherkenning vereist EMI het voorspellen van continue intensiteitswaarden over zes specifieke affectieve dimensies: Bewondering, Amusement, Bepaling, Empathische Pijn, Opwinding en Vreugde. De taak wordt bemoeilijkt door kenmerken van "in-the-wild"-data, waaronder sterke temporele variaties, gedeeltelijke afwezigheid van modaliteiten (specifiek tekst) en sterk onbalans in de doelverdelingen (bijvoorbeeld is Empathische Pijn overwegend nulwaardig).

Methodologie

De auteurs stellen een tweestaps multimodaal kader voor dat is ontworpen om om te gaan met data-schaarste en modaliteitsongelijkheid, terwijl het robuust kenleer wordt gewaarborgd.

1. Data-kenmerken en Preprocessing

Dataset: 12.660 samples (8.072 training, 4.588 validatie) met sterk variabele sequentielengtes (mediaan ~65 frames, maar met lange-staart uitschieters tot 12.500 frames).
Modaliteitsbehandeling:
- Tekst: Afgeleid van transcripties met behulp van een vooraf getraind GTE-base-model. Ontbrekende tekst-embeddings (ongeveer 6% van de samples) worden opgelost door nulvectoren te substitueren.
- Audio: Geëxtraheerd met een aangepast Wav2Vec 2.0 (16kHz sampling).
- Visueel: Geëxtraheerd uit bijgesneden gezichtframes met DINOv2.
- Beweging: Een optionele tak die gezichtelijke actie-eenheden (AU) en hoofd-houding-kenmerken afgeleid van OpenFace gebruikt, samengevat als een 23-dimensionale temporele sequentie.
Exploratieve bevindingen: De dataset vertoont lange-staart sequentie-verdelingen, significante label-schaarste (vooral voor Empathische Pijn) en distributieveranderingen tussen trainings- en validatiesets.

2. Tweestaps Trainingsstrategie

In plaats van één end-to-end model te trainen, hanteert het kader een gefaseerde aanpak:

Fase 1: Unimodaal Vooropleiden: Modaliteitsspecifieke encoders (Tekst, Audio, Visueel en optioneel Beweging) worden onafhankelijk getraind tot convergentie.
- Encoders: Tekst gebruikt een MLP; Audio, Visueel en Beweging gebruiken op attentie gebaseerde temporele pooling om om te gaan met variabele lengte-sequenties.
- Doel: Een gecombineerde verliesfunctie van Concordantie Correlatie Coëfficiënt (CCC) en Gemiddelde Kwartafstand (MSE) ( $L = 0,7 L_{CCC} + 0,3 L_{MSE}$ ) wordt gebruikt om labelongelijkheid aan te pakken en zowel nauwkeurigheid in grootte als overeenkomst in trend te waarborgen.
Fase 2: Fusie en Finetunen:
- De unimodale voorspellingkoppen worden verwijderd, waarbij de geleerde penultimale representaties behouden blijven.
- Een lichtgewicht Fusieregressor (MLP) concateneert de modaliteits-embeddings om de zes intensiteitsscores te voorspellen.
- Aanpassing: Tijdens de fusie wordt de fusiekop getraind met de basisleersnelheid, terwijl de vooraf getrainde encoders worden gefinetuned met een aanzienlijk verlaagde leersnelheid (5% van de basissnelheid) om cross-modale aanpassing mogelijk te maken zonder de unimodale representaties te destabiliseren.
- Robuustheid: Modaliteitsdropout (kans $p=0,3$ ) wordt toegepast tijdens de fusietraining om overmatige afhankelijkheid van één enkel kanaal te voorkomen en scenario's met ontbrekende data te simuleren.

3. Experimentele Configuraties

De auteurs hebben vijf systemen ingediend die variëren naar:

Modaliteitssamenstelling: Tekst-Audio-Visueel (T+A+V) versus Tekst-Audio-Visueel-Beweging (T+A+V+M).
Datasplits: Standaard 2:1 train/validatie-split versus een uitgebreide 4:1-split (waarbij oorspronkelijke validatiesamples in de training worden opgenomen om het datavolume te vergroten).
Encoderstrategie: Gezamenlijk finetunen versus bevroren encoders.

Belangrijkste Resultaten

Unimodale Prestaties: Tekst en Audio leverden de sterkste individuele signalen.
- Tekst: Bereikte de hoogste gemiddelde Pearson-correlatie ( $\bar{r} = 0,395$ ), met name sterk voor Bewondering en Empathische Pijn.
- Audio: Presteerde als tweede beste ( $\bar{r} = 0,350$ ) met een gebalanceerde prestatie over de dimensies.
- Visueel & Beweging: Presteerden significant lager in isolatie ( $\bar{r} \approx 0,15$ en $0,13$ respectievelijk), maar toonden complementaire waarde voor specifieke dimensies zoals Vreugde, Amusement en Opwinding.
Fusieprestaties:
- Het Tekst-Audio-Visueel-Beweging (T+A+V+M)-model op de uitgebreide 4:1-split behaalde de beste validatieprestatie met een gemiddelde Pearson-correlatie van 0,4722.
- Het toevoegen van de bewegingstak leverde slechts marginale winst op (bijvoorbeeld van 0,4717 naar 0,4722 op validatie), wat suggereert dat het fungeert als een aanvullende verbetering in plaats van een dominant signaal.
- De beste testsetprestatie werd behaald door het Tekst-Audio-Visueel (T+A+V)-model op de 4:1-split, met een gemiddelde Pearson-correlatie van 0,57.
Ranking: Het team eindigde derde in de Hume-ABAW10 EMI-uitdaging.

Bijdragen en Betekenis

Het artikel claimt drie primaire bijdragen:

Een Praktische Gefaseerde Trainingsstrategie: Een reproduceerbaar proces dat multimodaal leren stabiliseert op schaarste en onbalans in affectieve doelen door unimodaal vooropleiden te ontkoppelen van cross-modale fusie.
Empirische Modaliteitsanalyse: Een gedetailleerde uiteenzetting van hoe verschillende modaliteiten bijdragen aan specifieke emotie-assen, waarbij blijkt dat semantische (tekst) en akoestische (audio) aanwijzingen de primaire drijfveren zijn, terwijl visuele en bewegingsaanwijzingen selectieve, complementaire informatie bieden.
Verkenning van Bewegingsaanwijzingen: Een inzending die de rol van beweging in multimodale fusie belicht. Hoewel de winst gering was, stellen de auteurs dat beweging een veelbelovende richting blijft voor toekomstige verkenning in het vastleggen van temporele gezichtsdynamiek.

De auteurs benadrukken dat hun kader een eenvoudige en reproduceerbare baseline biedt voor EMI-voorspelling. Zij erkennen dat hun methode structureel eenvoudiger is dan die van de best gerangschikte concurrenten (die complexe cross-attention-mechanismen en multi-objectieve optimalisatie gebruikten), maar dat hun gefaseerde aanpak effectief ingaat op de specifieke uitdagingen van dataschaarste en modaliteitsontbreken die inherent zijn aan de dataset.