💻 computer science

Foundation Model Embeddings Meet Blended Emotions: A Multimodal Fusion Approach for the BLEMORE Challenge

Dit paper presenteert een multimodaal fusie-systeem dat zes encoder-families, waaronder voor het eerst Gemini Embedding 2.0, combineert via late waarschijnlijkheidsfusie om de BLEMORE-challenge voor het herkennen van gemengde emoties en het voorspellen van relatieve salience met een score van 0,279 succesvol aan te pakken.

Oorspronkelijke auteurs: Masoumeh Chapariniya, Aref Farhadipour, Sarah Ebling, Volker Dellwo, Teodora Vukovic

Gepubliceerd 2026-03-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Masoumeh Chapariniya, Aref Farhadipour, Sarah Ebling, Volker Dellwo, Teodora Vukovic

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een film kijkt en een acteur ziet die boos is, maar tegelijkertijd ook een beetje bang. Dat is een "gemengde emotie" (blended emotion). Mensen voelen zich zelden 100% één ding; vaak is het een cocktail van gevoelens.

Deze paper beschrijft hoe een team van onderzoekers van de Universiteit van Zürich een slimme computer heeft gebouwd om precies te begrijpen welke emoties er in zo'n cocktail zitten, en hoe sterk elk gevoel is. Ze deden dit voor een wedstrijd genaamd BLEMORE.

Hier is de uitleg, vertaald naar alledaagse taal met een paar creatieve vergelijkingen:

1. Het Probleem: De "Emotie-Smoothie"

Mensen uitdrukken emoties op drie manieren: met hun gezicht, hun lichaam (gebaren, houding) en hun stem (geluiden zoals zuchten, lachen, gillen, maar niet per se woorden).
De computer moet nu niet alleen zeggen: "Ah, boosheid!", maar ook: "Het is 70% boos en 30% bang." Dat is lastig, want die verhoudingen zijn heel subtiel.

2. De Oplossing: Het "Super-Panel"

In plaats van één slimme computer te bouwen, hebben de onderzoekers een panel van zes verschillende experts samengesteld. Het idee is als een gerecht waar je verschillende ingrediënten mixt om de perfecte smaak te krijgen.

Elke expert kijkt naar iets anders:

De Gezicht-Expert (S4D-ViTMoE): Kijkt alleen naar het gezicht. Hij is getraind om micro-uitdrukkingen te zien.
De Lichaam-Experts (TimeSformer & VideoMAE): Kijken naar de hele persoon. Soms staat iemand stil, maar zijn zijn schouders gespannen of zwaait hij wild. Die experts vangen dat op.
De Stem-Expert (Wav2Vec2): Luistert naar geluiden. Belangrijke ontdekking: Mensen in deze video's zeggen geen woorden, ze maken geluiden (zoals een zucht of een gil). De onderzoekers ontdekten dat ze de "luisteraar" niet hoeven te vragen naar de betekenis van woorden, maar alleen naar het ritme en de toonhoogte. Ze pakte daarvoor een speciaal stukje van de computer die zich richt op ritme, en negeerde de rest. Dit werkte veel beter dan proberen de hele computer opnieuw te leren.
De "Super-Geest" (Gemini Embedding 2.0): Dit is het meest spannende nieuwe stukje. Ze gebruikten een gigantische, moderne AI (Gemini) die normaal gesproken alles begrijpt. Ze gaven deze AI slechts 2 seconden van de video. Je zou denken dat 2 seconden te kort is, maar deze "Super-Geest" was zo slim dat hij de emotie al snel kon raden, zelfs zonder de hele video te zien. Het is alsof je iemand een foto van een glimlach geeft en hij zegt direct: "Die persoon is blij," zonder de rest van het gesprek te horen.

3. Hoe werken ze samen? (De "Smaakmaker")

Elke expert geeft een mening: "Ik denk 60% boos, 40% bang."
De computer zet al deze meningen in een grote pot en mengt ze. Maar niet iedereen krijgt evenveel stemrecht.

De "Super-Geest" (Gemini) kreeg de hoogste stem in het panel.
De experts die zich specialiseren in gebaren en gezichtsuitdrukkingen kregen ook veel stemmen.
De "oude" modellen kregen minder stemmen.

4. De Grote Uitdaging: De "Persoonlijke Stijl"

Hier komt het lastige deel. De computer moet beslissen: "Is dit nu echt boosheid, of is het maar een beetje?"
Ze gebruiken daarvoor een drempel (een soort knop die je kunt draaien).

Ontdekking: De onderzoekers merkten op dat deze knop voor elke acteur anders moest staan. Voor acteur A moet de knop op "0.05" staan, voor acteur B op "0.43".
De Metafoor: Het is alsof je probeert de temperatuur van een douche in te stellen. Voor de ene persoon voelt 30 graden koud, voor de ander warm. Omdat elke mens zijn emoties op een heel eigen manier uitdrukt, is er geen "één juiste instelling" die voor iedereen werkt. Dit is de grootste reden waarom het lastig is om dit perfect te doen.

5. Het Resultaat

Het team won de 6e plaats in de wedstrijd.

Hun systeem was veel beter dan de standaardmethoden.
Ze bewezen dat je soms niet alles opnieuw hoeft te leren (zoals bij de stem-expert), maar dat je slimme keuzes moet maken uit wat er al bestaat.
Ze bewezen dat een gigantische AI (Gemini) zelfs met heel weinig tijd (2 seconden) al heel goed kan voelen wat er aan de hand is.

Kortom: Ze hebben een team van specialisten samengesteld die samen kijken naar gezicht, lichaam en geluid. Ze ontdekten dat de "Super-Geest" (Gemini) verrassend goed werkt, en dat het grootste probleem niet de computer is, maar het feit dat elke mens emoties op een heel eigen, persoonlijke manier uitdrukt.

1. Probleemstelling

Het paper adresseert de complexiteit van menselijke emotionele expressie, waarbij mensen vaak gemengde emoties (blended emotions) ervaren die variëren in prominentie. De BLEMORE-challenge (bij FG 2026) stelt twee gekoppelde problemen:

Aanwezigheidsdetectie: Welke emoties worden uitgedrukt?
Salientie-detectie: Wat is de relatieve prominentie van deze emoties (bijv. 70/30 of 50/50)?

De dataset bevat 3.050 videoclips van 58 acteurs met 6 basisemoties en 10 combinaties, geannoteerd met relatieve salientie. De evaluatie is uitdagend omdat de continue modeloutput moet worden omgezet naar discrete voorspellingen via twee drempelwaarden: een aanwezigheidsdrempel ( $\alpha$ ) en een salientiedrempel ( $\beta$ ). De auteurs identificeren dat deze drempels sterk afhankelijk zijn van de individuele acteur, wat leidt tot overfitting op validatiegegevens en een prestatiedaling op de testset.

2. Methodologie

Het voorgestelde systeem is een multimodaal ensemble dat zes verschillende encoder-families combineert via late probability fusion (gewogen gemiddelde van waarschijnlijkheidsvectoren).

A. Visuele Encoders

S4D-ViTMoE (Gezicht): Een aanpassing van de S4D-video-transformer, vooraf getraind op categorische gezichtsuitdrukkingen.
- Aanpassingen: Gebruik van gezichtscrops (MTCNN) om te matchen met het pre-training domein, training met soft-label KL-divergentie (in plaats van cross-entropy) om de salientie-ratio's (bijv. 0.7/0.3) te behouden, en selectief finetunen (alleen adapter-lagen en head worden getraind, de backbone is bevroren).
- Sampling: Verwerking van 16 frames over een venster van ~2,1 seconden.
Body Language Encoders (TimeSformer & VideoMAE): Twee video-transformers die op volledige lichaamscrops worden getraind (zonder gezichtscropping) om gebaren en houding te vangen die gezichtsuitdrukkingen aanvullen. Ook hier wordt soft-label KL-training gebruikt.

B. Audio Encoder

Layer-Selectieve Wav2Vec2: Een cruciale inzicht is dat de audio in BLEMORE niet-linguïstisch is (gelach, kreten, zuchten) en geen spraak bevat.
- Strategie: In plaats van end-to-end finetunen, worden de intermediate lagen (6–12) van een bevroren Wav2Vec2-large model gebruikt. Deze lagen coderen prosodie en paralinguïstische kenmerken, terwijl de bovenste lagen (fonetiek) irrelevant zijn voor niet-verbale geluiden.
- Verwerking: De features worden gemiddeld en verrijkt met tijdsstatistieken, waarna een lichtgewicht MLP-classifier de emotie voorspelt.

C. Foundation Model Embeddings (Nieuw)

Gemini Embedding 2.0: Voor het eerst in de emotionele herkenning worden embeddings van een groot multimodaal model (LMM) gebruikt.
- Ondanks de beperking tot de eerste 2 seconden van de video (de clips duren 3–8 seconden), levert dit competitieve resultaten op, wat suggereert dat LMM's rijke emotionele semantiek kunnen vangen in korte vensters.

D. Fusie en Post-processing

Late Fusion: De outputvectoren van alle encoders worden gecombineerd via gewogen optelling ( $p_{fused} = \sum w_m p_m$ ). De gewichten worden geoptimaliseerd via grid search op de validatie-fold.
Post-processing: De gefuseerde waarschijnlijkheden worden omgezet naar discrete labels door:
1. Top-2 masking.
2. Toepassen van drempel $\alpha$ voor aanwezigheid.
3. Toepassen van drempel $\beta$ voor salientie (bepaalt of 50/50 of 70/30).

3. Belangrijkste Bijdragen

S4D-ViTMoE Adaptatie: Een complete pipeline voor gemengde emoties met soft-label training en gezichtsspecifieke preprocessing.
Layer-Selectieve Audio: Het aantonen dat het selecteren van specifieke lagen (6–12) uit een bevroren Wav2Vec2 model voor niet-verbale audio 22% beter presteert dan end-to-end finetunen, wat overfitting op kleine datasets voorkomt.
LMM Embeddings: Introductie van Gemini Embedding 2.0 voor emotionele herkenning, met competitieve prestaties zelfs met slechts 2 seconden input.
Drempel-analyse: Een kwantitatieve analyse die aantoont dat de optimale salientiedrempel ( $\beta$ ) extreem instabiel is (varieert van 0,05 tot 0,43 per fold), wat wijst op de fundamentele moeilijkheid van het modelleren van persoonlijke expressiestijlen.

4. Resultaten

Het systeem behaalde de 6e plaats op de testset met de volgende scores:

Totale Score: 0,279 (ACCP = 0,391, ACCS = 0,168).
Vergelijking: Dit is een aanzienlijke verbetering ten opzichte van de beste baseline (VideoMAEv2 + HuBERT) met een score van 0,223.
Fusie-effect: Het toevoegen van Gemini Embeddings verhoogde de test-score van 0,262 naar 0,279 (+6,5%).
Gewichten: In het 12-encoder ensemble kregen de taak-aangepaste encoders (zoals S4D en Gemini) gezamenlijk 62% van het gewicht, terwijl de algemene baselines 38% kregen. Gemini Embedding 2.0 kreeg zelfs het hoogste individuele gewicht (0,192).

5. Betekenis en Conclusie

Het paper levert drie cruciale inzichten voor het veld van affectieve computing:

Pre-trained Lagen vs. Finetunen: Voor kleine, niet-verbale datasets is het selecteren van de juiste vooraf getrainde lagen (feature extraction) effectiever dan het finetunen van het hele model.
Potentieel van Foundation Models: LMM-embeddings kunnen rijke emotionele semantiek vangen, zelfs met zeer korte video-inputs, wat een nieuwe richting opent voor onderzoek.
De "Acteur-afhankelijkheid" als Bottleneck: De grootste uitdaging is niet de modelcapaciteit, maar de individuele expressiestijl van de acteurs. De extreme variabiliteit in de optimale salientiedrempel ( $\beta$ ) toont aan dat huidige evaluatiemethoden (gebaseerd op vaste drempels) fundamenteel beperkt zijn. Toekomstig werk zou moeten focussen op actor-adaptieve normalisatie of continue salientieregressie in plaats van drempelgebaseerde classificatie.