💻 computer science

Multimodal Ambivalence and Hesitancy Recognition via Cross-Attention and Gated Fusion

Dit artikel presenteert een multimodale framework voor het herkennen van ambivalentie en aarzeling in video, die tekst-, audio- en visuele kenmerken fuseert via bidirectionele cross-attentie en een Gated Multimodal Unit om een Macro F1-score van 0,7394 te bereiken, waarmee de zowel unimodale baselines als zero-shot modellen in de ABAW11-challenge bij ECCV 2026 significant overtreft.

Oorspronkelijke auteurs: Oussama Berhili, Yassine Ouzar, Larbi Boubchir

Gepubliceerd 2026-07-20

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Oussama Berhili, Yassine Ouzar, Larbi Boubchir

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te raden wat een vriend voelt door alleen maar naar hem te kijken. Soms is het makkelijk: een brede glimlach betekent blij, een frons betekent verdrietig. Maar wat als het gaat om die lastige momenten waarop iemand verscheurd is? Misschien zegt iemand "Het gaat wel" met een stem die trilt, terwijl hun gezicht eruitziet alsof ze op het punt staan te huilen. Deze verwarrende mix van gevoelens wordt ambivalentie of twijfelachtigheid genoemd. Het is dat interne touwtrekken tussen iets willen doen en bang zijn om het te doen. Wetenschappers die computers en menselijk gedrag bestuderen (een vakgebied genaamd affective computing) proberen machines te leren om deze subtiele, verwarrende signalen op te merken. Ze weten dat het kijken naar slechts één aanwijzing—zoals alleen luisteren naar de stem of alleen kijken naar het gezicht—vaak niet genoeg is. Om een persoon echt te begrijpen, moet een computer als een super slimme detective optreden, die woorden, toon en uitdrukkingen tegelijkertijd samenvoegt om het mysterie van wat iemand echt voelt op te lossen.

In dit artikel besloten een team van onderzoekers genaamd Oussama, Yassine en Larbi een super-detective computer te bouwen om precies dit puzzelstukje op te lossen. Ze namen deel aan een wedstrijd genaamd ABAW11, waarbij het doel was om ambivalentie en twijfelachtigheid te herkennen in video-opnames. Ze begonnen met het testen van drie verschillende "zintuigen" op zichzelf: een brein dat teksttranscripten leest, een brein dat naar audio luistert, en een brein dat naar gezichtsvideo's kijkt. Ze ontdekten dat de tekstlezer de beste solo-detective was, die ongeveer 66,6% van de antwoorden goed had (gemeten met een score die Macro F1 wordt genoemd). De audio-luisteraar volgde vlak daarachter met 62,8%, en de video-kijker was iets zwakker met 57,3%. Interessant genoeg probeerden ze een beroemde "zero-shot" AI (één die niet specifief op deze data was getraind) en die kreeg slechts 28,3% goed, wat bewees dat je je AI echt specifiek voor deze lastige taak moet trainen.

Maar de echte magie gebeurde toen ze stopten met de detectives alleen laten werken en ze als een team lieten samenwerken. De onderzoekers bouwden een speciaal systeem waarbij de tekst-, audio- en videobreinen met elkaar konden praten. Ze gebruikten een techniek genaamd cross-attention, wat is als het geven van een walkie-talkie aan elke detective om aan de anderen te vragen: "Hé, ik zie hier een trillende stem, ziet jouw gezicht een nerveuze uitdrukking?" en "Ik zie een twijfelachtig woord, hoort jouw audio een pauze?" Dit stelde hen in staat om tegenstrijdigheden op te merken, zoals wanneer iemand "ja" zegt maar onzeker klinkt. Ze voegden ook een Gated Multimodal Unit toe, die fungeert als een slim manager. Als een detective naar een wazig gezicht kijkt of slechte audio hoort, kan de manager zeggen: "Negeer dat ruisige signaal even, laten we ons in plaats daarvan op de duidelijke tekst concentreren."

Na het trainen van dit team met een slim zoekinstrument genaamd Optuna om de perfecte instellingen te vinden, waren de resultaten indrukwekkend. Het team van drie dat samenwerkte scoorde een 73,9% op hun test, wat een verbetering is van 11,0% ten opzichte van de beste enkele detective. Dit suggereert dat door de verschillende zintuigen elkaar te laten controleren, de computer de subtiele, tegenstrijdige aanwijzingen die ambivalentie vormen veel beter kan vangen dan welke enkele zintuig dat alleen zou kunnen. De onderzoekers zijn er zeker van dat deze methode van expliciete teamwork tussen tekst, geluid en video de sleutel is tot het ontsluiten van deze moeilijke menselijke emoties, en ze hebben hun code openbaar gemaakt zodat anderen het ook kunnen proberen.

Technische Samenvatting: Multimodale Ambivalentie en Twijfelherkenning via Cross-Attention en Gated Fusion

Probleemdefinitie
Dit werk behandelt de uitdaging van het automatisch detecteren van Ambivalentie en Twijfel (A/H) in video-opnames, een taak die centraal staat bij de ABAW11-challenge voor ECCV 2026. A/H vertegenwoordigt een subtiele affectieve staat waarbij een individu tegenstrijdige emoties of motivaties ervaart, wat vaak leidt tot vertragingen in gedragsverandering. De uitdaging ligt in het feit dat A/H zich manifesteert via complexe, soms tegenstrijdige signalen over meerdere modaliteiten: lexicale nuancering in transcripten, prosodische variaties in audio en micro-expressies in visuele video. De auteurs maken gebruik van de BAH-dataset, die 1.427 video-opnames bevat met binaire labels die de aanwezigheid of afwezigheid van A/H aangeven, om een oplossing te ontwikkelen die verder gaat dan eenvoudige unimodale analyse of naïeve fusie.

Methodologie
De voorgestelde aanpak is een gestructureerde pipeline bestaande uit feature-extractie, het vaststellen van unimodale baselines en een nieuwe multimodale fusie-architectuur.

Feature Extractie: Om fijnmazige temporele dynamiek te behouden, vermijden de auteurs globale pooling tijdens de extractie. In plaats daarvan extraheren ze volledige sequentie-tokenrepresentaties met behulp van drie state-of-the-art pre-trained encoders:
- Tekst: F2LLM-v2-0.6B (gebaseerd op Qwen3-0.6B) verwerkt transcripten en behoudt de volledige last_hidden_state sequentie ( $N_t \times 1024$ ).
- Audio: WavLM-Large verwerkt 16 kHz mono-audio en extraheert de volledige temporele sequentie ( $N_a \times 1024$ ) om prosodische nuances te vangen.
- Visueel: VideoMAE V2 (Base) verwerkt uitgelijnde gezichtskaders (256x256). Video's worden opgesplitst in 16-frame chunks, en patch-level tokensequenties worden samengevoegd om de spatio-temporele context te behouden ( $N_v \times 768$ ).
Unimodale Baselines: Voordat de fusie plaatsvindt, stellen de auteurs robuuste baselines vast door klassieke classifiers (MLP, Random Forest en GBDT) onafhankelijk op elke modaliteit te trainen. Deze modellen worden geoptimaliseerd via Optuna (100 trials per classifier) met de Macro F1 als metriek.
Multimodale Fusie-architectuur: De kernbijdrage is een fusiemodel dat bidirectionele cross-attention combineert met een Gated Multimodal Unit (GMU):
- Projectie & Positional Encoding: Variabele lengte sequenties uit alle modaliteiten worden lineair geprojecteerd naar een gedeelde embedding dimensie ( $d_{model}$ ) en aangevuld met sinusvormige positional encodings.
- Bidirectionele Cross-Attention: Een MultimodalCrossAttention module implementeert zes directionele attention-stacks (bijv. tekst die naar audio let, audio naar video, enz.). Dit stelt elke modaliteit in staat om de representaties van de anderen te bevragen en te observeren, waardoor ambiguïteit wordt opgelost door complementaire signalen te benutten.
- Pooling: De gecontextualiseerde tokensequenties worden gereduceerd tot enkele vectoren met behulp van een configureerbare poolingstrategie (gemiddelde, max, of geleerde attention).
- Gated Fusion (GMU): De gepoolde vectoren worden geconcateneerd en verwerkt door een GMU. Deze unit berekent een contextvector om een sigmoid-gate voor elke modaliteit te genereren, waardoor de bijdrage van elke stroom dynamisch wordt geschaald. Dit mechanisme stelt het model in staat om ruisige of niet-informatieve modaliteiten (bijv. geoccludeerde gezichten) voor specifieke instanties te onderdrukken.
- Classificatie: De uiteindelijke gefuseerde representatie gaat door een MLP om een binaire voorspelling te produceren.

Belangrijkste Bijdragen

Uitgebreide Unimodale Benchmarks: Het artikel stelt sterke unimodale baselines vast met specifieke configuraties van F2LLM, WavLM en VideoMAE, waarbij wordt aangetoond dat domeinspecifieke training aanzienlijk beter presteert dan zero-shot baselines.
Systematische Classifier Evaluatie: Een vergelijkende analyse van MLP, Random Forest en GBDT classifiers over de modaliteiten heen, geoptimaliseerd via Optuna.
Nieuwe Fusie-architectuur: De integratie van bidirectionele cross-attention met een Gated Multimodal Unit, specifiek afgestemd via een 50-trial Optuna zoektocht, om zowel intra- als inter-modale interacties te modelleren.
Reproduceerbare Pipeline: Een modulaire, open-source framework die variabele-lengte tokensequenties door de gehele pipeline behoudt, wat toekomstige uitbreidingen naar cross-attention of multimodale LLM's vergemakkelijkt.

Resultaten

Unimodale Prestaties: Tekstfeatures bleken in isolatie de meest discriminerende te zijn, waarbij een Random Forest classifier een Macro F1 van 0,6659 behaalde op de testset. Dit presteerde aanzienlijk beter dan de zero-shot Video-LLaVA baseline (Macro F1: 0,2827). Audio en visuele modaliteiten volgden met Macro F1-scores van respectievelijk 0,6275 en 0,5727.
Multimodale Prestaties: Het voorgestelde Cross-Attention + GMU model behaalde een Macro F1 van 0,7394 op de validatieset. Dit vertegenwoordigt een 11,0% relatieve verbetering ten opzichte van de beste unimodale baseline en een significante winst ten opzichte van de zero-shot baseline.
Hyperparameter Optimalisatie: De beste configuratie maakte gebruik van een gedeelde embedding dimensie van 256, een enkele attention head, twee cross-attention lagen per modale paren, en mean pooling.

Betekenis en Claims
De auteurs stellen dat hun resultaten de hypothese bevestigen dat expliciete cross-modale interactie essentieel is voor het detecteren van A/H. De prestatiewinst ten opzichte van unimodale modellen suggereert dat A/H bestaat uit complementaire signalen die niet door een enkele modaliteit in isolatie worden gevangen. Bovendien geeft de foutenanalyse aan dat hoewel unimodale modellen (vooral tekst) gevoelig zijn voor markers, ze mogelijk te snel reageren op neutrale kenmerken; de multimodale architectuur helpt de beslissingsgrens te verfijnen door gebruik te maken van orthogonale signalen uit de audio- en visuele stromen.

Het artikel positioneert de aanpak als een principiële stap voorwaarts in affective computing, en laat zien dat het modelleren van interacties binnen en tussen modaliteiten superieure resultaten oplevert vergeleken met naïeve late fusion of de afhankelijkheid van enkele modaliteiten. Hoewel de prestatie (0,7394) de resultaten van het ABAW10-winnende BROTHER-systeem nadert, merken de auteurs op dat een directe vergelijking voorzichtig is vanwege verschillen in datasetversies en challenge-edities. Het werk concludeert dat toekomstige verbeteringen kunnen liggen in rijkere temporele modellering, personalisatie en parameter-efficiënte fine-tuning van multimodale LLM's.

Meer zoals dit