Conflict-Aware Multimodal Fusion for Ambivalence and Hesitancy Recognition

Probleemstelling

Het paper richt zich op de automatische detectie van ambivalentie en aarzeling (A/H) in klinische interviewvideo's. Deze affectieve toestanden zijn subtiel en worden gekenmerkt door tegenstrijdige signalen tussen verschillende kanalen: een persoon zegt iets positiefs (tekst), maar toont twijfel of stress in het gezicht of de stem.

• Uitdaging: Bestaande multimodale methoden zijn vaak ontworpen om overeenkomsten tussen modaliteiten te vinden (consensus). Dit onderdrukt echter juist de tegenstrijdige signalen die A/H definiëren.
• Tekst-dominantie en bias: Eerdere studies tonen aan dat tekst de sterkste indicator is voor A/H. Echter, tekst-only modellen hebben een systematische bias: ze detecteren A/H te vaak (hoge F1 voor de positieve klasse), maar hebben moeite om de afwezigheid van A/H te bevestigen (lage F1 voor de negatieve klasse). In klinische settings is het vermijden van valse positieven (die de tijd van artsen verspillen) cruciaal.
• Data: Het werk gebruikt de BAH-dataset (van de ABAW10 Challenge), die slechts 778 gelabelde trainingsvideo's bevat, wat overfitting en de noodzaak van sterke regularisatie en pre-trained representaties vergroot.

Methodologie: ConflictAwareAH

De auteurs stellen ConflictAwareAH voor, een hybride multimodaal framework dat expliciet rekening houdt met conflicten tussen modaliteiten.

1. Architectuur en Encoders

Het systeem gebruikt drie pre-trained encoders om representaties te extraheren:

• Video: VideoMAE-Base (gebaseerd op Kinetics-400), verwerkt 16 frames per clip.
• Audio: HuBERT-Base (gefinetuned op LibriSpeech), verwerkt ruwe 16 kHz audio om prosodische cues (pauzes, pieken) te vangen.
• Tekst: RoBERTa-Base (gefinetuned op GoEmotions), verwerkt de volledige transcriptie van het interview (niet alleen het deel dat overeenkomt met het video-venster), omdat A/H een video-niveau eigenschap is.

2. Conflict-Aware Fusion (Kerninnovatie)

In plaats van alleen de modaliteiten te combineren, berekent het model paarsgewijze conflictkenmerken als elementsgewijze absolute verschillen tussen de embeddings:

• $c_{va} = |v - a|$
• $c_{vt} = |v - t|$
• $c_{at} = |a - t|$

Het idee:

• Grote verschillen duiden op tegenstrijdigheid en markeren de aanwezigheid van A/H.
• Kleine verschillen duiden op gedragsconsistentie en verankeren de negatieve klasse (geen A/H).
  Dit lost het probleem van tekst-only modellen op door expliciet te controleren of de tekst overeenkomt met het gezicht en de stem.

3. Tekst-gestuurde Late Fusion

Omdat tekst de sterkste signaaldrager is, wordt een parallelle tekst-only hulpkop geïntroduceerd.

• Tijdens training worden beide koppen (volledige fusie en tekst-only) samen getraind met een gebalanceerde verliesfunctie.
• Tijdens inferentie worden de uitkomsten van de tekst-kop en de multimodale fusie-kop geblended (gewogen gemiddelde). De tekst-kop krijgt een hoger gewicht ($\alpha=0.6$) omdat deze robuuster is, maar de multimodale data wordt gebruikt voor twijfelachtige gevallen.

4. Training en Inferentie

• Data-efficiëntie: De encoder-weights worden grotendeels bevroren (frozen) om overfitting te voorkomen op de kleine dataset.
• Ensembling: Het uiteindelijke resultaat wordt bereikt door het ensemble van twee checkpoints (één met losgemaakte lagen, één volledig bevroren met label smoothing) en het middelen van voorspellingen over meerdere video-vensters (multi-window inference).

Belangrijkste Resultaten

Het model presteert aanzienlijk beter dan bestaande baselines op de ABAW10 Challenge:

• Algemene Prestatie:
  • 0.694 Macro F1 op de gelabelde testset.
  • 0.715 Macro F1 op de private leaderboard (ongelabelde testset).
  • Dit is een verbetering van >10 punten ten opzichte van de beste gepubliceerde multimodale baselines (bijv. LFAN co-attention op 0.593).
• Afbakening van Tekst-only:
  • Een tekst-only model bereikt een hoge F1-AH (0.804) maar een lage F1-NoAH (0.670), wat resulteert in een grote klasse-gap.
  • Het ConflictAwareAH-model verkleint deze gap aanzienlijk: F1-NoAH stijgt met +4.6 punten (naar 0.716) ten opzichte van tekst alleen, terwijl F1-AH slechts licht daalt. Dit resulteert in een beter gebalanceerd model dat minder valse positieven genereert.
• Efficiëntie: Het model traint in minder dan 25 minuten op één enkele NVIDIA RTX 4090 GPU, zonder complexe multi-node training.

Bijdragen en Significatie

1. Expliciete Conflictmodelling: Het paper introduceert een nieuwe aanpak waarbij tegenstrijdigheden tussen modaliteiten niet als ruis worden gezien, maar als het primaire signaal voor A/H. Dit corrigeert de systematische bias van tekst-dominante modellen.
2. Klinische Relevantie: Door de F1-score voor de negatieve klasse (geen A/H) te verhogen, wordt het model praktischer voor klinische toepassingen waar het vermijden van onnodige waarschuwingen essentieel is.
3. Efficiënte Baseline: Het biedt een reproduceerbare, hoogpresterende baseline die met minimale resources (één GPU, korte trainingstijd) de state-of-the-art verbetert.
4. Inzicht in Modaliteiten: De studie bevestigt dat tekst de dominante modality is, maar dat multimodale fusie noodzakelijk is voor robuustheid en het corrigeren van bias, vooral bij onduidelijke tekst of ASR-fouten.

Conclusie: ConflictAwareAH demonstreert dat het expliciet modelleren van "conflict" tussen zintuigen een krachtige methode is om subtiele affectieve toestanden zoals ambivalentie en aarzeling te detecteren, met name in data-schaarse klinische scenario's.