BROTHER: Behavioral Recognition Optimized Through Heterogeneous Ensemble Regularization for Ambivalence and Hesitancy

Probleemstelling

Het herkennen van complexe gedragsstaten zoals ambivalentie (tweestrijd) en heseitatie (aarzeling) in natuurlijke video-omgevingen vormt een grote uitdaging voor affectief computing. In tegenstelling tot basisemoties (zoals boosheid of blijdschap), manifesteren deze staten zich als subtiele, multimodale conflicten die een diep contextueel en temporair begrip vereisen. Bestaande systemen falen vaak omdat ze proberen elke input in een starre categorie te dwingen, waardoor de subtiele tegenstrijdigheden en tijdsverschillen die kenmerkend zijn voor aarzeling en ambivalentie worden genegeerd. Het doel is om deze staten automatisch te detecteren op basis van visuele expressies, vocale toon en woordkeuze over tijd.

Methodologie

De auteurs stellen een sterk geregulariseerde, multimodale fusiepijplijn voor die bestaat uit vier hoofdstappen:

1. Dataverzameling en Modaliënten
Het onderzoek maakt gebruik van de BAH-dataset (Behavioural Ambivalence/Hesitancy) uit de 10e ABAW-competitie, bestaande uit video-opnames in natuurlijke omgevingen. Er worden vier distincte modaliënten geëxtraheerd:

• Visueel: Gezichtsfoto's worden gedetecteerd (RetinaFace) en verwerkt met SigLip2 (een state-of-the-art visueel-taalmodel). De features worden gefilterd op ruis (via MAD) en gepoold tot statische en temporale afgeleiden (eerste en tweede afgeleide), resulterend in een vector van 2304 dimensies die via PCA wordt gereduceerd naar 512 dimensies.
• Audio: Gebruikmakend van HuBERT voor het extraheren van niet-talige audio-cues (toon, ritme) in één-seconde chunks.
• Tekst: Transcripties worden verwerkt met F2LLM, gekozen vanwege zijn superioriteit in het vangen van authentieke menselijke taalnuances.
• Statistische Modale (Speciale Innovatie): Een vierde modale die puur wiskundig is afgeleid uit de eerste drie. Deze aggregateert temporale patronen (min, max, gemiddelde, standaardafwijking) en bevat gespecialiseerde taalstrategieën:
  • Hesitatie: Gedetecteerd per zin via zoekwoorden voor vullers, twijfel en correcties.
  • Ambivalentie: Gedetecteerd over de hele tekst via prompt-based embedding die neutrale, negatieve, positieve en "beide" polen vergelijkt.

2. Heterogeen Classificatiecomité
In plaats van één model, wordt er een "comité" van modellen getraind. Voor elk van de 15 mogelijke combinaties van de vier modaliënten (2^4 - 1) worden drie verschillende machine learning-architecturen getraind:

• Multi-Layer Perceptron (MLP)
• Random Forest (RF)
• Gradient Boosted Decision Trees (GBDT)

Voor elke modalecombinatie wordt alleen het model geselecteerd dat de Binary Cross-Entropy (BCE) loss op de validatieset minimaliseert. Dit zorgt voor een diverse set van 15 geoptimaliseerde basismodellen.

3. Particle Swarm Optimization (PSO) Ensemble
Om de 15 modellen te fuseren zonder overfitting, wordt een PSO hard-voting ensemble gebruikt.

• Mechanisme: Elk model geeft een binaire stem (ja/nee) op basis van een geoptimaliseerde drempel. De uiteindelijke classificatie hangt af van de gewogen som van deze stemmen.
• Regularisatie: De fitness-functie van de PSO bevat een straffactor ($\lambda$) voor de kloof tussen trainings- en validatiescores. De formule is:
  $$Fitness = \frac{2 \cdot F1_{val} \cdot F1_{train}}{F1_{val} + F1_{train}} - (\lambda \cdot |F1_{train} - F1_{val}|)^2$$
  Dit dwingt het systeem om te generaliseren en redundantie of overfitting actief te onderdrukken.

Belangrijkste Resultaten

• Unimodale Prestaties: De tekstmodale bleek de sterkste onafhankelijke predictor (Validatie Macro F1: 0.7275). Visuele data alleen presteerde slecht (F1: 0.4704), wat aantoont dat gezichtsuitdrukkingen zonder context onvoldoende zijn voor het detecteren van interne conflicten.
• Modelkeuze: MLP domineerde bij eenvoudige combinaties, maar Random Forest (RF) won bij de complexe, hoogdimensionale multimodale combinaties (7 van de 15 combinaties, inclusief alle modaliënten samen).
• Ensemble Prestaties:
  • De PSO met een straffactor van $\lambda = 0.2$ (20%) leverde de beste resultaten op de onzichtbare testset.
  • Test Macro F1-score: 0.7465
  • Test Weighted F1-score: 0.7559
  • Validatie Macro F1-score: 0.7355.
• Selectie: Bij een hoge straffactor (80%) selecteerde de PSO slechts 6 van de 15 modellen, waarbij de tekstmodale en de combinatie "Tekst+Video+Stats" de hoogste gewichten behielden. Dit toont aan dat het ensemble redundantie effectief verwijdert.

Bijdragen en Significantie

1. Speciale Statistische Modale: De introductie van een handmatig ontworpen statistische modale die specifiek gericht is op het vangen van temporale variaties en gedragsgerelateerde taalpatronen (hesitatie/ambivalentie) is een unieke bijdrage die de prestaties ten opzichte van pure deep learning-modellen versterkt.
2. Geregulariseerd Ensemble: Het gebruik van PSO met een dynamische straffactor voor de train-val gap biedt een robuust kader om overfitting in multimodale settings te voorkomen, wat essentieel is voor "in-the-wild" analyse.
3. Multimodale Synergie: Het paper demonstreert dat ambivalentie en heseitatie het beste worden begrepen als een multimodaal temporair conflict. Hoewel taal de belangrijkste indicator is, is de intelligente fusie met visuele en akoestische signalen noodzakelijk voor maximale generalisatie.
4. Resultaat: Met een score van 0.7465 Macro F1 op de testset biedt deze aanpak een nieuw state-of-the-art voor het analyseren van complexe menselijk gedrag in ongestructureerde omgevingen, wat direct toepasbaar is in gezondheidsgerelateerde gedragsstudies.