BAH Dataset for Ambivalence/Hesitancy Recognition in Videos for Digital Behavioural Change

Dit paper introduceert de BAH-dataset, een multimodaal videocollectie van 300 deelnemers met door experts geannoteerde momenten van ambivalentie en aarzeling, die dient als eerste bron voor het ontwikkelen en benchmarken van machine learning-modellen ter ondersteuning van digitale gedragsverandering.

De kern

Stel je voor dat je een gesprek voert met een vriend over het stoppen met roken of beginnen met sporten. Soms zeggen ze "ja", maar hun stem trilt een beetje, ze kijken weg, of ze halen hun schouders op terwijl ze "ja" zeggen. Ze zijn twijfelend of aarzelend. Ze willen het wel, maar ook niet. Ze zitten vast in het midden.

In de medische wereld noemen we dit Ambivalentie of Hesitancy (A/H). Het is de belangrijkste reden waarom mensen gezondheidsadvies negeren of stoppen met hun goede voornemens.

Dit paper introduceert een nieuw, slim project genaamd BAH (Behavioural Ambivalence/Hesitancy). Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Digitale Muur"

Vroeger kon een arts of therapeut zien dat iemand twijfelde. Ze zagen de onrust in de ogen, hoorden de aarzeling in de stem en zagen de gebaren. Maar in de digitale wereld (apps, online coaches) is dat heel moeilijk. Een computer ziet alleen beelden en hoort alleen geluid. Het is alsof je probeert te raden wat iemand voelt door alleen naar een foto te kijken zonder de context te kennen.

Tot nu toe bestond er geen "woordenboek" of "schoolboek" voor computers om dit specifieke gevoel van twijfel te leren herkennen.

2. De Oplossing: Het BAH Dataset (Het Grote Verzamelboek)

De onderzoekers hebben een enorme verzameling video's gemaakt, het BAH-dataset.

• Het idee: Ze hebben 300 mensen uit heel Canada uitgenodigd om via een website een gesprek te voeren met een virtuele avatar (een digitaal poppetje).
• De vragen: De avatar stelde zeven vragen, zoals: "Vertel me over iets dat je leuk vindt, maar waarvan je denkt dat je er mee moet stoppen" of "Vertel me over iets dat je uitstelt".
• Het resultaat: Mensen antwoordden eerlijk. Soms waren ze enthousiast, soms boos, maar vaak waren ze twijfelend. Ze zagen eruit alsof ze "ja" zeiden, maar hun lichaam zei "nee".
• De schaal: Het zijn 1.427 video's, goed voor meer dan 10 uur aan opnames.

3. De Experts: De "Detectives"

Computers kunnen niet zomaar leren wat twijfel is. Daarom hebben drie experts (gedragswetenschappers) naar elke video gekeken. Ze fungeerden als detectives.

• Ze keken niet alleen naar het gezicht, maar ook naar de stem, de handbewegingen en de tekst die werd gesproken.
• Ze noteerden precies wanneer de twijfel begon en eindigde (soms maar een paar seconden!).
• Ze hielden zelfs bij waar de verwarring zat: "Zegde hij 'ja', maar keek hij weg?" of "Lachte hij, maar klonk zijn stem onzeker?"

4. Waarom is dit zo moeilijk voor computers?

Stel je voor dat je een computer leert om "verdriet" te herkennen. Dat is makkelijk: een traan of een frons. Maar twijfel is als een kookpan met tegenstrijdige krachten.

• De ene modale (het gezicht) zegt: "Ik ben blij."
• De andere modale (de stem) zegt: "Ik ben onzeker."
• De computer moet deze strijd zien en begrijpen dat de combinatie van beide "twijfel" betekent.

De onderzoekers hebben getest of hun computer dit al kon. Het resultaat? Niet echt goed. De computers waren er nog niet klaar voor. Het is alsof je een kind vraagt om een complexe filosofische discussie te begrijpen terwijl het net leert lezen.

5. Wat leert dit ons? (De "Gouden Tips")

Uit de tests kwamen belangrijke lessen:

• Kijk naar het geheel: Je kunt niet alleen naar het gezicht kijken. Je moet de stem, de tekst en de gebaren samen bekijken.
• Tijd is belangrijk: Twijfel gebeurt niet in één fractie van een seconde. Het is een proces. De computer moet kijken naar wat er even daarvoor en even daarna gebeurde.
• Persoonlijke aanpak: Iedereen twijfelt anders. Wat voor de ene persoon een teken van twijfel is, is voor de ander gewoon normaal gedrag. De computer moet leren zich aan te passen aan de specifieke persoon (zoals een goede leraar die elke leerling anders behandelt).

Conclusie: Waarom is dit geweldig?

Dit paper is als het openen van een nieuwe bibliotheek voor de toekomst van digitale gezondheid.
Voorheen hadden artsen en apps geen manier om die subtiele "ik weet het niet"-momenten te zien. Nu hebben ze een gereedschapskist (het BAH-dataset) om slimme computers te trainen.

De toekomstvisie:
Stel je een digitale coach voor die niet alleen zegt: "Je moet meer sporten," maar die merkt: "Oh, deze gebruiker zegt dat hij het wil, maar zijn stem trilt en hij kijkt weg. Hij twijfelt. Laten we eerst eens praten over wat hem tegenhoudt, in plaats van direct een trainingsplan te geven."

Dat is de kracht van dit onderzoek: het maakt digitale gezondheidszorg menselijker, slimmer en effectiever, precies op het moment dat iemand het het hardst nodig heeft.

Technische samenvatting

1. Probleemstelling

Ambivalentie en aarzeling (A/H) zijn subtiele, tegenstrijdige emotionele toestanden die vaak leiden tot uitstel, vermijding of het opgeven van gezondheidsgerelateerde gedragsveranderingen. Hoewel deze toestanden in face-to-face interacties door experts kunnen worden herkend aan de hand van non-verbale en verbale signalen (zoals gezichtsuitdrukkingen, toon, lichaamstaal en inconsistenties tussen modaliteiten), is het integreren van deze vaardigheden in digitale gezondheidsinterventies kostbaar en inefficiënt.

De huidige uitdagingen zijn:

• Gebrek aan data: Er bestonden tot nu toe geen specifieke datasets voor het trainen van machine learning-modellen om A/H te herkennen. Bestaande datasets focussen vaak op basisemoties (zoals blij, verdriet) of ordinaire niveaus (pijn, stress), maar niet op complexe, gemengde toestanden zoals ambivalentie.
• Complexiteit: A/H manifesteert zich vaak als een dissonantie (conflict) tussen verschillende modaliteiten (bijv. iemand zegt "ja" terwijl hij/zij schudt met het hoofd) of binnen één modaliteit (bijv. aarzeling in de stem).
• Schalbaarheid: Handmatige detectie door experts is tijdrovend en niet schaalbaar voor real-time digitale interventies.

2. Methodologie en Dataset (BAH)

Om dit gat in de literatuur op te vullen, stellen de auteurs de BAH (Behavioural Ambivalence/Hesitancy) dataset voor.

Dataverzameling:

• Deelnemers: 300 deelnemers uit 9 provincies in Canada, met een diverse demografische spreiding (leeftijd 18-74, verschillende etniciteiten, geslacht).
• Protocol: Deelnemers gebruikten een webplatform ("Automatic Expression Recognition") om zichzelf op te nemen terwijl ze antwoordden op 7 gestructureerde vragen ontworpen door gedragswetenschappers om A/H te eliciteren (bijv. "Vertel over iets dat je leuk vindt maar dat je wilt stoppen").
• Omvang: De dataset bevat 1.427 video's (totaal 10,60 uur), waarvan 778 video's (1,79 uur) A/H bevatten. Dit resulteert in 916.618 frames, waarvan 156.255 frames A/H bevatten.
• Modaliteiten: Video (gezicht en lichaam), audio (spraak) en tekstuele transcripties.

Annotatie:

• Drie experts in gedragswetenschappen hebben de data geannoteerd op video- en frame-niveau.
• Labeling: Omdat ambivalentie en aarzeling zich in de praktijk vaak gelijk manifesteren, wordt er een binaire annotatie gebruikt: aanwezigheid (1) of afwezigheid (0) van A/H.
• Cues: Annotatoren noteerden specifieke aanwijzingen (cues) zoals gezichtsuitdrukkingen, lichaamstaal, pauzes, en vooral inconsistenties tussen modaliteiten.
• Tijdsstempels: Precieze start- en eindtijden van A/H-segmenten zijn vastgelegd (gemiddelde duur van een segment is ca. 4,3 seconden).

Ethiek en Toegang:
De dataset is goedgekeurd door ethische commissies en is beschikbaar voor onderzoek via een licentieovereenkomst (EULA), inclusief ruwe video's, getranscribeerde audio, en metadata.

3. Experimentele Opzet en Baseline Resultaten

De auteurs hebben diverse baseline-modellen getraind en geëvalueerd om de moeilijkheidsgraad van de taak te kwantificeren.

Preprocessing:

• Visueel: Gezichtsuitdrukkingen (gecropt en uitgelijnd) met RetinaFace.
• Audio: Log-mel-spectrogrammen via VGGish.
• Tekst: Transcripties via Whisper, gevolgd door BERT-features.

Belangrijkste Bevindingen uit de Baselines:

1. Scheefverdeling: De dataset is sterk onevenwichtig (ongeveer 17% A/H frames). Dit vereist aangepaste evaluatiemetrics zoals Average F1 (AVGF1) en Average Precision (AP).
2. Context is cruciaal: Modellen die alleen op individuele frames trainen zonder context, presteren slecht (AP < 0,21). Het gebruik van temporele context (bijv. via TCN of vensters van opeenvolgende frames) verbetert de prestaties aanzienlijk, aangezien A/H een tijdelijk fenomeen is.
3. Multimodaliteit:
   • Tekst alleen presteerde beter dan visueel of audio alleen.
   • Combinaties van modaliteiten (bijv. Audio + Tekst) verbeterden de prestaties verder.
   • Echter, het simpelweg samenvoegen van drie modaliteiten (Visueel + Audio + Tekst) leidde soms tot een lichte daling in AP, wat suggereert dat geavanceerde fusietechnieken nodig zijn om de conflicten tussen modaliteiten correct te interpreteren.
4. Fusietechnieken: Methoden zoals Co-attention (LFAN) en Concatenatie (CAN) presteerden beter dan standaard Transformer-fusie, wat aangeeft dat het modelleren van interacties tussen modaliteiten essentieel is.
5. Zero-shot en Personalisatie:
   • Zero-shot inferentie met Multimodal Large Language Models (M-LLMs) presteerde matig, maar verbeterde aanzienlijk wanneer transcripties en definities in de prompt werden opgenomen.
   • Domain Adaptation: Methoden voor Source-Free Unsupervised Domain Adaptation (SFUDA) en Subject-based Domain Adaptation toonden aan dat personalisatie per gebruiker de prestaties kan verbeteren, wat belangrijk is voor individuele gezondheidsinterventies.

4. Belangrijkste Bijdragen

1. Eerste BAH-dataset: Introductie van de eerste openbare, multimodale dataset specifiek voor het herkennen van ambivalentie en aarzeling in video's, ontworpen voor digitale gedragsverandering.
2. Gedetailleerde Annotatie: Levering van frame- en videoniveau-annotaties met tijdstempels en specifieke cues (inclusief cross-modale inconsistenties), wat inzicht geeft in hoe mensen A/H uiten.
3. Benchmarking: Uitgebreide baseline resultaten die de huidige staat van de techniek tonen en de beperkingen van bestaande modellen blootleggen (vooral de noodzaak voor temporele modellering en gespecialiseerde fusie).
4. Open Science: Publicatie van code, pre-trained weights en een toegangspunt voor de dataset, inclusief resultaten van een wedstrijd op de ABAW 2025/2026 conferenties.

5. Significantie en Toekomstperspectief

De BAH-dataset is een mijlpaal voor het veld van affective computing en digitale gezondheidszorg. Het stelt onderzoekers in staat om:

• Robuuste modellen te ontwikkelen die kunnen detecteren wanneer gebruikers twijfelen of weerstand voelen tegen gedragsverandering.
• Persoonlijke interventies te creëren die in real-time kunnen reageren op deze subtiele signalen (bijv. een virtuele coach die de aanpak aanpast bij detectie van aarzeling).
• De complexiteit van menselijke emoties beter te begrijpen, specifiek de dynamiek van conflicterende intenties.

De resultaten tonen aan dat standaard multimodale modellen onvoldoende zijn. Toekomstig werk moet zich richten op gespecialiseerde fusiemethoden die specifiek zijn ontworpen om affectieve conflicten (dissonantie) tussen en binnen modaliteiten te detecteren, evenals op temporele modellering om de fluctuerende aard van A/H te vangen. De dataset vormt een essentiële basis voor de volgende generatie AI-gedreven gezondheidsinterventies.