BAH Dataset for Ambivalence/Hesitancy Recognition in Videos for Digital Behavioural Change

Questo paper introduce il dataset BAH, un nuovo insieme di dati multimodale composto da 1.427 video annotati da esperti per il riconoscimento automatico dell'ambivalenza e dell'esitazione nei contesti di cambiamento comportamentale digitale, fornendo anche risultati preliminari che evidenziano la necessità di modelli spaziotemporali avanzati.

L'essenziale

🎭 Il "Dubbio" Digitale: Come insegnare alle macchine a capire quando non siamo sicuri di noi stessi

Immagina di essere in una conversazione con un amico. Lui ti chiede: "Vuoi davvero smettere di mangiare la pizza ogni sera?".
Tu rispondi: "Sì, certo! Voglio stare meglio..." (ma la tua voce trema, i tuoi occhi guardano altrove e il tuo corpo si rannicchia).

In quel momento, stai vivendo un conflitto interiore. In psicologia, questo si chiama Ambivalenza (avere due sentimenti opposti) o Esitazione (dubitare). È quel momento in cui sei "sì e no" allo stesso tempo.

Il problema è che, mentre un bravo terapeuta umano può accorgersene guardando il tuo tono di voce e il tuo sguardo, i computer (e le app di salute digitale) sono ancora molto "stupidi" su questo. Vedono solo che hai detto "Sì", e basta. Non colgono il "ma..." nascosto nel tuo sguardo.

📸 La Nuova "Scuola di Dubbio": Il Dataset BAH

Gli autori di questo paper (un gruppo di ricercatori canadesi) hanno detto: "Basta! Dobbiamo insegnare alle macchine a leggere questi segnali sottili". Ma per farlo, avevano bisogno di un "libro di testo". E così hanno creato il Dataset BAH.

Ecco come funziona, spiegato con un'analogia:

1. La "Finta Intervista" (La Raccolta Dati)

Immagina di entrare in una stanza virtuale. C'è un avatar (un omino digitale) che ti fa 7 domande sulla tua vita.

• "Cosa ti piace fare?"
• "Cosa odi fare?"
• "C'è qualcosa che vorresti fare ma non riesci a iniziare?"

Mentre rispondi, la tua webcam e il tuo microfono registrano tutto: la tua faccia, la tua voce, le tue mani che si muovono e le parole che dici. Hanno fatto questo con 300 persone in Canada, per un totale di oltre 10 ore di video.

2. I "Detective del Dubbio" (L'Annotazione)

Qui viene la parte magica. Hanno preso questi video e li hanno mostrati a tre esperti umani (psicologi e comportamentisti).
Questi esperti hanno agito come detective:

• Hanno guardato il video e detto: "Ehi, qui c'è un dubbio!".
• Hanno segnato esattamente quando iniziava e finiva quel dubbio (anche solo per pochi secondi).
• Hanno scritto perché lo pensavano: "Guarda, ha detto 'sì' ma ha scrollato la testa" oppure "La sua voce era incerta mentre parlava di un hobby".

Hanno creato una "mappa" di 1.427 video, segnando ogni singolo momento di esitazione.

3. Cosa ci insegnano i risultati? (Le Scoperte)

Quando hanno provato a far "studiare" questi video a dei computer (modelli di Intelligenza Artificiale), è successo qualcosa di interessante:

• È difficile! Anche per i computer più intelligenti, capire il dubbio è come cercare di sentire un sussurro in una stanza rumorosa. I computer attuali fanno fatica.
• Non basta guardare la faccia: Se guardi solo la faccia, perdi il 50% dell'informazione. Devi ascoltare anche la voce e leggere le parole. È come se per capire se una persona è arrabbiata, dovessi guardare il suo viso, sentire il tono della voce e leggere il suo diario.
• Il tempo conta: Il dubbio non è un'istantanea. È come un'onda che va e viene. Il computer deve guardare un pezzetto di video (un contesto), non un singolo fotogramma, per capire cosa sta succedendo.

🚀 Perché è importante? (L'Obiettivo Finale)

Immagina un personal trainer digitale o un assistente virtuale che ti aiuta a smettere di fumare o a mangiare meglio.
Oggi, se tu esiti, l'assistente potrebbe dirti: "Bravo! Continua così!" (perché ha letto solo le parole).
Con il nuovo sistema basato su questo dataset, l'assistente potrebbe dire: "Sento che sei un po' indeciso su questo punto. Vuoi parlarne? È normale avere dubbi".

Questo rende la tecnologia più umana, più empatica e più efficace. Invece di essere un robot che dà ordini, diventa un compagno che capisce le tue emozioni vere, anche quelle che non dici ad alta voce.

📝 In sintesi

Gli autori hanno creato la più grande "biblioteca di dubbi" al mondo (BAH) per insegnare alle macchine a leggere tra le righe delle nostre emozioni. È un passo fondamentale per rendere le app di salute non solo intelligenti, ma anche comprensive.

Il messaggio chiave: Per capire davvero le persone, non basta ascoltare le parole; bisogna guardare il modo in cui le dici, come ti muovi e come la tua voce trema quando sei in dubbio. E ora, finalmente, anche i computer stanno imparando a farlo.

Sommario tecnico

1. Il Problema: Ambivalenza ed Esitazione (A/H)

L'ambivalenza e l'esitazione (A/H) sono costrutti psicologici strettamente correlati che rappresentano le principali cause per cui gli individui ritardano, evitano o abbandonano i cambiamenti comportamentali legati alla salute. Si tratta di emozioni sottili e conflittuali che collocano una persona in uno stato intermedio tra orientamenti positivi e negativi, o tra accettazione e rifiuto.

• Natura Multimodale: L'A/H si manifesta come una discordanza affettiva tra diverse modalità (es. espressioni facciali, linguaggio del corpo, tono di voce) o all'interno della stessa modalità.
• Sfida Attuale: Sebbene gli esperti umani possano riconoscere l'A/H durante le interazioni di persona, l'integrazione di queste capacità negli interventi digitali di salute (e-health) è costosa e poco efficace.
• Lacuna nella Ricerca: Non esistevano dataset specifici per addestrare modelli di Machine Learning (ML) capaci di riconoscere l'A/H. La maggior parte dei lavori precedenti si concentra su emozioni discrete di base (es. felicità, tristezza) o stati ordinali (es. dolore, stress), trascurando le emozioni composte e conflittuali tipiche dell'A/H.

2. Metodologia e Dataset BAH

Per colmare questa lacuna, gli autori hanno introdotto il BAH (Behavioural Ambivalence/Hesitancy), il primo dataset multimodale dedicato al riconoscimento dell'A/H nei video.

Raccolta Dati

• Partecipanti: 300 partecipanti reclutati in 9 province del Canada, con un'età compresa tra 18 e 74 anni e un'ampia diversità etnica.
• Protocollo: I partecipanti hanno utilizzato una piattaforma web ("Automatic Expression Recognition") per rispondere a 7 domande strutturate ma autentiche, progettate per elicitarre risposte neutre, positive, negative, ambivalenti, volitive, resistenti ed esitanti.
• Modalità: Registrazione video/audio tramite webcam e microfono dei dispositivi personali.
• Volume: 1.427 video totali (circa 10,60 ore), di cui 778 contengono segmenti di A/H (circa 1,79 ore). Il dataset include 916.618 frame, di cui 156.255 etichettati come contenenti A/H.

Annotazione

• Esperti: Tre esperti in scienze comportamentali hanno annotato i dati.
• Livelli di Annotazione:
  • Livello Video: Presenza/assenza globale di A/H.
  • Livello Frame: Segmenti temporali precisi (timestamp di inizio e fine) in cui l'A/H si manifesta.
  • Cue (Indizi): Gli annotatori hanno identificato i segnali specifici (es. "sguardo altrove", "cambiamento di postura", pause, esitazioni verbali) e le incongruenze tra le modalità.
• Etichettatura: Poiché ambivalenza ed esitazione si manifestano in modo simile, l'etichettatura è binaria (1 = presenza A/H, 0 = assenza).

Pre-elaborazione e Modelli di Base

Il paper descrive anche la pipeline di pre-elaborazione per le tre modalità:

1. Visiva: Rilevamento e allineamento dei volti (RetinaFace), resize a 256x256.
2. Audio: Estrazione di log-melspectrogrammi tramite VGGish.
3. Testuale: Trascrizione audio tramite Whisper ed estrazione di feature con BERT.

3. Risultati Sperimentali

Gli autori hanno valutato diversi modelli baseline per il riconoscimento frame-level e video-level, esplorando l'impatto del contesto temporale, della multimodalità e delle tecniche di fusione.

• Difficoltà del Task: Le prestazioni dei modelli baseline sono state limitate, evidenziando la complessità del riconoscimento dell'A/H.
  • Solo Visivo: AP (Average Precision) molto basso (< 0.21), AVGF1 intorno a 0.51.
  • Solo Testo: Ha ottenuto le migliori prestazioni tra le modalità singole (AVGF1 ~0.55, AP ~0.25), sottolineando l'importanza delle parole e delle esitazioni verbali.
• Impatto del Contesto: L'uso di finestre temporali (context) ha migliorato le prestazioni rispetto all'analisi frame-by-frame, confermando che l'A/H è uno stato sostenuto e non istantaneo.
• Fusione Multimodale:
  • La combinazione di Audio e Testo ha dato i risultati migliori tra le coppie (AVGF1 ~0.56).
  • La fusione delle tre modalità (Visivo + Audio + Testo) ha mostrato un leggero calo nell'AP rispetto alla coppia Audio+Testo, suggerendo che le tecniche di fusione standard (concatenazione, attention semplice) non sono sufficienti per gestire i conflitti affettivi sottili tra le modalità.
• Adattamento di Dominio (Personalizzazione):
  • Sono stati testati metodi di Unsupervised Domain Adaptation (UDA) e Source-Free UDA (SFUDA) per personalizzare i modelli su singoli utenti.
  • Il metodo basato su pseudo-labeling (Sub-based) ha ottenuto le migliori prestazioni (AVGF1 0.54), superando significativamente il baseline "Source-only", dimostrando che l'adattamento al singolo soggetto è cruciale per questo task.
• Zero-Shot con LLM: L'uso di modelli linguistici multimodali (M-LLMs) in zero-shot ha mostrato risultati promettenti solo quando forniti con trascrizioni e definizioni chiare, confermando la dipendenza dei LLM dalla modalità testuale per compiti sottili.

4. Contributi Chiave

1. Dataset BAH: Il primo dataset pubblico e multimodale specifico per il riconoscimento dell'ambivalenza e dell'esitazione in video, progettato con validità ecologica per simulare interventi digitali reali.
2. Annotazione Ricca: Fornisce non solo etichette binarie, ma anche timestamp precisi, cue comportamentali dettagliati (faciali, vocali, corporei, linguistici) e indicatori di incongruenza tra modalità.
3. Benchmark e Analisi: Risultati preliminari che evidenziano la difficoltà del task e la necessità di modelli specializzati per la fusione multimodale e la modellazione temporale.
4. Disponibilità: Codice, pesi pre-addestrati e dataset (con accesso controllato per ricerca) sono disponibili pubblicamente.

5. Significato e Implicazioni Future

Il lavoro di González et al. è fondamentale per l'avanzamento dell'Affective Computing applicato alla salute digitale.

• Personalizzazione degli Interventi: Il riconoscimento automatico dell'A/H permette di adattare gli interventi digitali in tempo reale (es. chatbot, assistenti virtuali) quando un utente mostra resistenza o indecisione, migliorando l'aderenza e l'efficacia dei programmi di cambiamento comportamentale.
• Nuova Direzione di Ricerca: Sposta il focus dalle emozioni discrete di base alle emozioni complesse e conflittuali, richiedendo nuovi approcci architetturali che possano catturare le sottili incongruenze inter-modalità.
• Scalabilità: Fornisce una base per sviluppare strumenti automatizzati ed economici, riducendo la dipendenza da valutatori umani costosi nelle applicazioni di e-health.

In sintesi, il paper stabilisce un nuovo standard per la ricerca sull'A/H, fornendo sia i dati necessari che le prime linee guida sulle sfide tecniche da affrontare per rendere gli interventi digitali di salute più empatici e reattivi.