Ambivalence/Hesitancy Recognition in Videos for Personalized Digital Health Interventions

Titolo: Riconoscimento dell'Ambivalenza/Esitazione nei Video per Interventi di Salute Digitale Personalizzati

1. Il Problema

Gli interventi sanitari comportamentali mirano a modificare comportamenti ad alto rischio (come fumo, inattività fisica, dieta scadente) per prevenire malattie croniche. Tuttavia, il successo di questi interventi è spesso ostacolato dall'ambivalenza e dall'esitazione (A/H): stati emotivi complessi e conflittuali in cui un individuo oscilla tra l'accettazione e il rifiuto di un cambiamento comportamentale.

• Sfida Clinica: Riconoscere l'A/H è cruciale per personalizzare gli interventi, ma gli esperti umani sono costosi e difficili da scalare, specialmente nelle regioni con risorse limitate.
• Sfida Tecnologica: L'A/H è un'emozione "composta" e sottile che si manifesta come inconsistenza affettiva sia all'interno di una singola modalità (es. tono di voce vs parole) che tra modalità diverse (es. espressione facciale vs linguaggio del corpo). I modelli attuali di riconoscimento delle emozioni si concentrano su emozioni discrete di base (felicità, tristezza) o stati ordinali (dolore, stress), fallendo nel catturare queste sfumature conflittuali.
• Obiettivo: Sviluppare metodi automatizzati basati sull'apprendimento automatico (ML) per rilevare l'A/H nei video, al fine di rendere gli interventi di salute digitale più efficaci, economici e personalizzati.

2. Metodologia

Gli autori hanno esplorato l'applicazione di modelli di Deep Learning per il riconoscimento dell'A/H utilizzando il dataset BAH (Behavioural Ambivalence/Hesitancy), unico nel suo genere, composto da 1.427 video di 300 partecipanti con annotazioni a livello di frame e video. Il dataset include tre modalità: visiva, audio e trascrizione testuale.

Lo studio ha analizzato tre scenari di apprendimento distinti:

• A. Apprendimento Supervisionato:

  • Pre-elaborazione: Estrazione di volti (RetinaFace), features audio (VGGish su spettrogrammi Mel) e features testuali (BERT su trascrizioni Whisper).
  • Architetture: Confronto di backbone CNN (ResNet) e ViT (APViT) pre-addestrati su riconoscimento di emozioni di base.
  • Modellazione Contestuale: Valutazione dell'impatto del contesto temporale tramite Reti Neurali Convolutive Temporali (TCN) rispetto all'analisi di frame isolati.
  • Fusione Multimodale: Sperimentazione di tecniche di fusione (concatenazione, co-attention, transformer, cross-attention) per integrare video, audio e testo.
  • Classificazione Video: Utilizzo di modelli specializzati come Video-FocalNet e EmoCLIP.

• B. Personalizzazione tramite Adattamento di Dominio (Domain Adaptation - DA):

  • Obiettivo: Adattare un modello addestrato su dati sorgente a singoli utenti target (dominio target) senza etichette specifiche per quell'utente.
  • Approcci testati:
    • Unsupervised Domain Adaptation (UDA): Uso di dati sorgente etichettati e target non etichettati (es. MMD, ACPL).
    • Source-Free DA (SFDA): Adattamento solo con dati target non etichettati (es. SHOT, NRC).
    • Test-Time Adaptation (TTA): Adattamento durante l'inferenza su campioni non etichettati (es. CLIP-AUTT, T3AL).

• C. Inferenza Zero-Shot con Modelli Linguistici Multimodali (MLLM):

  • Utilizzo di modelli come Video-LLaVA e AffectGPT.
  • Strategia: Sperimentazione di diversi prompt (semplici, con definizioni di ambivalenza, con trascrizioni testuali) per valutare la capacità dei LLM di inferire stati conflittuali senza addestramento specifico.

3. Contributi Chiave

1. Analisi del Dataset BAH: Prima valutazione approfondita delle prestazioni di modelli di deep learning su un dataset specifico per l'ambivalenza comportamentale.
2. Valutazione Multimodale: Dimostrazione che l'uso combinato di testo, audio e video è superiore all'uso di singole modalità, ma che le tecniche di fusione standard (come la semplice concatenazione) non sono sufficienti per catturare i conflitti affettivi.
3. Benchmark di Personalizzazione: Confronto sistematico di strategie di adattamento di dominio (UDA, SFDA, TTA) per la personalizzazione degli interventi di salute, evidenziando che l'accesso ai dati sorgente (UDA) offre ancora i migliori risultati rispetto ai metodi source-free.
4. Analisi dei LLM: Dimostrazione che i modelli MLLM in zero-shot sono fortemente dipendenti dal prompt; la fornitura di trascrizioni testuali e definizioni chiare migliora drasticamente le prestazioni, suggerendo che la componente testuale è fondamentale per il ragionamento su stati emotivi complessi.

4. Risultati

• Prestazioni Limitate: I risultati complessivi mostrano prestazioni limitate (es. AP < 0.26 per la classificazione frame-level con modelli supervisionati), indicando che i modelli attuali faticano a riconoscere l'A/H.
• Importanza del Contesto: L'uso del contesto temporale (TCN) ha migliorato le prestazioni rispetto all'analisi di frame isolati, confermando che l'A/H è un fenomeno temporale.
• Fusione Multimodale: La combinazione di Audio e Testo ha ottenuto le migliori prestazioni tra le coppie di modalità (AVGF1 ~0.5586). Tuttavia, la fusione delle tre modalità ha talvolta ridotto le prestazioni, suggerendo la necessità di meccanismi di fusione più sofisticati capaci di rilevare conflitti.
• Adattamento di Dominio: L'approccio ACPL (UDA) ha ottenuto i migliori risultati nella personalizzazione (AVGF1 0.5417), superando significativamente il baseline "Source-only". I metodi TTA hanno migliorato la coerenza delle decisioni (WAR) ma hanno avuto guadagni limitati sulla classe positiva.
• MLLM: L'inferenza zero-shot con Video-LLaVA ha mostrato che i prompt contenenti trascrizioni e definizioni (es. "Transcript + Def 1") raggiungono AVGF1 di 0.6341 (video-level), ma il fine-tuning porta a un miglioramento significativo (0.7142), indicando che questi modelli richiedono adattamento specifico per questo compito complesso.

5. Significato e Implicazioni

• Necessità di Nuovi Modelli: Il lavoro conclude che i modelli multimodali standard non sono sufficienti per il riconoscimento dell'A/H. È necessario sviluppare architetture specializzate in grado di modellare esplicitamente i conflitti spaziali e temporali sia all'interno che tra le modalità.
• Framework Proposto: Gli autori raccomandano un approccio a due livelli:
  1. Modellazione indipendente dell'affetto per ogni modalità.
  2. Un meccanismo di fusione dedicato che cerchi attivamente incongruenze e conflitti tra le modalità per prendere una decisione.
• Impatto sulla Salute Digitale: Un riconoscimento automatico e accurato dell'A/H permetterebbe di creare interventi digitali adattivi in tempo reale, che modificano le strategie di supporto in base alla prontezza del paziente al cambiamento, migliorando l'aderenza terapeutica e riducendo i costi.
• Limiti: Le prestazioni attuali sono ancora basse, e la generalizzabilità è limitata al contesto di interviste Q&A del dataset BAH. Sono necessari ulteriori studi su dataset più diversificati e su scenari di interazione più complessi.

In sintesi, il paper stabilisce le basi per un nuovo campo di ricerca nel computing affettivo, evidenziando la difficoltà tecnica nel rilevare emozioni conflittuali e la necessità di un cambio di paradigma dai modelli di classificazione standard a modelli specifici per il conflitto multimodale.