Conflict-Aware Multimodal Fusion for Ambivalence and Hesitancy Recognition

1. Il Problema: Riconoscimento dell'Ambivalenza e dell'Esitazione (A/H)

L'ambivalenza e l'esitazione sono stati affettivi sottili in cui un individuo manifesta segnali contraddittori attraverso diversi canali (es. dice una cosa, ma il volto o la voce ne rivelano un'altra).

• Contesto Clinico: Il rilevamento automatico è cruciale in psicologia clinica, economia comportamentale e interazione uomo-computer. Ad esempio, un paziente potrebbe accettare verbalmente un trattamento ma mostrare segni di dubbio o stress sul viso.
• Sfida Computazionale: A differenza delle emozioni di base (felicità, rabbia) che sono spesso coerenti su un singolo canale, l'A/H è definita proprio dalla discrepanza tra i modali (testo, audio, video). I metodi di fusione multimodale standard, progettati per trovare l'accordo tra le modalità, tendono a sopprimere proprio i segnali di disaccordo che definiscono l'A/H.
• Dataset: Il lavoro si basa sul dataset BAH (1.427 video di interviste cliniche), utilizzato nella sfida ABAW10. Il dataset è piccolo (778 video di training) e richiede tecniche di regolarizzazione avanzate.

2. Metodologia: Il Framework ConflictAwareAH

Gli autori propongono un framework multimodale che non cerca solo la coerenza, ma sfrutta esplicitamente il conflitto tra le modalità.

A. Encoder Pre-addestrati

Il sistema utilizza tre encoder pre-addestrati per estrarre rappresentazioni da ciascuna modalità:

1. Video: VideoMAE-Base (16 frame ritagliati dal volto).
2. Audio: HuBERT-Base (onda sonora grezza a 16 kHz, cattura pause, variazioni di tono, balbuzie).
3. Testo: RoBERTa-GoEmotions (trascrizione completa del video, non solo la finestra temporale visiva, per catturare indicatori di esitazione ovunque nell'intervista).

B. Pooling con Attenzione

Ogni encoder produce una sequenza di lunghezza variabile che viene ridotta a un vettore fisso (dimensione 768) tramite attention pooling appresa. Questo permette al modello di dare peso maggiore ai momenti discriminativi (es. pause esitanti, espressioni facciali emotive) rispetto ai token non informativi.

C. Fusione Consapevole del Conflitto (Core Innovation)

Il cuore del metodo è la creazione di feature di conflitto esplicite. Invece di fondere solo le embedding, il modello calcola le differenze assolute element-wise tra le embedding delle coppie di modalità:

• $c_{va} = |v - a|$ (Video vs Audio)
• $c_{vt} = |v - t|$ (Video vs Testo)
• $c_{at} = |a - t|$ (Audio vs Testo)

Queste differenze agiscono come segnali bidirezionali:

• Grandi differenze: Segnalano ambivalenza/esitazione (mismatch tra ciò che è detto e come appare/suona).
• Piccole differenze: Confermano coerenza comportamentale e ancorano la classe negativa (assenza di A/H).
  La rappresentazione finale di fusione concatena le embedding originali e le feature di conflitto: $[v; a; t; c_{va}; c_{vt}; c_{at}]$.

D. Fusione Tardiva Guidata dal Testo

Poiché il testo è la modalità più discriminativa ma sistematicamente sbilanciata (tende a sovrastimare l'A/H), viene introdotto un head ausiliario solo-testo parallelo.

• Durante l'inferenza, le probabilità del modello multimodale completo e del modello solo-testo vengono mescolate: $p = \alpha \cdot \sigma(\ell_{text}) + (1-\alpha) \cdot \sigma(\ell_{full})$.
• Con $\alpha = 0.6$, si sfrutta la forza del segnale linguistico mantenendo la robustezza delle evidenze multimodali per casi ambigui.

3. Contributi Chiave

1. Fusione Consapevole del Conflitto: Introduce feature di differenza esplicita che correggono il bias di classe dei metodi basati sul testo. Migliora il F1-NoAH (riconoscimento dell'assenza di A/H) di +4.6 punti rispetto all'uso del solo testo, riducendo a metà il divario di performance tra le classi. Questo è vitale per evitare falsi positivi che sprecherebbero tempo clinico.
2. Fusione Tardiva Guidata dal Testo: Una strategia ibrida che combina un head solo-testo con il modello multimodale, aggiungendo +4.1 punti Macro F1.
3. Efficienza e Riproducibilità: L'intero pipeline addestra in meno di 25 minuti su una singola GPU (NVIDIA RTX 4090), superando le baseline multimodali pubblicate di oltre 10 punti.

4. Risultati Sperimentali

Sul dataset BAH (ABAW10 Challenge):

• Test Split Etichettato: 0.694 Macro F1.
• Leaderboard Privato (Test non etichettato): 0.715 Macro F1.
• Confronto: Supera le baseline migliori (es. LFAN co-attention a 0.593 e Zero-shot M-LLM a 0.634) di oltre 10 punti.
• Ablazione:
  • Il solo testo ottiene 0.700, ma con un alto tasso di falsi positivi (F1-NoAH basso).
  • L'aggiunta delle feature di conflitto riduce il divario tra le classi, rendendo il modello più bilanciato e clinicamente utile.
  • L'ensemble di due checkpoint con regolarizzazioni diverse porta al risultato finale migliore.

5. Significato e Implicazioni

Il lavoro dimostra che per compiti sottili come l'ambivalenza, la discrepanza tra i canali è più informativa della coerenza.

• Correzione del Bias: I modelli basati solo sul testo tendono a "vedere" ambivalenza ovunque a causa del linguaggio di esitazione comune nelle interviste cliniche. Il modello proposto usa la coerenza visiva/acustica per "ancorare" la classe negativa, riducendo i falsi allarmi.
• Allineamento Clinico: Il sistema riflette meglio la pratica clinica, dove i professionisti valutano l'incongruenza tra parole e comportamento non verbale.
• Efficienza: Dimostra che è possibile ottenere risultati di stato dell'arte su dataset clinici piccoli senza bisogno di training massicci o infrastrutture complesse, rendendo la tecnologia accessibile per applicazioni reali.

In sintesi, ConflictAwareAH risolve il problema dell'ambivalenza non cercando di unire perfettamente le modalità, ma quantificando e sfruttando strategicamente i loro disaccordi.