CF-Net: Conflict Fusion with Speaker Normalisation and Certainty Weighting for Ambivalence/Hesitancy Recognition

Immagina di cercare di leggere una stanza non guardando ciò che le persone dicono, ma individuando le piccole crepe dove le loro parole, la loro voce e il loro volto non coincidono del tutto. Questo è il affascinante mondo del riconoscimento dell'affetto multimodale, un ramo dell'intelligenza artificiale che cerca di comprendere le emozioni umane ascoltando come parliamo, osservando come ci muoviamo e leggendo ciò che scriviamo. Di solito, quando le persone sono felici, il loro sorriso, la loro risata e il loro "evviva!" si allineano perfettamente. Ma esiste un sentimento più complesso e profondamente umano chiamato ambivalenza ed esitazione. È quel momento imbarazzante in cui vorresti dire "sì" ma la tua voce vacilla, o sembri sicuro di te mentre le tue parole suonano incerte. È come un trio musicale dove il batterista suona jazz, il chitarrista suona rock e il cantante canticchia una ninna nanna; il "sentimento" non risiede in uno strumento singolo, ma nel disordinato e confuso scontro tra di essi. Rilevare questo è incredibilmente difficile per i computer perché la maggior parte delle IA è addestrata per individuare sorrisi chiari e felici, non questi segnali sottili e contraddittori.

Entra in scena CF-Net, un nuovo detective digitale costruito dai ricercatori Tung Hung Bui, Hong Hai Nguyen e Van Thong Huynh per risolvere questo specifico enigma. Si sono presentati alla 3ª edizione della Ambivalence/Hesitancy Video Recognition Challenge (parte della 11ª competizione ABAW) con un sistema progettato per smettere di indovinare e iniziare ad ascoltare gli argomenti tra i diversi "sensi" di una persona.

Il Problema: La "Trappola dell'Identità" e il "Segnale di Confusione"

I ricercatori si sono trovati di fronte a una situazione complicata. Avevano un dataset chiamato BAH, contenente clip video di persone intervistate. L'obiettivo era individuare quando un parlatore provava ambivalenza. Tuttavia, c'erano tre grandi ostacoli:

1. Il Segnale è un Disallineamento: A differenza di un viso "felice" e chiaro, l'ambivalenza è definita dall'incongruenza. Se una persona dice qualcosa di positivo ma la sua voce suona tremante, il computer deve notare quel disaccordo, non solo le parole o la voce da sole.
2. Il Problema dello "Straniero": I video di test presentavano persone che il computer non aveva mai visto prima. Se l'IA imparava a riconoscere il volto specifico o il timbro vocale di una persona (come memorizzare la risata di un amico), fallirebbe completamente di fronte a uno sconosciuto. Doveva ignorare chi stava parlando e concentrarsi solo su come stava parlando.
3. Le Etichette del "Forse": A volte, persino gli esperti umani non riuscivano a concordare se una clip mostrasse ambivalenza o meno. Il dataset includeva un "punteggio di certezza" per ogni clip, indicando quanto gli annotatori umani fossero d'accordo. L'IA doveva sapere quando fidarsi di un'etichetta e quando essere cauta.

La Soluzione: Il Trucco Magico in Tre Passaggi di CF-Net

Il team ha costruito CF-Net, un sistema che agisce come un super-intelligente mediatore in un argomento a tre vie tra Visione (ciò che vediamo), Audio (ciò che sentiamo) e Testo (ciò che viene detto).

Passaggio 1: Il Filtro "Fantasma" (Normalizzazione del Parlatore)
Per prima cosa, il sistema analizza il video e l'audio. Ma ecco il trucco: prima di analizzare l'emozione, esegue una "normalizzazione del parlatore". Immaginate di dover giudicare la performance di un cantante, ma di dover prima sottrarre la sua texture vocale unica e permanente, in modo da sentire solo le variazioni del suo tono per quella specifica canzone. CF-Net fa questo matematicamente. Calcola la "faccia" e la "voce" media di ogni parlatore e le sottrae. Questo elimina la "perdita di identità" (identity leakage) — il rischio che l'IA memorizzi semplicemente che "la Persona A sembra nervosa" — e costringe il sistema a concentrarsi solo sull'esitazione o sul conflitto momentaneo.

Passaggio 2: Il Rilevatore di "Conflitto" (ConflictFusion)
Successivamente, il sistema prende i segnali puliti dagli occhi, dalle orecchie e dal testo. Invece di limitarsi a schiacciarli insieme (il che presuppone che siano tutti d'accordo), CF-Net utilizza un modulo speciale chiamato ConflictFusion. Pensate a questo come a un arbitro che non si limita ad ascoltare i giocatori, ma misura specificamente quanto le loro opinioni siano distanti tra loro. Calcola la "distanza" tra il testo e la voce, il testo e il volto, e la voce e il volto. Se il testo dice "Sto benissimo" ma la voce suona tremante, il sistema vede un grande divario. Trasforma quel divario in una caratteristica (feature), insegnando esplicitamente all'IA che il disaccordo è il segnale che sta cercando.

Passaggio 3: Il Controllo dell' "Onestà" (Ponderazione della Certezza)
Infine, il sistema è addestrato a essere umile. I ricercatori hanno dato all'IA una "testa di certezza" — un neurone extra che cerca di indovinare quanto gli annotatori umani fossero sicuri di una clip. Se gli umani non erano sicuri (bassa certezza), l'IA riceve l'istruzione: "Non essere troppo sicura della tua risposta; questa è una questione complicata". Questo avviene tramite un trucco matematico chiamato certainty-weighted focal loss, che dice all'IA di prestare particolare attenzione agli esempi chiari e ovvi ed essere più cauta con quelli confusi.

I Risultati: Un Tocco Leggero, Una Grande Vittoria

Il team ha testato CF-Net sul dataset BAH. Non hanno cercato di riaddestrare i massicci cervelli pre-addestrati (backbone) che leggono le immagini e i suoni; li hanno mantenuti congelati per risparmiare tempo e prevenire l'overfitting. Hanno addestrato solo le piccole parti di "colla" che li connettono.

I risultati sono stati impressionanti. Sul set di validazione (un test di pratica), CF-Net ha raggiunto un Macro F1 score di 0,7155. Ma la vera magia è avvenuta sul set di test privato, che conteneva parlatori completamente nuovi che l'IA non aveva mai visto. Lì, il punteggio è salito a 0,7364 (con una Precisione Media di 0,7392).

Questo è significativo perché molti altri sistemi sono migliorati nel test di pratica ma sono peggiorati nel test reale (un segno che stavano solo memorizzando i volti della pratica). CF-Net ha fatto l'opposto: è diventato migliore quando si è trovato di fronte a estranei. Ciò dimostra che il "Filtro Fantasma" (normalizzazione del parlatore) e il "Controllo dell' Onestà" (ponderazione della certezza) hanno effettivamente funzionato, aiutando l'IA a generalizzare su nuove persone invece di barare memorizzando quelle vecchie.

In un campo in cui altri team hanno passato ore a perfezionare modelli massicci e hanno comunque faticato con il problema dello "straniero", CF-Net è riuscito a battere i migliori punteggi precedenti utilizzando un approccio leggero che si è addestrato in meno di 15 minuti su una singola scheda grafica consumer. Ha dimostrato che per comprendere l'esitazione umana, non serve sapere chi sia la persona; basta ascoltare attentamente dove le parole, la voce e il volto non sono d'accordo.