Expert-Guided Multimodal Fusion for Unified Emotion and Sentiment Analysis

Immagina di cercare di capire l'umore di un amico solo osservandolo. Non ti limiti ad ascoltare cosa dice; osservi anche le sue espressioni facciali, ascolti il tono della sua voce e noti il suo linguaggio del corpo. Nel mondo dell'informatica, questo è chiamato "comprensione emotiva multimodale". È un ramo dell'intelligenza artificiale dedicato a insegnare alle macchine a sentire ciò che sentono gli esseri umani, combinando testo, audio e video. Per molto tempo, i computer sono stati terribili in questo. Potevano leggere una frase e indovinare se fosse felice o triste, ma spesso perdevano il sarcasmo in una voce o la tristezza nascosta dietro un sorriso. Trattavano questi diversi indizi come pezzi di un puzzle separati e non connessi, piuttosto che come parti di un unico, complesso quadro. Questo è importante perché, se vogliamo che i computer siano bravi ad aiutarci con la salute mentale, a chiacchierare naturalmente con noi o ad analizzare i social media, devono comprendere l'intero contesto emotivo, non solo le parole.

Entra in scena un nuovo team di ricercatori che ha costruito un sistema chiamato EGMF (Expert-Guided Multimodal Fusion). Pensa a questo sistema come a una squadra di detective super intelligenti che lavorano all'interno di un gigantesco cervello linguistico. Invece di limitarsi a incollare insieme audio, video e testo, hanno creato una speciale "cucina della fusione" dove tre diversi tipi di chef esperti lavorano insieme per cucinare la perfetta comprensione emotiva. Uno chef è un "Esperto Locale" che si concentra sui dettagli minuscoli e sottili, come un leggero aggrottare le sopracciglia o una voce tremante. Un altro è un "Esperto Semantico" che osserva come la voce e il volto si coordinino con le parole. Il terzo è un "Esperto Globale" che fa un passo indietro per vedere il quadro generale dell'intera conversazione. Questi esperti non si limitano a urlare le proprie opinioni; utilizzano un intelligente "sistema di gating" per decidere chi deve parlare in base alla situazione attuale. Se la conversazione è caotica, l'Esperto Globale prende il comando; se è un momento tranquillo, l'Esperto Locale brilla.

I ricercatori hanno scoperto che questo approccio basato sul team funziona incredibilmente bene. Hanno testato il loro sistema su quattro diversi dataset, incluse conversazioni in inglese e cinese. Sul dataset delle emozioni in inglese chiamato MELD, il loro sistema ha ottenuto un punteggio F1 pesato del 65,57%, superando il precedente miglior metodo dello 0,06%. Sul dataset cinese CHERMA, hanno registrato un salto massiccio, migliorando il punteggio del 3,36% arrivando al 73,90%. Per l'analisi del sentiment (misurare quanto qualcosa sia positivo o negativo), hanno raggiunto l'87,09% sul dataset inglese MOSEI e l'82,43% sul dataset cinese SIMS-V2.

Ciò che rende tutto questo ancora più impressionante è il modo in cui l'hanno fatto. Inveve di riaddestrare l'intero gigantesco cervello (il che richiederebbe un tempo infinito e costerebbe una fortuna), hanno usato un trucco astuto chiamato LoRA (Low-Rank Adaptation). Immagina che il grande modello linguistico sia una massiccia biblioteca di libri. Invece di riscrivere ogni singolo libro, hanno solo aggiunto alcuni post-it con nuove istruzioni. Questo ha permesso loro di insegnare al sistema a comprendere le emozioni senza bisogno di un supercomputer grande quanto una città. Hanno anche scoperto che il loro sistema è particolarmente bravo a gestire il cinese, suggerendo che la "squadra di esperti" è specialmente brava a decodificare il complesso mix di indizi visivi e audio in quella lingua. Sebbene il sistema non sia perfetto — fatica ancora un po' con le emozioni molto sottili come il "disgusto" o i sentimenti estremamente intensi — dimostra che un approccio unificato e guidato da esperti è un nuovo modo potente per aiutare le macchine a comprendere la disordinata, bellissima complessità dei sentimenti umani.