💻 computer science

Foundation Model Embeddings Meet Blended Emotions: A Multimodal Fusion Approach for the BLEMORE Challenge

Questo lavoro presenta un sistema multimodale per la sfida BLEMORE che combina sei famiglie di encoder, inclusi per la prima volta i Gemini Embedding 2.0, ottenendo il sesto posto grazie a una fusione tardiva delle probabilità e all'identificazione di strategie chiave come l'uso di layer specifici di Wav2Vec2 e soglie di salienza personalizzate.

Autori originali: Masoumeh Chapariniya, Aref Farhadipour, Sarah Ebling, Volker Dellwo, Teodora Vukovic

Pubblicato 2026-03-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Masoumeh Chapariniya, Aref Farhadipour, Sarah Ebling, Volker Dellwo, Teodora Vukovic

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🎭 Il Detective delle Emozioni Miste: Come abbiamo insegnato all'AI a capire i sentimenti complessi

Immagina di essere in una stanza piena di persone. Una persona ride, ma nei suoi occhi c'è anche un po' di tristezza. Un'altra urla di gioia, ma le sue mani tremano di paura. Queste non sono emozioni "pure" (solo felici o solo arrabbiate), ma emozioni miste (o "blended"), dove diversi sentimenti si mescolano come colori su una tavolozza.

Il compito di questo gruppo di ricercatori (dall'Università di Zurigo) era costruire un "detective digitale" capace di guardare un video di 3-8 secondi, capire quali emozioni ci sono e, soprattutto, dire quanto è forte ciascuna di esse (ad esempio: "70% rabbia, 30% paura").

Ecco come hanno fatto, passo dopo passo, con un approccio che è come un'orchestra di strumenti musicali diversi.

1. L'Orchestra di Detective (Il Sistema Multimodale)

Invece di affidarsi a un solo "detective", hanno creato un team di sei esperti diversi, ognuno specializzato in una cosa. Alla fine, mettono insieme le loro opinioni per prendere la decisione finale.

👀 L'Osservatore del Viso (S4D-ViTMoE): È come un attore di teatro che guarda solo i muscoli del viso. È stato addestrato a riconoscere espressioni facciali classiche, ma qui l'hanno "aggiustato" per capire che un sorriso può nascondere una lacrima. Non guarda il corpo, solo la faccia, per non farsi distrarre dallo sfondo.
🗣️ L'Ascoltatore della Voce (Wav2Vec2): Qui c'è un trucco geniale. Le persone nel video non parlano parole vere, ma fanno versi: risate, pianti, sospiri. Se usassi un traduttore di lingue (che cerca le parole), fallirebbe. Invece, hanno detto al detective: "Non ascoltare le parole, ascolta il ritmo e il tono!". Hanno preso solo le parti del cervello dell'AI che capiscono l'emozione nella voce, ignorando quelle che capiscono le parole. È come ascoltare la musica di fondo invece della canzone.
💃 L'Osservatore del Corpo (TimeSformer e VideoMAE): A volte la faccia è un "maschera" e il corpo dice la verità. Se qualcuno è nervoso, potrebbe avere le mani che tremano o la schiena curva. Questi due esperti guardano il corpo intero per catturare quei segnali che la faccia non mostra.
🤖 Il Genio Universale (Gemini Embedding 2.0): Questa è la novità assoluta! Hanno usato un'intelligenza artificiale enorme e potente (un "Modello Fondamentale") che è stato addestrato su tutto internet, non solo sulle emozioni. È come avere un saggio che ha letto tutti i libri del mondo. La cosa incredibile? Questo saggio riesce a capire l'emozione guardando solo i primi 2 secondi del video, anche se il video dura di più. È un'intuizione velocissima.
📚 Gli Esperti di Base: Hanno anche aggiunto alcuni "vecchi maestri" (altri modelli già pronti) per assicurarsi di non perdere nessun dettaglio.

2. La Magia della Fusione (Late Fusion)

Ogni detective fa la sua previsione. Ma come decidono chi ha ragione?
Immagina che ogni detective abbia un voto. Non danno tutti lo stesso peso.

Se il detective "Corpo" vede qualcosa di molto chiaro, il suo voto conta di più.
Se il "Genio Universale" (Gemini) ha un'intuizione forte, il suo voto pesa tantissimo.
Hanno imparato a pesare questi voti in modo intelligente: i loro modelli "addestrati specificamente" (quelli che hanno studiato il problema da vicino) hanno vinto il 62% del peso totale, mentre i modelli generici ne hanno avuto il 38%.

3. Il Problema della "Soglia" (Il vero nemico)

C'è un ostacolo curioso. Per decidere se un'emozione è presente o meno, e quanto è forte, il sistema deve usare una "linea di confine" (una soglia).

Metafora: Immagina di dover decidere se un bicchiere è "mezzo pieno". Se la linea di confine è bassa, lo dici mezzo pieno anche se c'è solo un goccio. Se è alta, devi riempirlo quasi fino all'orlo.
La scoperta: Hanno scoperto che questa linea di confine non è fissa! Cambia da persona a persona. Per un attore, la linea è molto bassa (è molto espressivo), per un altro è molto alta (è molto riservato).
Questo è il vero problema: l'AI non è "stupida", ma le persone sono tutte diverse nel modo in cui mostrano le emozioni. È come se ogni persona avesse il proprio "dialetto" emotivo.

4. I Risultati: Come è andata?

Il loro sistema è arrivato 6° nella competizione mondiale (BLEMORE Challenge).

Hanno ottenuto un punteggio di 0.279 (su una scala dove più è alto, meglio è).
Hanno battuto di gran lunga i sistemi precedenti, specialmente grazie all'uso del "Genio Universale" (Gemini) che, nonostante guardasse solo 2 secondi, ha dato un contributo enorme.
Hanno anche dimostrato che, per i dati vocali (versi e non parole), è meglio "congelare" le parti dell'AI che capiscono l'emozione e non riaddestrarle tutto da zero, evitando che l'AI si confonda.

🌟 In sintesi

Questo paper ci insegna tre cose fondamentali:

Non serve un solo supereroe: Un team di esperti diversi (viso, corpo, voce, intelligenza generale) funziona meglio di uno solo.
La voce senza parole è potente: Per capire le emozioni, a volte è meglio ignorare le parole e ascoltare il "come" si parla, non il "cosa".
Ognuno è unico: Il vero limite non è la potenza del computer, ma il fatto che ogni persona esprime le emozioni in modo unico. Costruire un'AI che capisca queste differenze individuali è la sfida del futuro.

Hanno aperto una porta nuova: usare i "giganti" dell'AI (come Gemini) per capire le emozioni umane, anche con pochissimi dati, e ci hanno ricordato che l'emozione umana è un mix complesso che richiede un approccio sfumato, non una risposta secca.

1. Il Problema: Riconoscimento delle Emozioni Miste e Salienza

Il lavoro affronta la sfida BLEMORE (presentata alla conferenza FG 2026), focalizzata sul riconoscimento di emozioni miste (blended emotions) e sulla previsione della loro salienza relativa.

Complessità: Le espressioni umane sono spesso composte da più emozioni che coesistono con diversi livelli di intensità (es. rabbia al 70% e paura al 30%).
Dataset: Il dataset BLEMORE contiene 3.050 clip video di 58 attori che esprimono 6 emozioni di base e 10 combinazioni miste, annotate con rapporti di salienza specifici (50/50, 70/30, 30/70).
Obiettivo: Il sistema deve risolvere due problemi accoppiati:
1. Riconoscimento della presenza: Quali emozioni sono espresse?
2. Riconoscimento della salienza: Qual è il rapporto di intensità tra le emozioni presenti?
Metrica: La valutazione è basata su un punteggio composto: $Score = 0.5 \cdot ACCP + 0.5 \cdot ACCS$ , dove $ACCP$ è l'accuratezza sulla presenza e $ACCS$ sulla salienza. Una criticità del sistema di valutazione è la necessità di convertire le probabilità continue in previsioni discrete tramite due soglie ( $\alpha$ per la presenza, $\beta$ per la salienza), che possono causare overfitting specifico per attore.

2. Metodologia: Approccio Multimodale a Fusione Tardiva

Il sistema proposto utilizza un ensemble di 12 encoder raggruppati in 6 famiglie, i cui output probabilistici vengono fusi tramite una fusione tardiva (late probability fusion) pesata.

A. Encoder Visivo Facciale: S4D-ViTMoE

Adattamento: Utilizza il framework S4D (Vision Transformer con Mixture-of-Experts), pre-addestrato su espressioni facciali categoriche.
Modifiche chiave:
- Preprocessing: Estrazione di ritagli facciali (face crops) allineati per mantenere la distribuzione dei dati del pre-training.
- Training con Soft-label KL: Sostituzione della Cross-Entropy con la divergenza KL su etichette soft che codificano i rapporti esatti di blend (es. [0.7, 0, 0.3...]), preservando il segnale di salienza.
- Finetuning Selettivo: Solo gli strati adattatori (MoE) e la testa di classificazione sono addestrati; il backbone è congelato.
- Campionamento Temporale: Utilizzo di strategie di campionamento multi-clip durante la validazione per ridurre la sensibilità alla finestra temporale esatta.

B. Encoder Audio: Wav2Vec2 a Strati Selezionati

Sfida: Gli audio in BLEMORE sono vocalizzazioni non linguistiche (risate, pianti, grugniti), rendendo gli strati superiori di Wav2Vec2 (ottimizzati per la fonetica) irrilevanti.
Soluzione: Estrazione degli stati nascosti dagli strati intermedi (6–12) di Wav2Vec2-large, che codificano prosodia e paralinguistica.
Architettura: Gli stati estratti sono congelati; vengono aggregati statisticamente e classificati da un leggero MLP.
Risultato: Questo approccio "frozen" supera di un 22% il finetuning end-to-end, dimostrando che su dataset piccoli e non verbali, la selezione degli strati pre-addestrati è più cruciale dell'adattamento completo.

C. Encoder del Linguaggio del Corpo

Vengono utilizzati due encoder video pre-addestrati (TimeSformer e VideoMAE) su frame del corpo intero (senza ritaglio facciale).
Questi modelli catturano posture e gesti che integrano le informazioni facciali, essenziali per le emozioni miste dove l'intensità può manifestarsi più nel corpo che nel viso.

D. Embedding di Modelli Fondamentali (LMM): Gemini Embedding 2.0

Innovazione: Per la prima volta nel riconoscimento delle emozioni, vengono utilizzati embedding da un Large Multimodal Model (LMM).
Vincolo: A causa del limite di input di 2 secondi di Gemini Embedding 2.0, vengono estratti solo i primi 2 secondi delle clip (che durano 3-8 secondi).
Risultato: Nonostante il vincolo temporale, ottiene un'accuratezza sulla presenza ($ACCP$) competitiva (0.317), suggerendo che i LMM catturano semantica emotiva ricca anche da finestre temporali brevi.

E. Fusione e Post-Processing

Fusione: Le probabilità di tutti gli encoder sono combinate tramite una media pesata ( $p_{fused} = \sum w_m p_m$ ), con pesi ottimizzati tramite ricerca su griglia sui fold di validazione.
Post-Processing: Le probabilità fuse vengono convertite in previsioni discrete applicando:
1. Mascheramento top-2.
2. Soglia di presenza ( $\alpha$ ).
3. Soglia di salienza ( $\beta$ ): se la differenza tra le due probabilità è $\le \beta$ , si assegna un rapporto 50/50, altrimenti 70/30.

3. Risultati Sperimentali

Il sistema ha ottenuto il 6° posto nella competizione con i seguenti risultati sul set di test:

Score Totale: 0.279
ACCP (Presenza): 0.391 (miglioramento significativo rispetto al miglior baseline di 0.332).
ACCS (Salienza): 0.168.

Confronti Chiave:

L'ensemble di 12 encoder (incluso Gemini) ha superato l'ensemble di 9 encoder (senza Gemini) di un 6.5% nello score totale.
L'approccio audio con strati congelati di Wav2Vec2 (Score 0.207) ha battuto nettamente il finetuning end-to-end (Score 0.161).
Gli encoder adattati al task (S4D, TimeSformer, VideoMAE) hanno ricevuto il 62% del peso totale nell'ensemble, superando le feature pre-estratte generiche.

4. Contributi Chiave e Scoperte

Adattamento S4D-ViTMoE: Sviluppo di una pipeline completa per adattare un transformer video pre-addestrato su espressioni categoriche al riconoscimento di emozioni miste con salienza, utilizzando training KL su soft-label.
Estrazione di Feature Audio Selettive: Dimostrazione che per dataset piccoli e non verbali, l'estrazione di strati specifici (6-12) da modelli frozen è superiore al finetuning end-to-end, evitando l'overfitting.
Uso di LMM per le Emozioni: Prima applicazione di embedding da un modello fondazionale multimodale (Gemini 2.0) per il riconoscimento di emozioni miste, ottenendo prestazioni competitive con soli 2 secondi di video.
Analisi di Sensibilità delle Soglie: Identificazione dell'instabilità fondamentale della soglia di salienza ( $\beta$ ). I valori ottimali variano drasticamente da 0.05 a 0.43 tra i diversi fold di validazione.

5. Significato e Conclusioni

Il paper evidenzia tre intuizioni fondamentali per il futuro dell'informatica affettiva:

Importanza degli Strati Pre-addestrati: Su dataset piccoli e non verbali, la scelta degli strati corretti da estrarre è più importante dell'adattamento architetturale completo.
Potenziale dei LMM: Gli embedding di modelli fondazionali possono catturare semantica emotiva complessa anche con input temporali limitati, aprendo nuove direzioni di ricerca.
Il Collo di Bottiglia è l'Individualità: La principale sfida non è la capacità del modello, ma la variabilità dello stile espressivo individuale. L'instabilità della soglia $\beta$ (che varia di 8 volte) rivela che le soglie fisse sono inadeguate per gestire le differenze personali, suggerendo che futuri approcci dovrebbero mirare a normalizzazioni adattive all'attore o alla regressione continua della salienza per evitare la dipendenza da soglie discrete.

Il codice è disponibile pubblicamente su GitHub, facilitando la riproducibilità e lo sviluppo futuro nel campo del riconoscimento delle emozioni miste.