Team RAS in 10th ABAW Competition: Multimodal Valence and Arousal Estimation Approach

Il paper presenta un approccio multimodale basato su volto, comportamento e audio, che integra modelli avanzati come Qwen3-VL e Mamba con strategie di fusione adattive per raggiungere un alto livello di accuratezza nella stima continua di valenza e arousal in condizioni non controllate, ottenendo un CCC di 0.658 sul dataset Aff-Wild2 durante la 10ª edizione della competizione ABAW.

L'essenziale

🎭 Il Detective delle Emozioni: Come il Team RAS ha imparato a "leggere" i sentimenti

Immagina di dover indovinare cosa prova una persona solo guardando un video girato per strada, con luci strane, persone che si muovono velocemente e rumori di fondo. È come cercare di capire se un amico è felice o arrabbiato mentre è in mezzo a una folla rumorosa e sotto la pioggia. È difficile, vero?

Il Team RAS (un gruppo di ricercatori russi) ha partecipato a una gara mondiale chiamata ABAW proprio per risolvere questo problema. Il loro obiettivo? Creare un'intelligenza artificiale capace di stimare due cose fondamentali:

1. Valenza: Quanto è "piacevole" l'emozione (da triste a felice).
2. Arousal: Quanto è "intensa" l'emozione (da calmo a eccitato).

Per riuscirci, non si sono affidati a un solo senso, ma hanno creato un squadra di tre detective che lavorano insieme.

---

🕵️‍♂️ I Tre Detective (Le Modalità)

Invece di guardare solo il video, il sistema usa tre fonti di informazioni diverse, come se avesse tre occhi diversi:

1. Il Detective Visivo (Il Volto)

• Cosa fa: Guarda il viso della persona, frame per frame.
• Il suo superpotere: Usa un sistema chiamato GRADA. Immaginalo come un artista esperto che osserva ogni micro-movimento: un sopracciglio alzato, un angolo della bocca che scende.
• Come pensa: Non si ferma a un'immagine sola. Usa un Transformer (una sorta di "memoria a lungo termine") per capire come l'espressione cambia nel tempo. Se il viso passa da un sorriso a una smorfia, questo detective lo registra come una storia, non come foto slegate.

2. Il Detective Comportamentale (Il Corpo e il Contesto)

• Cosa fa: Non guarda solo il viso, ma l'intera scena. Guarda la postura, i gesti delle mani, come si muove la testa e cosa c'è intorno.
• Il suo superpotere: Usa un'intelligenza artificiale molto potente chiamata Qwen3 (un modello linguistico visivo).
• L'analogia: Immagina di dare al computer un video e dirgli: "Guarda questo video e descrivimi cosa sta provando questa persona, basandoti su tutto ciò che vedi". Il computer scrive una breve descrizione (es: "La persona sembra nervosa, guarda in giro e stringe i pugni").
• Come pensa: Usa un sistema chiamato Mamba per leggere queste descrizioni nel tempo, collegando i gesti del passato con quelli del presente per capire l'evoluzione dell'umore.

3. Il Detective Sonoro (La Voce)

• Cosa fa: Ascolta l'audio.
• Il suo superpotere: Usa un modello chiamato WavLM.
• Il problema: A volte la gente non parla, o c'è troppo rumore.
• La soluzione: Prima di ascoltare, il sistema usa un filtro intelligente (basato sul movimento della bocca) per scartare i momenti in cui la persona non sta parlando davvero. È come se il detective si tappasse le orecchie quando c'è solo rumore di fondo e si concentra solo quando sente una voce.

---

🤝 La Grande Fusione: Come i Detective lavorano insieme

Avere tre detective è utile, ma il vero segreto è farli collaborare. Il team ha provato due metodi diversi per unire le loro opinioni:

Metodo A: La "Sala Riunioni Dinamica" (DCMMOE)

Immagina una stanza dove i tre detective discutono. Ogni volta che devono prendere una decisione, un "capo" (un meccanismo di controllo) decide chi ascoltare di più in quel momento.

• Se il viso è coperto da un cappuccio, il capo dice: "Ascolta di più il detective sonoro!".
• Se l'audio è disturbato, dice: "Fidati di più del detective visivo!".
  È un sistema che si adatta in tempo reale, pesando l'affidabilità di ogni fonte.

Metodo B: Il "Filtro di Fiducia" (RAAV)

Questo metodo è più intelligente. Prende le informazioni visive (volto + corpo) e le fonde frame per frame, come se fossero un unico flusso continuo. Poi, usa l'audio non come voce principale, ma come contesto di supporto.

• L'analogia: È come guardare un film muto (viso e corpo) e avere una colonna sonora che ti aiuta a capire l'atmosfera. Se il viso sorride ma la musica è cupa, il sistema capisce che c'è qualcosa di strano e aggiusta la sua previsione.

---

🏆 I Risultati: Chi ha vinto?

Il sistema è stato testato su migliaia di video reali e difficili (il dataset Aff-Wild2).

• Il risultato: Il sistema ha raggiunto un punteggio di 0.658 (su una scala dove 1 è perfetto). Non è perfetto, ma è un risultato molto alto per un compito così difficile.
• La scoperta più interessante: Il "Detective Comportamentale" (quello che usa Qwen3 per descrivere l'azione) ha funzionato meglio del semplice "Detective Visivo". Questo dimostra che capire il contesto e i gesti è quasi importante quanto guardare il viso.

💡 In sintesi

Il Team RAS ha creato un sistema che non si limita a "guardare" le facce. Ascolta, osserva il corpo, legge il contesto e sa quando fidarsi di più di un senso rispetto all'altro. È come avere un gruppo di esperti che lavorano insieme per capire il cuore umano, anche quando il mondo intorno è caotico e rumoroso.

Sommario tecnico

1. Problema e Contesto

Il lavoro affronta la sfida della Riconoscimento Continuo delle Emozioni (Continuous Emotion Recognition - CER) in condizioni "in-the-wild" (ITW), ovvero in scenari reali non controllati. Il compito specifico è la stima continua di Valenza (piacevolezza dell'emozione) e Arousal (intensità dell'emozione).
Le principali difficoltà derivano dalle grandi variazioni presenti nei dati reali, tra cui:

• Variazioni nell'aspetto e nella posa della testa.
• Condizioni di illuminazione variabili.
• Occlusioni del viso.
• Pattern di espressione affettiva specifici del soggetto.
• Rumore e segmenti non affidabili nei segnali audio.

Nonostante i progressi ottenuti con modelli multimodali basati su reti neurali profonde e Transformer, l'uso di Modelli Linguistici Visivi (VLM) per estrarre rappresentazioni comportamentali orientate alla previsione della valenza/arousal rimane un'area poco esplorata.

2. Metodologia Proposta

Il team RAS propone un approccio multimodale che integra tre fonti di informazione complementari: Volto, Comportamento e Audio. L'architettura è illustrata nella Figura 1 del documento e si articola come segue:

A. Modulo Visivo (Volto)

• Rilevamento e Curatela: Utilizzo di un rilevatore YOLO per i volti, seguito da una curatela manuale delle identità per garantire che ogni sequenza video corrisponda a un unico soggetto.
• Estrazione delle Feature: Le rappresentazioni affettive a livello di frame sono estratte utilizzando l'encoder GRADA (basato su EfficientNet-B1 pre-addestrato su ImageNet e fine-tuned su corpora affettivi).
• Modellazione Temporale: Le feature a livello di frame vengono elaborate da un modello di regressione basato su Transformer per catturare le dinamiche temporali.

B. Modulo Comportamentale (VLM)

• Modello: Viene utilizzato Qwen3-VL-4B-Instruct, un modello linguistico visivo multimodale.
• Input: Il modello processa segmenti video (16 frame diradati) insieme a un prompt testuale specifico che guida l'analisi su espressioni facciali, postura, gesti e contesto della scena.
• Estrazione Embedding: Vengono estratti embedding comportamentali a livello di segmento (sia in modalità puramente visiva che multimodale).
• Modellazione Temporale: Le dinamiche temporali tra i segmenti sono modellate utilizzando Mamba (un'architettura basata su stati spaziali), che combina filtraggio temporale locale e modellazione delle dipendenze a lungo raggio.

C. Modulo Audio

• Preprocessing e Filtraggio: I segmenti audio vengono filtrati incrociandoli con le dinamiche di apertura della bocca (estratte tramite MediaPipe) per identificare la presenza di parlato e ridurre il rumore di fondo.
• Encoder: Utilizzo di WavLM-Large (modello auto-supervisionato). Solo i primi 4 layer superiori vengono fine-tuned, mentre il resto rimane congelato.
• Pooling: Le rappresentazioni nascoste sono raggruppate in chunk temporali e aggregate tramite Attention-Statistics Pooling (media e deviazione standard pesate).

D. Strategie di Fusione Multimodale

Il paper esplora due strategie innovative per combinare le modalità:

1. DCMMOE (Directed Cross-Modal Mixture-of-Experts):
   • Ogni coppia ordinata di modalità funge da "esperto" di cross-attention (una modalità come query, l'altra come key/value).
   • Una rete di gating adattiva assegna pesi dinamici agli esperti in base alla qualità del segnale, permettendo al modello di privilegiare le relazioni inter-modali più informative.
2. RAAV (Reliability-Aware Audio-Visual):
   • Una fusione centrata sul frame per le feature visive e comportamentali, utilizzando un gating affidabile.
   • L'audio agisce come contesto ausiliario attraverso rappresentazioni latenti "bottleneck", integrando evidenze a livello di finestra temporale senza alterare la risoluzione temporale visiva.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset Aff-Wild2, seguendo il protocollo della 10th ABAW Challenge. La metrica principale è il Concordance Correlation Coefficient (CCC).

• Performance Unimodali: Il modello basato solo sul video (GRADA + Transformer) ha ottenuto i migliori risultati unimodali (CCC medio 0.6189 sul set di sviluppo). Il modello comportamentale multimodale (Qwen3 + Mamba) ha superato la sua controparte puramente visiva, dimostrando il valore degli embedding multimodali.
• Performance Multimodali:
  • La fusione tramite DCMMOE (Video + Qwen3 Multimodale + Audio) ha raggiunto un CCC medio di 0.6487 sul set di sviluppo.
  • La strategia RAAV ha ottenuto i risultati migliori in assoluto, raggiungendo un CCC medio di 0.6576 sul set di sviluppo e 0.62 sul set di test.
  • In particolare, la strategia RAAV ha ottenuto un punteggio di Arousal eccezionale di 0.7073.

4. Contributi Chiave

1. Integrazione di VLM per l'Affettività: Prima applicazione sistematica di un VLM (Qwen3) per estrarre embedding comportamentali a livello di segmento per la stima continua di valenza e arousal.
2. Nuove Strategie di Fusione: Proposta di due architetture di fusione (DCMMOE e RAAV) che gestiscono dinamicamente l'incertezza e l'affidabilità delle diverse modalità (visiva, comportamentale, audio).
3. Filtraggio Cross-Modale Audio: Implementazione di un meccanismo di filtraggio audio basato sulla dinamica della bocca per migliorare la robustezza in ambienti rumorosi.
4. Performance Competitive: Il metodo proposto ha raggiunto risultati all'avanguardia (SOTA) nella competizione ABAW 2024/2025, dimostrando l'efficacia della fusione adattiva multimodale.

5. Significato e Impatto

Questo lavoro dimostra che l'integrazione di rappresentazioni comportamentali di alto livello, estratte tramite grandi modelli multimodali (VLM), insieme a feature tradizionali di volto e audio, può superare i limiti dei sistemi unimodali. La capacità di adattarsi dinamicamente all'affidabilità dei segnali (tramite le strategie di fusione proposte) è cruciale per il riconoscimento delle emozioni in scenari reali ("in-the-wild"). I risultati confermano che l'approccio multimodale proposto è una direzione promettente per lo sviluppo di sistemi di interazione uomo-macchina più empatici e robusti.