Riepilogo Tecnico: AffectVerse: Modelli del Mondo Emotivo per il Calcolo Affettivo Multimodale

1. Enunciato del Problema

I Modelli Linguistici Multimodali di Grande Dimensione (MLLM) attuali trattano tipicamente il riconoscimento delle emozioni come un compito di corrispondenza di pattern statico su input audiovisivi e testuali completi. Questo paradigma non riesce a catturare le dinamiche temporali dell'affetto, come l'escalation, il recupero o i conflitti cross-modali, riducendo processi emotivi complessi a istantanee statiche. Mentre gli esseri umani inferiscono le emozioni integrando segnali osservati con previsioni su come gli stati affettivi potrebbero evolversi, gli MLLM esistenti mancano di un meccanismo per modellare questi "stati di credenza predittivi" in condizioni di osservazione parziale. Il documento identifica un divario tra il riconoscimento multimodale statico e la natura temporalmente evolutiva dell'inferenza affettiva umana.

2. Metodologia

Gli autori propongono AffectVerse, un modello basato su Qwen2.5-Omni che integra un Modulo del Mondo Emotivo (EWM). A differenza dei modelli del mondo tradizionali utilizzati nell'apprendimento per rinforzo, che prevedono stati futuri basandosi su azioni e ricompense, AffectVerse impiega una formulazione senza azioni progettata specificamente per l'inferenza affettiva. L'EWM opera sul principio dell'elaborazione predittiva, dove il modello prevede rappresentazioni audiovisive latenti future da prefissi osservati per aggiornare lo stato di credenza dell'LLM.

L'EWM è composto da tre componenti fondamentali:

2.1 Immaginazione Temporale Cross-Modale

Fondato sulle teorie dell'elaborazione predittiva e dell'integrazione multisensoriale, questo modulo prevede future rappresentazioni video e audio da token passati.

• Meccanismo: Utilizza un processo di sviluppo (rollout) multi-step ($S=3$) con token di query futura apprendibili ($N_s=8$).
• Contesto Cross-Modale: Ogni ramo di immaginazione di una modalità presta attenzione sia ai propri token passati che a quelli dell'altra modalità, distinti da embedding di tag apprendibili ($e_{self}, e_{cross}$).
• Segnale di Addestramento: Il modulo è addestrato tramite un obiettivo auto-supervisionato in cui i token futuri previsti sono confrontati con i token futuri effettivi (distaccati dal flusso principale del gradiente) utilizzando una combinazione di perdite MSE e similarità Cosine. Questo costringe il modello ad apprendere regolarità di transizione senza richiedere dati futuri al momento dell'inferenza.

2.2 Aggregazione della Credenza MAMA (Attenzione Multi-step Consapevole della Modalità)

Ispirato dal Modello del Processo Componente di Scherer, questo modulo aggrega i token immaginati multi-step in "token di credenza" compatti.

• Processo: Assembla i token video e audio immaginati in un archivio di memoria, distinti da embedding di tipo.
• Capacità Dinamica: Il numero di token di query di credenza ($N_q$) si adatta alle modalità disponibili (8 per modalità doppia, 4 per modalità singola).
• Iniezione del Confine: Per preservare il contesto nel punto di divisione temporale, i token di credenza aggregati sono aumentati con un'iniezione residua degli ultimi "token di confine" ($v_b, a_b$) osservati dal passato.

2.3 Iniezione della Credenza

I token di credenza compatti risultanti sono proiettati nuovamente nella dimensione nascosta dell'LLM e intercalati nella sequenza di token in due posizioni specifiche:

1. Immediatamente dopo l'ultimo token audiovisivo (per arricchire la codifica testuale con il contesto affettivo).
2. Immediatamente prima della regione di risposta (per fornire una "priorità emotiva" per la generazione della risposta).
   Questa strategia garantisce che l'LLM possa prestare attenzione sia alle evidenze osservate che alle continuazioni affettive immaginate durante il ragionamento.

2.4 Strategia di Addestramento

• Divisione Temporale: Durante l'addestramento, viene applicato un rapporto di mantenimento casuale $\kappa \sim \text{Uniform}[0.7, 1.0)$ per troncare i token futuri, simulando osservazioni parziali.
• Dropout di Modalità: Una modalità viene casualmente rimossa con probabilità $p=0.15$ per migliorare la robustezza rispetto a evidenze sensoriali mancanti.
• Obiettivi: Il modello è addestrato end-to-end con due perdite: Perdita di Modellazione Linguistica ($L_{lm}$) per le prestazioni del compito e Perdita di Immaginazione ($L_{imagine}$) per l'apprendimento di rappresentazioni predittive, bilanciate con $\lambda_{img}=1.0$.

3. Contributi Chiave

1. Modello del Mondo Senza Azioni per l'Affetto: Una nuova adattamento dell'apprendimento di rappresentazioni predittive di stile modello del mondo al calcolo affettivo, eliminando la necessità di azioni, ricompense o politiche di controllo.
2. Modulo del Mondo Emotivo (EWM): Un'architettura specifica composta da Immaginazione Temporale Cross-Modale, Aggregazione della Credenza MAMA e Iniezione della Credenza che permette agli MLLM di ragionare sulle dinamiche affettive latenti.
3. Modellazione dello Stato di Credenza Predittiva: Dimostrazione che formulare la comprensione delle emozioni come modellazione dello stato di credenza predittiva in condizioni di osservazione parziale produce prestazioni superiori rispetto agli approcci di fusione statica.
4. Valutazione Completa: Esperimenti estesi su nove benchmark (MER2023/2024, MELD, IEMOCAP, MOSI, MOSEI, SIMS, OV-MERD+) che mostrano miglioramenti coerenti.

4. Risultati Sperimentali

AffectVerse è stato valutato su nove benchmark in tre impostazioni di modalità (Audio+Testo, Video+Testo, Audio+Video+Testo).

• Risultati Principali: Nell'impostazione completa Audio+Video+Testo, AffectVerse ha raggiunto un punteggio medio del 77,34%, superando la forte linea di base Qwen2.5-Omni (74,76%) e AffectGPT (74,77%) del +2,57%. Si è classificato primo su 8 benchmark su 9.
• Robustezza: Il modello ha dimostrato un degrado graduale sotto troncamento temporale (variando $\kappa$) e modalità mancanti. Notabilmente, un troncamento temporale moderato durante l'addestramento ha agito come regolarizzatore, migliorando talvolta le prestazioni rispetto all'addestramento con osservazione completa su dataset specifici (ad es. CMU-MOSI).
• Studi di Ablazione:
  • Predizione Temporale: L'aggiunta della divisione temporale da sola ha migliorato la linea di base dello 0,87%.
  • Immaginazione Cross-Modale: Questa ha fornito il singolo guadagno più grande (+1,00% rispetto alla divisione temporale), evidenziando l'importanza di sfruttare segnali complementari cross-modali.
  • Costruzione della Credenza: L'aggregazione MAMA, l'iniezione intercalata e l'iniezione residua del confine hanno contribuito con guadagni additivi, confermando la necessità dell'intera pipeline EWM.
  • Iperparametri: Le prestazioni ottimali sono state trovate con $S=3$ passi di sviluppo e una probabilità di dropout di modalità di $p=0.15$.

5. Significato e Affermazioni

Il documento afferma che la modellazione dello stato di credenza predittiva è un'alternativa pratica ed efficace per il calcolo affettivo. Trattando l'emozione non come una categoria percettiva fissa ma come un processo temporalmente evolutivo plasmato dall'inferenza predittiva, AffectVerse permette ai modelli di aggiornare la loro comprensione man mano che arrivano nuove evidenze, separando segnali transitori dagli stati affettivi finali.

Gli autori posizionano questo lavoro come un ponte tra la scienza affettiva (in particolare le teorie dell'elaborazione predittiva e della valutazione) e l'apprendimento profondo multimodale. Affermano che il loro modulo del mondo "senza azioni" codifica con successo segnali di transizione predittivi del successivo cambiamento affettivo, permettendo un riconoscimento emotivo più robusto e dinamico senza richiedere segnali non visti al momento dell'inferenza.

Limitazioni Riconosciute:
Gli autori notano che la valutazione attuale si basa su iperparametri fissi di sviluppo e rapporto di mantenimento. L'analisi di robustezza si concentra su osservazioni parziali di modalità e temporali piuttosto che su cambiamenti di dominio più ampi (ad es. rumore, accento, cambiamenti di argomento). Si suggerisce un lavoro futuro per estendere la modellazione della credenza predittiva a un allineamento più forte, valutazione del cambiamento di dominio e tracciamento delle emozioni a livello di dialogo.