Nuanced Emotion Recognition Based on a Segment-based MLLM Framework Leveraging Qwen3-Omni for AH Detection

Riepilogo Tecnico: Riconoscimento delle Emozioni Nuance Basato su un Framework MLLM a Segmenti per la Rilevazione di Ambivalenza ed Esitazione

1. Il Problema

Il riconoscimento delle emozioni nei video è un compito fondamentale nell'informatica affettiva, ma la rilevazione di stati psicologici sottili e complessi come l'Ambivalenza e l'Esitazione (A/H) rappresenta una sfida significativa.

• Natura del problema: A differenza delle emozioni di base (es. felicità, tristezza), l'A/H si manifesta attraverso uno stato emotivo conflittuale in cui l'individuo sperimenta simultaneamente atteggiamenti positivi e negativi.
• Difficoltà tecnica: Questi stati sono spesso espressi attraverso inconsistenze cross-modali (discrepanze tra espressioni facciali, tono della voce e semantica del testo) e fluttuazioni temporali. I sistemi di riconoscimento tradizionali faticano a catturare queste sfumature.
• Vincoli computazionali: L'uso diretto di modelli linguistici multimodali di grandi dimensioni (MLLM) su video lunghi è inefficiente a causa dei limiti di token, dell'alto costo computazionale e del rumore contestuale. Inoltre, i segnali A/H tendono a essere brevi (durata media di circa 4,29 secondi), rendendo l'analisi dell'intero video ridondante.

2. Metodologia

Gli autori propongono un framework innovativo che integra la modellazione temporale a segmenti con un MLLM avanzato, utilizzando il dataset BAH (Ambivalence and Hesitancy).

• Preprocessing Consapevole di A/H:

  • Sfruttando le annotazioni temporali del dataset BAH, il sistema estrae solo i segmenti temporali specifici dove è presente l'A/H.
  • I video senza A/H vengono mantenuti integralmente come campioni negativi.
  • Questo approccio aumenta la densità dei segnali rilevanti e riduce il rumore visivo/acustico irrilevante.

• Segmentazione Temporale a Clip (Clip-based Strategy):

  • Per gestire i vincoli dei token e migliorare l'efficienza, i video (o i segmenti estratti) vengono suddivisi in clip brevi con una durata massima di 5 secondi.
  • Se un segmento è più lungo di 5 secondi, viene diviso in clip consecutive; le code molto brevi vengono scartate.
  • Questa strategia permette al modello di focalizzarsi sulle finestre temporali locali dove i segnali A/H sono più concentrati.

• Adattamento del Modello (Qwen3-Omni-30B-A3B):

  • Viene utilizzato il modello multimodale Qwen3-Omni-30B-A3B, capace di elaborare congiuntamente input video, audio e testo.
  • Il modello viene fine-tunato sul dataset BAH utilizzando il framework MS-Swift.
  • Vengono impiegate due strategie di addestramento:
    1. LoRA (Low-Rank Adaptation): Adattamento efficiente dei parametri (Rank 8, Alpha 32, LR $10^{-5}$, 1 epoch).
    2. Full Fine-tuning: Aggiornamento di tutti i parametri (LR $10^{-6}$, 2-3 epochs).
  • Il task è formulato come una domanda binaria di ragionamento multimodale: il modello deve rispondere "Yes" o "No" alla presenza di A/H nella clip.

• Inferenza e Aggregazione:

  • Livello Clip: Ogni clip genera una previsione binaria.
  • Livello Video: La previsione finale per l'intero video è determinata dalla regola di aggregazione max (se qualsiasi clip è classificata come positiva, l'intero video è positivo: $y_{video} = \max(y_i)$).
  • Ensemble (Voto a Maggioranza): Per aumentare la robustezza, vengono addestrati più modelli con configurazioni diverse (LoRA, Full FT, diverse epoche). La decisione finale è ottenuta tramite voto a maggioranza tra le previsioni di tutti i modelli ensemble.

3. Contributi Chiave

1. Modellazione Temporale a Clip: Introduzione di una strategia semplice ma efficace che segmenta i video in clip di 5 secondi, permettendo ai modelli multimodali di catturare segnali A/H locali rispettando i vincoli di token.
2. Adattamento di un MLLM all'A/H: Adattamento del potente modello Qwen3-Omni-30B-A3B per il riconoscimento A/H, sfruttando le sue capacità di ragionamento cross-modale per rilevare conflitti emotivi sottili tra audio e video.
3. Prestazioni Empiriche Superiori: Dimostrazione che la combinazione di segmentazione temporale e modelli multimodali su larga scala supera significativamente i benchmark esistenti, raggiungendo un'accuratezza del 85,1%.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset BAH (1.427 video, ~10,6 ore di registrazioni).

• Configurazioni Testate:
  • Qwen3-Omni-v1 (LoRA, 1 epoch): 81,9% di accuratezza.
  • Qwen3-Omni-v2 (Full FT, 2 epochs): 79,8%.
  • Qwen3-Omni-v3 (Full FT, 3 epochs): 65,3% (indicando un possibile overfitting o instabilità con più epoche senza regolarizzazione adeguata).
• Risultato Finale: L'approccio ensemble basato sul voto a maggioranza tra i diversi modelli ha raggiunto un'accuratezza del 85,1% sul set di test.
• Confronto: Il metodo proposto supera nettamente le linee di base precedenti, confermando l'efficacia dell'uso di MLLM per compiti di rilevazione emotiva complessa.

5. Significato e Impatto

Questo lavoro dimostra che i grandi modelli multimodali, se combinati con strategie di segmentazione temporale appropriate, possono avanzare significativamente la capacità di rilevare stati emotivi complessi e sfumati come l'ambivalenza e l'esitazione.

• Applicazioni: Il sistema ha un potenziale impatto diretto nei settori della salute digitale e dell'analisi comportamentale, permettendo interventi adattivi e programmi di cambiamento comportamentale scalabili.
• Contributo Scientifico: Il paper valida l'ipotesi che le inconsistenze cross-modali, spesso ignorate dai metodi tradizionali, siano la chiave per il riconoscimento A/H e che i MLLM siano strumenti ideali per catturare queste dinamiche quando opportunamente addestrati su finestre temporali mirate.
• Risorsa Open Source: Il codice è stato rilasciato pubblicamente, facilitando la riproducibilità e l'ulteriore ricerca nel campo.