A Robust and Explainable Multimodal Fusion Framework for Emotion Recognition Using Visual–Textual Feature Learning and Ensemble Optimization

Sintesi Tecnica: Un Framework di Fusione Multimodale Robusto ed Esplicabile per il Riconoscimento delle Emozioni

Problematica
Gli attuali sistemi di riconoscimento delle emozioni si affidano spesso a dati unimodali (visivi o testuali), il che limita la loro capacità di catturare la natura multidimensionale delle emozioni umane. Gli approcci unimodali soffrono frequentemente di scarsa consapevolezza contestuale, ambiguità e rumore, portando a prestazioni di classificazione subottimali. Inoltre, molti modelli multimodali esistenti funzionano come "black box", mancando di interpretabilità, il che ne ostacola l'implementazione in domini sensibili come la sanità e l'istruzione. Inoltre, molti studi mancano di una rigorosa validazione della robustezza, come la validazione incrociata, i test di significatività statistica e gli studi di ablazione, rendendo difficile verificare se i miglioramenti delle prestazioni siano generalizzabili o semplici artefatti di specifici split dei dati.

Metodologia
Gli autori propongono un framework di fusione multimodale esplicabile che integra caratteristiche visive e testuali utilizzando l'apprendimento ensemble e tecniche di validazione rigorose. La metodologia segue una pipeline strutturata:

1. Dataset e Preprocessing: Lo studio utilizza un dataset di emozioni musicali multimodale contenente 5.866 campioni allineati con 14 classi di emozioni. I dati subiscono un preprocessing per gestire duplicati e valori mancanti, seguito da una normalizzazione Z-score.
2. Ingegneria delle Caratteristiche (Feature Engineering):
   • Caratteristiche Visive e Testuali: Il framework utilizza un totale di 28 caratteristiche ingegnerizzate derivate da entrambe le modalità visiva e testuale. Gli attributi visivi includono saturazione, texture, luminosità, tonalità e movimento, insieme a termini di interazione, mentre il testo non strutturato viene convertito in rappresentazioni numeriche strutturate.
   • Fusione: Il framework impiega una fusione precoce a livello di caratteristiche (early feature-level fusion), concatenando i vettori visivi e testuali per creare una rappresentazione unificata che catturi le relazioni cross-modali.
3. Architettura del Modello:
   • Classificatori Base: Vengono messi a confronto otto algoritmi di apprendimento supervisionato: Regressione Logistica, SVM-RBF, Gradient Boosting, Random Forest, Extra Trees, XGBoost, LightGBM e CatBoost.
   • Apprendimento Ensemble: Viene implementato un approccio di stacked ensemble. Classificatori eterogenei generano previsioni, che vengono poi fornite a un meta-classificatore per apprendere la combinazione ottimale di tali previsioni, con l'obiettivo di ridurre il bias e la varianza.
4. Esplicabilità (XAI): Per affrontare il problema della "black box", il framework integra SHAP (SHapley Additive exPlanations) per l'analisi dell'importanza globale delle caratteristiche e LIME (Local Interpretable Model-agnostic Explanations) per l'interpretazione a livello di istanza.
5. Validazione e Robustezza: Lo studio impiega una validazione incrociata stratificata a 5 fold, analisi di ablazione, stima dell'intervallo di confidenza e test di significatività statistica (t-test accoppiati, test di Friedman e test post-hoc di Nemenyi) per garantire l'affidabilità e la generalizzabilità dei risultati.

Contributi Chiave

• Integrazione Multimodale: Il documento presenta un framework che fonde informazioni visive e testuali complementari a livello di caratteristiche, dimostrando che questo approccio produce rappresentazioni emotive più ricche rispetto ai metodi unimodali.
• Benchmarking Sistematico: Una valutazione completa di otto diversi algoritmi di machine learning sotto identiche condizioni sperimentali identifica i migliori learner base per questo specifico compito.
• Ottimizzazione dello Stacked Ensemble: Lo studio dimostra che combinare eterogenei classificatori base tramite uno stacked ensemble migliora significativamente l'accuratezza predittiva, la robustezza e la generalizzazione rispetto ai singoli modelli.
• Implementazione dell'Esplicabilità: L'integrazione di SHAP e LIME fornisce spiegazioni sia globali che locali, identificando i driver chiave delle previsioni emotive e aumentando la trasparenza del modello.
• Validazione Rigorosa: A differenza di molti studi precedenti, questo lavoro include estesi controlli di robustezza, inclusi la validazione incrociata stratificata, gli studi di ablazione e i test di significatività statistica, per validare che i miglioramenti delle prestazioni non siano dovuti a fluttuazioni casuali.

Risultati

• Superiorità Multimodale: La fusione multimodale ha superato costantemente i modelli unimodali (solo visivi e solo testuali) in tutte le metriche di valutazione.
• Performance dei Classificatori: Tra i classificatori individuali, Extra Trees ha raggiunto l'accuratezza più elevata del 95,81%, seguito da vicino da Random Forest e LightGBM. I modelli lineari tradizionali (Regressione Logistica, SVM-RBF) sono stati significativamente peggiori.
• Performance dell'Ensemble: Lo stacked ensemble proposto ha ottenuto la migliore performance complessiva con un'accuratezza del 98,41%, un Macro F1-score di 98,40%, un MCC di 0,9829 e una ROC-AUC di 0,9986. Ciò rappresenta un miglioramento di circa 2,6 punti percentuali rispetto al miglior classificatore individuale (Extra Trees).
• Importanza delle Caratteristiche: L'analisi SHAP ha rivelato che le caratteristiche testuali hanno contribuito per il 52,11% alle previsioni, mentre le caratteristiche visive hanno contribuito per il 47,89%. Le principali caratteristiche influenti identificate sono state saturazione, texture, interazione luminosità-contrasto, tonalità e luminosità, insieme ad altri termini di interazione.
• Robustezza: Lo stacked ensemble ha dimostrato la deviazione standard più bassa nella validazione incrociata a 5 fold (0,31% per l'accuratezza), indicando un'alta stabilità. I test statistici hanno confermato che i risultati multimodali ed ensemble erano significativamente superiori (p < 0,05) rispetto ai baseline unimodali e ai singoli classificatori.
• Analisi degli Errori: La confusione principale è avvenuta tra emozioni semanticamente o visivamente simili (ad esempio, "Sentimentale" vs "Triste", "Misterioso" vs "Oscuro"), suggerendo che gli errori sono spesso dovuti all'ambiguità emotiva intrinseca piuttosto che a un fallimento del modello.

Significatività e Rivendicazioni
Il documento afferma che il framework proposto offre una soluzione robusta, accurata ed esplicabile per il riconoscimento delle emozioni multimodale. Combinando la fusione a livello di caratteristiche, l'apprendimento ensemble e le tecniche XAI, lo studio affronta lacune critiche nella letteratura attuale riguardanti la trasparenza del modello, la validazione della robustezza e il sottoutilizzo dei metodi ensemble nei contesti multimodali. Gli autori sostengono che il loro approccio fornisce una base affidabile per l'implementazione di sistemi di riconoscimento delle emozioni in applicazioni del mondo reale dove l'esplicabilità e l'affidabilità sono fondamentali. Lo studio conclude che, sebbene i risultati attuali siano promettenti, il lavoro futuro dovrebbe esplorare l'integrazione di modelli foundation basati su transformer e ulteriori modalità (come segnali audio e fisiologici) per migliorare ulteriormente la scalabilità e la generalizzazione.