Riepilogo Tecnico: ANA – Un'Applicazione Multimodale Guidata dall'IA Sensibile alle Emozioni Basata sulla Terapia IFS

1. Problema e Motivazione

Gli attuali sistemi di supporto per la salute mentale che utilizzano l'Intelligenza Artificiale sono prevalentemente limitati a interazioni unimodali basate sul testo. Questi sistemi spesso mancano della capacità di discernere emozioni umane complesse che vengono trasmesse attraverso il tono, le espressioni facciali e i gesti delle mani. Inoltre, i modelli multimodali esistenti soffrono frequentemente di strategie di integrazione deboli, come la semplice concatenazione delle caratteristiche senza tenere conto delle dipendenze inter-modali, e di una mancanza di allineamento con le teorie psicologiche stabilite.

Nello specifico, esiste una lacuna nei modelli computazionali che integrano dati multimodali (testo, voce, visione, gesti) con la terapia dei Sistemi Familiari Interni (Internal Family Systems - IFS). L'IFS postula che la mente umana consista in molteplici "parti interne" distinte (ad esempio, il Critico Interiore, il Protettore, la Parte Sopraffatta) con profili emotivi unici. Il documento sostiene che modellare efficacementamente questi costrutti psicologici richieda un approccio strutturato che mappi segnali emotivi eterogenei su specifici costrutti psicologici, un compito che i sistemi unimodali non possono raggiungere.

2. Soluzione Proposta: Il Modello ANA

Gli autori propongono ANA (A Multimodal Application for Modeling Emotional States and Adaptive Interaction), un sistema progettato per mimare i concetti della terapia IFS. ANA utilizza un paradigma di apprendimento multimodale per analizzare gli input dell'utente attraverso quattro modalità distinte: Testo, Voce, Espressioni Facciali e Gesti delle Mani.

2.1 Architettura del Sistema e Workflow

Il sistema opera attraverso un workflow di "Sessione di Reframe":

1. Controllo dell'Accesso: Prima dell'interazione, il sistema valida lo stato dell'utente. Se un utente presenta tre o più personaggi interni "non guariti", l'accesso agli input multimodali viene limitato per evitare di sovraccaricare l'utente.
2. Modalità di Input:
   • Video: Estrae simultaneamente testo, emozione vocale, gesti delle mani ed espressioni facciali.
   • Solo Testo: Elabora l'input scritto.
   • Solo Voce: Elabora i segnali vocali e il tono.
   • Nota: Gli input in arabo vengono automaticamente tradotti in inglese prima dell'analisi.
3. Elaborazione: Ogni modalità è elaborata da un encoder specifico per estrarre le caratteristiche.
4. Fusione: Un modulo di fusione integra questi segnali per aggiornare il profilo del personaggio interno dell'utente e fornire una valutazione dello stato emotivo.
5. Output: Il sistema identifica il "personaggio interno" dominante e lo stato emotivo, memorizzando i dati per il monitoraggio comportamentale.

3. Metodologia

3.1 Pre-elaborazione dei Dati

• Testo: Comporta normalizzazione, tokenizzazione, rimozione delle stop-word, codifica del vocabolario e padding/troncamento per creare sequenze a lunghezza fissa.
• Voce: Include ricampionamento (16 kHz), riduzione del rumore, rimozione del silenzio, framing ed estrazione delle caratteristiche (MFCC, Chroma, Mel-spectrogram, ZCR, RMS, Spectral Centroid). Le caratteristiche sono standardizzate e ridotte tramite PCA.
• Gesti delle Mani: Utilizza MediaPipe per rilevare 21 landmark delle mani. Le coordinate sono normalizzate (traslazione e scala) rispetto al polso, appiattite in un vettore a 42 dimensioni e preparate per la classificazione.
• Espressioni Facciali: Le immagini vengono convertite in scala di grigi, ridimensionate a 48x48 pixel, normalizzate e aumentate (rotazione, shear, zoom) durante l'addestramento.

3.2 Encoder Specifici per Modalità

Il sistema impiega encoder specializzati per ogni tipo di input:

• Text Encoder: Un modello ibrido CNN + BiLSTM. Gli strati CNN estraggono caratteristiche N-gram locali, seguiti da max pooling e strati BiLSTM per catturare le dipendenze a lungo termine. L'output classifica il "personaggio interno" (ad es. Critico Interiore, Protettore).
• Voice Encoder: Utilizza caratteristiche acustiche artigianali (MFCC, pitch, energia) ridotte tramite PCA e classificate utilizzando l'algoritmo K-Nearest Neighbors (KNN) per riconoscere gli stati emotivi.
• Hand Gesture Encoder: Un classificatore Multi-Layer Perceptron (MLP) che elabora i vettori dei landmark normalizzati per riconoscere gesti statici e dinamici.
• Facial Expression Encoder: Una Rete Neurale Convoluzionale (CNN) (basata su Caffe SSD/ResNet-10 per il rilevamento) che classifica le emozioni dalle immagini facciali.

3.3 Strategie di Fusione

Il documento valuta tre approcci di fusione:

1. Early Fusion: Concatenazione delle caratteristiche prima della classificazione.
2. Late Fusion: Ogni modalità effettua una previsione indipendente, che viene poi combinata tramite voto ponderato.
3. Hybrid Fusion: Una combinazione di fusione a livello di caratteristiche e a livello di decisione.
   I risultati indicano che la Late Fusion è la strategia più efficace, poiché consente a ciascuna modalità di prendere decisioni indipendenti prima di aggregarle, rendendo il sistema robusto rispetto a input mancanti o rumorosi.

4. Risultati Sperimentali

4.1 Dataset

Lo studio ha utilizzato diversi dataset per l'addestramento e la valutazione:

• Testo: Aggregato da fonti come Counseling, DailyDialog, GoEmotions e RedditMentalHealth (360.000 campioni).
• Voce: Dataset di riferimento inclusi RAVDESS, TESS, CREMA-D, SAVEE ed EMO-DB (4.800 campioni).
• Volto: FER-2013, AffectNet e CK+ (35.887 campioni).
• Gesti delle Mani: Un dataset personalizzato (ANAHandGestures.csv) creato utilizzando MediaPipe (6.153 campioni).

4.2 Metriche di Prestazione

I modelli unimodali hanno raggiunto le seguenti accuratezze:

• Riconoscimento dell'Emozione Vocale (KNN): 98% (Prestazione più elevata; attribuita alla forte separabilità acustica).
• Classificazione del Personaggio Interiore dal Testo (CNN+BiLSTM): 97%.
• Riconoscimento dei Gesti delle Mani (MLP): 93%.
• Riconoscimento dell'Espressione Facciale (CNN): 88% (Più bassa a causa della sensibilità alla luce e della sovrapposizione delle espressioni).

4.3 Analisi

• Voce e Testo sono stati identificati come i predittori più forti dello stato emotivo e del personaggio interiore.
• Espressioni Facciali e Gesti delle Mani hanno servito come segnali complementari, fornendo feedback non verbali che hanno aiutato a risolvere le ambiguità del testo o della voce (ad es. rilevare un "Protettore" che nasconde la tristezza dietro un sorriso).
• Le Matrici di Confusione hanno mostrato una dominanza diagonale in tutte le modalità, con errori che si verificano principalmente tra classi emotive simili (ad es. neutro vs triste).
• L'Analisi ROC ha confermato alti valori di AUC per tutte le modalità, indicando una forte separazione delle classi.

5. Contributi Chiave

Il documento delinea i seguenti contributi specifici:

1. Modello Multimodale Strutturato: Sviluppo di un sistema che integra quattro modalità (testo, voce, volto, gesto) specificamente all'interno del framework dell'Affective Computing e della terapia IFS.
2. Encoder Specializzati:
   • Un encoder testuale CNN-BiLSTM per la classificazione del personaggio interiore.
   • Un sistema di riconoscimento dell'emozione vocale PCA-KNN.
   • Un sistema di riconoscimento dell'espressione facciale basato su CNN.
   • Un modulo di riconoscimento dei gesti delle mani leggero basato su MediaPipe.
3. Fusione Multimodale: Implementazione di un sistema di fusione che combina queste modalità per riconoscere sia gli stati emotivi che i personaggi psicologici interni.
4. Deployment: Un servizio di inferenza web funzionale (basato su Flask) con un'interfaccia mobile che gestisce l'analisi multimodale in tempo reale, inclusa la traduzione dall'arabo all'inglese e il controllo dell'accesso basato sullo stato psicologico dell'utente.

6. Significato e Rivendicazioni

Gli autori affermano che il modello ANA va oltre i comuni sistemi di chatbot per la salute mentale, creando un modello di interazione più ricco ed incarnato. Sfruttando l'apprendimento multimodale, il sistema raggiunge una comprensione del utente più robusta rispetto ai sistemi unimodali.

• Validazione della Multimodalità: Lo studio dimostra che la combinazione di modalità compensa le debolezze individuali (ad es. ambiguità del testo o occlusione del volto), raddoppiando efficacementamente la capacità di comprensione del sistema rispetto ai modi a singolo input.
• Allineamento Terapeutico: Il sistema mappa con successo gli output tecnici dell'IA (riconoscimento delle emozioni) ai costrutti psicologici (parti interne dell'IFS), colmando il divario tra deep learning e modelli di terapia clinica.
• Utilità Pratica: L'architettura di deployment supporta l'elaborazione in tempo reale e gestisce le sfide del mondo reale, come rumore, variazioni di illuminazione e modalità mancanti, attraverso strategie di fusione adattive.

Il documento conclude che, sebbene le singole modalità abbiano dei limiti (ad es. la precisione del riconoscimento facciale scende in condizioni di scarsa illuminazione), l'approccio multimodale integrato fornisce una valutazione completa e consapevole del contesto dello stato psicologico interno di un utente, validando l'efficacia del modello proposto per il supporto personalizzato alla salute mentale.