Dynamic Stress Detection: A Study of Temporal Progression Modelling of Stress in Speech

1. Il Problema

L'identificazione dello stress psicologico dalla voce è cruciale in ambienti ad alta pressione (es. controllo del traffico aereo o marittimo), dove lo stress può portare a errori critici. Sebbene i sistemi basati su biosignali (EEG, frequenza cardiaca) siano accurati, sono invasivi e poco pratici per un uso prolungato. L'alternativa basata sulla voce è non invasiva e scalabile.

Tuttavia, la maggior parte dei sistemi esistenti tratta lo stress come un'etichetta statica, assegnando un'unica etichetta a un intero segmento di parlato. Gli autori sostengono che questo approccio sia una semplificazione eccessiva, poiché lo stress è un fenomeno temporalmente evolutivo, plasmato dagli stati emotivi e stressanti precedenti. La mancanza di annotazioni temporali dinamiche negli dataset esistenti e l'assenza di modelli che catturino questa progressione rappresentano il gap di ricerca affrontato.

2. Metodologia

Il lavoro propone un framework innovativo che modella la progressione temporale dello stress attraverso tre componenti principali:

A. Strategia di Etichettatura Dinamica (Stress Progression Labelling)

Poiché molti dataset (come CREMA-D, RAVDESS, SAVEE) possiedono solo etichette emotive temporali e non etichette di stress, gli autori hanno sviluppato un metodo per derivare etichette di stress proxy:

• Codifica VAD Binaria: Le emozioni sono mappate su un framework Valence-Arousal-Dominance (VAD) binario. Lo stress è definito come una specifica codifica VAD (es. Valence=0, Arousal=1, Dominance=0).
• Distanza di Hamming e Ponderazione Temporale: Per ogni finestra temporale, si calcola la distanza di Hamming tra la codifica emotiva corrente e la codifica target dello stress.
• Aggregazione Storica: Viene introdotta una distanza pesata che considera le finestre precedenti ($n$) con un fattore di decadimento esponenziale ($\lambda$). Se la distanza totale pesata è inferiore a una soglia, l'etichetta viene assegnata come "stress". Questo permette di creare etichette di stress dinamiche basate sull'accumulo di contesto emotivo.

B. Preprocessing e Augmentation

• Segmentazione: I segnali audio sono divisi in finestre sovrapposte di 10 secondi (con 5 secondi di sovrapposizione).
• Concatenazione: Per dataset brevi, le utterance dello stesso parlante ma con stati emotivi diversi vengono concatenate per simulare la transizione temporale, preservando l'identità del parlante e concentrandosi sui segnali paralinguistici.

C. Architetture di Modelli

Sono stati implementati due modelli sequenziali potenziati da un meccanismo di Cross-Attention:

1. LSTM Unidirezionale: Due strati LSTM paralleli (uno per le feature audio, uno per le etichette di stress contestuali) i cui output vengono fusi tramite attention.
2. Transformer Encoder: Utilizza un encoder Transformer per le feature audio e un encoder BERT pre-addestrato per il contesto dello stress, seguiti da un blocco di cross-attention.

Input del modello:

• Sequenza primaria: Feature audio ($X$) delle ultime $n$ finestre.
• Sequenza di contesto: Etichette di stress ($S$) delle finestre precedenti (ottenute tramite la strategia di etichettatura dinamica).
• Teacher Forcing: Durante l'addestramento, il modello riceve le etichette vere con probabilità 0.8 e le proprie previsioni con probabilità 0.2 per simulare le condizioni di inferenza.

D. Feature Extraction

Sono state confrontate tre tipologie di feature:

• MFCC (tradizionali).
• Wav2Vec 2.0 (pre-addestrato).
• HuBERT (pre-addestrato).

3. Contributi Chiave

1. Framework di Etichettatura: Una strategia valida per inferire etichette di stress temporali dinamiche partendo da annotazioni emotive, colmando la mancanza di dataset con stress dinamico.
2. Modelli Temporali: Implementazione di architetture LSTM e Transformer con meccanismi di cross-attention che legano esplicitamente la progressione acustica all'evoluzione dello stato di stress.
3. Validazione su Dati Reali: Test su dataset pubblici (MuSE, StressID) e su un dataset personalizzato raccolto in un ambiente marittimo simulato con misurazioni EEG sincronizzate come ground truth.

4. Risultati Sperimentali

I modelli proposti hanno superato significativamente i baseline esistenti:

• Dataset MuSE:

  • Miglioramento del +5% in accuratezza rispetto ai migliori baseline (es. MUSER Acoustic Encoder).
  • Il modello Transformer con feature HuBERT ha raggiunto un'accuratezza di 0.83 e F1-score di 0.81.
  • La finestra temporale ottimale ($n$) è stata trovata a 4 (40 secondi di contesto storico).

• Dataset StressID:

  • Miglioramento del +18% in accuratezza rispetto ai baseline (es. Wav2Vec 2.0 Classifier).
  • Il modello Transformer ha raggiunto un'accuratezza di 0.78 e F1-score di 0.80.
  • La finestra ottimale è stata $n=3$ (30 secondi), riflettendo la natura a breve termine dei task di questo dataset.

• Dataset Personalizzato (Marittimo):

  • Il modello ha generalizzato bene, raggiungendo un'accuratezza di 0.81 e F1-score di 0.82 con il Transformer.
  • L'uso di feature pre-addestrate (Wav2Vec 2.0 e HuBERT) ha superato nettamente i tradizionali MFCC.

• Osservazioni sull'Architettura:

  • HuBERT si è rivelato superiore con il Transformer, probabilmente grazie alla sua capacità di catturare strutture globali e semantica di alto livello.
  • Wav2Vec 2.0 ha funzionato meglio con l'LSTM, allineandosi bene con la natura sequenziale locale e i dettagli fonetici.

5. Significato e Conclusioni

Questo studio dimostra che modellare lo stress come un costrutto dinamico ed evolutivo migliora drasticamente l'accuratezza della rilevazione rispetto agli approcci statici.

• Implicazioni Pratiche: La capacità di rilevare la progressione dello stress in tempo reale è fondamentale per sistemi di supporto decisionale in ambienti critici (marittimo, aereo).
• Flessibilità: L'ottimizzazione della finestra temporale ($n$) deve essere adattata al tipo di compito e al dataset (task brevi vs conversazioni lunghe).
• Futuro: Il lavoro apre la strada all'integrazione di segnali multimodali (fisiologici, visivi) e all'uso di dataset con annotazioni temporali più ricche per lo stress.

In sintesi, l'approccio proposto trasforma la rilevazione dello stress da un'analisi istantanea a un processo di monitoraggio continuo e contestuale, offrendo prestazioni superiori in scenari reali.