Dynamic Stress Detection: A Study of Temporal Progression Modelling of Stress in Speech

Probleemstelling

Huidige systemen voor stressdetectie op basis van spraak behandelen stress vaak als een statisch kenmerk, waarbij een enkel label aan een heel spraaksegment wordt toegewezen. De auteurs betogen dat dit de realiteit oversimplificeert: stress is een temporeel evoluerend fenomeen dat wordt beïnvloed door eerdere emotionele en stressstaten. Bestaande datasets bevatten vaak slechts statische labels, wat het modelleren van de dynamische progressie van stress bemoeilijkt. Bovendien zijn bestaande methoden die op biosignalen (zoals EEG of hartslag) vertrouwen vaak intrusief en onpraktisch voor langdurig gebruik, waardoor spraakgebaseerde, niet-invasieve alternatieven nodig zijn.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat stressdetectie benadert als een sequentiële taak, waarbij historische context wordt meegenomen. De aanpak bestaat uit drie hoofdfasen:

1. Dynamische Labelstrategie (Stress Progression Labelling)
Omdat veel datasets geen fijnmazige temporele stresslabels hebben, worden deze afgeleid uit emotionele labels:

• Emotie-encoding: Emoties worden omgezet naar een binaire Valence-Arousal-Dominance (VAD) representatie. Stress wordt gedefinieerd als een specifieke VAD-encoding (Valence=0, Arousal=1, Dominance=0).
• Afstandsberekening: Voor elk tijdsvenster wordt de Hamming-afstand berekend tussen de huidige emotie-encoding en de canonieke stress-encoding.
• Gewaagde Historische Context: Een vervallende weging (decay weight) wordt toegepast op eerdere vensters om een totale gewogen afstand ($\theta_{total}$) te berekenen. Als deze afstand onder een bepaalde drempel ($T_{stress}$) valt, wordt het segment als "stressvol" gelabeld. Hierdoor ontstaat een dynamisch label dat rekening houdt met de emotionele geschiedenis.

2. Data Voorverwerking en Augmentatie

• Spraakopnames worden opgedeeld in overlappende vensters van 10 seconden (met 5 seconden overlap).
• Voor korte datasets (zoals CREMA-D, RAVDESS) wordt een augmentatiestrategie gebruikt waarbij uitspraken van dezelfde spreker met verschillende emotionele toestanden aan elkaar worden geplakt om temporele overgangen te simuleren.
• Features: Er worden zowel handgemaakte features (MFCC) als pre-trained deep learning embeddings (Wav2Vec 2.0 en HuBERT) gebruikt.

3. Modelarchitecturen
Twee sequentiële modellen worden ontwikkeld, beide verrijkt met een cross-attention mechanisme:

• Unidirectionele LSTM: Twee parallelle LSTM-lagen verwerken respectievelijk de spraakfeatures en de historische stresslabels. De output wordt via cross-attention gecombineerd.
• Transformer Encoder: Gebruikt een Transformer voor spraakfeatures en een BERT-encoder voor de stress-context. Cross-attention laat het model focussen op stresssignalen die gekoppeld zijn aan de huidige en vorige spraak.
• Training: Het model leert de VAD-encoding van het huidige segment te voorspellen op basis van spraak en de geschiedenis. Er wordt gebruikgemaakt van scheduled sampling (probabilistic teacher forcing) om de kloof tussen training (waar ground truth beschikbaar is) en inferentie (waar dit niet zo is) te overbruggen.

Belangrijkste Bijdragen

1. Stress Progression Labelling Framework: Een innovatieve strategie om fijnmazige, temporele stresslabels te genereren uit emotionele annotaties, waardoor dynamische modellering mogelijk wordt op bestaande datasets.
2. Temporele Classificatiemodellen: Implementatie van LSTM- en Transformer-architecturen met cross-attention, specifiek ontworpen om afhankelijkheden tussen akoestische features en de evolutie van stressstaten te vangen.
3. Uitgebreide Evaluatie: Validatie op meerdere datasets (MuSE, StressID) en een aangepast real-world dataset van maritieme professionals, wat de generalisatiekracht van de methode aantoont.

Resultaten

De experimenten tonen aanzienlijke verbeteringen ten opzichte van bestaande baselines:

• Prestaties: Het voorgestelde model (Transformer Encoder met HuBERT-features) bereikte een nauwkeurigheid van 83% op de MuSE-dataset (een stijging van +5% ten opzichte van de beste baseline) en 78% op StressID (een stijging van +18%).
• Aangepast Dataset: Op het custom dataset met maritieme professionals (met EEG-ground truth) werd een nauwkeurigheid van 81% behaald.
• Optimale Contextlengte ($n$): De resultaten tonen aan dat de optimale lengte van de historische context dataset-afhankelijk is. Voor MuSE en het custom dataset werkt een context van 40 seconden ($n=4$) het beste, terwijl StressID (met korte taken) profiteert van 30 seconden ($n=3$).
• Feature Vergelijking: Pre-trained embeddings (Wav2Vec 2.0 en HuBERT) presteerden consistent beter dan traditionele MFCC-features. HuBERT combineerde het beste met de Transformer-architectuur, terwijl Wav2Vec 2.0 beter paste bij de LSTM.

Betekenis en Conclusie

Dit onderzoek onderstreept dat stress geen statisch moment is, maar een proces dat zich over tijd ontwikkelt. Door stress te modelleren als een dynamisch construct dat wordt beïnvloed door recente emotionele geschiedenis, kunnen detectiesystemen aanzienlijk nauwkeuriger worden. De studie biedt een schaalbare, niet-invasieve oplossing voor stressmonitoring in hoog-risico omgevingen (zoals luchtverkeersleiding en maritieme operaties). De auteurs concluderen dat toekomstig werk moet focussen op datasets met nog rijkere temporele annotaties en de integratie van multimodale signalen (zoals fysiologische data) voor nog robuustere systemen.