Technische Samenvatting: Attention Isn't All You Need voor Emotieherkenning

Probleemstelling

Deze studie behandelt de uitdaging van multimodale emotieherkenning met behulp van de EAV-dataset, die gesynchroniseerde EEG-, audio- en video-opnames bevat van 42 deelnemers die betrokken waren bij conversationele interacties. Hoewel deze dataset een unieke bron biedt voor multimodale research, presenteert het een significante beperking voor deep learning: na standaard datasplitsing zijn er slechts ongeveer 280 trainingssamples per subject.

De centrale onderzoeksvraag onderzoekt of complexe attention-mechanismen (specifiek gefactoriseerde attention) de prestaties verbeteren op dergelijke kleine datasets, of dat simpelere benaderingen die gebruikmaken van domein-relevante kenmerken superieure resultaten opleveren. De auteurs hypothetiseren dat architecturale complexiteit kan leiden tot overfitting en de degradatie van pre-trained features in scenario's met weinig data.

Methodologie

De auteurs evalueerden systematisch drie categorieën modellen over de drie modaliteiten (EEG, Audio, Visie):

1. M1: Baseline Transformers

De auteurs implementeerden standaard transformer-architecturen met behulp van pre-trained backbones van Hugging Face om referentieprestaties vast te stellen:

• EEG: Een aangepaste architectuur met 1D convolutionele feature extractie gevolgd door een 6-laagse transformer encoder met 4 attention heads.
• Audio: Fine-tuning van de Audio Spectrogram Transformer (AST) met een aangepaste 5-klasse classifier head, waarbij een twee-fasen trainingsstrategie werd gebruikt (bevroren backbone gevolgd door ongevroren).
• Visie: Een Vision Transformer (ViT) die specifiek is voorgetraind op gezichtsuitdrukkingen voor emotieherkenning, die 25 frames per videosegment verwerkt met gemiddelde voorspellingen.

2. M2: Gefactoriseerde Attention-mechanismen

Gemotiveerd door de unieke structuren van elke modaliteit, ontwierpen de auteurs nieuwe gefactoriseerde attention-modellen met de bedoeling de baselines te overtreffen:

• M2-EEG (Tri-Stream): Een transformer die vertakt in drie parallelle stromen: spatiaal (kanaalinteracties), temporeel (tijddynamiek) en hemisferische asymmetrie (links-rechts verschillen gebaseerd op het model van Davidson). Het bevat een leerbare skip connection om convolutionele features te behouden.
• M2-EEG (EEGNet-Improved): Een verbeterde EEGNet die squeeze-excitation blokken, multi-scale convoluties en geavanceerde regularisatietechnieken incorporeert.
• M2-Audio: Een Temporal-Frequency Dual Attention mechanisme toegepast op AST-features. Het herstructureert patches naar een 2D-grid (tijd × frequentie) en past sequentiële temporele en frequentie attention blokken toe, waarbij ~88% van de pre-trained features behouden blijft via een skip connection.
• M2-Visie: Een Factorized Space-Time Attention model (volgens ViViT Model 2) dat volledige space-time attention deelt in spatiale attention binnen frames en temporele attention over frames om computationele complexiteit te verminderen.

3. M3: Verbeterde CNN Baselines

Na de onderprestatie van M2 verkenden de auteurs minimale aanpassingen aan baseline CNN's, met de focus op bugfixes en domein-specifieke feature engineering:

• Audio: Augmenteerde de feature set met delta MFCC's (temporele derivaten) om korte-termijn spectrale dynamiek te vangen, waardoor de input-dimensionaliteit toenam van 180 naar 220.
• EEG:
  • v1 (Bug Fix): Verwijderde een foutieve nn.Softmax laag die vóór CrossEntropyLoss werd toegepast in de originele implementatie.
  • v2 (Band Power): Verving ruwe tijdsdomein-signalen door frequentiedomein-features, inclus\u00adendo band power (delta, theta, alpha, beta, gamma), differentiële entropie en expliciete alpha-asymmetrie features (totaal 306 dimensies), ingevoerd in een simpele MLP.
• Visie:
  • v1 (SE Fix): Corrigeerde de Squeeze-and-Excitation (SE) block reductieratio van 1 (geen bottleneck) naar 16 om effectieve kanaal-herweging te garanderen.
  • v2 (Delta Features): Voegde temporele delta-features toe om frame-naar-frame expressie-dynamiek te vangen.

Belangrijkste Resultaten

De experimenten, uitgevoerd op NVIDIA RTX 6000 Ada GPU's met subject-afhankelijke evaluatie, leverden de volgende bevindingen op (Tabel 1 in het paper):

• Onderprestatie van M2: Alle gefactoriseerde attention-modellen (M2) presteerden consequent slechter dan hun respectieve baselines met 5 tot 13 procentpunten.

  • EEG Tri-Stream: 48.00% (vs. 60.00% paper baseline).
  • Audio Dual-Attention: 49.46% (vs. 62.70% paper baseline).
  • Visie ViViT-stijl: 69.54% (vs. 74.50% paper baseline).
  • De auteurs schrijven dit toe aan overfitting, de destructie van pre-trained features en het onvermogen van complexe inductieve biases om te generaliseren met ~280 samples.

• Succes van M3: Simpele, domein-relevante aanpassingen behaalden state-of-the-art resultaten:

  • EEG: Band power features behaalden 67.62% (+7.62pp over de paper baseline).
  • Audio: Delta MFCC's behaalden 65.56% (+3.66pp over de paper baseline).
  • Visie: Delta features behaalden 72.68% (+1.28pp over de paper CNN).
  • Opvallend genoeg presteerde de M1 Vision Transformer (75.30%) beter dan alle M3 CNN-modificaties, wat aantoont dat domein-specifieke pre-training impactvoller kan zijn dan architecturale wijzigingen.

• Subject Variabiliteit: Significante individuele verschillen werden waargenomen. Subject 17 behaalde consistent de hoogste nauwkeurigheid over de modaliteiten heen (tot 93.33% voor visie), terwijl Subjects 35 en 12 hardnekkige uitdagingen vormden, waarschijnlijk door subtiele expressies of fysiologische verschillen.

Betekenis en Claims

Het paper concludeert dat voor kleinschalige emotieherkenningstaken (ongeveer 280 trainingssamples per subject), domeinkennis en een correcte implementatie de architecturale complexiteit overtreffen.

De auteurs claimen drie primaire bijdragen:

1. Demonstratie van Falen: Ze tonen aan dat gefactoriseerde attention-mechanismen, ondanks hun theoretische motivatie, consequent falen op kleine datasets en slechter presteren dan simpelere baselines.
2. Validatie van Simpele Features: Ze demonstreren dat simpele, domein-relevante modificaties (specifiek frequentiedomein-features voor EEG en delta-coëfficiënten voor audio/video) de beste resultaten behalen op deze dataset.
3. Methodologische Analyse: Ze bieden een analyse van faalmodi, waarbij zij identificeren dat de degradatie van pre-trained representaties, onvoldoende trainingsdata voor complexe inductieve biases en implementatiefouten (bijv. dubbele softmax) kritieke factoren zijn in scenario's met weinig samples.

De praktische les die wordt benadrukt, is dat onderzoekers prioriteit moeten geven aan het verifiëren van baseline-implementaties op bugs, het toepassen van domein-specifieke feature engineering en het afstemmen van de modelcapaciteit op de beschikbare data voordat zij complexe attention-mechanismen introduceren. De auteurs merken op dat deze gefactoriseerde benaderingen mogelijk nog steeds nuttig kunnen zijn op grotere emotie-datasets waar voldoende supervisie aanwezig is om stabiele fusie te leren.