Technische Samenvatting: Naar Praktische Emotieherkenning: Een Ongesuperviseerde Source-Free Benadering voor EEG Domeinadaptatie

Probleemstelling

Elektro-encefalogram (EEG)-gebaseerde emotieherkenning is essentieel voor mentale gezondheidsmonitoring, gezondheidszorg en brein-computerinterfaces (BCI's). Echter, deep learning-modellen die getraind zijn op EEG-data lijden onder domeinverschuiving (domain shift) wanneer ze worden toegepast op nieuwe subjecten of opnameomgevingen, vanwege inter-subject variabiliteit en verschillen in opstellingen. Hoewel Unsupervised Domain Adaptation (UDA) dit aanpakt door gebruik te maken van bron- en doelgegevens, stuit het op significante praktische barrières:

1. Gegevensprivacy en Toegankelijkheid: In realistische scenario's (bijv. mobiele implementatie of de gezondheidszorg) is toegang tot de oorspronkelijke gelabelde brongegevens tijdens doeladaptatie vaak onmogelijk vanwege privacyregelgeving en computationele beperkingen.
2. Tekort aan Labels: Het verzamelen en annoteren van EEG-data is arbeidsintensief en kostbaar.
3. Lacune in de Literatuur: Hoewel Source-Free Unsupervised Domain Adaptation (SF-UDA) is verkend in computer vision, blijft de toepassing ervan op EEG-gebaseerde emotieherkenning onverkend. Bestaande SF-UDA-methoden worstelen vaak met ruisige pseudo-labels en biases die afkomstig zijn van de bron-domein wanneer de brongegevens niet beschikbaar zijn.

Methodologie

De auteurs stellen een nieuw Source-Free Unsupervised Domain Adaptation (SF-UDA) framework voor dat specifiek is afgestemd op EEG-emotieclassificatie. De methode werkt in vier afzonderlijke stadia en maakt gebruik van een netwerkarchitectuur bestaande uit een feature extractor ($F$) gevolgd door twee parallelle classifiers ($C_1, C_2$).

1. Pre-training

Het model wordt initieel getraind op gelabelde brongegevens ($X_s, Y_s$) om fundamentele emotiekenmerken te leren. De verliesfunctie combineert gewogen cross-entropy (met behulp van Group Distributionally Robust Optimization) en een classifier-discrepantieverlies om ervoor te zorgen dat de twee classifiers consistente maar diverse voorspellingen produceren. Zodra de pre-training voltooid is, wordt de brongegevens weggegooid en gaat het model verder naar het doel-domein zonder verdere toegang tot de bron.

2. Berekening

Gebruikmakend van het voorgetrainde model en ongelabelde doelgegevens ($X_t$), berekent het systeem:

• Cluster Centroids ($CC_t$): Geaggregeerde feature-representaties voor elke emotie-categorie, gewogen door de softmax-betrouwbaarheid van de classifiers.
• Mean Classifier Discrepancy ($M_{dis}$): De gemiddelde Euclidische afstand tussen de outputs van de twee classifiers, dienend als een drempelwaarde voor het identificeren van betrouwbare samples.

3. Doeladaptatie (Target Adaptation)

Deze fase past het model aan aan het doel-domein met behulp van twee sequentiële trainingsstappen op ongelabelde doelgegevens:

• Dual-Loss Adaptive Regularization (DLAR):

  • Pseudo-Label Agreement Loss ($L_{plal}$): Samples worden toegewezen aan pseudo-labels op basis van het dichtstbijzijnde cluster centroid. Het model wordt getraind om zijn voorspellingen af te stemmen op deze pseudo-labels.
  • Confident Classifier Discrepancy Loss ($L_{ccdl}$): Om ruis te beperken, wordt deze loss alleen toegepast op "betrouwbare" samples—samples met een lage voorspellingsentropie en een lage discrepantie tussen de twee classifiers. Dit stimuleert overeenstemming tussen betrouwbare voorspellingen.
  • Mechanisme: Aan het einde van elke epoch worden de cluster centroids bijgewerkt om de evoluerende feature-ruimte te reflecteren.

• Localized Consistency Learning (LCL):

  • Deze stap dwingt lokale consistentie af door vergelijkbare voorspellingen te stimuleren voor "betrouwbare buren".
  • Buurselectie: Een buur wordt alleen als betrouwbaar beschouwd als het een $k$-nearest neighbor is in zowel de feature-ruimte als de softmax-waarschijnlijkheidsruimte.
  • Loss: Het model minimaliseert de voorspellingsverschillen tussen deze gemeenschappelijke betrouwbare buren, waardoor de feature- en classifier-ruimtes lokaal worden uitgelijnd.

4. Inferentie

Het systeem maakt gebruik van Prediction Confidence-aware Test-Time Augmentation (PC-TTA). In plaats van alle test-samples te augmenteren (wat computationeel duur is), worden augmentaties (bijv. Gaussische ruis, resampling) selectief toegepast op samples die een hoge onzekerheid (hoge entropie) en een hoge classifier-discrepantie vertonen. De uiteindelijke voorspellingen worden bepaald door meerderheidsstemming tussen de originele en de geaugmenteerde samples.

Belangrijkste Bijdragen

1. Eerste SF-UDA voor EEG-emotie: Dit werk presenteert de eerste toepassing van source-free unsupervised domain adaptation specifiek voor EEG-gebaseerde emotieherkenning.
2. Multi-stage Framework: Een robuuste pipeline die overgaat van pre-training naar doeladaptatie zonder brongegevens, wat privacy en computationele beperkingen aanpakt.
3. Dual-Loss Adaptive Regularization (DLAR): Een techniek die classifier-discrepanties op betrouwbare samples minimaliseert terwijl voorspellingen worden afgestemd op cluster-gebaseerde pseudo-labels, wat de impact van ruisige labels vermindert.
4. Localized Consistency Learning (LCL): Een strategie die lokale consistentie afdwingt door betrouwbare buren te identificeren via een duaal-criterium (feature en waarschijnlijkheid), wat de generalisatie verbetert.

Experimentele Resultaten

De methode werd geëvalueerd op drie veelgebruikte datasets: DEAP, SEED en DREAMER. Experimenten omvatten cross-dataset testen (bijv. trainen op DEAP, testen op SEED) om significante domeinverschuivingen te simuleren.

• Prestaties: De voorgestelde methode presteerde aanzienlijk beter dan vier state-of-the-art SF-UDA baselines (geadapteerd van beeld- en tijdreeks-taken).
  • DEAP $\to$ SEED: 65,84% nauwkeurigheid (vs. 61,98% voor de op één na beste).
  • SEED $\to$ DEAP: 58,99% nauwkeurigheid (vs. 53,55% voor de op één na beste).
  • DEAP $\to$ DREAMER: 58,87% nauwkeurigheid.
  • SEED $\to$ DREAMER: 67,08% nauwkeurigheid.
• Statistische Significantie: Gepaarde t-testen bevestigden dat de verbeteringen statistisch significant waren ($p < 0,05$ of $p < 0,01$) in de meeste vergelijkingen.
• Ablatie-studies:
  • Het verwijderen van de doeladaptatie-fase (Model A) zorgde ervoor dat de prestaties in sommige gevallen onder de kansverwachting zakten.
  • Het verwijderen van LCL (Model B) verminderde de nauwkeurigheid met ~5%.
  • Het verwijderen van DLAR (Model C) verminderde de nauwkeurigheid met ~3,5%.
  • Feature Analyse: Power Spectral Density (PSD) features leverden superieure resultaten op vergeleken met Differential Entropy (DE).
  • Buurselectie: Het combineren van feature- en softmax-gebaseerde buurselectie presteerde beter dan het gebruik van alleen één van beide metrieken.
• Robuustheid: Het model vertoonde een hoge veerkracht tegen synthetische ruis (Gaussische ruis, netbromruis, baseline drift), met minimale degradatie van de nauwkeurigheid.
• Feature Belang: SHAP-analyse identificeerde frontale, prefrontale en temporale kanalen (bijv. Fz, F3, F8) en hoogfrequente banden (gamma, beta, alpha) als de meest invloedrijke kenmerken.

Betekenis en Claims

Het artikel beweert dat dit werk een kritieke kloof in praktische emotieherkenning dicht door domeinadaptatie mogelijk te maken zonder toegang tot brongegevens, waardoor gegevensprivacy wordt gewaarborgd en de computationele overhead wordt verminderd. De auteurs stellen dat hun methode:

• De Source-Free Beperking Oplost: Succesvol modellen aanpast aan nieuwe domeinen waar brongegevens ontoegankelijk zijn, een veelvoorkomende real-world beperking.
• Pseudo-Label Ruis Mitigeert: Door DLAR en LCL effectief om te gaan met de ruis die inherent is aan pseudo-labeling, een primair faalpunt in traditionele SF-UDA.
• Praktisch Nut Biedt: De methode is zeer geschikt voor omgevingen met beperkte middelen (bijv. mobiele BCI's) en medische toepassingen waar gegevensdeling beperkt is.
• Goed Generaliseert: De aanpak blinkt uit in het detecteren van zowel positieve als negatieve emoties over diverse datasets en opnamecondities, waarbij het bestaande algemene SF-UDA-methoden voor deze taak overtreft.

De auteurs concluderen dat hoewel de methode veelbelovend is, toekomstig werk zich zal richten op het uitbreiden van het model naar continue emotie-labeling (valence/arousal) en het verfijnen van pseudo-labeling strategieën voor bredere generaliseerbaarheid.