⚡ electrical engineering

Towards Practical Emotion Recognition: An Unsupervised Source-Free Approach for EEG Domain Adaptation

Dieses Paper schlägt ein neuartiges Source-Free Unsupervised Domain Adaptation Framework für die EEG-basierte Emotionserkennung vor, das Dual-Loss Adaptive Regularization und Localized Consistency Learning nutzt, um sich ohne Quelldaten an Zieldomänen anzupassen, wobei es eine State-of-the-Art-Leistung über mehrere Datensätze hinweg erzielt und gleichzeitig Herausforderungen bezüglich der Privatsphäre und der Signalvariabilität adressiert.

Ursprüngliche Autoren: Md Niaz Imtiaz, Naimul Khan

Veröffentlicht 2026-07-23

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Md Niaz Imtiaz, Naimul Khan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Ihr Gehirn wäre eine geschäftige Stadt, die ständig elektrische Signale wie Radiowellen aussendet, um alles von Ihren Gedanken bis hin zu Ihren Gefühlen zu koordinieren. Wissenschaftler wollen schon lange einen „Übersetzer“ bauen, der diese Radiowellen – speziell die, die als EEG (Elektroenzephalogramm) bezeichnet werden – „anhören“ kann, um zu verstehen, was Sie fühlen. Dabei geht es nicht nur darum, Gedanken aus Spaß zu lesen; es ist ein entscheidender Schritt, um Menschen mit psychischen Problemen zu helfen, Computer zu bauen, die unsere Stimmungen verstehen, und Technologien zu erschaffen, die auf unsere Emotionen reagieren. Es gibt jedoch einen großen Haken: Jedes menschliche Gehirn ist eine einzigartige Stadt mit ihrem eigenen Layout, und die „Radiosender“ (die Sensoren, die die Signale aufzeichnen) können in verschiedenen Laboren unterschiedlich konfiguriert sein. Ein Übersetzer, der auf dem Gehirn einer Person trainiert wurde, wird oft verwirrt, wenn er versucht, das Gehirn einer anderen Person zu hören, oder wenn sich die Aufrichtungsgeräte ändern. Dies wird als „Domain Shift“ bezeichnet, und es ist so, als würde man versuchen, Französisch zu jemandem zu sprechen, der nur Spanisch versteht, obwohl beide dieselbe Sprache der „Gefühle“ sprechen.

Um dies zu beheben, verwenden Wissenschaftler normalerweise eine Technik namens „Domain Adaptation“, bei der sie dem Computer sowohl die alten Daten (von der ersten Person) als auch die neuen Daten (von der zweiten Person) zeigen, um ihn das Übersetzen zu lehren. Aber hier liegt das Problem: In der realen Welt können wir diese alten Daten oft nicht teilen. Vielleicht sind sie zu privat, oder der Computer, der die Übersetzung ausführt, ist ein winziges Gerät auf einem Telefon, das keinen Platz hat, um die alten Dateien zu speichern. Hier liegt die große Herausforderung: Wie bringt man einem Computer bei, das Gehirn einer neuen Person zu verstehen, ohne jemals die Daten der alten Person gesehen zu haben? Dieses Paper befasst sich genau mit diesem Rätsel und schlägt einen cleveren neuen Weg vor, den Computer unter Verwendung nur der neuen Daten und einer „Erinnerung“ an das, was er zuvor gelernt hat, zu unterrichten, ohne die ursprünglichen Dateien zu benötigen.

Der „Geister“-Übersetzer des Gehirns

Die Autoren dieser Arbeit, Md Niaz Imtiaz und Naimul Khan, haben ein neues System entwickelt, das sie eine „Source-Free Unsupervised Domain Adaptation“ (SF-UDA)-Methode nennen. Denken Sie an einen Detektiv, der ein Verbrechen in einer Stadt (der „Quelle“) gelöst hat, aber nun in eine völlig andere Stadt (das „Ziel“) geschickt wird, um einen ähnlichen Fall zu lösen. Normalerweise würde der Detektiv seine alten Fallakten mitbringen, um Hinweise zu vergleichen. In diesem Szenario ist der Detektiv jedoch verboten, die Akten mitzubringen – sie sind zu sensibel oder der Koffer ist zu klein. Stattdessen muss sich der Detektiv auf seine trainierte Intuition und die neuen Hinweise verlassen, die er auf der Straße findet, um herauszufinden, wie das Layout der neuen Stadt mit dem der alten übereinstimmt, ohne jemals die alte Karte gesehen zu haben.

Die Forscher testeten diese Idee auf drei berühmten „Emotions-Städten“ (Datensätze namens DEAP, SEED und DREAMER), bei denen Menschen Videos oder Musikclips ansahen, während ihre Gehirnwellen aufgezeichnet wurden. Sie wollten sehen, ob ihre neue Methode in der Lage ist, ein Modell, das auf einem Datensatz trainiert wurde, perfekt auf einen anderen zu übertragen, ohne jemals die ursprünglichen Trainingsdaten zu spicken.

Wie der Detektiv den Fall löst: Zwei geheime Werkzeuge

Das Paper stellt ein mehrstufiges Framework vor, aber die Magie geschieht durch zwei spezifische Werkzeuge, die der Detektiv nutzt, um sich an die neue Stadt anzupassen:

1. Das „Doppelcheck“-System (Dual-Loss Adaptive Regularization oder DLAR)
Stellen Sie sich vor, der Detektiv hat zwei Partner, die beide versuchen zu erraten, was ein Verdächtiger fühlt. Normalerweise, wenn sie sich uneinig sind, weiß der Detektiv, dass etwas nicht stimmt. Aber in diesem neuen System vertraut der Detektiv den Partnern nur dann, wenn beide extrem sicher sind und übereinstimmen. Das System nutzt eine „Double-Check“-Regel: Es sucht nach den Gehirnsignalen, bei denen die beiden Partner stark übereinstimmen. Es verwendet dann diese „konfidenten“ Signale, um einen Satz von „Geister-Labels“ (fiktive Labels, die wie die Wahrheit fungieren) zu erstellen, um das Modell zu lehren. Wenn die Partner sich uneinig sind, ignoriert das System dieses Signal, um nicht durch Rauschen verwirrt zu werden. Dies hilft dem Modell, die Muster der neuen Stadt zu lernen, ohne von unzuverlässigen Hinweisen getäuscht zu werden.

2. Die „Nachbarschaftswache“ (Localized Consistency Learning oder LCL)
Sobald der Detektiv ein paar gute Vermutungen hat, beginnt er, sich die Nachbarschaft anzusehen. Die Regel der „Nachbarschaftswache“ besagt: „Wenn zwei Leute nebeneinander wohnen und sehr ähnlich aussehen, fühlen sie sich wahrscheinlich gleich.“ Das System findet Gruppen ähnlicher Gehirnsignale (Nachbarn) und zwingt das Modell dazu, ihnen die gleiche Antwort zu geben. Es ist jedoch klug darin, wem es vertraut. Es hört nur auf Nachbarn, die zuverlässig sind, basierend auf sowohl ihrem „Gesicht“ (Merkmalswerten) als als auch ihrer „Konfidenz“ (wie sicher sich das Modell ist). Dies verhindert, dass das Modell schlechte Vermutungen von unzuverlässigen Nachbarn kopiert, und hilft ihm, ein konsistentes Verständnis der neuen Stadt aufzubauen.

Das Ergebnis: Ein neuer Champion

Die Forscher stellten ihre Methode einem Test unter und setzten sie gegen andere Top-Methoden durch, die normalerweise Zugriff auf die alten Daten benötigen. Die Ergebnisse waren beeindruckend. Als sie ihr Modell auf dem DEAP-Datensatz trainierten und auf dem SEED-Datensatz testeten, erreichte ihre Methode eine Genauigkeit von 65,84 %. Als sie es umkehrten (Training auf SEED, Test auf DEAP), erreichten sie 58,99 %. Sie testeten es auch auf dem DREAMER-Datensatz und erreichten in verschiedene Richtungen 58,87 % und 67,08 % Genauigkeit.

Diese Zahlen sind nicht nur ein bisschen besser; sie schlagen die anderen Methoden deutlich, die Schwierigkeiten hatten, sich ohne die alten Daten anzupassen. Das Paper zeigt, dass ihr Ansatz besonders gut darin ist, sowohl positive als auch negative Emotionen zu erkennen, was ihn zu einem starken Kandidaten für den realen Einsatz macht.

Warum das wichtig ist und was es nicht tut

Das Paper schließt explizit die Idee aus, dass man die alten Daten behalten muss, um dies zu ermöglichen. Sie argumentieren, dass traditionelle Methoden, die versuchen, die Verteilungen der alten und neuen Daten direkt abzugleichen, unmöglich sind, wenn man die alten Daten nicht hat. Stattdessen beweisen sie, dass man effektiv adaptieren kann, indem man die eigenen Vorhersagen des Modells verfeinert und die Struktur der neuen Daten selbst nutzt.

Das Paper ist jedoch vorsichtig, nicht zu behaupten, dass dies ein perfektes, gelöstes Problem sei. Es stellt fest, dass das Modell in bestimmten Datensätzen (wie DEAP) immer noch etwas mehr mit „negativen“ Emotionen kämpft, weil es dort von vornherein weniger Beispiele für negative Emotionen gab (ein Problem des Klassenungleichgewichts). Sie fanden auch heraus, dass das Modell etwas besser funktioniert, wenn die Personen in den Datensätzen ähnlicher sind (wie beim SEED-Datensatz, bei dem alle Teilnehmer denselben Hintergrund hatten) im Vergleich zu vielfältigeren Gruppen.

Die Autoren testeten auch, wie gut ihr System mit „Rauschen“ umgeht – wie etwa statischem Rauschen auf einer Funkleitung. Sie fügten den Signalen künstliche elektrische Interferenzen hinzu, und ihr Modell blieb überraschend stabil, wobei es nur minimale Einbußen bei der Genauigkeit zeigte. Dies deutet darauf hin, dass die Methode robust genug für den realen Einsatz ist, in dem Signale nicht immer perfekt sind.

Das Fazit

Dieses Paper schlägt nicht nur eine neue Idee vor; es liefert einen funktionierenden Bauplan, um Computern beizubringen, menschliche Emotionen über verschiedene Menschen und Settings hinweg zu verstehen, ohne die Privatsphäre zu verletzen oder den Speicher zu überlasten. Durch die Verwendung eines „Double-Check“-Systems, um zuverlässige Hinweise zu finden, und einer „Nachbarschaftswache“, um die Konsistenz zu wahren, haben die Autoren eine Methode geschaffen, die nicht nur effektiv, sondern auch praktisch für die Zukunft von Gehirn-Computer-Schnittstellen ist. Obwohl noch Arbeit geleistet werden muss, um jede Art von Emotion perfekt zu handhaben, ist dieser Ansatz ein bedeutender Schritt in Richtung einer Technologie zur Emotionserkennung, die sicher, privat und bereit für die reale Welt ist.

Technisches Resümee: In Richtung praktischer Emotionserkennung: Ein unüberwachter, quellenfreier Ansatz für die EEG-Domänenadaptation

Problemstellung

Die EEG-basierte Emotionserkennung ist entscheidend für die Überwachung der psychischen Gesundheit, das Gesundheitswesen und Gehirn-Computer-Schnittstellen (BCIs). Deep-Learning-Modelle, die auf EEG-Daten trainiert wurden, leiden jedoch unter einem Domänenverschiebungseffekt (Domain Shift), wenn sie auf neue Probanden oder neue Aufnahmeumgebungen angewendet werden, was auf die Variabilität zwischen den Probanden und Unterschiede in den Aufnahmeaufbauten zurückzuführen ist. Während die unüberwachte Domänenadaptation (Unsupervised Domain Adaptation, UDA) dies durch die Nutzung von Quell- und Zieldaten adressiert, stößt sie auf erhebliche praktische Barrieren:

Datenschutz und Zugänglichkeit: In realen Szenarien (z. B. mobiler Einsatz oder Gesundheitswesen) ist der Zugriff auf die ursprünglichen annotierten Quelldaten während der Anpassung an die Zieldomäne aufgrund von Datenschutzbestimmungen und rechnerischen Einschränkungen oft unmöglich.
Knappheit an Labels: Das Sammeln und Annotieren von EEG-Daten ist arbeitsintensiv und kostspielig.
Lücke in der Literatur: Während die quellfreie unüberwachte Domänenadaptation (Source-Free Unsupervised Domain Adaptation, SF-UDA) in der Computer Vision untersucht wurde, bleibt ihre Anwendung auf die EEG-basierte Emotionserkennung unerforscht. Bestehende SF-UDA-Methoden haben oft Schwierigkeiten mit verrauschten Pseudo-Labels und Verzerrungen (Biases), die aus der Quelldomäne stammen, wenn die Quelldaten nicht mehr verfügbar sind.

Methodik

Die Autoren schlagen ein neuartiges Source-Free Unsupervised Domain Adaptation (SF-UDA) Framework vor, das speziell auf die EEG-Emotionsklassifizierung zugeschnitten ist. Die Methode arbeitet in vier distinkten Phasen und nutzt eine Netzwerkarchitektur, die aus einem Merkmalsextraktor ( $F$ ) gefolgt von zwei parallelen Klassifikatoren ( $C_1, C_2$ ) besteht.

1. Pre-training (Vortraining)

Das Modell wird zunächst auf annotierten Quelldaten ( $X_s, Y_s$ ) trainiert, um grundlegende Emotionsmerkmale zu erlernen. Die Verlustfunktion kombelt gewichtete Kreuzentropie (unter Verwendung von Group Distributionally Robust Optimization) und einen Klassifikator-Diskrepanzverlust, um sicherzustellen, dass die beiden Klassifikatoren konsistente, aber dennoch diverse Vorhersagen treffen. Sobald das Vortraining abgeschlossen ist, werden die Quelldaten verworfen und das Modell fährt ohne weiteren Zugriff auf die Quelle in die Zieldomäne fort.

2. Berechnung (Computation)

Unter Verwendung des vortrainierten Modells und unannotierter Zieldaten ( $X_t$ ) berechnet das System:

Cluster-Zentroiden ( $CC_t$ ): Aggregierte Merkmalsrepräsentationen für jede Emotionskategorie, gewichtet durch die Softmax-Konfidenz der Klassifikatoren.
Mittlere Klassifikator-Diskrepanz ( $M_{dis}$ ): Der durchschnittliche euklidische Abstand zwischen den Ausgaben der beiden Klassifikatoren, der als Schwellenwert zur Identifizierung konfidenter Stichproben dient.

3. Zielanpassung (Target Adaptation)

Diese Phase passt das Modell mithilfe von zwei sequenziellen Trainingsschritten auf unannotierten Zieldaten an:

Dual-Loss Adaptive Regularization (DLAR):
- Pseudo-Label-Agreement-Verlust ( $L_{plal}$ ): Stichproben werden basierend auf dem nächstgelegenen Cluster-Zentroiden Pseudo-Labels zugewiesen. Das Modell wird darauf trainiert, seine Vorhersagen mit diesen Pseudo-Labels abzugleichen.
- Confident Classifier Discrepancy Loss ( $L_{ccdl}$ ): Um Rauschen zu minimieren, wird dieser Verlust nur auf „konfidente“ Stichproben angewendet – also solche mit geringer Vorhersage-Entropie und geringer Diskrepanz zwischen den beiden Klassifikatoren. Dies fördert die Übereinstimmung bei zuverlässigen Vorhersagen.
- Mechanismus: Am Ende jeder Epoche werden die Cluster-Zentroiden aktualisiert, um den sich entwickelnden Merkmalsraum widerzuspiegeln.
Localized Consistency Learning (LCL):
- Dieser Schritt erzwingt lokale Konsistenz, indem er ähnliche Vorhersagen für „zuverlässige Nachbarn“ begünstigt.
- Nachbarschaftsauswahl: Ein Nachbar gilt nur dann als zuverlässig, wenn er sowohl im Merkmalsraum als auch im Softmax-Wahrscheinlichkeitsraum ein $k$ -nächster Nachbar ist.
- Verlust: Das Modell minimiert die Vorhersagediskrepanzen unter diesen gemeinsamen zuverlässigen Nachbarn, wodurch der Merkmals- und der Klassifikatorraum lokal abgeglichen werden.

4. Inferenz

Das System verwendet eine Prediction Confidence-aware Test-Time Augmentation (PC-TTA). Anstatt alle Testproben zu augmentieren (was rechenintensiv ist), werden Augmentationen (z. B. Gaußsches Rauschen, Resampling) selektiv auf Stichproben angewendet, die eine hohe Unsicherheit (hohe Entropie) und eine hohe Klassifikator-Diskrepanz aufweisen. Die endgültigen Vorhersagen werden durch Mehrheitsentscheidung zwischen der Originalprobe und den augmentierten Proben bestimmt.

Zentrale Beiträge

Erstes SF-UDA für EEG-Emotionen: Diese Arbeit stellt die erste Anwendung der quellfreien unüberwachten Domänenadaptation speziell für die EEG-basierte Emotionserkennung dar.
Mehrstufiges Framework: Eine robuste Pipeline, die von der Vorverarbeitung zur Zielanpassung übergeht, ohne Quelldaten zu benötigen, und somit Datenschutzbestimmungen und rechnerische Einschränkungen adressiert.
Dual-Loss Adaptive Regularization (DLAR): Eine Technik, die Klassifikator-Diskrepanzen auf konfidenten Stichproben minimiert, während sie gleichzeitig Vorhersagen mit clusterbasierten Pseudo-Labels abgleicht, wodurch die Auswirkungen verrauschter Labels reduziert werden.
Localized Consistency Learning (LCL): Eine Strategie, die lokale Konsistenz erzwingt, indem sie zuverlässige Nachbarn durch einen dualen Kriterienmechanismus (Merkmals- und Wahrscheinlichkeitsraum) identifiziert und so die Generalisierung verbessert.

Experimentelle Ergebnisse

Die Methode wurde auf drei weit verbreiteten Datensätzen evaluiert: DEAP, SEED und DREAMER. Die Experimente beinhalteten Cross-Dataset-Tests (z. B. Training auf DEAP, Testen auf SEED), um signifikante Domänenverschiebungen zu simulieren.

Leistung: Die vorgeschlagene Methode übertraf die vier State-of-the-Art SF-UDA-Baselines (adaptiert aus Bild- und Zeitreihenaufgaben) signifikant.
- DEAP $\to$ SEED: 65,84 % Genauigkeit (gegenüber 61,98 % beim nächstbesten Modell).
- SEED $\to$ DEAP: 58,99 % Genauigkeit (gegenüber 53,55 % beim nächstbesten Modell).
- DEAP $\to$ DREAMER: 58,87 % Genauigkeit.
- SEED $\to$ DREAMER: 67,08 % Genauigkeit.
Statistische Signifikanz: Paarweise Stichproben-t-Tests bestätigten, dass die Verbesserungen in den meisten Vergleichen statistisch signifikant waren ( $p < 0,05$ oder $p < 0,01$ ).
Ablationsstudien:
- Das Entfernen der Zielanpassungsphase (Modell A) führte in einigen Fällen dazu, dass die Genauigkeit unter die Zufallswahrscheinlichkeit fiel.
- Das Entfernen von LCL (Modell B) reduzierte die Genauigkeit um ca. 5 %.
- Das Entfernen von DLAR (Modell C) reduzierte die Genauigkeit um ca. 3,5 %.
- Merkmalsanalyse: Power Spectral Density (PSD)-Merkmale lieferten überlegene Ergebnisse im Vergleich zu Differential Entropy (DE).
- Nachbarschaftsauswahl: Die Kombination aus Merkmals- und Softmax-basierter Nachbarschaftsauswahl war leistungsfähiger als die Verwendung eines einzelnen Metrik-Ansatzes allein.
Robustheit: Das Modell zeigte eine hohe Resilienz gegenüber synthetischem Rauschen (Gaußsches Rauschen, Netzbrummen, Baseline-Drift) und wies eine minimale Genauigkeitsdegradation auf.
Merkmalsrelevanz: Die SHAP-Analyse identifizierte frontale, präfrontale und temporale Kanäle (z. B. Fz, F3, F8) sowie hochfrequente Bänder (Gamma, Beta, Alpha) als die einflussreichsten Merkmale.

Bedeutung und Behauptungen

Das Paper behauptet, dass diese Arbeit eine kritische Lücke in der praktischen Emotionserkennung schließt, indem sie die Domänenadaptation ohne Zugriff auf Quelldaten ermöglicht, wodurch der Datenschutz gewahrt und der Rechenaufwand reduziert wird. Die Autoren beteuern, dass ihre Methode:

Die quellfreie Beschränkung löst: Sie passt Modelle erfolgreich an neue Domänen an, in denen Quelldaten unzugänglich sind – eine häufige reale Einschränkung.
Pseudo-Label-Rauschen mildert: Durch DLAR und LCL handhabt der Ansatz effektiv das Rauschen, das bei der Pseudo-Labeling-Verfahren auftritt, was ein primärer Ausfallpunkt traditioneller SF-UDA ist.
Praktischen Nutzen bietet: Die Methode eignet sich gut für ressourcenbeschränkte Umgebungen (z. B. mobile BCIs) und Anwendungen im Gesundheitswesen, in denen der Datenaustausch eingeschränkt ist.
Gut generalisiert: Der Ansatz zeichnet sich dadurch aus, sowohl positive als auch negative Emotionen über verschiedene Datensätze und Aufnahmebedingungen hinweg effektiv zu erkennen und übertrifft dabei bestehende allgemeine SF-UDA-Methoden für diese Aufgabe.

Die Autoren kommen zu dem Schluss, dass die Methode zwar vielversprechend ist, zukünftige Arbeiten jedoch darauf abzielen werden, das Modell auf die kontinuierliche Emotionslabeling (Valenz/Arousal) auszuweiten und die Pseudo-Labeling-Strategien für eine breitere Generalisierbarkeit zu verfeinern.