Stress Classification from ECG Signals Using Vision Transformer

Diese Arbeit stellt eine neue Methode zur Stressklassifizierung aus ECG-Signalen vor, die Rohdaten in 2D-Spektrogramme umwandelt und mit einem Vision Transformer verarbeitet, um durch die Behandlung von Intersubjektivität eine überlegene Genauigkeit im Vergleich zu CNN-basierten Modellen und bisherigen State-of-the-Art-Methoden zu erzielen.

Das Wesentliche

Das große Problem: Jeder Herzschlag ist anders

Stellen Sie sich vor, Sie wollen einen Stress-Test für alle Menschen der Welt entwickeln. Das Problem ist: Jeder Mensch ist einzigartig.
Wenn Person A gestresst ist, schlägt ihr Herz vielleicht schnell und unregelmäßig. Person B wird bei Stress aber nur etwas ruhiger, aber mit einem anderen Rhythmus.

Frühere Computer-Modelle (die sogenannten „CNNs" oder Faltungsnetzwerke) waren wie starre Schablonen. Sie suchten nach einem ganz bestimmten Muster. Wenn das Muster bei Person A passte, aber bei Person B leicht anders aussah, war das Modell verwirrt und machte Fehler. Das nennt man „Zwischen-Personen-Variabilität". Es ist, als würde man versuchen, mit einem einzigen Schlüssel alle Türen auf der Welt zu öffnen – das funktioniert einfach nicht.

Die Lösung: Ein neuer Blickwinkel (Der Vision Transformer)

Die Forscher aus diesem Papier haben eine geniale Idee gehabt: Warum versuchen wir nicht, das Herzsignal wie ein Bild zu betrachten?

1. Der Verwandlungszauber (Von 1D zu 2D):
   Normalerweise ist ein EKG-Signal eine flache Linie (1D). Die Forscher haben diese Linie in ein Schaubild umgewandelt (ein Spektrogramm).

   • Die Analogie: Stellen Sie sich vor, Sie haben ein Musikstück. Wenn Sie nur die Lautstärke über die Zeit aufschreiben, hören Sie nichts. Aber wenn Sie ein Klangbild (wie ein Regenbogen aus Farben) erstellen, sehen Sie sofort, welche Töne (Frequenzen) wann laut oder leise sind.
   • Bei Stress sieht dieses „Herz-Klangbild" anders aus als bei Entspannung. Die wichtigen Informationen sind jetzt als Muster und Formen sichtbar, nicht nur als Zahlenreihe.

2. Der neue Detektiv (Der Vision Transformer):
   Hier kommt der Held des Papers ins Spiel: Der Vision Transformer.

   • Die Analogie: Stellen Sie sich einen alten Detektiv (das alte CNN) vor, der nur auf die Form eines Objekts achtet. Wenn der Täter eine Jacke trägt, die er sonst nicht trägt, erkennt er ihn nicht.
   • Der Vision Transformer ist wie ein super-intelligenter Detektiv mit einem magischen Suchscheinwerfer (Aufmerksamkeits-Mechanismus). Er schaut sich das ganze Bild an und fragt sich: „Wo sind hier die wirklich wichtigen Details? Was ist nur Hintergrundrauschen?"
   • Er ignoriert die kleinen Unterschiede zwischen den Personen (z. B. ob Person A etwas schneller atmet als Person B) und konzentriert sich nur auf das, was wirklich Stress bedeutet.

Wie haben sie es getestet?

Die Forscher haben zwei große Datensätze benutzt (WESAD und RML), in denen viele verschiedene Menschen unter Stress gesetzt wurden (z. B. durch schwierige Aufgaben oder lustige Videos).

• Der Test: Sie haben das Modell trainiert, indem sie Daten von fast allen Personen benutzt haben, und dann getestet, ob es die eine Person erkennt, die es noch nie gesehen hat. Das ist der härteste Test von allen (man nennt das „Leave-One-Subject-Out").
• Das Ergebnis:
  • Die alten Modelle (CNNs) haben oft gescheitert, weil sie von Person zu Person verwirrt waren.
  • Der neue Vision Transformer war ein Gewinner. Er hat die Stress-Signale so gut erkannt, dass er alle bisherigen Rekorde gebrochen hat.
  • Die Zahlen: Bei der Unterscheidung von „Entspannt", „Mittel gestresst" und „Hoch gestresst" lag die Trefferquote bei über 76 % (bei WESAD) und 71 % (bei RML). Bei der einfachen Frage „Stress oder kein Stress?" lag sie sogar bei 88 %.

Warum ist das wichtig?

Stellen Sie sich vor, Sie tragen eine Smartwatch wie eine Apple Watch.

• Heute: Diese Uhren können oft nur grob sagen, ob Ihr Puls hoch ist. Sie wissen nicht genau, ob Sie nervös sind, weil Sie einen Termin haben, oder weil Sie gerade Sport machen.
• Zukunft: Mit dieser neuen Methode könnte die Uhr den Stress wirklich verstehen, auch wenn Sie eine Person sind, die bei Stress einen ganz anderen Herzschlag hat als Ihr Nachbar. Der Computer lernt, das „wichtige Signal" vom „persönlichen Rauschen" zu trennen.

Zusammenfassung in einem Satz

Die Forscher haben das Herzsignal in ein Bild verwandelt und einen KI-Algorithmus (Vision Transformer) benutzt, der wie ein scharfer Beobachter die echten Stress-Signale findet, egal wie unterschiedlich die Herzen der Menschen schlagen – und damit alle bisherigen Methoden deutlich übertroffen.

Technische Zusammenfassung

1. Problemstellung

Die automatische Erkennung von Stresszuständen mittels physiologischer Signale, insbesondere des Elektrokardiogramms (ECG), ist ein wichtiges Forschungsgebiet in der Biomedizin und der affektiven Informatik. Eine der größten Herausforderungen bei der Klassifizierung von Stress aus ECG-Daten ist die hohe intersubjektive Variabilität. Das bedeutet, dass sich die Signalmuster zwischen verschiedenen Personen stark unterscheiden, was die Generalisierungsfähigkeit von Modellen beeinträchtigt.

Herkömmliche Methoden, die auf manuell erstellten Merkmalen (Handcrafted Features) oder klassischen Deep-Learning-Architekturen wie 1D-CNNs basieren, stoßen hier an Grenzen. Besonders im Leave-One-Subject-Out Cross-Validation (LOSOCV)-Setting, bei dem das Modell mit Daten aller Teilnehmer außer einem trainiert und mit den Daten dieses einen gehaltenen Teilnehmers getestet wird, zeigen viele Modelle eine schlechte Leistung, da sie nicht robust genug gegenüber den individuellen Unterschieden der Probanden sind.

2. Methodik

Die Autoren schlagen einen neuartigen Ansatz vor, der Vision Transformer (ViT) Architekturen für die Stressanalyse nutzt, indem sie die 1D-EKG-Signale in 2D-Bilddarstellungen umwandeln. Der Prozess gliedert sich wie folgt:

• Signalumwandlung (1D zu 2D):

  • Roh-EKG-Daten werden in 1-Sekunden-Segmente unterteilt.
  • Mithilfe der Kurzzeit-Fourier-Transformation (STFT) werden diese Segmente in 2D-Spektrogramme umgewandelt. Dies erzeugt eine zeit-frequenzbasierte Darstellung, die für visuelle Modelle geeignet ist.
  • Die Spektrogramme zeigen eine hohe Intensität von Merkmalen im Zentrum, was für die nachfolgende Aufmerksamkeit des Transformers vorteilhaft ist.

• Vision Transformer Architektur:

  • Die 2D-Spektrogramme werden in feste Patches (z. B. 16x16 Pixel) zerlegt.
  • Diese Patches werden als Sequenz von Lineareinbettungen (ähnlich wie Token in NLP) behandelt.
  • Ein Positional Embedding wird hinzugefügt, um die räumliche Reihenfolge zu erhalten.
  • Ein CLS-Token (Classification Token) wird an die Sequenz angehängt, um die finale Klassifizierung durchzuführen.
  • Das Modell verwendet einen vorab trainierten Vision Transformer (auf ImageNet-21k trainiert), der durch Fine-Tuning auf die Stressdaten angepasst wird. Der Encoder nutzt Multi-Head-Self-Attention (MSA) und MLP-Blöcke, um Merkmale zu extrahieren.

• Vergleichsmodelle:

  • Zur Validierung wurden auch ein 1D-CNN (auf Rohdaten) und ein ResNet-18 (auf Spektrogrammen) trainiert und getestet.

• Datensätze und Validierung:

  • Es wurden zwei öffentliche Datensätze verwendet: RML (Ryerson Multimedia Lab) und WESAD.
  • Die Evaluation erfolgte strikt im LOSOCV-Modus, um die Generalisierung auf neue, unbekannte Probanden zu testen.
  • Aufgaben: Dreiklassen-Klassifizierung (Niedriger, Mittlerer, Hoher Stress) und Binärklassifizierung (Stress vs. Kein Stress).

3. Schlüsselbeiträge

1. Erstmalige Anwendung von ViT auf ECG-Stress: Dies ist laut den Autoren die erste Arbeit, die Vision Transformer für die Stressanalyse einsetzt, indem Roh-EKG-Daten via STFT in Spektrogramme transformiert werden.
2. Überwindung der intersubjektiven Variabilität: Die Studie zeigt, dass die Kombination aus 2D-Spektrogrammen und dem Aufmerksamkeitsmechanismus (Attention Mechanism) des Transformers die Variabilität zwischen den Probanden deutlich besser handhabt als CNN-basierte Modelle.
3. End-to-End-Lernen ohne manuelle Features: Der Ansatz ist vollständig datengesteuert und benötigt keine domänenspezifischen, manuell entworfenen Merkmale.
4. Qualitative und quantitative Analyse: Durch Visualisierungen (Attention Maps, Class Activation Maps, t-SNE) wird nachgewiesen, dass der Transformer sich auf relevante Merkmale konzentriert, während CNNs oft irrelevante Hintergrundmerkmale erfassen.

4. Ergebnisse

Die Experimente ergaben, dass der vorgeschlagene Vision Transformer alle bisherigen State-of-the-Art-Methoden (einschließlich CNNs und anderer Transformer-Varianten) deutlich schlägt:

• RML-Datensatz (3 Klassen):
  • Erreichte Genauigkeit: 71,01 % (Durchschnitt über alle Probanden).
  • Dies ist ein signifikanter Fortschritt gegenüber dem 1D-CNN (ca. 62,8 %) und dem ResNet-18 auf Spektrogrammen (ca. 65,34 %).
• WESAD-Datensatz (3 Klassen):
  • Erreichte Genauigkeit: 76,7 %.
  • Auch hier übertraf der ViT das ResNet-18 (74,9 %) und alle anderen verglichenen Methoden.
• WESAD-Datensatz (Binärklassifizierung):
  • Erreichte Genauigkeit: 88,3 %.
  • Dies stellt einen neuen State-of-the-Art dar und schlägt die vorherigen besten Methoden (z. B. 85,7 % bei Bota et al.) deutlich.

Die t-SNE-Visualisierungen zeigten zudem, dass die vom Transformer extrahierten Merkmale viel klarer nach Stressklassen gruppiert sind als bei ResNet-18, was auf eine robustere Repräsentation hindeutet.

5. Bedeutung und Fazit

Die Bedeutung dieser Arbeit liegt in der Demonstration, dass Vision Transformer nicht nur für Bilddaten, sondern auch für die Umwandlung und Analyse physiologischer Zeitreihendaten (wie EKG) hervorragend geeignet sind.

• Robustheit: Der Aufmerksamkeitsmechanismus ermöglicht es dem Modell, sich auf die für den Stress relevanten Frequenzmuster im Spektrogramm zu konzentrieren und Rauschen oder individuelle Signalunterschiede zu ignorieren.
• Praktische Anwendbarkeit: Da die Methode robust gegenüber intersubjektiven Unterschieden ist, eignet sie sich besonders gut für reale Anwendungen, bei denen Modelle auf neue Patienten angewendet werden müssen, ohne dass eine umfangreiche Neukalibrierung nötig ist.
• Zukunftsperspektive: Die Autoren planen, in zukünftigen Arbeiten Zeitreihen-Transformer direkt auf Rohdaten anzuwenden und multimodale Fusionsframeworks zu entwickeln, die visuelle (Spektrogramm) und zeitliche Merkmale kombinieren.

Zusammenfassend beweist das Paper, dass die Transformation von 1D-Signalen in 2D-Spektrogramme in Kombination mit der Transformer-Architektur einen neuen Standard für die stressbasierte EKG-Analyse setzt.