💻 computer science

Decision-Level Fusion for Robust Wearable Affect Recognition

Dieser Beitrag stellt ein robustes Rahmenwerk zur Affekterkennung für tragbare Geräte vor, das die Fourier-Bessel-Reihenentwicklung mit der Empirischen Wellenlettransformation zur Extraktion transienter Merkmale kombiniert und eine unsicherheitsgewichtete Fusion auf Entscheidungsebene einsetzt, wodurch im Vergleich zur Aggregation auf Merkmalsebene auf dem WESAD-Datensatz unter heterogenen und verrauschten Erfassungsbedingungen eine überlegene Leistung erzielt wird.

Ursprüngliche Autoren: Lokesh Singh, Athina Georgara, Jayati Deshmukh, Tan Viet Tuyen Nguyen, Sarvapali D. Ramchurn

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Lokesh Singh, Athina Georgara, Jayati Deshmukh, Tan Viet Tuyen Nguyen, Sarvapali D. Ramchurn

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Die Wetterkarte des Geistes lesen

Stellen Sie sich vor, Sie möchten wissen, ob jemand gestresst, glücklich oder einfach nur entspannt ist. Anstatt die Person zu fragen, schauen Sie auf den „Wetterbericht" ihres Körpers. Dies geschieht mit tragbaren Geräten (wie Smartwatches), die Dinge wie Herzfrequenz, Hautschweiß und Muskelspannung messen.

Das Problem ist, dass Körpersignale chaotisch sind. Sie ändern sich schnell, sie werden verrauscht (wie statisches Rauschen im Radio), und manchmal fällt ein Sensor aus oder wird von einem Ärmel verdeckt. Die Autoren dieses Papiers haben ein neues System entwickelt, um diese chaotischen Signale genauer und zuverlässiger zu lesen.

Das Problem: Der Ansatz der „unscharfen Kamera"

Die meisten aktuellen Systeme betrachten Körpersignale wie eine Kamera mit einer langsamen Verschlusszeit. Sie nehmen einen Zeitabschnitt, mitteln alles aus und produzieren ein unscharfes Bild.

Das Problem: Emotionen geschehen oft in schnellen, scharfen Ausbrüchen (wie ein plötzlicher Anstieg der Herzfrequenz, wenn Sie Angst bekommen). Wenn Sie die Daten „verwischen", um sie glatt zu machen, gehen diese wichtigen, schnellen Details verloren.
Das Ergebnis: Das System könnte den Unterschied zwischen „aufgeregt" und „gestresst" übersehen, weil es die Hinweise geglättet hat.

Die Lösung: Ein dreistufiges Detektiv-Team

Die Autoren schlagen eine neue Methode vor, die in drei Phasen funktioniert, wie ein Team von Detektiven, das einen Fall löst.

Schritt 1: Die „hochauflösende Linse" (Merkmalsextraktion)

Anstatt einen unscharfen Durchschnitt zu nehmen, nutzt das Team ein spezielles mathematisches Werkzeug namens FBSE-EWT.

Die Analogie: Stellen Sie sich vor, Sie hören ein Lied. Eine Standardmethode würde Ihnen vielleicht nur die „durchschnittliche Lautstärke" mitteilen. Diese neue Methode wirkt wie ein hochwertiger Toningenieur, der das Lied selbst dann in einzelne Instrumente (Schlagzeug, Bass, Gesang) trennen kann, wenn diese gleichzeitig spielen.
Was es tut: Es zerlegt die Körpersignale in ihre spezifischen, schnell bewegenden Teile, ohne die Details zu verlieren. Es erfasst die „transienten" (kurzlebigen) Spitzen, die uns tatsächlich sagen, wie sich eine Person fühlt.

Schritt 2: Die „Spezialdetektive" (Vorhersage mit einzelnen Sensoren)

Sobald die Signale klar sind, wirft das System sie nicht einfach alle in einen großen Mixer. Stattdessen weist es einen anderen „Detektiv" jedem Sensor zu.

Das Setup: Ein Detektiv betrachtet nur das Herz (EKG), ein anderer nur den Hautschweiß (EDA) und ein weiterer nur die Bewegung (Beschleunigungsmesser).
Die Aufgabe: Jeder Detektiv macht seine eigene Vermutung: „Ich denke, diese Person ist gestresst."
Der Vertrauens-Check: Entscheidend ist, dass jeder Detektiv auch sein eigenes Vertrauen bewertet. „Ich bin zu 90 % sicher" oder „Ich bin nur zu 40 % sicher, weil mein Signal verrauscht ist."

Schritt 3: Der „weise Rat" (Fusion auf Entscheidungsebene)

Dies ist der wichtigste Teil. Anstatt die Rohdaten (die chaotisch sind) zu kombinieren, kombiniert das System die Entscheidungen der Detektive.

Die Analogie: Stellen Sie sich eine Jury vor. Wenn ein Geschworener laut schreit, aber offensichtlich verwirrt ist (geringes Vertrauen), ignorieren ihn die anderen. Wenn ein anderer Geschworener ruhig ist, sich seiner Fakten sicher ist und eine klare Sicht hat (hohes Vertrauen), zählt seine Stimme mehr.
Wie es funktioniert: Das System nimmt die Vermutungen aller Sensoren und gewichtet sie.
- Wenn ein Sensor verrauscht oder defekt ist, gibt das System seiner Stimme sehr wenig Gewicht.
- Wenn ein Sensor klar und zuversichtlich ist, zählt seine Stimme stark.
Der Vorteil: Wenn ein Sensor komplett ausfällt (wie eine Uhr, die herunterfällt), stürzt das System nicht ab. Es hört einfach den verbleibenden Detektiven zu und trifft eine Entscheidung basierend darauf, wer noch zuverlässig ist.

Die Ergebnisse: Funktioniert es?

Das Team testete dies an einem Standard-Datensatz namens WESAD (der 15 Personen umfasst, die Sensoren trugen, während sie entspannt, gestresst oder amüsiert waren).

Der Vergleich: Sie verglichen ihre „weise Rat"-Methode mit der alten „Mixer"-Methode (Fusion auf Merkmalsebene).
Das Ergebnis:
- In etwa 84 % der Fälle war die neue Methode genauso gut oder besser als die alte.
- In etwa 48 % der Fälle war die neue Methode strikt besser.
Die Erkenntnis: Die neue Methode ist robuster. Sie kommt mit fehlenden Sensoren und verrauschten Daten viel besser zurecht als der traditionelle Ansatz.

Zusammenfassung

Stellen Sie sich dieses Papier als den Upgrade von einer Gruppe von Menschen, die zufällige Fakten in einen Raum schreien, zu einem gut organisierten Komitee vor.

Sie verwenden bessere Werkzeuge, um die Fakten klar zu hören (FBSE-EWT).
Sie lassen jeden Experten für sich selbst sprechen (Vorhersager mit einzelnen Sensoren).
Sie stimmen basierend darauf ab, wer in genau diesem Moment am zuverlässigsten ist (Unsicherheits-gewichtete Fusion).

Dies macht das System viel besser darin herauszufinden, wie Sie sich fühlen, selbst wenn Ihre Uhr rutscht oder Ihre Herzfrequenz springt.

Technisches Fazit: Entscheidungslevel-Fusion für robuste tragbare Affekterkennung

Problemstellung
Die automatische Erkennung affektiver Zustände (insbesondere Basiszustand, Stress und Belustigung) aus tragbaren physiologischen Signalen steht vor erheblichen Herausforderungen bei der Einsatzbereitschaft in der realen Welt. Während Datensätze wie WESAD die Evaluation erleichtern, haben aktuelle Pipelines Schwierigkeiten mit dem nicht-stationären, verrauschten und subjektabhängigen Charakter physiologischer Zeitreihen. Zwei primäre Einschränkungen werden identifiziert:

Merkmalsextraktion: Gängige Methoden, die auf spektralen Merkmalen mit fester Basis (z. B. FFT-Bandleistung, Welch-PSD) basieren, gehen von lokaler Stationarität aus. Diese Ansätze glätten oft kurzlebige, diskriminative transiente Muster, die für die Unterscheidung affektiver Zustände entscheidend sind, übermäßig.
Multimodale Integration: Die Erfassung in der realen Welt ist anfällig für Artefakte, Signalstörungen und fehlende Modalitäten. Traditionelle Early-Fusion-Ansätze (auf Merkmalsebene) gehen häufig von einer vollständigen Sensorverfügbarkeit aus, was zu Leistungseinbußen führt, wenn Sensoren verrauscht oder nicht verfügbar sind.

Methodik
Die Autoren schlagen eine dreistufige Pipeline vor, die darauf ausgelegt ist, Nicht-Stationarität und Sensorunzuverlässigkeit zu adressieren:

Nicht-stationäre Merkmalsextraktion (FBSE-EWT):
Anstelle von Fourier-Transformationen mit festem Fenster führt die Arbeit eine hybride Signalanalysemethode ein, die die Fourier-Bessel-Reihenentwicklung (FBSE) mit der Empirischen Wavelet-Transformation (EWT) kombiniert.
- FBSE: Repräsentiert das gefensterte Signal unter Verwendung von Bessel-Basen, die ein amplitudenmodulationsähnliches Verhalten aufweisen, das für breitbandige, nicht-stationäre Signale geeignet ist.
- EWT: Führt eine datengesteuerte spektrale Segmentierung durch. Im Gegensatz zu festen Wavelet-Banken lernt die EWT Wavelet-Bänder direkt aus dem Spektrum des Signals, indem sie signifikante Minima in einem Histogramm des FBSE-Spektrums detektiert.
- Merkmalskonstruktion: Die Methode rekonstruiert Modi aus diesen adaptiven Filtern und extrahiert festdimensionale Deskriptoren, einschließlich Modusenergie, Log-Energie und Modusentropie. Dadurch werden transiente Spektralstrukturen erhalten, die von Methoden mit fester Basis möglicherweise verworfen würden.
Vorhersage auf Einzelsensorbasis (SSP):
Jede Modalität (ECG, EDA, BVP, EMG, ACC) wird unabhängig von einem dedizierten Vorhersagemodell verarbeitet. Die Autoren nutzen ein Multi-Layer-Perceptron (MLP) mit ReLU-Aktivierung und einer Softmax-Ausgabeschicht.
- Das MLP gibt eine Wahrscheinlichkeitsverteilung ( $P_i$ ) über die affektiven Klassen und einen Konfidenzwert ( $F1_i$ ) aus, der die Zuverlässigkeit des Vorhersagemodells darstellt.
- Dieses modulare Design ermöglicht es jedem Sensor, affektdiskriminierende Muster unabhängig zu erlernen, wodurch die Komplexität temporaler Modelle (wie CNNs/LSTMs) vermieden wird, während die Effizienz für kleinere Datensätze erhalten bleibt.
Unsicherheitsbewusste Aggregation auf Entscheidungslevel:
Anstatt Rohdaten oder Merkmale zu fusionieren, aggregiert die Pipeline die unabhängigen Vorhersagen auf Entscheidungslevel. Die endgültige Vorhersage ist ein gewichteter Durchschnitt der Wahrscheinlichkeiten einzelner Sensoren, wobei die Gewichte bestimmt werden durch:
- Vorhersageunsicherheit: Gemessen über die Informationsentropie ( $H(P_i)$ ) der spezifischen Vorhersageinstanz. Eine niedrigere Entropie (höhere Sicherheit) erhöht das Gewicht.
- Modalitätszuverlässigkeit: Gemessen durch den globalen F1-Score ( $F1_i$ ) des Einzelsensor-Vorhersagemodells.
- Fusionsregel: Die aggregierte Wahrscheinlichkeit für eine Klasse $e$ wird berechnet als:
  $P_T(e) = \frac{1}{\gamma} \sum_{i \in T} (1 - H(P_i))^{F1_i} \cdot P_i(e)$
  wobei $\gamma$ ein Normalisierungsfaktor ist. Dieses Design stellt sicher, dass unsichere oder unzuverlässige Sensoren weniger zur endgültigen Entscheidung beitragen, was eine graceful Degradation (kontrollierten Leistungsabfall) ermöglicht, wenn Sensoren ausfallen oder verrauscht sind.

Hauptbeiträge

Adaptive Repräsentation: Eine nicht-stationäre Repräsentation (FBSE-EWT), die transiente Spektralmodi durch datengesteuerte Segmentierung isoliert und die dynamische Struktur physiologischer Signale besser erhält als Methoden mit fester Basis.
Robuster Fusionsmechanismus: Eine modulare, unsicherheitsbewusste Entscheidungs-Fusionsregel, die Sensorbeiträge sowohl auf Basis instanzspezifischer Entropie als auch globaler Modalitätszuverlässigkeit gewichtet und so Stabilität bei fehlenden oder verrauschten Daten gewährleistet.
Empirische Validierung: Eine Evaluation auf dem WESAD-Datensatz, die die Wirksamkeit dieses Ansatzes für die dreiklassige Affekterkennung demonstriert.

Ergebnisse
Evaluiert auf dem WESAD-Datensatz (15 Probanden, 5 Sensoren, 3 Klassen) ergab das vorgeschlagene Framework folgende Erkenntnisse:

Entscheidungs- vs. Merkmalsfusion: Die Aggregation auf Entscheidungslevel erwies sich als ≈84 % so gut oder besser als die Aggregation auf Merkmalsebene. In ≈48 % der Fälle war die Entscheidungslevel-Fusion strikt überlegen.
Robustheit gegenüber Teamgröße: Die Aggregation auf Entscheidungslevel übertraf die Merkmalsaggregation konsistent über alle Teamgrößen hinweg (von einzelnen Sensoren bis hin zu vollen Quartetten).
Skalierbarkeit: Die Genauigkeit verbesserte sich, je mehr Sensoren an der Aggregation teilnahmen, was den Nutzen der multimodalen Integration bestätigt, selbst wenn einzelne Sensoren in ihrer Qualität variieren.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die vorgeschlagene Pipeline eine verbesserte Robustheit für die tragbare Affekterkennung in heterogenen und teilweise zuverlässigen Sensorenumgebungen bietet. Durch den Wechsel von der Merkmals- zur Entscheidungslevel-Fusion und den Einsatz einer adaptiven spektralen Zerlegung gibt das System kalibrierte Glaubenszustände aus, anstatt übermäßig selbstbewusster Vorhersagen. Dies ist insbesondere für agentenbasierte Entscheidungsunterstützung in Gesundheits- und Pflegeumgebungen von Bedeutung, wo Interventionen unter Unsicherheit konservativ ausgelöst werden müssen. Die Autoren positionieren diese Arbeit als einen Schritt hin zu einsatzbereiten, affektbewussten Gesundheitssystemen, die die Realitäten nicht-stationärer Physiologie und Sensorausfälle bewältigen können, ohne dass Expertenwissen über spezifische Signalmerkmale für die Integration erforderlich ist.