EMPD: An Event-based Multimodal Physiological Dataset for Remote Pulse Wave Detection

Die Studie stellt EMPD vor, das erste Multimodal-Datenset für ereignisbasierte, berührungslose physiologische Messungen, das mithilfe eines laserunterstützten Systems und einer neuromorphen Kamera präzise Pulse-Wave-Daten für robuste Algorithmen zur Fernüberwachung bereitstellt.

Das Wesentliche

Stellen Sie sich vor, Sie möchten den Herzschlag einer Person messen, ohne sie zu berühren. Normalerweise nutzen Forscher dafür normale Kameras, wie die in Ihrem Smartphone. Aber diese Kameras haben ein großes Problem: Sie machen Fotos wie ein Stapelbilder, etwa 30 Mal pro Sekunde. Wenn sich die Person bewegt oder der Herzschlag sehr schnell ist, werden die Bilder unscharf oder wichtige Details gehen verloren. Das ist so, als würde man versuchen, einen schnellen Rennwagen zu fotografieren, indem man alle paar Sekunden ein Foto macht – man verpasst die entscheidenden Momente.

Hier kommt das neue Projekt EMPD ins Spiel, das in diesem Papier vorgestellt wird. Es ist wie eine Revolution für die medizinische Überwachung.

1. Die neue Kamera: Der "Fliege-Augen"-Sensor

Statt einer normalen Kamera verwenden die Forscher eine sogenannte Event-Kamera (Ereigniskamera).

• Die Analogie: Eine normale Kamera ist wie ein Fotograf, der starr auf ein Bild schaut und alle paar Sekunden knipst. Eine Event-Kamera ist hingegen wie ein Fliege, die mit tausenden kleinen Augen die Welt beobachtet. Sie reagiert nicht auf ganze Bilder, sondern auf jede winzige Veränderung im Licht, die in millionstel Sekunden passiert.
• Der Vorteil: Diese Kamera ist so schnell, dass sie selbst die winzigsten Vibrationen der Haut über dem Handgelenk (wo die Schlagader pulsiert) einfangen kann, selbst wenn sich die Person bewegt. Es gibt keine unscharfen Bilder mehr.

2. Der unsichtbare Helfer: Der Laser

Aber wie sieht man diese winzigen Vibrationen? Die Haut bewegt sich kaum merklich.

• Die Analogie: Stellen Sie sich vor, Sie wollen sehen, wie sich eine ruhige Wasseroberfläche durch einen leisen Wind bewegt. Das ist schwer zu erkennen. Wenn Sie aber einen Laserpointer darauf richten, sehen Sie sofort, wie der Lichtfleck auf der Wand tanzt.
• Die Lösung: Die Forscher nutzen einen roten Laser, der auf das Handgelenk scheint. Die winzigen Pulsschläge der Arterie modulieren (verändern) dieses Laserlicht. Die Event-Kamera fängt diese Lichtveränderungen extrem präzise ein. Es ist, als würde man den Herzschlag in Licht verwandeln, den die Kamera perfekt lesen kann.

3. Die Datensammlung: Ein riesiges Fitness-Studio

Die Forscher haben ein riesiges neues Datenset namens EMPD erstellt.

• Was ist drin? Sie haben 83 gesunde Menschen (junge Erwachsene) gebeten, sich hinzusetzen und ihre Hand ruhig zu halten. Dann haben sie einige von ihnen gebeten, Kniebeugen zu machen, um den Herzschlag zu beschleunigen.
• Das Ergebnis: Sie haben 193 Aufnahmen gemacht, die alles abdecken: von ruhigem Sitzen bis zum sportlichen Puls. Wichtig ist: Sie haben gleichzeitig drei Dinge aufgezeichnet:
  1. Das normale Video (zum Vergleich).
  2. Die "Laser-Event-Daten" (die neue, super-schnelle Methode).
  3. Ein medizinisches Messgerät am Finger (als "Wahrheit", um zu prüfen, ob die neue Methode stimmt).

4. Das Ergebnis: Schneller und genauer

Als die Forscher ihre neue Methode mit den alten Methoden verglichen, war das Ergebnis beeindruckend.

• Die Metapher: Wenn die alten Methoden (normale Kameras) versuchen, einen schnellen Zug zu zählen, indem sie durch ein Gitter schauen, verpassen sie viele Wagen. Die neue Event-Methode hingegen sieht den Zug in Zeitlupe und zählt jeden einzelnen Wagen perfekt.
• Die Zahlen: Die neue Methode machte deutlich weniger Fehler bei der Berechnung der Herzfrequenz als alle bisherigen besten Methoden. Sie ist robuster gegen Bewegung und viel genauer.

Warum ist das wichtig?

Dieses neue Datenset ist wie ein Lehrbuch für Roboter und KI, die in Zukunft unseren Gesundheitszustand überwachen sollen.

• Zukunftsvision: Stellen Sie sich einen Roboter vor, der Ihnen beim Sport hilft. Er kann nicht nur sehen, wie Sie rennen, sondern dank dieser Technologie auch Ihren Herzschlag "fühlen", ohne Sie zu berühren. Selbst wenn Sie rennen und schwitzen, kann er Ihre Vitalwerte genau messen.

Zusammenfassend: Die Forscher haben eine Brücke gebaut zwischen der alten Welt der langsamen Kameras und der neuen Welt der ultraschnellen "Ereignis-Kameras". Mit Hilfe eines Lasers und eines riesigen Datensets haben sie gezeigt, dass wir den menschlichen Körper jetzt viel genauer, schneller und berührungslos beobachten können. Das ist ein großer Schritt für die Medizin und die Robotik.

Technische Zusammenfassung

Problemstellung

Die herkömmliche Fern-Photoplethysmographie (rPPG), die auf frame-basierten Kameras (z. B. RGB-Webcams) beruht, stößt bei der berührungslosen physiologischen Überwachung an fundamentale Grenzen. Diese Systeme leiden unter:

• Bewegungsartefakten: Durch die Belichtungszeit entstehen bei Bewegungen Unschärfen (Motion Blur).
• Begrenzter zeitlicher Auflösung: Feste Bildraten (typischerweise 30–60 fps) führen zu einem Unterabtastungsproblem (Under-sampling) bei hochfrequenten physiologischen Mikro-Bewegungen des Herz-Kreislauf-Systems.
• Fehlende Datenbasis: Es gab bisher keine hochwertigen Benchmark-Datensätze, die speziell für neuromorphe Vision-Sensoren (Event-Kameras) konzipiert waren, was die Entwicklung entsprechender Algorithmen hemmte.

Methodik: Das EMPD-Dataset und die Erfassungsplattform

Die Autoren stellen EMPD (Event-based Multimodal Physiological Dataset) vor, den ersten Benchmark-Datensatz für die berührungslose physiologische Erfassung mittels Event-Kameras.

1. Hardware-Plattform und Laser-Unterstützung:
Um das Problem des geringen Kontrasts bei Hautvibrationen zu lösen, wurde eine spezielle Erfassungsplattform entwickelt:

• Laser-Modulation: Ein hochkohärenter 660-nm-Laser wird auf die Arteria radialis (Handgelenk) projiziert. Dieser moduliert die subtilen, pulssynchronen Hautvibrationen in signifikante Intensitätsänderungen, die von der Event-Kamera detektiert werden können.
• Sensoren:
  • Event-Kamera (Prophesee EVK4): Erfasst asynchrone Helligkeitsänderungen mit einer zeitlichen Präzision von 1 Mikrosekunde (µs) und einer räumlichen Auflösung von 1280 × 720.
  • Industrie-RGB-Kamera (FLIR): Dient als Referenz für traditionelle rPPG-Methoden (30 fps).
  • Klinischer Pulsoximeter (CONTEC CMS50E): Liefert die Ground-Truth-PPG-Wellenformen (60 Hz) zur Validierung.
• Synchronisation: Ein benutzerdefiniertes Framework stellt eine mikrosekundengenaue zeitliche Synchronisation zwischen den asynchronen Event-Streams und den Ground-Truth-Signalen sicher.

2. Datenerhebung:

• Kohorte: 83 Probanden (57 Männer, 26 Frauen, Alter 19–25 Jahre).
• Bedingungen: 193 valide Aufnahmen unter Ruhebedingungen und nach intensivem Training (Kniebeugen), um einen breiten Herzfrequenzbereich (40–110 BPM) abzudecken.
• Datenvolumen: Durch ein Sliding-Window-Verfahren (5 Sekunden Fenster, 1 Sekunde Schrittweite) entstanden 7.527 valide Datensegmente.

Wesentliche Beiträge

1. Pionier-Datensatz: EMPD ist der erste öffentliche Benchmark, der Event-Kameras in die Fernmessung physiologischer Signale einführt.
2. Multimodale Synchronisation: Bereitstellung von präzise abgestimmten, mikrosekundengenauen Event-Streams parallel zu industriellen RGB-Videos und klinischen PPG-Signalen.
3. Physikalische Validierung: Nachweis, dass die Event-Kamera direkt auf die durch arterielle Pulsationen verursachten transienten photometrischen Variationen reagiert.
4. Umfangreiche Datenbasis: Abdeckung eines breiten Spektrums an Herzfrequenzen und physiologischen Zuständen (Ruhe vs. Belastung) für robuste Algorithmentests.

Ergebnisse und Evaluation

Die Autoren entwickelten einen Event-getriebenen Baseline-Framework, der aus zwei Modulen besteht:

1. Event Aggregation Module (EAM): Wandelt den asynchronen Event-Stream in eine diskrete Zeitreihe um (ROI-Lokalisierung, zeitliches Binning, Detrending).
2. Waveform Reconstruction Module (WRM): Nutzt ein Generative Adversarial Network (GAN) mit einem 1D-U-Net-Generator und einem frequenzbasierten Diskriminator, um aus den Events hochfidele Pulswellen zu rekonstruieren.

Vergleichende Analyse (Table 2):
Der Event-basierte Ansatz übertrifft sowohl traditionelle Methoden (POS, CHROM, ICA) als auch State-of-the-Art Deep-Learning-Modelle (PhysNet, PhysFormer, RhythmFormer) signifikant:

• MAE (Mean Absolute Error): 1,18 BPM (vs. 3,39 BPM bei RhythmFormer).
• RMSE: 3,76 BPM.
• PCC (Pearson Correlation Coefficient): 0,94 (höchster Wert im Vergleich).
• SNR: 2,89 dB.

Die Ergebnisse belegen, dass die mikrosekundengenaue zeitliche Auflösung von Event-Streams Bewegungsartefakte und Unterabtastungsprobleme effektiv eliminiert.

Bedeutung und Ausblick

Das EMPD-Dataset schließt eine kritische Lücke in der Forschung zur neuromorphen physiologischen Überwachung. Es ermöglicht die Entwicklung robuster, latenzarmer Algorithmen, die nicht von den Limitierungen frame-basierter Kameras abhängig sind.

• Zukünftige Arbeiten: Die Autoren planen die Erweiterung auf realistischere, mobile Szenarien mit variierender Beleuchtung. Zudem wird die Entwicklung spezialisierter, leichter neuromorpher Architekturen (z. B. Spiking Neural Networks - SNNs) für asynchrone Datenströme angestrebt.
• Anwendungspotenzial: Die Technologie eröffnet neue Wege für multimodale Mensch-Roboter-Interaktionen, bei denen Roboter Echtzeit-Zustandsinformationen über den Menschen (z. B. Stress, Ermüdung) berührungslos und unauffällig erfassen können.

Der Datensatz ist öffentlich unter der DOI 10.5281/zenodo.18765701 verfügbar.