💻 computer science

Rhythm-Structured Predictive Learning for Remote Photoplethysmography

Das Papier schlägt RhythmJEPA vor, ein selbstüberwachtes Framework für die ferngesteuerte Photoplethysmographie, das die Schätzung physiologischer Signale verbessert, indem es latente Teacher-Repräsentationen aus maskierten Videos vorhersagt und einen Cyclic Rhythm-State Planner mit einem Dual Order Mamba Encoder verwendet, um die zyklische zeitliche Struktur von Pulssignalen explizit zu modellieren.

Ursprüngliche Autoren: Ba-Thinh Nguyen, Huu-Dung Nguyen, Thi-Duyen Ngo, Thanh-Ha Le

Veröffentlicht 2026-07-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ba-Thinh Nguyen, Huu-Dung Nguyen, Thi-Duyen Ngo, Thanh-Ha Le

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den Herzschlag eines Freundes über einen Videoanruf zu hören. Das Problem ist, dass das „Geräusch“ des Herzschlags eigentlich kein Geräusch ist; es ist eine winzige, fast unsichtbare Veränderung der Hautfarbe, die durch den Blutfluss verursacht wird. Die meisten Computerprogramme, die versuchen, dieses Signal zu finden, lassen sich vom „Rauschen“ des Videos ablenken: dem Haar der Person, ihrem Gesichtsausdruck, der Beleuchtung im Raum oder der Kameraqualität. Sie versuchen, das gesamte Bild des Gesichts wieder aufzubauen, was dazu führt, dass sie sich auf die falschen Details konzentrieren.

Das Paper stellt RhythmJEPA vor, eine neue Methode, wie Computer lernen können, dieses Herzschlagsignal zu finden. So funktioniert es, erklärt durch einfache Analogien:

1. Der „blind gebundene Musiker“ (Die Kernidee)

Traditionelle Methoden sind wie ein Musiker, der versucht, ein Lied zu lernen, indem er die Noten anstarrt und versucht, jede einzelne Note perfekt nachzuzeichnen. Wenn er beim Zeichnen einen Fehler macht, denkt er, er sei gescheitert.

RhythmJEPA ist anders. Es agiert wie ein blind gebundener Musiker.

Der Trick: Der Computer nimmt ein Video eines Gesichts auf und verdeckt (maskiert) viele der Frames, so als würde man die Augen mit einer Augenbinde abdecken.
Das Ziel: Anstatt zu versuchen, die fehlenden Teile des Gesichts neu zu zeichnen (was leicht falsch gemacht werden kann, wegen Haaren oder Make-up), versucht er, das verborgene Gefühl oder den Rhythmus der fehlenden Teile zu erraten.
Das Ergebnis: Indem er sich zwingt, die „Vibes“ der fehlenden Momente zu erraten, ohne auf die Pixel zu schauen, lernt der Computer, die ablenkenden Details (wie ein Lächeln oder ein Hut) zu ignorieren und sich statlich ganz auf den zugrunde liegenden Puls zu konzentrieren.

2. Der „Tanzlehrer“ (Cyclic Rhythm-State Planner)

Herzschläge sind rhythmisch; sie gehen bumm-bumm, bumm-bumm. Aber in einem Video sind die Frames nur eine gerade Linie der Zeit (Frame 1, Frame 2, Frame 3...). Ein Computer, der nur auf die gerade Linie schaut, übersieht vielleicht das Muster, dass Frame 10 sehr ähnlich zu Frame 1 ist, weil beide genau am selben Punkt des Herzschlagzyklus stehen.

RhythmJEPA führt einen Tanzlehrer ein (den sogenannten Cyclic Rhythm-State Planner).

Dieser Lehrer beobachtet das Video und weist jedem Frame eine „Tanzschritt“-Nummer zu (z. B. „Schritt 1: Herz zieht sich zusammen“, „Schritt 2: Herz entspannt sich“).
Selbst wenn Frame 100 in der Zeit weit von Frame 1 entfernt ist, weiß der Lehrer, dass sie zusammengehören, wenn beide „Schritt 1“ sind.
Dies hilft dem Computer zu verstehen, dass der Herzschlag ein Zyklus ist und nicht nur eine gerade Linie.

3. Der „Zwei-Wege-Scanner“ (Dual-Order Mamba Encoder)

Die meisten Computer lesen ein Video wie ein Buch: von links nach rechts, von oben nach unten, Frame für Frame.
RhythmJEPA verwendet einen Zwei-Wege-Scanner (genannt DOM).

Weg 1: Er liest das Video ganz normal, wie ein Buch, um zu sehen, was als Nächstes passiert.
Weg 2: Er organisiert das Video basierend auf den „Tanzschritten“, die der Lehrer zugewiesen hat. Er gruppiert alle „Schritt 1“-Frames zusammen, dann alle „Schritt 2“-Frames und so weiter.
Indem er das Video in beiden Reihenfolgen liest, erhält der Computer ein vollständiges Bild: Er sieht den unmittelbaren Zeitfluss und den sich wiederholenden Rhythmus des Herzens.

4. Der „Smarte Scheinwerfer“ (Spatial Pulse Mixer)

Beim Blick auf ein Gesicht ist das Herzschlagsignal an der Stirn, den Wangen und der Nase am stärksten. Es ist schwach oder gar nicht vorhanden im Haar oder im Hintergrund.
RhythmJEPA verwendet einen Smarten Scheinwerfer (genannt SPM).

Anstatt eine schwere, komplexe Maschine zu verwenden, um das ganze Gesicht zu analysieren, ist dieser Scheinwerfer leichtgewichtig und effizient.
Er leuchtet automatisch heller auf die Wangen und die Stirn (wo der Blutfluss sichtbar ist) und dimmt das Licht auf das Haar oder den Hintergrund ab. Dies hält das System schnell und präzise, ohne dass ein Supercomputer benötigt wird.

Warum ist das wichtig?

Die Autoren testeten dieses System auf drei verschiedenen Video-Datensätzen (PURE, UBFC-rPPG und MMPD).

Das Ergebnis: RhythmJEPA schlug fast alle anderen Methoden in der Genauigkeit. Es war besser darin, den Herzschlag zu finden, selbst wenn sich die Beleuchtung änderte, die Person den Kopf bewegte oder die Videoqualität schlecht war.
Die Effizienz: Es erreichte dies zudem mit weniger Rechenleistung als viele andere fortgeschrittene Methoden, was es zu einer „schlanken und effizienten“ Lösung macht.

Kurz gesagt: RhythmJEPA hört auf, das „Gesicht wieder aufzubauen“, und beginnt, den „Rhythmus zu verstehen“, indem es eine kluge Mischung aus blindem Raten, Tanzschritt-Gruppierung und einem smarten Scheinwerfer nutzt, um den im Video verborgenen Herzschlag zu finden.

Technisches Resümee: RhythmJEPA

1. Problemstellung

Remote Photoplethysmographie (rPPG) schätzt physiologische Signale, wie etwa die Herzfrequenz, aus Gesichtsvideos durch die Analyse subtiler Hautfarbvariationen, die durch den Blutfluss induziert werden. Trotz jüngster Fortschritte stehen bestehende selbstüberwachte rPPG-Methoden vor zwei primären Einschränkungen:

Repräsentations-Bias: Die meisten selbstüberwachten Ansätze verlassen sich auf die Rekonstruktion maskierter RGB-Pixel oder niedrigschwelliger visueller Merkmale. Dies führt dazu, dass das Modell dazu tendiert, das Erscheinungsbild und die Textur des Gesichts zu lernen, anstatt die latenten physiologischen Dynamiken.
Beschränkungen des zeitlichen Scannens: Jüngste State-Space-Modelle (z. B. Mamba-basierte Ansätze) verarbeiten Gesichtsvideo-Token typischerweise strikt in chronologischer Reihenfolge. Dies schränkt ihre Fähigkeit ein, die zyklische, quasi-periodische Natur von Pulssignalen auszunutzen, bei denen zeitlich weit entfernte Frames ähnliche physiologische Zustände aufweisen können, während benachbarte Frames zu unterschiedlichen kardialen Phasen gehören können.

Infolgedessen haben aktuelle Methoden Schwierigkeiten, über Datensätze mit unterschiedlichen Kameras, Probanden und Umgebungsbedingungen hinweg zu generalisieren, und sie scheitern oft daran, die für eine robuste rPPG-Schätzung entscheidenden Inter-Perioden-Beziehungen zu erfassen.

2. Methodik: RhythmJEPA

Die Autoren schlagen RhythmJEPA vor, ein rhythmusstrukturiertes Joint-Embedding-Predictive-Learning-Framework. Anstatt Eingangsframes zu rekonstruieren, sagt das Modell latente Teacher-Repräsentationen aus maskierten Gesichtsvideos voraus, was das Lernen von physiologie-bewussten Embeddings begünstigt. Die Architektur besteht aus vier Schlüsselmodulen:

A. Spatial Pulse Mixer (SPM)

Um die Rechenkomplexität von Transformer-basierter räumlicher Modellierung zu vermeiden, verwendet RhythmJEPA einen leichtgewichtigen SPM.

Funktion: Er erfasst pulssensitive räumliche Merkmale durch die Kombination von RGB-Erscheinung mit kurzfristigen zeitlichen Differenzen.
Mechanismus: Er nutzt horizontale, vertikale und lokale Depth-wise-Convolutional-Zweige, gefolgt von attentivem räumlichem Pooling. Dies erzeugt kompakte, frame-basierte Puls-Token ( $Z$ ), die eine Balance zwischen Komplexität und Leistung herstellen.

B. Cyclic Rhythm-State Planner (CRSP)

Um die zeitliche Struktur von Pulssignalen explizit zu modellieren, weist der CRSP den Frames latente physiologische Zustände zu.

Zustandsschätzung: Ein Fourier Analysis Network (FAN) sagt frame-weise Rhythm-State-Logits voraus.
Pfad-Dekodierung: Das Modell dekodiert den plausibelsten zyklischen Zustandspfad ( $s^*$ ) mittels dynamischer Programmierung (Viterbi-Stil), der durch eine Übergangsgrammatik beschränkt ist. Diese Grammatik erzwingt, dass ein Zustand entweder unverändert bleibt oder zum nächsten Zustand im Zyklus übergeht ( $A(i) = \{i, (i+1) \mod K\}$ ).
Regularisierung: Zwei Verluste werden eingeführt, um stabile Zustandszuweisungen zu gewährleisten:
- Cyclic Transition Loss ( $L_{cyc}$ ): Fördert die Einhaltung der zyklischen Übergangsgrammatik.
- State Balance Loss ( $L_{bal}$ ): Verhindert den State-Collapse, indem eine gleichmäßige Verteilung der Zustandsnutzung über den Pulszyklus hinweg sichergestellt wird.

C. Dual-Order Mamba Encoder (DOM)

Der DOM adressiert die Einschränkung des rein chronologischen Scannens, indem er die Token-Sequenz in zwei komplementären Ordnungen verarbeitet:

Chronologischer Zweig: Scannt die Token in ihrer ursprünglichen zeitlichen Reihenfolge, um lokale Kontinuität zu erfassen.
Rhythm-State-Zweig: Ordnet die Token basierend auf den dekodierten Rhythmus-Zuständen ( $s^*$ ) neu an, bevor er sie scannt. Dies ermöglicht es dem Mamba-Modul, langfristige Abhängigkeiten zwischen Frames zu erfassen, die ähnliche physiologische Phasen teilen, unabhängig von ihrer zeitlichen Distanz.

Fusion: Die Ausgaben beider Zweige werden über einen Token-weisen Gating-Mechanismus fusioniert, um rhythmus-bewusste zeitliche Merkmale ( $Y$ ) zu erzeugen.

D. Prediction Head und Trainingsstrategie

Pre-training: Das Modell wird mittels einer Joint-Embedding Predictive Architecture (JEPA) Zielsetzung vortrainiert. Ein Student-Zweig verarbeitet maskierte Videos, während ein Exponential Moving Average (EMA) Teacher das Originalvideo verarbeitet. Der Student sagt die latenten Teacher-Repräsentationen an den maskierten Positionen voraus.
Fine-tuning: Das vortrainierte Modell wird für die Wellenform-Regression unter Verwendung eines negativen Pearson-Korrelationsverlusts feinjustiert, um die vorhergesagte rPPG-Wellenform mit der Grundwahrheit (Ground Truth) in Einklang zu bringen.

3. Kernbeiträge

Das Paper skizziert vier Hauptbeiträge:

RhythmJEPA Framework: Ein Joint-Embedding-Predictive-Learning-Framework, das latente physiologische Repräsentationen aus maskierten Gesichtsvideos lernt und so den Bias der Pixel-Rekonstruktion vermeidet.
Spatial Pulse Mixer (SPM): Ein leichtgewichtiges räumliches Modellierungsmodul, das effektiv pulssensitive Merkmale erfasst, ohne den Overhead von Transformer-basierter räumlicher Aufmerksamkeit zu verursachen.
Rhythmus-bewusste zeitliche Modellierung: Die Einführung des CRSP und des Dual-Order Mamba Encoders (DOM) zur Modellierung der zyklischen physiologischen Rekurrenz. Dies geht über konventionelles chronologisches Scannen hinaus, um Inter-Perioden-Beziehungen zu erfassen, die durch Zyklus-Konsistenz- und State-Balance-Verluste regularisiert werden.
Empirische Validierung: Umfangreiche Intra-Datensatz- und Cross-Datensatz-Experimente, die die Effektivität und Robustheit des Frameworks demonstrieren.

4. Experimentelle Ergebnisse

Die Autoren evaluierten RhythmJEPA auf drei Benchmarks: PURE, UBFC-rPPG und MMPD.

Intra-Datensatz-Leistung: RhythmJEPA erreichte State-of-the-Art-Ergebnisse über alle Metriken (MAE, MAPE, RMSE und Pearson's $r$ $r$ ) hinweg.
- Auf PURE erreichte es eine perfekte Korrelation ( $r=1.00$ ) und reduzierte den MAE im Vergleich zum bisherigen Bestwert (LSTS) um 20,0 %.
- Auf UBFC-rPPG reduzierte es den MAE von 0,51 auf 0,21 (eine Verbesserung um 58,8 %).
- Auf dem anspruchsvollen MMPD-Datensatz verbesserte es die Korrelation von 0,74 auf 0,76 und reduzierte den MAE um 4,9 %.
Cross-Datensatz-Generalisierung: Das Modell zeigte eine überlegene Transferierbarkeit, wenn es auf einem Datensatz trainiert und auf einem anderen getestet wurde (z. B. PURE $\to$ UBFC-rPPG). Es übertraf konsistent Baselines wie PhysNet und RhythmFormer, was darauf hindeutet, dass es datensatz-invariante physiologische Repräsentationen lernt anstatt datensatz-spezifische Erscheinungsstatistiken.
Effizienz: Mit 3,20 Mio. Parametern und 33,50 G MACs ist RhythmJEPA signifikant leichter als jüngste Transformer-basierte Methoden (z. B. PhysFormer, LSTS), während es eine überlegene Genauigkeit beibehält. Es bietet ein günstiges Genauigkeits-Effizienz-Verhältnis; es ist das zweiteffizienteste Modell in Bezug auf Parameter und Latenz bei gleichzeitig höchster Genauigkeit.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass RhythmJEPA eine Verschiebung von der erscheinungsbasierten Rekonstruktion hin zum physiologie-bewussten Repräsentationslernen darstellt. Indem das Modell latente Teacher-Embeddings anstatt RGB-Pixel vorhersagt, wird das Modell dazu ermutigt, sich auf das zugrunde liegende Puls-Signal zu konzentrieren.

Die Bedeutung der Arbeit liegt in der expliziten Modellierung der zyklischen Natur von rPPG-Signalen. Die Autoren argumentieren, dass chronologische Kontinuität allein für eine robuste Schätzung nicht ausreicht, da Frames mit ähnlichen physiologischen Zuständen zeitlich weit voneinander entfernt sein können. Die Integration von CRSP und DOM ermöglicht es dem Modell, die zeitliche Sequenz basierend auf latenten Rhythmus-Zuständen zu „reordern“ und so Inter-Perioden-Abhängigkeiten zu erfassen, die Standard-Sequenzmodelle übersehen.

Die Autoren merken bescheiden an, dass die gelernten Rhythmus-Zustände zwar effektiv für die Schätzung sind, aber implizit bleiben und möglicherweise nicht direkt mit klinisch interpretierbaren kardialen Phasen korrespondieren. Zukünftige Arbeiten werden vorgeschlagen, um eine interpretierbarere Rhythmusmodellierung und Evaluierung unter vielfältigeren realen Bedingungen zu untersuchen.