Technische Samenvatting: RhythmJEPA

1. Probleemstelling

Remote Photoplethysmography (rPPG) schat fysiologische signalen in, zoals de hartslag, vanuit gezichtsvideo's door subtiele variaties in de huidskleur te analyseren die worden veroorzaakt door de bloedstroom. Ondanks recente vooruitgang kampen bestaande zelfgesuperviseerde rPPG-methoden met twee primaire beperkingen:

1. Representatiebias: De meeste zelfgesuperviseerde benaderingen vertrouwen op het reconstrueren van gemaskeerde RGB-pixels of laag-niveau visuele kenmerken. Dit bias het model naar het leren van gezichtsverschijning en textuur in plaats van latente fysiologische dynamiek.
2. Beperkingen in Temporele Scanning: Recente state-space modellen (bijv. Mamba-gebaseerde benaderingen) verwerken facial video-tokens doorgaans strikt in chronologische volgorde. Dit beperkt hun vermogen om de cyclische, quasi-periodieke aard van pulssignalen te exploiteren, waarbij tijdelijk verre frames vergelijkbare fysiologische staten kunnen delen terwijl aangrenzende frames tot verschillende cardiale fasen kunnen behoren.

Gevolgelijk hebben huidige methoden moeite met het generaliseren over datasets met variërende camera's, subjecten en omgevingscondities, en slagen ze er vaak niet in om de inter-periode relaties te vangen die cruciaal zijn voor robuuste rPPG-schatting.

2. Methodologie: RhythmJEPA

De auteurs stellen RhythmJEPA voor, een ritme-gestructureerd joint-embedding predictive learning framework. In plaats van inputframes te reconstrueren, voorspelt het model latente teacher-representaties van gemaskeerde gezichtsvideo's, wat het leren van fysiologie-bewuste embeddings stimuleert. De architectuur bestaat uit vier kernmodules:

A. Spatial Pulse Mixer (SPM)

Om de computationele complexiteit van Transformer-gebaseerde ruimtelijke modellering te vermijden, gebruikt RhythmJEPA een lichtgewicht SPM.

• Functie: Het legt pulssensitieve ruimtelijke aanwijzingen vast door RGB-verschijning te combineren met kortetermijn temporele verschillen.
• Mechanisme: Het maakt gebruik van horizontale, verticale en lokale depth-wise convolutionele takken gevolgd door attentive spatial pooling. Dit produceert compacte, frame-niveau pulse tokens ($Z$) die een balans vinden tussen complexiteit en prestaties.

B. Cyclic Rhythm-State Planner (CRSP)

Om de temporele structuur van pulssignalen expliciet te modelleren, wijst CRSP latente fysiologische staten toe aan frames.

• Statesschatting: Een Fourier Analysis Network (FAN) voorspelt frame-wijze rhythm-state logits.
• Paddecodering: Het model decodeert het meest plausibele cyclische statepad ($s^*$) met behulp van dynamisch programmeren (Viterbi-stijl), geconstrueerd door een transitie-grammatica. Deze grammatica dwingt af dat een staat ofwel onveranderd blijft, ofwel overgaat naar de volgende staat in de cyclus ($A(i) = \{i, (i+1) \mod K\}$).
• Regularisatie: Er worden twee losses geïntroduceerd om stabiele staatstoewijzingen te garanderen:
  • Cyclic Transition Loss ($L_{cyc}$): Stimuleert de naleving van de cyclische transitie-grammatica.
  • State Balance Loss ($L_{bal}$): Voorkomt state collapse door een even verdeling van staatgebruik over de pulscyclus te waarborgen.

C. Dual-Order Mamba Encoder (DOM)

De DOM pakt de beperking van enkel chronologische scanning aan door de token-sequentie in twee complementaire ordenen te verwerken:

1. Chronologische Tak: Scant tokens in hun oorspronkelijke temporele volgorde om lokale continuïteit te vangen.
2. Rhythm-State Tak: Herordent tokens op basis van de gedecodeerde cyclische staten ($s^*$) voordat er gescand wordt. Dit stelt de Mamba-module in staat om langetermijn-afhankelijkheden te vangen tussen frames die vergelijkbare fysiologische fasen delen, ongeacht hun temporele afstand.

• Fusie: De outputs van beide takken worden gefuseerd via een token-wijze gating mechanisme om ritme-bewuste temporele kenmerken ($Y$) te produceren.

D. Prediction Head en Trainingsstrategie

• Pre-training: Het model wordt voorgetraind met een Joint-Embedding Predictive Architecture (JEPA) objectief. Een student-tak verwerkt gemaskeerde video's, terwijl een Exponential Moving Average (EMA) teacher de originele video verwerkt. De student voorspelt de latente representaties van de teacher op gemaskeerde posities.
• Fine-tuning: Het voorgetrainde model wordt gefinetuned voor waveform regressie met behulp van een negatieve Pearson correlatie loss om de voorspelde rPPG-waveform uit te lijnen met de grondwaarheid.

3. Belangrijkste Bijdragen

Het artikel schetst vier belangrijke bijdragen:

1. RhythmJEPA Framework: Een joint-embedding predictive learning framework dat latente fysiologische representaties leert van gemaskeerde gezichtsvideo's, waardoor de bias van pixelreconstructie wordt vermeden.
2. Spatial Pulse Mixer (SPM): Een lichtgewicht ruimtelijke modelleringsmodule die effectief pulssensitieve aanwijzingen vastlegt zonder de overhead van Transformer-gebaseerde spatial attention.
3. Rhythm-Aware Temporal Modeling: De introductie van CRSP en de Dual-Order Mamba Encoder (DOM) om cyclische fysiologische recurrentie te modelleren. Dit gaat verder dan conventionele chronologische scanning om inter-periode relaties te vangen, geregulariseerd door cyclus-consistentie en staat-balans losses.
4. Empirische Validatie: Uitgebreide intra-dataset en cross-dataset experimenten die de effectiviteit en robuustheid van het framework aantonen.

4. Experimentele Resultaten

De auteurs evalueerden RhythmJEPA op drie benchmarks: PURE, UBFC-rPPG en MMPD.

• Intra-dataset Prestaties: RhythmJEPA behaalde state-of-the-art resultaten over alle metrieken (MAE, MAPE, RMSE en Pearson's $r$).
  • Op PURE behaalde het een perfecte correlatie ($r=1.00$) en verminderde het de MAE met 20,0% vergeleken met de vorige beste (LSTS).
  • Op UBFC-rPPG verminderde het de MAE van 0,51 naar 0,21 (een verbetering van 58,8%).
  • Op de uitdagende MMPD dataset verbeterde het de correlatie van 0,74 naar 0,76 en verminderde het de MAE met 4,9%.
• Cross-dataset Generalisatie: Het model demonstreerde superieure overdraagbaarheid wanneer getraind op één dataset en getest op een andere (bijv. PURE $\to$ UBFC-rPPG). Het presteerde consequent beter dan baselines zoals PhysNet en RhythmFormer, wat suggereert dat het domein-invariante fysiologische representaties leert in plaats van dataset-specifieke verschijningsstatistieken.
• Efficiëntie: Met 3,20M parameters en 33,50G MACs is RhythmJEPA aanzienlijk lichter dan recente Transformer-gebaseerde methoden (bijv. PhysFormer, LSTS) terwijl het superieure nauwkeurigheid behoudt. Het biedt een gunstige nauwkeurigheid-efficiëntie verhouding; het is het op één na meest efficiënte model qua parameters en latentie terwijl het de hoogste nauwkeurigheid bereikt.

5. Betekenis en Claims

Het artikel claimt dat RhythmJEPA een verschuiving vertegenwoordigt van verschijningsgebaseerde reconstructie naar fysiologie-bewuste representatie-lering. Door latente teacher-embeddings te voorspellen in plaats van RGB-pixels, wordt het model aangemoedigd om zich te concentreren op het onderliggende pulssignaal.

De betekenis van het werk ligt in de expliciete modellering van de cyclische aard van rPPG-signalen. De auteurs stellen dat chronologische continuïteit alleen onvoldoende is voor robuuste schatting, omdat frames met vergelijkbare fysiologische staten tijdelijk ver van elkaar verwijderd kunnen zijn. De integratie van CRSP en DOM stelt het model in staat om de temporele sequentie te "herordenen" op basis van latente ritme-staten, waardoor inter-periode afhankelijkheden worden gevangen die standaard sequentiële modellen missen.

De auteurs merken bescheiden op dat hoewel de geleerde ritme-staten effectief zijn voor schatting, ze impliciet blijven en mogelijk niet direct overeenkomen met klinisch interpreteerbare cardiale fasen. Toekomstig werk wordt gesuggereerd om meer interpreteerbare ritme-modellering en evaluatie onder meer diverse real-world condities te onderzoeken.