PHASE-Net: Physics-Grounded Harmonic Attention System for Efficient Remote Photoplethysmography Measurement

Dit artikel introduceert PHASE-Net, een lichtgewicht en theoretisch onderbouwde deep learning-architectuur die, gebaseerd op de Navier-Stokes-vergelijkingen, robuuste en efficiënte niet-contact fysiologische monitoring mogelijk maakt door middel van een Axial Swapper, een Adaptieve Ruimtelijke Filter en een Gated TCN.

De kern

PHASE-Net: De "Fysieke" Hartslag-Detecteur

Stel je voor dat je een camera op iemand richt en zonder enige sensor, zonder polsbandje en zonder contact, hun hartslag kunt meten. Dit heet rPPG (remote photoplethysmography). Het klinkt als magie, maar in werkelijkheid is het een enorme uitdaging. De camera ziet alleen een gezicht dat beweegt, waar het licht verandert en waar de huidkleur fluctueert. Het echte hartslag-signaal is zo zwak dat het makkelijk wordt verpletterd door al die "ruis" (zoals een glimlach, een hoofdbeweging of een schaduw).

Tot nu toe probeerden computers dit op te lossen door te "gokken" met complexe algoritmes die alles uitprobeerden tot het werkte. Maar dat is als een sleutel die pas werkt als je hem 100 keer in het slot draait. Het is niet betrouwbaar als de omstandigheden veranderen.

De auteurs van dit paper, PHASE-Net, zeggen: "Wacht even. Waarom gokken we? Laten we kijken naar de wiskunde en de natuurkunde van het menselijk lichaam zelf."

Hier is hoe het werkt, vertaald in alledaagse termen:

1. Het Hartslag-signaal is als een Trillende Veer

De kern van hun idee is een prachtige ontdekking. Ze kijken naar hoe bloed door je aderen stroomt. Volgens de natuurwetten (de Navier-Stokes vergelijkingen, die ook worden gebruikt voor waterstroming) gedraagt een hartslag zich precies als een veer met een demper.

• De Analogie: Stel je een veer voor die aan een muur hangt. Als je eraan trekt en loslaat, trilt hij. Maar omdat er luchtweerstand is (demping), stopt de trilling niet direct, maar zakt hij rustig weg.
• De conclusie: Het hartslag-signaal is geen willekeurige ruis; het volgt een strikt wiskundig patroon van een trillende veer.

2. De "Fysieke" Oplossing: Geen Zwarte Doos, maar een Bouwplan

De meeste AI-modellen zijn "zwarte dozen": ze gooien data erin en hopen dat het juiste antwoord eruit komt. PHASE-Net is anders. Omdat ze weten dat het signaal zich gedraagt als een trillende veer, bouwen ze hun AI-model op basis van die wet.

Ze gebruiken een speciaal type AI (een Temporal Convolutional Network of TCN) dat wiskundig bewezen is de perfecte manier om zo'n trillende veer te simuleren. Het is alsof ze niet proberen een veer te kopiëren met plastic, maar ze bouwen hem van staal omdat ze weten hoe staal werkt.

3. De Drie Slimme Hulpmiddelen

Om dit in de praktijk te brengen, hebben ze drie slimme onderdelen toegevoegd aan hun model:

• De "Ruilen" (ZAS - Zero-FLOPs Axial Swapper):

  • Het probleem: Een gezicht is niet één blok. De huid op je wang bevat een ander signaal dan je voorhoofd.
  • De oplossing: Dit onderdeel is een magische knip-en-plak techniek. Het wisselt kleine stukjes van het beeld met elkaar om, zonder extra rekenkracht te verbruiken.
  • De Analogie: Het is alsof je een puzzel maakt. In plaats van alleen naar één stukje te kijken, schuif je even een paar stukjes van de rand naar het midden om te zien hoe ze samenhangen. Zo leert de computer dat de linkerkant van je gezicht en de rechterkant met elkaar verbonden zijn, zonder dat het de computer meer werk kost.

• De "Slimme Scherpteknop" (Adaptive Spatial Filter):

  • Het probleem: Op je gezicht zijn sommige plekken "schoon" (waar het bloed goed zichtbaar is, zoals de wangen) en andere plekken "vuil" (waar je neus of mond is, of waar het licht reflecteert).
  • De oplossing: De AI leert per seconde een onzichtbaar masker te maken.
  • De Analogie: Stel je voor dat je door een vies raam kijkt. De meeste mensen kijken overal even hard naar. Deze AI doet alsof er een magische lens op zit die de vuile plekken (de ruis) donker maakt en de schone plekken (het hartslag-signaal) fel verlicht. Zo kijkt de computer alleen naar de plekken waar het echt telt.

• De "Tijdmachine" (Gated TCN):

  • Het probleem: Hartslagen gebeuren in de tijd. Je moet het verleden kennen om het heden te begrijpen.
  • De oplossing: Omdat ze weten dat het een trillende veer is, gebruiken ze een model dat speciaal is ontworpen om tijdreeksen te begrijpen.
  • De Analogie: Het is alsof je een film kijkt. Als je alleen naar één frame kijkt, zie je niets. Maar als je kijkt hoe de beelden zich over tijd ontwikkelen, zie je de beweging. Dit onderdeel houdt de "veer" in de gaten en filtert alle trillingen die niet bij een echte hartslag horen eruit.

Waarom is dit zo geweldig?

De resultaten zijn indrukwekkend. Omdat het model gebaseerd is op de echte natuurwetten van het menselijk lichaam:

1. Het werkt overal: Of het nu donker is, of de persoon beweegt, of het licht flitst. Het model "weet" hoe een hartslag moet werken, dus het laat zich niet zo makkelijk gek maken door rare omstandigheden.
2. Het is supersnel en lichtgewicht: Het heeft niet de zware rekenkracht nodig van andere modellen. Het is zo efficiënt dat het zelfs op een gewone telefoon of een kleine camera zou kunnen draaien.
3. Het is eerlijk: In plaats van een mysterieuze "zwarte doos", weten de wetenschappers precies waarom het werkt. Ze hebben de natuurwetten gebruikt als bouwplan.

Kortom: PHASE-Net is niet zomaar een slimme computer die gissen doet. Het is een computer die de taal van de natuurkunde spreekt om je hartslag te "horen" door alleen naar je gezicht te kijken, zelfs als je beweegt of als het licht verandert. Het is een stap van "gokken" naar "weten".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "PHASE-Net: Physics-Grounded Harmonic Attention System for Efficient Remote Photoplethysmography Measurement" in het Nederlands.

Probleemstelling

Remote Photoplethysmography (rPPG) is een technologie die het mogelijk maakt om fysiologische signalen (zoals hartslag en hartslagvariabiliteit) contactloos te meten via een standaard camera, door subtiele veranderingen in de bloedvolume onder de huid te detecteren. Hoewel veelbelovend, lijdt de huidige rPPG-prestatie aanzienlijk onder realistische omstandigheden zoals hoofdbewegingen, gezichtsuitdrukkingen en veranderingen in omgevingsbelichting.

De huidige diepe leermethodes (deep learning) voor rPPG hebben twee fundamentele tekortkomingen:

1. Gebrek aan theoretische onderbouwing: De meeste bestaande modellen zijn heuristisch ontworpen (via trial-and-error) en behandelen het probleem als een generieke ruimtelijk-temporele taak zonder rekening te houden met de onderliggende fysica van de bloedstroom.
2. Slechte generalisatie en interpreteerbaarheid: Omdat deze "black-box" modellen niet gebaseerd zijn op de natuurwetten die het signaal regeren, overfitten ze vaak op dataset-specifiek ruispatroon en presteren ze slecht bij onbekende condities (zoals extreme verlichting of beweging).

Methodologie: PHASE-Net

De auteurs introduceren PHASE-Net, een lichtgewicht model dat is afgeleid van de eerste principes van de fysica, specifiek de Navier-Stokes-vergelijkingen voor hemodynamica. In plaats van een heuristische architectuur te kiezen, wordt de netwerkstructuur direct afgeleid uit de wiskundige beschrijving van het fysiologische signaal.

De kern van de methode bestaat uit drie stappen:

1. Fysisch Onderbouwd Temporeel Modellering:

   • De auteurs leiden af dat de lokale dynamiek van de polsgolf kan worden beschreven als een gedempte harmonische oscillator (een tweede-orde differentiaalvergelijking).
   • Ze bewijzen wiskundig dat de discrete oplossing van deze fysische vergelijking formeel equivalent is aan een causale convolutie.
   • Dit rechtvaardigt het gebruik van een Temporal Convolutional Network (TCN) als de kern van het model, in plaats van heuristische keuzes zoals RNN's of Transformers. De TCN fungeert als een gefilterde implementatie van de fysieke wetten.

2. Architectuurcomponenten:
   Het model bestaat uit drie hoofdonderdelen:

   • Vision Encoder met EST-Blocks: Gebruikt gestapelde blokken om ruimtelijk-temporele kenmerken uit video te halen.
   • Zero-FLOPs Axial Swapper (ZAS): Een parameterloze module die een klein subset van kanalen reversibel permutatie (transponeren) ondergaat op een blokbasis. Dit introduceert vroege interacties tussen verre gezichtsregio's en versterkt ruimtelijke afhankelijkheden zonder enige extra rekenkosten (geen extra FLOPs) en zonder de temporele volgorde te verstoren.
   • Adaptive Spatial Filter (ASF): Een leerbaar mechanisme dat per frame een "zacht" ruimtelijk masker leert. Dit masker benadrukt gebieden met een hoog signaal-ruisverhouding (zoals het voorhoofd en wangen) en onderdrukt ruis (zoals bewegingsartefacten). Daarnaast berekent de ASF de eerste-orde tijdsafgeleide van het geaggregeerde signaal om lokale dynamiek ("snelheid" van de polsgolf) te coderen.
   • Gated TCN (GTCN): Een causale, verdunde TCN met gating-mechanismen (tanh en sigmoid) die de lange-termijn temporele dynamiek modelleert om het signaal te herstellen volgens de afgeleide fysische wetten.

3. Trainingsdoel:
   Het model wordt getraind met een Negative Pearson Correlation loss, die de morfologische gelijkenis tussen het voorspelde golfvormsignaal en het grondwaarheidssignaal maximaliseert.

Belangrijkste Bijdragen

• Nieuw Paradigma: De eerste rPPG-modellering die een theoretische brug slaat tussen de onderliggende fysiologische dynamica (gedempte harmonische oscillator) en een specifieke netwerkarchitectuur (causale convolutie).
• ZAS Module: Een innovatieve, parameterloze module die ruimtelijke interacties verbetert zonder rekenkosten, wat essentieel is voor efficiëntie.
• Adaptive Spatial Filtering: Een dynamisch masker dat ruis onderdrukt en tijdsdynamiek expliciet encodeert, wat de robuustheid in complexe omgevingen aanzienlijk verhoogt.
• Theoretische Justificatie: Het model biedt een "white-box" benadering waarbij de architectuur een directe afspiegeling is van de natuurwetten, wat interpreteerbaarheid en generalisatie garandeert.

Resultaten

PHASE-Net is geëvalueerd op vier publieke datasets (UBFC-rPPG, PURE, BUAA-MIHR, MMPD) en presteert superieur in vergelijking met state-of-the-art methoden (zoals PhysFormer, RhythmFormer, PhysNet):

• Intra-dataset Prestaties: PHASE-Net behaalt de laagste fouten (MAE en RMSE) en hoogste correlaties. Bijvoorbeeld op PURE: 0.14 bpm MAE en 0.35 bpm RMSE (R=0.99), wat een verbetering is ten opzichte van bestaande methoden.
• Generalisatie (Cross-Domain): Bij "Leave-One-Out" testen (trainen op 3 datasets, testen op 1) overtreft PHASE-Net concurrenten met een grote marge. Het leert fysisch onderbouwde representaties in plaats van dataset-specifieke patronen, wat zorgt voor stabiliteit in onbekende omgevingen.
• Robuustheid tegen Verlichting: Onder verschillende lichtomstandigheden (LED, gloeilamp, natuurlijk licht) behoudt PHASE-Net de laagste foutmarges, terwijl andere modellen sterk degradëren.
• Efficiëntie: Het model is extreem lichtgewicht met slechts 0.29 miljoen parameters en 28.3 G MACs, wat aanzienlijk lager is dan veel concurrenten, terwijl het de hoogste nauwkeurigheid behoudt. Dit maakt het ideaal voor implementatie op randapparaten (edge devices).

Betekenis

Dit werk markeert een verschuiving in het veld van rPPG van heuristische, datagedreven "black-box" modellen naar principiële, fysica-gedreven architecturen. Door de wiskundige wetten van de bloedstroom direct te vertalen naar de netwerkstructuur, biedt PHASE-Net een oplossing die niet alleen nauwkeuriger en robuuster is, maar ook theoretisch onderbouwd en interpreteerbaar. Het bewijst dat strikte theoretische rigour en praktische efficiëntie hand in hand kunnen gaan, wat een nieuwe richting opent voor de modellering van fysiologische signalen uit video.