Uncertainty-quantified Pulse Signal Recovery from Facial Video using Regularized Stochastic Interpolants

1. Problemstellung

Die Imaging Photoplethysmographie (iPPG) ist ein nicht-invasives Verfahren, bei dem aus Videobildern des Gesichts (typischerweise RGB-Kameras) der Blutvolumenpuls (BVP) rekonstruiert wird. Dies geschieht durch die Analyse von subtilen Farbänderungen der Haut, die durch den Blutfluss verursacht werden.

Obwohl aktuelle Algorithmen auf Benchmark-Datensätzen hervorragende Ergebnisse erzielen, leiden sie unter einem kritischen Mangel für klinische Anwendungen: Fehlende Unsicherheitsquantifizierung (Uncertainty Quantification, UQ).

• Der Kern des Problems: Bisherige Methoden liefern meist einen einzigen Punktwert (Point Estimate) für die Herzfrequenz oder das Puls-Signal. Sie führen keine Stichprobenziehung im Lösungsraum durch und können daher nicht angeben, wie „sicher" das Modell bei einer bestimmten Vorhersage ist.
• Klinische Relevanz: Für Ärzte ist es entscheidend zu wissen, ob ein Modell bei einem bestimmten Patienten zuversichtlich ist oder ob die Vorhersage aufgrund von Rauschen (z. B. Bewegung, Hautfarbe) unzuverlässig sein könnte. Ohne diese Information ist das Vertrauen in KI-gestützte Diagnosen begrenzt.

2. Methodik: RIS-iPPG

Die Autoren schlagen RIS-iPPG (Regularized Interpolants with Stochasticity for iPPG) vor, ein Framework, das auf Stochastischen Interpolanten (Stochastic Interpolants) basiert.

A. Formulierung als inverses Problem

Die Rekonstruktion des Pulssignals wird als inverses Problem modelliert:

• Eingabe ($x_1$): Das verrauschte Signal der Kamera-Pixelintensität.
• Ziel ($x_0$): Das Ground-Truth-Blutvolumenpuls-Signal.
• Anstatt eine explizite Vorwärtsfunktion zu lernen (was aufgrund von nicht-linearem Rauschen, Bewegung und unterschiedlichen Hauttönen schwierig ist), lernt das Modell eine Wahrscheinlichkeitspfad-Verbindung zwischen der Verteilung der Kameradaten und der Verteilung der Ground-Truth-Signale.

B. Stochastische Interpolanten und SDEs

Das Modell definiert einen stochastischen Prozess, der über die Zeit $t \in [0, 1]$ von der Eingangsverteilung zur Zielverteilung interpoliert.

• Es werden zwei Netzwerke trainiert:
  1. Ein Flow-Netzwerk ($v_\theta$), das die instantane Geschwindigkeit (Drift) des Prozesses vorhersagt.
  2. Ein Denoiser-Netzwerk ($n_\theta$), das den Score (Gradient der Log-Likelihood) schätzt.
• Inferenz (Testzeit): Anstatt nur eine Vorhersage zu treffen, wird eine Stochastische Differentialgleichung (SDE) rückwärts gelöst. Das Kameradaten-Signal dient als Anfangsbedingung. Durch wiederholtes Lösen der SDE (Sampling) mit leicht unterschiedlichem Rauschen werden multiple Realisierungen des möglichen Puls-Signals generiert. Dies ermöglicht die Berechnung von Konfidenzintervallen und Unsicherheitsmetriken.

C. Regularisierung: Residual Correlation Loss (RCL)

Ein zentrales technisches Detail ist die Einführung der Residual Correlation Loss (RCL).

• Hypothese: Physiologische Veränderungen (Blutvolumen) sind unter normalen Bedingungen langsam veränderlich. Daher sollten die Fehlervektoren (Residuen) zwischen vorhergesagtem und wahrem Flow in benachbarten, überlappenden Zeitfenstern korreliert sein (d. h. in die gleiche Richtung zeigen).
• Umsetzung: Während des Trainings wird die Korrelation der Residuenvektoren ($p$ und $q$) aus zwei zeitverschobenen Fenstern maximiert (bzw. der Verlust minimiert).
• Ziel: Dies erzwingt eine zeitliche Konsistenz im Modell und verbessert die Robustheit gegenüber Rauschen, indem es verhindert, dass das Modell inkonsistente Lösungen für benachbarte Zeitpunkte lernt.

3. Wichtige Beiträge

1. Posterior Sampling für iPPG: Das Paper stellt die erste Methode vor, die den Lösungsraum für iPPG-Signale explizit durch Posterior-Sampling (mittels SDE) abtastet. Dies ermöglicht eine vollständige Unsicherheitsanalyse für jeden einzelnen Testfall.
2. Residual Correlation Loss (RCL): Eine neue Regularisierungstechnik, die die zeitliche Konsistenz physiologischer Signale nutzt, um die Rekonstruktionsqualität zu verbessern und die Erfassung von Multimodalitäten in der Verteilung zu erleichtern.
3. Unsicherheitskalibrierung auf geschützten Attributen: Die Autoren evaluieren die Unsicherheit nicht nur global, sondern spezifisch für geschützte Attribute wie Hautfarbe und Geschlecht. Sie stellen die ersten Baselines für die Unsicherheitskalibrierung in diesem Bereich auf.
4. Umfassende Evaluation: Die Methode wird auf drei Datensätzen (MMSE-HR, PURE, UBFC-rPPG) getestet und mit State-of-the-Art-Methoden verglichen.

4. Ergebnisse

• Rekonstruktionsqualität: RIS-iPPG erreicht auf allen drei Datensätzen wettbewerbsfähige bis State-of-the-Art-Ergebnisse in Bezug auf Herzfrequenzschätzung (MAE und RMSE). Auf dem PURE-Datensatz wurde ein neuer State-of-the-Art erreicht.
• Einfluss der RCL: Der Einsatz der RCL-Regularisierung verbessert sowohl die Genauigkeit der Herzfrequenzschätzung als auch die Qualität der Spektrumsrekonstruktion. Qualitativ zeigt sich, dass das Modell mit RCL die Modi der Verteilung (z. B. den wahren Puls und Rausch-Peaks) besser erfasst und gleichzeitig die Unsicherheit in irrelevanten Frequenzbändern minimiert.
• Unsicherheitsquantifizierung:
  • Die Methode liefert gut kalibrierte Unsicherheitsschätzungen (gemessen durch Metriken wie NLL, CRPS, Interval Score).
  • Geschützte Attribute: Es wurden Unterschiede in der Unsicherheit zwischen hellen und dunklen Hauttönen sowie zwischen Geschlechtern beobachtet. Während die Kalibrierung insgesamt gut ist (Fehler < 0,10), zeigt das Modell bei dunklerer Haut tendenziell höhere Unsicherheiten, was auf eine geringere Datenrepräsentation in den Trainingsdaten hinweist.
• Vergleich mit anderen Sampling-Methoden: Im Vergleich zu Conditional VAEs und Bayesian Neural Networks (BNNs) übertrifft RIS-iPPG diese deutlich in der Genauigkeit und der Fähigkeit, multimodale Verteilungen abzubilden, ohne an Posterior-Collapse zu leiden.

5. Bedeutung und Ausblick

Die Arbeit ist ein Meilenstein für die klinische Anwendung von iPPG.

• Vertrauenswürdigkeit: Durch die Bereitstellung von Unsicherheitsmaßen wird KI in der Medizin „interpretierbarer". Ärzte können entscheiden, ob sie einer Vorhersage vertrauen können oder ob eine manuelle Überprüfung nötig ist.
• Robustheit: Die Methode ist robuster gegenüber Störungen (Bewegung, Lichtwechsel) als rein deterministische Ansätze.
• Zukunft: Die Autoren betonen, dass zukünftige Arbeiten sich mit Domain-Shifts (z. B. Training auf einem Datensatz, Test auf einem anderen) und der weiteren Verbesserung der Leistung bei unterrepräsentierten Bevölkerungsgruppen (z. B. dunklere Hauttöne) befassen müssen.

Zusammenfassend bietet RIS-iPPG einen neuen Paradigmenwechsel von der reinen Signalrekonstruktion hin zu einer probabilistischen, vertrauenswürdigen Diagnose, die für den Einsatz in klinischen Umgebungen und Consumer-Geräten essenziell ist.