SIR-PhysNet: a deadline-aware ultra-lightweight pipeline for camera-based heart-rate monitoring on embedded hardware

Stellen Sie sich eine Welt vor, in der Ihr Herzschlag ohne ein einziges Kabel, einen einzigen Sensor oder eine einzige Berührung abgelesen werden kann. Dies ist das Versprechen der kamerabasierten Gesundheitsüberwachung, einem Feld, das gewöhnliche Videos in ein Fenster zum wichtigsten Rhythmus des Körpers verwandelt. Die Wissenschaft dahinter beruht auf einer einfachen, unsichtbaren Wahrheit: Jedes Mal, wenn Ihr Herz schlägt, pumpt es einen winzigen Blutstoß durch Ihr Gesicht und verändert dadurch die Farbe Ihrer Haut um einen Bruchteil eines Prozents. Diese Veränderungen sind für das menschliche Auge zu klein, um sie zu sehen, aber eine Kamera kann sie erfassen. Durch die Analyse dieser subtilen Verschiebungen von Licht und Farbe ist es möglich zu berechnen, wie schnell ein Herz schlägt. Diese Technologie wird bereits für den Einsatz in Autos zur Überwachung der Müdigkeit von Fahrern, in Krankenhäusern zur Verfolgung von Patienten und in Smart Homes zur Überwachung älterer Menschen in Betracht gezogen. Damit dies jedoch in der realen Welt funktioniert, muss der Computer, der die Berechnungen durchführt, schnell genug sein, um mit dem Video Schritt zu halten, und er muss klein und effizient genug sein, um auf einem Gerät zu laufen, das auf ein Regal oder in eine Tasche passt, und nicht nur in einem massiven Rechenzentrum.

Ein Team von Forschern der Northeastern University hat ein neues System entwickelt, das speziell darauf ausgeft, dieses Problem von Geschwindigkeit und Größe zu lösen. Sie nennen ihre Kreation SIR-PhysNet, eine Pipeline, die als vollständiger Arbeitsablauf fungiert, um rohes Video in eine Herzfrequenzzahl zu verwandeln. Die zentrale Herausforderung, der sie gegenüberstanden, war nicht nur, die Mathematik präzise zu gestalten, sondern sicherzustellen, dass der gesamte Prozess seine Aufgabe abschließen konnte, bevor das nächste Videoframe eintraf. In ihrem Aufbau muss das System einen Videostream verarbeiten, ein Gesicht finden, das Bild bereinigen und alle 2,5 Sekunden eine neue Herzfrequenzschätzung berechnen. Wenn der Computer zu lange braucht, gerät das System in Rückstand, die Daten werden unbrauchbar und die Überwachung schlägt fehl. Die Forscher entdeckten, dass der größte Engpass nicht das komplexe Gehirn des Systems war, sondern die Augen, die nach dem Gesicht suchten.

Um ein System bauen zu können, das auf einem Raspberry Pi 5 laufen kann – einem kleinen, erschwinglichen Computer, der oft von Hobbyisten und Ingenieuren verwendet wird –, musste das Team überdenken, wie die Arbeit aufgeteilt wird. Die meisten bisherigen Versuche versuchten, einem einzigen, massiven Computerprogramm beizubringen, alles gleichzeitig zu tun: das Gesicht zu finden, Schatten zu ignorieren, Kopfbewegungen zu handhaben und die Herzfrequenz zu berechnen. Dieser Ansatz erforderte viel Speicher und Rechenleistung, was ihn für kleine Geräte zu langsam machte. Der neue Ansatz, SIR-PhysNet, teilt die Aufgabe in zwei deutliche Teile auf. Zuerst nutzt er einfache, feste Regeln, um das Bild vorzubereiten. Bevor der Computer das Video jemals betrachtet, um nach einem Muster zu suchen, verwendet er Standard-Bildwerkzeuge, um das Gesicht zu fixieren, den Winkel des Kopfes zu korrigieren und die Auswirkungen wechselnden Lichts zu entfernen. Dieser Schritt ist vergleichbar damit, einen Rahmen um ein Gemälde zu setzen und das Glas zu reinigen, bevor man versucht, die Kunst zu analysieren; es macht die Aufgabe für den nachfolgenden Computer wesentlich einfacher. Durch die Auslagerung dieser schweren Arbeit auf einfache Werkzeuge konnten die Forscher den komplexen Teil des Systems auf eine winzige Größe schrumpfen, die nur einen Bruchteil des Speichers und der Leistung anderer Modelle beansprucht.

Der zweite Teil des Systems ist der eigentliche Herzfrequenzrechner. Da das Bild durch den ersten Schritt bereits bereinigt und stabilisiert wurde, muss dieser Teil des Systems kein riesiges, schwerfälliges Netzwerk sein. Es handelt sich um ein kompaktes Modell mit nur 0,26 Millionen Parametern, einer Zahl, die die Menge der Informationen repräsentiert, die es sich merken muss. Anstatt zu versuchen, die gesamte Form der Blutpuls-Welle zu rekonstruieren, was eine komplexe und unnötige Aufgabe für das bloße Zählen von Schlägen ist, sagt dieses Modell direkt die dominante Frequenz des Herzschlags voraus. Es verwendet dann einen mathematischen Filter, um die Rate aus dem Signal zu extrahieren. Diese Designentscheidung bedeutet, dass das System unglaublich effizient ist und nur 0,12 Gigaflops an Rechenleistung verwendet, was ein Maß dafür ist, wie viele Berechnungen es pro Sekunde durchführt.

Die Forscher testeten ihr System an mehreren verschiedenen Video-Datensätzen, einschließlich Aufnahmen von Menschen, die auf einem Laufband trainieren, wo Kopfbewegungen und Schweiß die Aufgabe sehr schwierig machen. Auf einem Standard-Datensatz unter kontrollierten Bedingungen erreichte das System eine Genauigkeit, die den Ergebnissen viel größerer, komplexerer Modelle entspricht oder diese sogar übertrifft. Auf dem schwierigen Laufband-Datensatz lieferte es einen durchschnittlichen Fehler von nur 3,39 Schlägen pro Minute, ein Ergebnis, das mit Systemen vergleichbar ist, die zehnmal größer sind. Dies bewies, dass das System durch die vorherige Reinigung des Bildes klein und schnell bleiben konnte, ohne die Fähigkeit zu verlieren, mit dem realen Chaos umzugehen.

Um zu sehen, ob das System tatsächlich auf der kleinen Hardware laufen kann, für die es konzipiert wurde, installierte das Team es auf einem lüftergekühlten Raspberry Pi 5. Sie ließen das System acht Stunden lang ununterbrochen laufen und verarbeiteten über 800.000 Videoframes. Die Ergebnisse waren eindeutig: Das System hielt eine konstante Geschwindigkeit von 34,60 Bildern pro Sekunde aufrecht und schlug damit die erforderlichen 30 Bilder pro Sekunde, um mit dem Videostream Schritt zu halten. Die Temperatur des Computers stieg auf einen Spitzenwert von 68,85 Grad Celsius, aber er verlangsamte nie oder schaltete sich aufgrund der Hitze nicht ab. Die überraschendste Erkenntnis kam aus der Analyse, wo die Zeit verbracht wurde. Die komplexe Herzfrequenzberechnung, der Teil, von dem die meisten annehmen, dass er am schwierigsten sei, nahm nur etwa 13 Prozent der Zeit für jedes Update ein. Die anderen 70 Prozent der Zeit wurden damit verbracht, das Gesicht zu finden und das Bild anzupassen.

Diese Entdeckung änderte das Verständnis dessen, was diese Systeme begrenzt. Die Forscher fanden heraus, dass die Geschwindigkeit des Herzfrequenzmonitors nicht durch die Intelligenz des Computermodells gebremst wurde, sondern durch die Anstrengung, das Gesicht im Video zu finden und zu verfolgen. Sie testeten eine Strategie, bei der das System nur alle paar Frames nach dem Gesicht sucht und in der Zwischenzeit eine einfachere Methode verwendet, um zu erraten, wohin es sich bewegt hat. Dieser „Detect-and-Track“-Ansatz (Erkennen-und-Verfolgen) ermöglichte es dem System, auf fast 47 Bilder pro Sekunde zu beschleunigen, was bewies, dass es viel Spielraum gibt, um diese Monitore noch schneller zu machen, wenn der Schritt des Gesichtsfindens optimiert wird.

Die Studie kommt zu dem Schluss, dass für die kamerabasierte Herzfrequenzüberwachung auf kleinen Geräten der Schlüssel zum Erfolg nicht darin besteht, ein größeres, klügeres Gehirn zu bauen, sondern ein besseres Set an Augen und einen saubereren Arbeitsablauf zu schaffen. Indem man die unordentlichen Teile der realen Welt mit einfachen, vorhersehbaren Werkzeugen behandelt, bevor die Daten das komplexe Modell erreichen, kann das System klein genug bleiben, um auf einem Gerät von der Größe eines Kartendecks zu laufen. Die Forscher weisen vorsichtig darauf hin, dass ihr System zwar gut mit den von ihnen getesteten spezifischen Videos funktioniert, aber noch nicht bewiesen wurde, dass es bei allen Arten von Kameras, Lichtverhältnissen oder Hauttönen funktioniert. Sie betonen auch, dass ihr System darauf ausgelegt ist, eine allgemeine Herzfrequenzzahl zu liefern, und nicht dazu dient, Herzerkrankungen zu diagnostizieren oder unregelmäßige Rhythmen zu erkennen. Die Arbeit bietet jedoch einen klaren Weg nach vorn: Um die Gesundheitsüberwachung wirklich tragbar und zugänglich zu machen, muss sich der Fokus von der Komplexität der Modelle hin zur Effizienz des gesamten Prozesses verschieben – vom Kameraobjektiv bis zur endgültigen Zahl.