VideoPulse: Neonatal heart rate and peripheral capillary oxygen saturation (SpO2) estimation from contact free video

Il paper presenta VideoPulse, un dataset neonatale e una pipeline end-to-end che stimano con precisione la frequenza cardiaca e la saturazione di ossigeno (SpO2) da video facciali senza contatto, offrendo una soluzione non invasiva e a basso costo per il monitoraggio in terapia intensiva neonatale.

L'essenziale

Immagina di voler misurare il battito cardiaco di un neonato. Normalmente, per farlo, i medici devono attaccare dei piccoli cerotti adesivi sulla pelle delicata del bambino e collegarli a dei cavi. È come se dovessimo incollare dei sensori su un foglio di carta velina: funziona, ma può irritare la pelle, stancare il bambino e rendere difficile il movimento.

VideoPulse è come un "super occhio magico" che risolve questo problema. È un sistema intelligente che guarda semplicemente il viso del bambino attraverso una normale webcam e, senza toccarlo, calcola due cose vitali:

1. Quante volte batte il cuore (Frequenza Cardiaca).
2. Quanto ossigeno c'è nel sangue (Saturazione di Ossigeno o SpO2).

Ecco come funziona, passo dopo passo, con delle metafore semplici:

1. Il Problema: La Pelle che "Sparla"

I neonati sono piccoli, si muovono molto e la loro pelle è sottile. I metodi vecchi (quelli con i cerotti) sono invasivi. Inoltre, i computer sono stati addestrati per leggere i battiti dei grandi, non dei piccoli. I volti dei neonati sono diversi, si muovono in modo imprevedibile e spesso la luce nella stanza cambia. È come cercare di ascoltare una musica delicata in mezzo a un concerto rock: il rumore di fondo (il movimento, la luce) copre il segnale.

2. La Soluzione: VideoPulse (Il Detective del Colore)

Il sistema usa una telecamera normale (come quella del tuo laptop) per guardare il viso del neonato.

• Come fa a vedere il battito? Anche se non possiamo vedere il sangue scorrere sotto la pelle a occhio nudo, il sangue cambia leggermente il colore della pelle ogni volta che il cuore pompa. È come se la pelle diventasse impercettibilmente più rossa o più pallida a ritmo. VideoPulse è un detective che nota queste minuscole variazioni di colore, invisibili all'occhio umano, ma chiare per il computer.

3. I Tre Trucchi del Mago (Le Innovazioni)

Gli scienziati hanno creato tre trucchi speciali per rendere questo sistema perfetto per i neonati:

• Trucco 1: L'Allineamento (Il Gatto che Gira)
  I neonati non stanno fermi! Girano la testa, si sdraiano, si muovono. Se provi a guardare un gatto che gira su se stesso, è difficile seguirlo. VideoPulse ha un "cervello" (un'intelligenza artificiale chiamata YOLO) che funziona come un cacciatore di gatti: se il viso del bambino è girato di lato o capovolto, il sistema ruota digitalmente il video finché non trova il viso dritto, così può analizzarlo bene.

• Trucco 2: Il Pulitore di Rumore (Il Restauro Audio)
  A volte, i dati reali presi dai sensori medici (usati per insegnare al computer) sono "sporchi" perché il bambino si è mosso troppo. È come avere una registrazione audio piena di fruscii. VideoPulse usa una tecnologia chiamata GAN (una sorta di "artista digitale") che immagina come sarebbe il segnale pulito e cancella i rumori, ricostruendo il battito cardiaco perfetto anche se il bambino si è agitato.

• Trucco 3: L'Equilibrio (La Bilancia Giusta)
  Nella maggior parte dei neonati, l'ossigeno nel sangue è quasi sempre al 100% (è normale). È raro che scenda molto. Se insegni a un computer solo con esempi di "100%", imparerà a dire sempre "100%", anche quando è sbagliato. VideoPulse usa un trucco matematico chiamato "smussatura delle etichette" che dice al computer: "Ehi, anche se i casi rari sono pochi, sono importantissimi! Non ignorarli!". Così il sistema impara a essere preciso anche quando le cose vanno male.

4. Il Risultato: Un Nuovo Tesoro di Dati

Gli scienziati hanno raccolto un nuovo set di dati chiamato VideoPulse (come un "battito di cuore video").

• Hanno filmato 52 neonati in Sri Lanka.
• Hanno registrato 2,6 ore di video.
• Hanno incluso bambini con diverse tonalità di pelle e in diverse posizioni.

Questo è fondamentale perché prima c'erano pochi dati sui neonati, e i computer erano "ciechi" verso le diversità. Ora, grazie a questo nuovo "libro di testo", il sistema funziona meglio su tutti i bambini, non solo su quelli con la pelle chiara o che stanno fermi.

5. Perché è una Rivoluzione?

Fino a oggi, i computer potevano stimare il battito cardiaco dai video, ma non l'ossigeno, specialmente sui neonati. VideoPulse è il primo sistema al mondo che fa entrambe le cose usando solo una webcam.

• Velocità: Calcola i dati in 2 secondi (come il tempo di un respiro).
• Precisione: È così preciso che gli errori sono minuscoli, quasi come quelli dei sensori tradizionali.
• Comfort: Niente cerotti, niente cavi, niente irritazione sulla pelle delicata.

In Sintesi

Immagina di poter monitorare la salute di un neonato mentre dorme, semplicemente guardandolo attraverso una telecamera, senza toccarlo e senza spaventarlo. VideoPulse è il primo passo verso un futuro in cui le sale parto e le terapie intensive saranno più silenziose, più pulite e più sicure, perché la tecnologia lavora "senza mani" per proteggere i nostri piccoli.

Sommario tecnico

Titolo: VideoPulse: Stima della frequenza cardiaca e della saturazione di ossigeno (SpO2) nei neonati tramite video senza contatto

1. Il Problema

Il monitoraggio dei segni vitali nei neonati (in particolare la frequenza cardiaca - HR e la saturazione periferica di ossigeno - SpO2) è fondamentale nelle cure intensive neonatali (NICU). I metodi convenzionali, come gli elettrodi adesivi e le sonde a contatto, presentano diversi svantaggi critici:

• Irritazione cutanea: Possono danneggiare la pelle fragile dei neonati.
• Rischio infettivo: Aumentano il carico di controllo delle infezioni.
• Limitazioni pratiche: Richiedono un contatto fisico prolungato, il che può essere scomodo durante le procedure di cura.

La fotopletismografia remota (rPPG) offre una soluzione senza contatto analizzando le variazioni di intensità della luce nella pelle tramite videocamere standard. Tuttavia, l'applicazione rPPG ai neonati è estremamente difficile a causa di:

• Movimenti spontanei: I neonati si muovono frequentemente, causando artefatti nel segnale.
• Variazioni di illuminazione e orientamento: Le condizioni delle sale parto sono variabili e i neonati non mantengono una posa stabile.
• Scarsità di dati: Esistono pochi dataset pubblici neonatali, specialmente per la stima dell'SpO2, e la maggior parte dei modelli esistenti è stata sviluppata su adulti.
• Squilibrio dei dati: I valori di SpO2 nei neonati tendono a concentrarsi attorno al 100%, rendendo difficile l'addestramento di modelli per rilevare valori più bassi ma clinicamente critici.

2. Metodologia

Gli autori propongono VideoPulse, un sistema end-to-end che stima HR e SpO2 da video facciali RGB, combinando un nuovo dataset con una pipeline di deep learning avanzata.

A. Il Dataset VideoPulse

• Raccolta: 157 registrazioni video (2,6 ore totali) da 52 neonati (0-6 giorni) in un ospedale in Sri Lanka.
• Caratteristiche: Include video sincronizzati con segnali PPG e SpO2 di riferimento ottenuti da un pulsossimetro.
• Diversità: I video catturano variazioni di orientamento del viso (rotazioni nel piano) per simulare le reali condizioni di una sala parto, aggiungendo diversità demografica rispetto ai dataset esistenti (come NBHR).

B. Pipeline di Pre-elaborazione

1. Rilevamento e Allineamento del Viso: Utilizzo di un rilevatore YOLOv5 (più robusto di RetinaFace su neonati) per localizzare il viso. Poiché i neonati possono essere ruotati, il sistema prova a rilevare il viso ruotando il video di 90° fino al successo.
2. Normalizzazione: Le clip video (2 secondi, 60 frame a 30 fps) vengono ritagliate, ridimensionate a 128x128 e sottoposte a normalizzazione delle differenze temporali per enfatizzare le variazioni pulsatorie e sopprimere il bias di illuminazione statica.
3. Denoising del PPG di Ground Truth: I segnali di riferimento PPG sono spesso rumorosi a causa del movimento. Viene utilizzata una rete GAN (Generative Adversarial Network) per ricostruire e pulire i segmenti rumorosi, identificati tramite un SVM a una classe.

C. Architettura del Modello

• Backbone: Utilizzo di PhysNet, una rete 3D-CNN compatta, scelta per la sua efficienza e capacità di modellare dipendenze temporali brevi (ideale per l'uso al letto del paziente).
• Stima della Frequenza Cardiaca (HR): Addestramento su PhysNet con perdita di correlazione di Pearson negativa tra il segnale rPPG predetto e quello di ground truth.
• Stima dell'SpO2:
  • Adattamento di PhysNet con un "head" fully connected per la regressione.
  • Label Distribution Smoothing (LDS): Tecnica applicata per mitigare lo squilibrio delle etichette (molti valori vicini al 100%). Si utilizza un kernel Beta per creare una distribuzione delle etichette più liscia.
  • Loss Funzione: Utilizzo di una Weighted RMSE (Radice Quadrata Media dell'Errore) ponderata, dove i campioni con etichette rare (bassa saturazione) ricevono pesi maggiori.
  • Augmentation: Tecnica di Time Reversal (inversione temporale delle sequenze) per migliorare la robustezza del modello.

D. Strategie di Addestramento e Transfer Learning
Il modello è stato inizialmente addestrato sul dataset pubblico NBHR e successivamente fine-tuned sul dataset VideoPulse. Per il fine-tuning, i primi strati convoluzionali 3D sono stati congelati per preservare le rappresentazioni spazio-temporali apprese, adattando solo gli strati superiori al nuovo dominio.

3. Risultati Chiave

Stima della Frequenza Cardiaca (HR):

• Dataset NBHR: Errore Assoluto Medio (MAE) di 2,97 bpm (con finestre di 2 secondi). Questo rappresenta un miglioramento del 21% rispetto allo stato dell'arte precedente (NBHRnet).
• Cross-Dataset (NBHR -> VideoPulse): Un modello addestrato su NBHR e testato su VideoPulse ha raggiunto un MAE di 5,34 bpm, dimostrando una buona capacità di generalizzazione.
• Vantaggio: Il sistema opera con finestre temporali molto brevi (2 secondi), riducendo la latenza rispetto ai metodi precedenti che richiedevano finestre più lunghe (6-12 secondi).

Stima della Saturazione di Ossigeno (SpO2):

• Dataset NBHR: RMSE di 2,20% e MAE di 1,69%.
• Dataset VideoPulse: Dopo il fine-tuning, RMSE di 2,18% e MAE di 1,68%.
• Validazione su Adulti: Il modello ha anche dimostrato prestazioni eccellenti sul dataset adulto PURE (RMSE 0,96%), superando modelli basati su Transformer e Mamba.
• Studio Ablativo: L'uso combinato di LDS e Time Reversal ha ridotto l'RMSE da 2,74 (baseline) a 2,20, confermando l'efficacia di queste strategie.

4. Contributi Principali

1. Nuovo Dataset: Introduzione di VideoPulse, il secondo dataset pubblico (sebbene su richiesta) di rPPG neonatale, che offre diversità demografica e condizioni di acquisizione realistiche (rotazioni, illuminazione variabile).
2. Primo Approccio End-to-End per SpO2 Neonatale: Questo lavoro è tra i primi (se non il primo) a stimare l'SpO2 nei neonati direttamente da video RGB standard utilizzando il deep learning, superando i metodi basati su calibrazione hardware o feature extraction classica.
3. Pipeline Tecnica Innovativa: Integrazione di:
   • Allineamento del viso adattivo per neonati.
   • Ricostruzione del segnale PPG di ground truth tramite GAN.
   • Strategie di training avanzate (LDS, weighted loss, time reversal) per gestire lo squilibrio dei dati e la variabilità temporale.

5. Significato e Impatto

Il lavoro di VideoPulse dimostra che è possibile ottenere stime accurate di HR e SpO2 per i neonati utilizzando video brevi (2 secondi) e non allineati, superando le sfide poste dai movimenti e dalle condizioni di illuminazione variabili.

• Clinico: Offre una potenziale soluzione a basso costo, non invasiva e priva di contatto per il monitoraggio in tempo reale nelle NICU, riducendo il rischio di irritazione cutanea e infezioni.
• Tecnico: Stabilisce un nuovo standard per l'elaborazione di segnali vitali neonatali, mostrando che il deep learning può essere efficace anche con finestre temporali molto brevi e su popolazioni diverse da quelle adulte.
• Futuro: Apre la strada all'integrazione routinaria del monitoraggio basato su telecamere nei reparti di terapia intensiva neonatale, con potenziali sviluppi futuri per migliorare la resilienza al movimento e raccogliere dati su gruppi etnici più ampi.