FHRFormer: A Self-Supervised Masked Transformer Framework for Fetal Heart Rate Time-Series Inpainting and Forecasting

Riepilogo Tecnico: FHRFormer

Enunciato del Problema
Il monitoraggio della Frequenza Cardiaca Fetale (FHR) è fondamentale per valutare il benessere fetale e rilevare il distress durante il parto. Sebbene i monitor FHR indossabili (ad esempio, il dispositivo Moyo) abbiano migliorato l'accessibilità in contesti a risorse limitate consentendo un monitoraggio continuo senza limitare la mobilità materna, sono soggetti a interruzioni del segnale. Queste lacune derivano dallo spostamento del sensore durante il movimento o da cambiamenti nella posizione fetale/materna. Tali dati mancanti compromettono l'interpretazione clinica e ostacolano l'affidabilità dei sistemi di Intelligenza Artificiale (AI) progettati per prevedere gli esiti neonatali. I metodi tradizionali di imputazione, come l'interpolazione lineare o spline, non riescono a preservare le caratteristiche spettrali complesse e la coerenza temporale dei segnali FHR, in particolare durante interruzioni prolungate. Inoltre, le architetture di deep learning esistenti, come RNN e CNN, spesso faticano a catturare le dipendenze temporali a lungo raggio e la natura non stazionaria delle dinamiche FHR necessarie per una ricostruzione e una previsione accurate.

Metodologia
Gli autori propongono FHRFormer, un framework di autoencoder basato su Transformer mascherato auto-supervisionato, progettato per l'inpainting e la previsione dei segnali FHR.

• Architettura: Il modello utilizza una struttura encoder-decoder basata su Transformer. Il segnale FHR in ingresso (normalizzato a una lunghezza fissa di 7.200 passaggi temporali, rappresentanti un'ora) viene suddiviso in patch non sovrapposte.
  • Encoder: Elabora le patch visibili (non mascherate) attraverso cinque blocchi Transformer utilizzando l'attenzione self-attention multi-testa (MHSA) per catturare le dipendenze temporali e spettrali globali.
  • Decoder: Ricostruisce l'intero segnale elaborando sia le patch visibili codificate sia i token di maschera apprendibili che rappresentano i segmenti mancanti. Impiega un'attenzione bidirezionale per ragionare sull'intero contesto temporale.
• Strategia di Addestramento: Il modello è addestrato utilizzando un approccio di autoencoding mascherato auto-supervisionato. Una maschera binaria casuale viene applicata a un sottoinsieme di patch (rapporto di mascheramento target $\gamma$), e il modello ha il compito di ricostruire i valori originali del segnale per queste regioni mascherate.
• Funzione di Perdita: Per garantire sia l'accuratezza temporale che la fedeltà fisiologica, l'obiettivo di addestramento combina due perdite:
  1. Perdita di Ricostruzione ($L_{recon}$): Errore quadratico medio (MSE) sulle patch mascherate.
  2. Perdita Focale in Frequenza ($L_{freq}$): Una perdita nel dominio della frequenza che penalizza le discrepanze negli spettri di ampiezza della Trasformata di Fourier Discreta (DFT) tra i segnali originali e ricostruiti. Questo garantisce la preservazione di caratteristiche spettrali critiche come la variabilità della linea di base e i pattern di decelerazione.
     La perdita totale è una somma ponderata: $L_{total} = 0.95 \cdot L_{recon} + 0.05 \cdot L_{freq}$.
• Dati: Il modello è stato addestrato su 4.486 episodi FHR del progetto "Safer Births" in Tanzania, raccolti tramite il monitor Laerdal Moyo. I dati sono stati pre-elaborati per rimuovere il rumore Doppler e normalizzati.

Contributi Chiave

1. Ricostruzione Basata su Transformer: Introduzione di un autoencoder Transformer mascherato specificamente adattato per la ricostruzione del segnale FHR, capace di modellare le dipendenze temporali multi-scala meglio delle RNN o delle CNN.
2. Strategia di Inpainting Auto-supervisionata: Un metodo per recuperare i segmenti FHR mancanti senza richiedere dati etichettati accoppiati, sfruttando il mascheramento sintetico su dati fisiologici non etichettati.
3. Pipeline di Previsione: Un'estensione del modello addestrato per eseguire previsioni progressive dei futuri valori FHR, migliorandone l'utilità per la valutazione del rischio in tempo reale.
4. Apprendimento Consapevole della Frequenza: L'integrazione della perdita focale in frequenza per mantenere la fedeltà spettrale, affrontando una limitazione chiave dei metodi di ricostruzione basati solo sul dominio temporale.

Risultati
Il modello è stato valutato su set di validazione e test utilizzando metriche multiple, inclusa la Perdita di Ricostruzione (RL), il Rapporto Segnale-Rumore di Picco (PSNR), l'Indice di Similarità Strutturale (SSIM), la Distanza Fréchet Inception (FID), MSE, RMSE e il Coefficiente di Correlazione (CC).

• Sensibilità alla Dimensione delle Patch: Esperimenti con dimensioni delle patch che variavano da 30 a 480 campioni hanno rivelato che patch più piccole hanno prodotto prestazioni superiori. La configurazione con una dimensione di patch di 30 (Hybrid-30) ha ottenuto i migliori risultati, con un PSNR di test di 41,38 dB, un SSIM di 0,9984 e un CC di 0,9993. Patch più grandi hanno comportato una perdita di risoluzione morfologica locale.
• Rapporto di Mascheramento: Le prestazioni hanno raggiunto il picco a un rapporto di mascheramento del 15%. Oltre questa soglia, la densità dei dati mancanti ha degradato il contesto strutturale disponibile per la ricostruzione.
• Inpainting: Confronti visivi hanno dimostrato che FHRFormer ha ricostruito efficacemente i segmenti mancanti, preservando le decelerazioni transitorie e la stabilità della linea di base meglio dell'interpolazione lineare.
• Previsione: In un compito di previsione progressiva (prevedere 15 secondi in avanti basandosi su 30 minuti di storia), FHRFormer ha superato la baseline TimeGPT, tracciando con successo traiettorie fisiologiche complesse senza soccombere all'accumulo di errori o a ipotesi di stato stazionario.

Significato e Affermazioni
Il documento posiziona FHRFormer come uno strumento trasformativo per il monitoraggio FHR abilitato all'AI di prossima generazione, in particolare per dispositivi indossabili in contesti a risorse limitate. Gestendo efficacemente le interruzioni del segnale, il framework garantisce la continuità e la qualità dei dati necessari per algoritmi robusti di stratificazione del rischio. Gli autori affermano che il metodo può essere applicato retrospettivamente a dataset di ricerca per migliorare lo sviluppo di algoritmi AI. Inoltre, suggeriscono che integrare questo approccio nei dispositivi indossabili potrebbe consentire una rilevazione più precoce e robusta del distress fetale mantenendo la continuità dei dati anche durante perdite transitorie del segnale. Il lavoro colma il divario tra le limitazioni tradizionali dell'elaborazione dei segnali e le capacità moderne del deep learning, affrontando specificamente le complessità non stazionarie e spettrali dei segnali FHR.