FHRFormer: A Self-Supervised Masked Transformer Framework for Fetal Heart Rate Time-Series Inpainting and Forecasting

Technische Samenvatting: FHRFormer

Probleemstelling
Monitoring van de foetale hartfrequentie (FHR) is cruciaal voor het beoordelen van het welzijn van de foetus en het detecteren van noodtoestanden tijdens de bevalling. Hoewel draagbare FHR-monitoren (bijvoorbeeld het Moyo-apparaat) de toegankelijkheid in gebieden met beperkte middelen hebben verbeterd door continue monitoring mogelijk te maken zonder de mobiliteit van de moeder te beperken, zijn ze vatbaar voor signaaluitval. Deze gaten ontstaan door sensorverplaatsing tijdens beweging of veranderingen in de positie van de foetus of de moeder. Dergelijke ontbrekende data ondermijnt de klinische interpretatie en hindert de betrouwbaarheid van kunstmatige intelligentie (AI)-systemen die zijn ontworpen om neonatale uitkomsten te voorspellen. Traditionele imputatiemethoden, zoals lineaire of spline-interpolatie, slagen er niet in om de complexe spectrale kenmerken en temporele coherentie van FHR-signalen te behouden, vooral tijdens langdurige uitval. Bovendien hebben bestaande deep learning-architecturen zoals RNN's en CNN's vaak moeite om de langetermijntemporele afhankelijkheden en het niet-stationaire karakter van FHR-dynamiek vast te leggen, die nodig zijn voor nauwkeurige reconstructie en voorspelling.

Methodologie
De auteurs stellen FHRFormer voor, een zelftoezichtend, op masked Transformers gebaseerd autoencoder-kader dat is ontworpen voor inpainting en voorspelling van FHR-signalen.

• Architectuur: Het model maakt gebruik van een encoder-decoder-structuur gebaseerd op Transformers. Het invoer-FHR-signaal (genormaliseerd tot een vaste lengte van 7.200 tijdstappen, wat één uur vertegenwoordigt) wordt verdeeld in niet-overlappende patches.
  • Encoder: Verwerkt zichtbare (niet-gemaskerde) patches via vijf Transformer-blokken met multi-head self-attention (MHSA) om globale temporele en spectrale afhankelijkheden vast te leggen.
  • Decoder: Reconstructeert het volledige signaal door zowel de gecodeerde zichtbare patches als leerbare maskertokens die ontbrekende segmenten vertegenwoordigen, te verwerken. Het maakt gebruik van bidirectionele attention om te redeneren over de volledige temporele context.
• Trainingsstrategie: Het model wordt getraind met een zelftoezichtende masked autoencoding-aanpak. Een willekeurige binaire masker wordt toegepast op een subset van patches (doelmaskeringsratio $\gamma$), en het model krijgt de taak de oorspronkelijke signaalwaarden voor deze gemaskerde gebieden te reconstrueren.
• Verliesfunctie: Om zowel temporele nauwkeurigheid als fysiologische fideliteit te waarborgen, combineert de trainingsdoelstelling twee verliezen:
  1. Reconstructieverlies ($L_{recon}$): Gemiddelde kwadratische fout (MSE) op de gemaskerde patches.
  2. Focal Frequency Loss ($L_{freq}$): Een verlies in het frequentiedomein dat discrepanties in de magnitude-spectra van de Discrete Fourier Transform (DFT) tussen het originele en het gereconstrueerde signaal bestraft. Dit zorgt voor het behoud van kritieke spectrale kenmerken zoals variabiliteit van de basislijn en patronen van vertraging.
     Het totale verlies is een gewogen som: $L_{total} = 0.95 \cdot L_{recon} + 0.05 \cdot L_{freq}$.
• Data: Het model is getraind op 4.486 FHR-episoden uit het "Safer Births"-project in Tanzania, verzameld via de Laerdal Moyo-monitor. De data is voorverwerkt om Doppler-ruis te verwijderen en genormaliseerd.

Belangrijkste Bijdragen

1. Op Transformer gebaseerde reconstructie: Introductie van een masked Transformer-autoencoder die specifiek is toegesneden op reconstructie van FHR-signalen en in staat is om multi-schaal temporele afhankelijkheden beter te modelleren dan RNN's of CNN's.
2. Zelftoezichtende inpainting-strategie: Een methode om ontbrekende FHR-segmenten te herstellen zonder gekoppelde gelabelde data te vereisen, waarbij gebruik wordt gemaakt van synthetische masking op ongelabelde fysiologische data.
3. Voorspellingspijplijn: Een uitbreiding van het getrainde model om progressieve voorspelling van toekomstige FHR-waarden uit te voeren, waardoor de bruikbaarheid voor real-time risicoclassificatie wordt verbeterd.
4. Frequentiebewust leren: De integratie van focal frequency loss om spectrale fideliteit te handhaven, waarmee een belangrijke beperking van reconstructiemethoden die alleen het tijddomein gebruiken, wordt aangepakt.

Resultaten
Het model werd geëvalueerd op validatie- en testsets met meerdere metrieken, waaronder Reconstructieverlies (RL), Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM), Fréchet Inception Distance (FID), MSE, RMSE en Correlatiecoëfficiënt (CC).

• Gevoeligheid voor patchgrootte: Experimenten met patchgroottes variërend van 30 tot 480 samples lieten zien dat kleinere patches superieure prestaties opleverden. De configuratie met een patchgrootte van 30 (Hybrid-30) behaalde de beste resultaten, met een test-PSNR van 41,38 dB, een SSIM van 0,9984 en een CC van 0,9993. Grotere patches leidden tot verlies van lokale morfologische resolutie.
• Maskeringsratio: De prestaties piekten bij een maskeringsratio van 15%. Boven deze drempel verslechterde de dichtheid van ontbrekende data de structurele context die beschikbaar was voor reconstructie.
• Inpainting: Visuele vergelijkingen toonden aan dat FHRFormer ontbrekende segmenten effectief reconstrueerde, waarbij het tijdelijke vertragingen en stabiliteit van de basislijn beter behield dan lineaire interpolatie.
• Voorspelling: Bij een progressieve voorspellingsopdracht (voorspellen van 15 seconden vooruit op basis van 30 minuten geschiedenis) presteerde FHRFormer beter dan de TimeGPT-baseline, waarbij het complexe fysiologische trajecten succesvol volgde zonder te bezwijken aan foutopstapeling of aannames over een steady-state.

Betekenis en Claims
Het artikel positioneert FHRFormer als een transformatief hulpmiddel voor AI-gestuurde FHR-monitoring van de volgende generatie, met name voor draagbare apparaten in gebieden met beperkte middelen. Door effectief om te gaan met signaaluitval, waarborgt het kader de continuïteit en kwaliteit van de data die nodig zijn voor robuuste algoritmen voor risicoclassificatie. De auteurs claimen dat de methode retrospectief kan worden toegepast op onderzoeksdatasets om de ontwikkeling van AI-algoritmen te verbeteren. Bovendien suggereren zij dat het integreren van deze aanpak in draagbare apparaten een vroegtijdiger en robuuster detectie van foetale noodtoestanden mogelijk maakt door datacontinuïteit te handhaven, zelfs tijdens tijdelijke signaalverlies. Het werk overbrugt de kloof tussen beperkingen van traditionele signaalverwerking en moderne deep learning-mogelijkheden, specifiek gericht op de niet-stationaire en spectrale complexiteiten van FHR-signalen.