FHRFormer: A Self-Supervised Masked Transformer Framework for Fetal Heart Rate Time-Series Inpainting and Forecasting

Résumé Technique : FHRFormer

Énoncé du Problème
La surveillance de la Fréquence Cardiaque Fœtale (FCF) est cruciale pour évaluer le bien-être fœtal et détecter la détresse pendant le travail. Bien que les moniteurs de FCF portables (par exemple, le dispositif Moyo) aient amélioré l'accessibilité dans les milieux à ressources limitées en permettant une surveillance continue sans restreindre la mobilité maternelle, ils sont sujets à des pertes de signal. Ces lacunes résultent du déplacement des capteurs lors des mouvements ou des changements de position fœtale/maternelle. De telles données manquantes compromettent l'interprétation clinique et entravent la fiabilité des systèmes d'Intelligence Artificielle (IA) conçus pour prédire les issues néonatales. Les méthodes d'imputation traditionnelles, telles que l'interpolation linéaire ou par splines, échouent à préserver les caractéristiques spectrales complexes et la cohérence temporelle des signaux de FCF, en particulier lors de pertes prolongées. De plus, les architectures d'apprentissage profond existantes, comme les RNN et les CNN, peinent souvent à capturer les dépendances temporelles à long terme et la nature non stationnaire des dynamiques de la FCF requises pour une reconstruction et une prévision précises.

Méthodologie
Les auteurs proposent FHRFormer, un cadre d'autoencodeur basé sur un Transformer masqué auto-supervisé, conçu pour l'inpainting et la prévision des signaux de FCF.

• Architecture : Le modèle utilise une structure encodeur-décodeur basée sur des Transformers. Le signal d'entrée de FCF (normalisé à une longueur fixe de 7 200 pas de temps, représentant une heure) est divisé en patches non chevauchants.
  • Encodeur : Traite les patches visibles (non masqués) à travers cinq blocs Transformer utilisant l'attention auto-multi-tête (MHSA) pour capturer les dépendances temporelles et spectrales globales.
  • Décodeur : Reconstruit le signal complet en traitant à la fois les patches visibles encodés et des tokens de masque apprenables représentant les segments manquants. Il emploie une attention bidirectionnelle pour raisonner sur l'ensemble du contexte temporel.
• Stratégie d'Entraînement : Le modèle est entraîné selon une approche d'auto-encodage masqué auto-supervisé. Un masque binaire aléatoire est appliqué à un sous-ensemble de patches (ratio de masquage cible $\gamma$), et le modèle a pour tâche de reconstruire les valeurs originales du signal pour ces régions masquées.
• Fonction de Perte : Pour garantir à la fois la précision temporelle et la fidélité physiologique, l'objectif d'entraînement combine deux pertes :
  1. Perte de Reconstruction ($L_{recon}$) : Erreur Quadratique Moyenne (MSE) sur les patches masqués.
  2. Perte Focale de Fréquence ($L_{freq}$) : Une perte dans le domaine fréquentiel qui pénalise les écarts dans les spectres d'amplitude de la Transformée de Fourier Discrète (DFT) entre les signaux original et reconstruit. Cela assure la préservation des caractéristiques spectrales critiques telles que la variabilité de la ligne de base et les motifs de décélération.
     La perte totale est une somme pondérée : $L_{total} = 0,95 \cdot L_{recon} + 0,05 \cdot L_{freq}$.
• Données : Le modèle a été entraîné sur 4 486 épisodes de FCF du projet "Safer Births" en Tanzanie, collectés via le moniteur Laerdal Moyo. Les données ont été prétraitées pour éliminer le bruit Doppler et normalisées.

Contributions Clés

1. Reconstruction basée sur Transformer : Introduction d'un autoencodeur Transformer masqué spécifiquement adapté à la reconstruction des signaux de FCF, capable de modéliser les dépendances temporelles multi-échelles mieux que les RNN ou les CNN.
2. Stratégie d'Inpainting Auto-supervisée : Une méthode pour récupérer les segments de FCF manquants sans nécessiter de données étiquetées appariées, exploitant un masquage synthétique sur des données physiologiques non étiquetées.
3. Pipeline de Prévision : Une extension du modèle entraîné pour effectuer une prévision progressive des valeurs futures de la FCF, améliorant son utilité pour l'évaluation des risques en temps réel.
4. Apprentissage Conscient de la Fréquence : L'intégration d'une perte focale de fréquence pour maintenir la fidélité spectrale, répondant à une limitation clé des méthodes de reconstruction basées uniquement sur le domaine temporel.

Résultats
Le modèle a été évalué sur des ensembles de validation et de test en utilisant plusieurs métriques, notamment la Perte de Reconstruction (RL), le Rapport Signal sur Bruit de Crête (PSNR), l'Indice de Similarité Structurelle (SSIM), la Distance d'Inception Fréchet (FID), la MSE, la RMSE et le Coefficient de Correlation (CC).

• Sensibilité à la Taille des Patches : Des expériences avec des tailles de patches allant de 30 à 480 échantillons ont révélé que des patches plus petits produisaient des performances supérieures. La configuration avec une taille de patch de 30 (Hybrid-30) a obtenu les meilleurs résultats, avec un PSNR de test de 41,38 dB, un SSIM de 0,9984 et un CC de 0,9993. Des patches plus grands ont entraîné une perte de résolution morphologique locale.
• Ratio de Masquage : Les performances ont culminé à un ratio de masquage de 15 %. Au-delà de ce seuil, la densité de données manquantes a dégradé le contexte structurel disponible pour la reconstruction.
• Inpainting : Les comparaisons visuelles ont démontré que FHRFormer reconstruisait efficacement les segments manquants, préservant les décélérations transitoires et la stabilité de la ligne de base mieux que l'interpolation linéaire.
• Prévision : Dans une tâche de prévision progressive (prédire 15 secondes à l'avance sur la base de 30 minutes d'historique), FHRFormer a surpassé la référence TimeGPT, suivant avec succès des trajectoires physiologiques complexes sans succomber à l'accumulation d'erreurs ou aux hypothèses d'état stationnaire.

Signification et Revendications
L'article présente FHRFormer comme un outil transformateur pour la surveillance de la FCF de nouvelle génération assistée par l'IA, en particulier pour les dispositifs portables dans les milieux à ressources limitées. En gérant efficacement les pertes de signal, le cadre assure la continuité et la qualité des données requises pour des algorithmes robustes de stratification des risques. Les auteurs affirment que la méthode peut être appliquée rétrospectivement à des ensembles de données de recherche pour améliorer le développement d'algorithmes d'IA. De plus, ils suggèrent que l'intégration de cette approche dans les dispositifs portables pourrait permettre une détection plus précoce et plus robuste de la détresse fœtale en maintenant la continuité des données même lors de pertes de signal transitoires. Ce travail comble le fossé entre les limitations du traitement du signal traditionnel et les capacités modernes de l'apprentissage profond, en abordant spécifiquement les complexités non stationnaires et spectrales des signaux de FCF.