FHRFormer: A Self-Supervised Masked Transformer Framework for Fetal Heart Rate Time-Series Inpainting and Forecasting

기술 요약: FHRFormer

문제 제기
태아 심박수 (FHR) 모니터링은 분만 중 태아의 안녕 상태를 평가하고 태아 고통을 감지하는 데 필수적입니다. 착용형 FHR 모니터 (예: Moyo 장치) 는 산모의 이동성을 제한하지 않고 지속적인 모니터링을 가능하게 함으로써 저자원 환경에서의 접근성을 개선했지만, 신호 손실에 취약합니다. 이러한 간극은 이동 중 센서 이탈이나 태아/산모의 자세 변화로 인해 발생합니다. 이러한 누락된 데이터는 임상적 해석을 저해하고 신생아 예후를 예측하도록 설계된 인공 지능 (AI) 시스템의 신뢰성을 떨어뜨립니다. 선형 또는 스플라인 보간과 같은 전통적인 보간 방법은 특히 장기간의 신호 손실 시 FHR 신호의 복잡한 스펙트럼 특성과 시간적 일관성을 유지하지 못합니다. 또한, 기존 RNN 및 CNN 과 같은 딥러닝 아키텍처는 정확한 재구성과 예측에 필요한 FHR 역학의 장기 시간적 의존성과 비정상성 (non-stationary nature) 을 포착하는 데 종종 어려움을 겪습니다.

방법론
저자들은 FHR 신호 보강 및 예측을 위해 설계된 자기지도 학습 기반 마스크된 Transformer 기반 오토인코더 프레임워크인 FHRFormer를 제안합니다.

• 아키텍처: 이 모델은 Transformer 기반의 인코더 - 디코더 구조를 활용합니다. 입력 FHR 신호 (1 시간을 나타내는 고정된 7,200 시간 단계로 정규화됨) 는 겹치지 않는 패치로 나뉩니다.
  • 인코더: 다중 헤드 자기 어텐션 (MHSA) 을 사용하여 5 개의 Transformer 블록을 통해 가시적 (마스크되지 않은) 패치를 처리하여 전역 시간 및 스펙트럼 의존성을 포착합니다.
  • 디코더: 인코딩된 가시적 패치와 누락된 구간을 나타내는 학습 가능한 마스크 토큰을 모두 처리하여 전체 신호를 재구성합니다. 전체 시간적 맥락에 대해 추론하기 위해 양방향 어텐션을 사용합니다.
• 학습 전략: 모델은 자기지도 학습 마스크된 오토인코딩 접근법으로 학습됩니다. 패치의 부분 집합에 무작위 이진 마스크가 적용되며 (목표 마스크 비율 $\gamma$), 모델은 이러한 마스크된 영역에 대한 원래 신호 값을 재구성하는 작업을 수행합니다.
• 손실 함수: 시간적 정확성과 생리학적 충실도를 모두 보장하기 위해 학습 목적 함수는 두 가지 손실을 결합합니다.
  1. 재구성 손실 ($L_{recon}$): 마스크된 패치에 대한 평균 제곱 오차 (MSE).
  2. 초점 주파수 손실 ($L_{freq}$): 원본 신호와 재구성된 신호 간의 이산 푸리에 변환 (DFT) 크기 스펙트럼 차이를 패널티로 부과하는 주파수 영역 손실입니다. 이는 기저선 변동성 및 감속 패턴과 같은 중요한 스펙트럼 특성의 유지를 보장합니다.
     총 손실은 가중 합입니다: $L_{total} = 0.95 \cdot L_{recon} + 0.05 \cdot L_{freq}$.
• 데이터: 이 모델은 Laerdal Moyo 모니터를 통해 수집된 탄자니아의 "Safer Births" 프로젝트의 4,486 개 FHR 에피소드로 학습되었습니다. 데이터는 도플러 노이즈를 제거하고 정규화하기 위해 전처리되었습니다.

주요 기여

1. Transformer 기반 재구성: RNN 또는 CNN 보다 다중 스케일 시간적 의존성을 더 잘 모델링할 수 있도록 FHR 신호 재구성에 특화된 마스크된 Transformer 오토인코더의 도입.
2. 자기지도 학습 보강 전략: 레이블이 지정된 쌍이 있는 데이터를 필요로 하지 않고 레이블이 없는 생리학적 데이터에 대한 합성 마스킹을 활용하여 누락된 FHR 구간을 복원하는 방법.
3. 예측 파이프라인: 실시간 위험 평가에 대한 유용성을 높이기 위해 학습된 모델을 확장하여 미래 FHR 값을 점진적으로 예측하는 기능.
4. 주파수 인식 학습: 시간 영역 전용 재구성 방법의 주요 한계를 해결하기 위해 스펙트럼 충실도를 유지하는 초점 주파수 손실의 통합.

결과
모델은 재구성 손실 (RL), 피크 신호대 잡음비 (PSNR), 구조적 유사성 지수 (SSIM), Fréchet Inception Distance (FID), MSE, RMSE, 상관 계수 (CC) 등 여러 지표를 사용하여 검증 및 테스트 세트에서 평가되었습니다.

• 패치 크기 민감도: 30 에서 480 샘플까지의 패치 크기로 실험한 결과, 더 작은 패치가 우수한 성능을 보였습니다. 패치 크기 30 (Hybrid-30) 구성이 가장 좋은 결과를 달성하여 테스트 PSNR 41.38 dB, SSIM 0.9984, CC 0.9993 을 기록했습니다. 더 큰 패치는 국소 형태학적 해상도의 손실을 초래했습니다.
• 마스킹 비율: 성능은 마스킹 비율 15% 에서 정점에 도달했습니다. 이 임계값을 넘어서면 누락된 데이터의 밀도가 재구성에 사용 가능한 구조적 맥락을 저하시켰습니다.
• 보강: 시각적 비교는 FHRFormer 가 선형 보간보다 일시적 감속과 기저선 안정성을 더 잘 유지하면서 누락된 구간을 효과적으로 재구성했음을 보여주었습니다.
• 예측: 30 분의 역사를 기반으로 15 초 앞을 예측하는 점진적 예측 작업에서 FHRFormer 는 TimeGPT 기준을 능가하여 오차 누적이나 정상 상태 가정에 휘말리지 않고 복잡한 생리학적 궤적을 성공적으로 추적했습니다.

의의 및 주장
이 논문은 FHRFormer 를 자원 제한 환경의 착용형 장치를 위한 차세대 AI 기반 FHR 모니터링을 위한 혁신적인 도구로 위치시킵니다. 신호 손실을 효과적으로 처리함으로써 이 프레임워크는 강력한 위험 계층화 알고리즘에 필요한 데이터의 연속성과 품질을 보장합니다. 저자들은 이 방법이 AI 알고리즘 개발을 개선하기 위해 연구 데이터셋에 retrospektively 적용될 수 있다고 주장합니다. 또한, 이 접근법을 착용형 장치에 통합하면 일시적인 신호 손실 중에도 데이터 연속성을 유지함으로써 태아 고통을 더 일찍 그리고 더 강력하게 감지할 수 있다고 제안합니다. 이 연구는 전통적인 신호 처리의 한계와 현대 딥러닝 능력 사이의 간극을 메우며, 특히 FHR 신호의 비정상성과 스펙트럼 복잡성에 초점을 맞춥니다.