Event Fields: Learning Latent Event Structure for Waveform Foundation Models

기술 요약: 파형 기초 모델을 위한 이벤트 필드

문제 제기
생리학적 파형 (예: ECG, PPG, EMG) 에 대한 현재의 의료 기초 모델들은 주로 시퀀스 기반 패러다임을 따릅니다. 이러한 모델들은 신호를 로컬 토큰이나 패치들의 집합으로 취급하며, 언어 및 비전 사전 훈련에서 영감을 받은 마스킹 재구성 또는 대비적 목적 함수에 의존합니다. 저자들은 이러한 접근 방식이 생리학적 추론의 본질과 근본적으로 불일치한다고 주장합니다. 임상적 해석은 거의 항상 원시 진폭이나 짧은 시간 창 수준에서 작동하지 않으며; 대신 박동, 주기, 폭발, 그리고 동적 체제 간의 전환과 같은 고차원적 추상화에 의존합니다. 표준 시퀀스 모델은 예측 구조가 로컬 세그먼트에 인코딩되어 있다고 암묵적으로 가정하여, 종종 의미 있는 변이를 잡음 신호의 변동과 혼동합니다. 결과적으로 이러한 모델들은 고립된 사건이 아닌 잠재적 과정에서 비롯된 생리학적 사건의 시간적으로 확장되고 상호작용하며 관계적인 특성을 포착하는 데 어려움을 겪습니다.

방법론
본 논문은 스펙트로 - 시간적 이벤트 필드 공식화에 기반한 새로운 유형의 파형 기초 모델을 제안합니다. 저자들은 파형 $x(t)$를 직접 모델링하는 대신, 생리학적 신호가 시간과 주파수에서 진화하는 잠재적 이벤트 필드의 연속적인 중첩에 의해 생성된다고 가정합니다.

• 잠재 생성 모델: 신호는 $x(t) = \int_{\Omega} \int_{0}^{T} \phi(z, \tau) g_{\theta}(t - \tau, z) d\tau dz$로 표현되며, 여기서 $z$는 잠재 이벤트 공간 (리듬 클래스, 활성화 유형) 을 인덱싱하고, $\phi(z, \tau)$는 관측되지 않은 이벤트 강도 필드이며, $g_{\theta}$는 학습된 방출 커널입니다. 이 공식화는 이벤트들이 중첩되고 상호작용하며 연속적으로 진화할 수 있도록 합니다.
• 확률적 분할 및 투영: 잠재 필드 $\phi$는 관측되지 않으므로, 모델은 확률적 분할 (시간 축의 여러 가능한 분해 샘플링) 과 시간 - 주파수 투영 (서브밴드 필터링, 시간 왜곡, 위상 교란과 같은 무작위 연산자) 을 통해 이를 유도합니다. 이러한 투영은 신호 수준의 세부 사항을 왜곡하지만 근본적인 생리학적 정체성은 보존합니다.
• 이벤트 인코더 아키텍처: 인코더 $h_{\theta}$는 투영된 파형을 다음 세 단계를 통해 처리합니다:
  1. 로컬 특징 추출: 합성곱 또는 트랜스포머 스템을 통한 패치 또는 프레임 수준의 임베딩.
  2. 분할 인식 집계: 확률적 분할에 기반하여 로컬 특징을 세그먼트 임베딩으로 풀링.
  3. 글로벌 상호작용 모듈: 커널화된 연산자로 모델링된 잠재 상호작용 연산자는 주기적 결합 및 교차 주파수 상호작용과 같은 추론된 이벤트 간의 의존성을 포착합니다.
• 자기 지도 학습 목적 함수: 핵심 학습 신호는 확률적 분할 및 투영 간의 일관성입니다. 모델은 InfoNCE 스타일의 대비적 손실 ($L_{cons}$) 을 사용하여 동일한 잠재 이벤트 필드의 서로 다른 뷰에 대해 불변인 표현을 생성하도록 훈련됩니다.
• 정규화 및 다중 모달리티: 보조 분할 안정성 손실 ($L_{seg}$) 은 예측된 경계에서 희소성, 부드러움, 그리고 교차 뷰 합의를 강제합니다. 다중 모달리티 설정의 경우, 이 프레임워크는 공유 잠재 이벤트 필드의 서로 다른 방출이라고 가정하여 서로 다른 모달리티 (예: ECG 및 PPG) 를 정렬하며, 명시적 퓨전 모듈 없이 공유 표현 공간을 통해 이를 정렬합니다.

주요 기여

1. 스펙트로 - 시간적 이벤트 필드 공식화: 토큰화된 시퀀스가 아닌 상호작용하는 이벤트 필드의 실현으로서 파형을 취급하는 방식으로, 원시 신호 모델링에서 연속적 잠재 과정 모델링으로의 전환.
2. 확률적 일관성 목적 함수: 무작위화된 시간 - 주파수 투영 및 확률적 분할을 통해 표현을 정렬함으로써 잠재 이벤트 구조 수준에서 불변성을 강제하는 자기 지도 학습 프레임워크.
3. 신경 연산자 기반 아키텍처: 잠재 필드 내에서 시간적 의존성과 다중 모달리티 정렬을 명시적으로 모델링하기 위해 연속 이벤트 상호작용 연산자를 통합한 새로운 인코더 설계.

결과
제안된 방법은 부정맥 분류, 혈역학적 예측, 파형 검색을 포함한 생리학적 벤치마크에서 평가되었습니다.

• 성능: 이벤트 필드 모델은 모든 작업에서 강력한 베이스라인 (마스킹 재구성, 대비적 시퀀스, 시간 - 주파수 하이브리드 모델) 을 능가했습니다. 특히 다중 모달리티 예측 (AUROC 0.872 대 0.823) 과 검색 (MAP 0.714 대 0.645) 에서 주목할 만한 개선이 관찰되었습니다.
• 강건성: 모델은 잡음 주입, 시간 왜곡, 주파수 마스킹을 포함한 신호 교란에 대해 우수한 강건성을 보였으며, 시퀀스 기반 베이스라인보다 더 우아하게 성능 저하를 견디었습니다.
• 레이블 효율성: 낮은 레이블 환경 (레이블의 1% 에서 10%) 에서 이벤트 중심 접근 방식은 훨씬 더 높은 AUROC 점수 (1% 에서 0.781 대 베이스라인 0.701) 를 달성하여, 학습된 이벤트 구조가 강력한 귀납적 사전 지식을 제공함을 시사합니다.
• 어블레이션: 모든 구성 요소 (분할 일관성, 투영, 또는 상호작용 연산자) 를 제거하면 성능이 저하되었으며, 분할 일관성이 가장 중요한 요소로 확인되었습니다.

의의 및 주장
본 논문은 신호 중심에서 이벤트 중심 표현으로의 전환이 생리학적 역학을 모델링하기 위해 더 적합한 귀납적 편향을 제공한다고 주장합니다. 원시 신호 충실도보다 잠재 이벤트의 조직화와 상호작용을 우선시함으로써, 이 프레임워크는 모델 크기나 데이터셋 볼륨을 단순히 증가시키는 것에만 의존하지 않는 의료 기초 모델 확장 위한 보완적인 경로를 제공합니다. 저자들은 이 접근 방식이 다음과 같은 표현을 산출한다고 제안합니다:

• 더 강건함: 잡음, 센서 아티팩트와 같은 잡음 변이 및 분포 변화에 덜 민감함.
• 더 효율적: 더 적은 레이블된 예시로 더 나은 성능을 가능하게 함.
• 더 해석 가능: 명시적 지도 없이 임상적으로 의미 있는 구조 (예: QRS 복합체) 와 정렬된 시간적으로 국소화된 이벤트 표현을 생성함.

이 연구는 시계열 기초 모델에서 지배적인 토큰화 전략에 대한 원칙적인 대안을 제공하며, 올바른 표현 공간 (잠재 이벤트 필드) 을 식별하는 것이 모델 용량 확장만큼이나 중요할 수 있다고 주장합니다.