기술 요약: PAMF (불완전한 시계열 데이터를 위한 사전 인지형 멀티모달 융합)

문제 정의

의료 분야의 멀티모달 시계열 분석은 다운스트림 예측 성능을 저하시키는 만연한 결측치(missing data) 문제라는 중대한 과제에 직면해 있습니다. 본 논문은 기존 방법론들이 해결하지 못하는 두 가지 구조적으로 구별되는 결측 패턴을 식별합니다:

1. 모달리티 내 결측 (Within-modality missing): 관찰된 모달리티 내에서 개별 시점 데이터가 누락된 경우 (예: 기록 중 센서 드롭아웃).
2. 모달리티 수준 결측 (Modality-level missing): 특정 모달리티 전체를 사용할 수 없는 경우 (예: 환자가 ECG와 같은 특정 검사를 받지 못함).

기존의 접근 방식은 크게 두 가지 범주로 나뉘며, 각각 한계점을 가집니다:

• 결측 인지형 융합 (Missing-Aware Fusion): FuseMoE, FlexMoE, Maestro와 같은 방법들은 마스킹, 게이팅 메커니즘 또는 학습된 플레이스홀더 임베딩을 사용하여 결측을 처리합니다. 그러나 이들은 결측 신호 값을 명시적으로 재구성하지 않으며, 결측을 신호 복구의 문제라기보다 표현의 강건성(robustness) 문제로 취급합니다.
• 명시적 임퓨테이션 (Explicit Imputation): CSDI 및 SSSD와 같은 방법들은 생성 모델(예: 확산 모델)을 사용하여 결측값을 재구성합니다. 그러나 이들은 모든 결측을 균일하게 취급하며, 모달리티 내 결측과 모달리티 수준 결측 사이의 구조적 차이를 무시합니다. 또한, 임퓨테이션이 다운스트림 태스크와 분리되어 있어, 임퓨테이션된 신호가 특정 예측 목표에 최적화되지 않습니다.

방법론: PAMF 프레임워크

저자들은 두 가지 결측 패턴을 모두 명시적으로 처리하면서 임퓨테이션을 다운스트림 예측과 결합하는 통합 프레임워크인 PAMF를 제안합니다. 이 프레임워크는 네 가지 주요 구성 요소인 임퓨테이션 인코더($h_{imp}$), 융합 인코더($h_{fus}$), 플로우 매칭 모듈($ffm$), 그리고 다운스트림 헤드($f_{ds}$)로 구성됩니다.

1. 사전 인지형 플로우 매칭 (Prior-Aware Flow Matching)

표준 확산 모델처럼 고정된 도메인 불가지론적 가우시안 분포에서 생성 과정을 시작하는 대신, PAMF는 **사전 인지형 초기화(prior-aware initialization)**를 갖춘 **플로우 매치(Flow Matching)**를 활용합니다. 이를 통해 소스 상태($x_0$)를 특정 결측 유형에 따라 설계함으로써 타겟 데이터 분포까지의 운송 거리(transport distance)를 줄일 수 있습니다.

• 모달리티 내 결측의 경우: 초기화 단계에서 국소적 시간 연속성을 활용합니다. 소스 상태는 가장 가까운 관찰된 시간적 이웃과 채널별 배치 평균의 볼록 조합(convex combination)을 사용하여 구축됩니다. 가중치는 시간 간격에 따라 지수적으로 감소하여, 시작점이 타당한 국소 관측 범위 내에 머물도록 보장합니다.
• 모달리티 수준 결측의 경우: 동일 모달리티의 증거가 부재하므로, 초기화는 교차 모달 컨텍스트(cross-modal context)에 의존합니다. 소스 상태는 관찰된 모달리티들의 표현에 조건화되어 배치 평균 또는 컨텍스트가 유사한 샘플로부터 유도됩니다.

플로우 매칭 모듈은 임퓨테이션 컨텍스트 $c_{imp}$에 조건화되어, 이 구조화된 소스 상태 $x_0$를 타겟 신호 $x_1$로 직선 ODE 경로를 따라 운송하는 조건부 속도장 $v_\theta$를 학습합니다.

2. 가중치 공유 및 3단계 학습 (Weight Sharing and Three-Phase Training)

임퓨테이션과 다운스트림 태스크 사이의 단절을 해결하기 위해, PAMF는 가중치 공유 메커니즘과 3단계 학습 전략을 채택합니다.

• 1단계 (다운스트림 웜업): 융합 인코더($h_{fus}$)와 다운스트림 헤드를 결측이 있는 원시 데이터를 사용하여 분류 손실(classification loss)로 학습합니다. 이는 인코더가 결측에 강건한 표현을 학습하도록 강제합니다.
• 2단계 (플로우 매칭 학습): 임퓨테이션 인코더($h_{imp}$)는 $h_{fus}$의 가중치를 복사하여 초기화됩니다. 그 후 플로우 매칭 모듈은 $c_{imp}$(1단계에서 학습된 태스크 관련 컨텍스트를 인코딩함)에 조건화되어 결측 신호를 임퓨테이션하도록 학습됩니다. 이를 통해 태스크 관련 구조가 임퓨테이션 과정으로 전이됩니다.
• 3단계 (공동 미세 조정): 임퓨테이션 브랜치를 동결하여 완성된 데이터($x_{complete}$)를 생성합니다. 이후 융합 인코더와 다운스트림 헤드를 이 완성된 데이터에 대해 미세 조정하여 최종 예측 성능을 정교화합니다.

주요 기여

1. 이중 결측을 위한 통합 프레임워크: PAMF는 유형별 사전 지식을 사용하여 결측 신호를 명시적으로 재구성함으로써, 모달리티 내 결측과 모달리티 수준 결측을 동시에 다루는 최초의 방법론입니다.
2. 사전 인지형 초기화: 저자들은 고정된 노이즈 대신 구조적 사전 지식(국소적 간극을 위한 시간적 이웃, 전역적 간극을 위한 교차 모달 통계)을 사용하여 소스 상태를 초기화하는 플로우 매칭 기반 생성 모듈을 도입했습니다. 이 설계는 확산 기반 대안들에 비해 추론 오버헤드를 줄여줍니다.
3. 태스크 가이드형 임퓨테이션: 가중치 공유와 3단계 학습 일정을 통해, 프레임워크는 임퓨테이션과 분류를 연결합니다. 예측을 위해 학습된 태스크 관련 표현이 임퓨테이션 과정을 가이드하여, 복구된 신호가 특정 태스크에 유익하도록 보장합니다.

실험 결과

저자들은 네 가지 생리학적 벤치마크인 Sleep-EDF(수면 단계), PTB-XL(ECG 진단), PPG-DaLiA(웨어러블 활동 인식), Chapman-Shaoxing(ECG 리듬)에서 PAMF를 평가했습니다.

• 성능: PAMF는 모든 데이터셋과 결측 설정(20% 모달리티 내 결측 및 모달ity-level 결측 모두)에서 가장 강력한 전반적 다운스트림 성능을 달s성했습니다. Macro-F1 및 AUROC 측면에서 FuseMoE, FlexMoE, Maestro, MIRA와 같은 강력한 베이스라인들을 일관되게 능가했습니다.
• 강건성: 혼합 결측(모달리티 내 결측과 모달리티 수준 결측이 동시에 발생하는 경우) 및 높은 결측률 스트레스 테스트(50% 결측률) 상황에서도 PAMF는 우수한 성능을 유지한 반면, Maestro와 같은 베이스라인들은 상당한 성능 저하를 보였습니다.
• 효율성: 확산 기반 임퓨테이션 베이스라인(CSDI, SSSD)과 비교했을 때, PAMF는 플로우 매칭의 효율성과 사전 인지형 초기화의 정보력을 바탕으로 훨씬 낮은 추론 지연 시간(적은 함수 평가 횟수)과 함께 더 높은 Macro-F1 점수를 달성했습니다.
• 절제 연구 (Ablation Studies): 임퓨테이션, 사전 인지형 초기화, 컨텍스트 조건화, 또는 가중치 공유 중 하나라도 제거하면 성능 저하가 발생하였으며, 이는 최적의 결과를 위해 전체 파이프라인이 필수적임을 확인시켜 줍니다.

의의 및 주장

본 논문은 멀티모달 시계열 분석의 주요 장애물이 단순히 결측 데이터의 존재가 아니라, 결측의 구조적 이질성과 신호 복구와 다운스트림 태스크 간의 분리라고 주장합니다.

PAMF는 다음을 입증합니다:

1. 결측 입력을 단순히 마스킹이나 플레이스홀더로 견디는 것보다 명시적 재구성을 하는 것이 더 우수합니다.
2. 결측 유형을 구분하는 것이 중요합니다. 모든 결측 데이터를 균일하게 취급하는 것(예: 단일 가우시안 사전 분포 사용)은 하위 최적(suboptimal)입니다.
3. 가중치 공유를 통해 임퓨테이션을 다운스트림 학습과 결합하면, 모델이 단순히 일반적인 "그럴듯한" 신호를 생성하는 것을 넘어 특정 예측 태스크에 특화된 표현을 학습할 수 있습니다.

저자들은 PAMF를 센서 오류나 불완전한 검사가 흔히 발생하는 의료 환경에서 강건성을 개선하는 연구 단계의 방법론으로 포지셔닝합니다. 또한, 이 방법이 신뢰할 수 있는 시간적 및 교차 모달 구조를 학습하기 위해 충분한 훈련 데이터가 필요하며, 명시적 임퓨테이션은 검증되지 않을 경우 그럴듯하지만 잘못된 생리학적 신호를 생성할 위험이 있다는 한계점을 인정합니다.