Represent, Then Generate: Multimodal-Conditioned Time-Series Generation under Irregular Missingness

기술 요약: ReCoGen (Represent, Then Generate)

문제 정의
연속적인 생체 신호 시계열은 패혈증 탐지부터 당뇨병 스크리닝에 이르는 다양한 과업을 지원하며 현대 임상 모니터링의 근간을 이룹니다. 그러나 많은 고가치 신호(예: 연속 동맥 혈압)는 침습적이거나 비용이 많이 들며, 특정 환자에게는 사용 불가능할 수 있습니다. 조건부 생성(conditional generation)은 공동 기록된 데이터를 통해 결측된 신호를 합성함으로써 해결책을 제시하지만, 기존 방식들은 임상 환경에서 상당한 한계에 직면해 있습니다. 현재의 생성기들은 대개 단일 조건 모달리티(예: 이산 라벨, 정적 속성 또는 텍스트)를 위해 설계되었거나, 균질하고 조밀하게 샘플링된 입력을 가정합니다. 이러한 모델들은 실제 ICU 및 웨어러블 데이터의 특징인 이질적이고 불규칙하게 샘플링되며 부분적으로 관찰된 시변 신호와 정적 임상 공변량의 혼합을 처리하도록 강제될 때 성능이 저하됩니다. 이러한 가공되지 않은 불규칙한 스트림을 생성기에 직접 입력하는 것은 모달리티별 의미론(semantics)을 포착하지 못하고 결측 패턴을 다루는 데 어려움을 겪게 하여, 결과적으로 다운스트림 유용성을 떨어뜨립니다.

방법론: ReCoGen
저자들은 멀티모달 조건의 표현(representation)과 타겟 신호의 생성을 분리하는 2단계 프레임워크인 ReCoGen(Represent Conditions, then Generate)을 제안합니다.

• 1단계: 모달리티별 마스크드 오토인코더(Masked Autoencoder) 학습
  각 시변 조건 모달리티(예: 심박수, 호흡수)에 대해 전용 마스크드 오토인코더를 학습시킵니다.

  • 구조: 경량 트랜스포머 인코더-디코더가 전체 길이의 이벤트 스트림을 처리합니다.
  • 목적: 모델은 마스크드 재구성 목적 함수(masked-reconstruction objective) 하에 학습됩니다. 자연적인 결측 단계와 무작위로 선택된 관측 단계(재구성을 위해 제외된 부분)는 공유된 학습 가능한 [missing] 토큰으로 대체됩니다.
  • 결과: 인코더는 문맥으로부터 임퓨테이션(impute)을 수행하는 법을 배우며, 각 불규칙하고 시변적인 모달리티를 압축적이고 견고하며 결측에 강한 토큰 시퀀스로 증류(distill)합니다. 이 인코더들은 학습 후 동결(frozen)됩니다.

• 2단계: 조건부 플로우 매칭(Conditional Flow-Matching) 생성
  조건부 플로우 매칭 생성기는 1단계의 동결된 인코더들을 사용하여 타겟 신호를 합성합니다.

  • 데이터 표현: 1차원 타겟 시계열은 가역적 지연 임베딩(invertible delay embedding)을 통해 2차원 이미지로 매핑되며, 비전 트랜스포머(DiT/SiT 백본)를 사용하여 모델링됩니다.
  • 조건부 경로 (시변): 동결된 인코더로부터 나온 잠재 시퀀스는 **교차 주의 집중(cross-attention)**을 통한 학습 가능한 모달리티별 쿼리 토큰 뱅크에 의해 요약됩니다. 이를 통해 압축된 인컨텍스트(in-context) 조건 토큰 세트가 생성됩니다. 만약 특정 모달리티가 완전히 누락된 경우, 학습 가능한 missing-token 시퀀스가 사용됩니다.
  • 조건부 경로 (정적): 정적 임상 기술자(예: 검사 결과, 병력)는 두 가지 보완적인 경로를 통해 주입됩니다: 추가적인 인컨텍스트 토큰으로서, 그리고 적응형 레이어 정규화(Adaptive Layer-Norm, AdaLN) 변조로서 주입됩니다.
  • 학습: 생성기는 $x$-예측 $v$-손실 플로우 매칭 정식화를 사용하여 학습되며, 패딩되지 않은 픽셀에서의 예측 속도와 타겟 속도 사이의 오차를 최소화합니다.

주요 기여

1. 격차 식별: 본 논문은 현재의 조건부 시계열 생성 방식이 멀티모달 생체 신호 조건 하에서 성능이 저하됨을 입증하며, 그 원인을 전용의 결측 인식 조건 표현의 부재로 규명했습니다.
2. 분리된 프레임워크: ReCoGen은 각 모달리티의 마스크드 오토인코더가 불규칙한 모달리티를 견고한 토큰으로 증류하는 2단계 접근 방식을 도입하여, 생성기가 오직 이러한 특징들을 융합하고 타겟을 합성하는 데만 집중할 수 있도록 합니다.
3. 우수한 다운스트림 유용성: 체계적인 절제 실험(ablation studies)을 통해 저자들은 조건부 경로의 특정 설계, 즉 동결된 인코더에 대한 학습 가능한 교차 주의 집중과 정적 조건을 위한 토큰 및 AdaLN의 이중 경로가 성능에 결정적임을 보여줍니다.

실험 결과
ReCoGen은 세 가지 생리학적 벤치마크에서 평가되었습니다:

• AI-READI: 웨어러블 신호와 정적 특징으로부터 연속 혈당 측정(CGM) 궤적 생성.
• MIMIC-III & MIMIC-IV: 공동 기록된 활력 징후와 정적 특징으로부터 평균 동맥 혈압(ABP) 궤적 생성.

평가 프로토콜은 "실제 데이터로 학습, 합성 데이터로 테스트"하는 방식을 사용했습니다. 여기서 실제 신호로 학습된 분류기가 생성된 신호가 실제 임상 라벨(예: 패혈증, 심부전, 사망률, 연구 그룹)과 얼마나 일치하는지 점수를 매깁니다.

• 성능: ReCoGen은 16개의 데이터셋-태스크-지표 조합 전체에서 가장 우수한 다운스트림 유용성(AUROC 및 AUPRC)을 달 기록하며, 6개의 대표적인 베이스라인(Diffusion-TS, ImagenTime, TimeWeaver, Bridge 포함)을 능가했습니다.
• 실제 데이터와의 비교: 16개 설정 중 13개에서 ReCoGen의 유용성은 실제 신호(근사 앵커로 사용됨)와 대등하거나 이를 상회했습니다. 저자들은 실제 신호 참조값보다 높은 점수가 나오는 것은 생성기가 완벽한 재구성을 의미하기보다는, 조건 정보를 예측기에 더 잘 읽히는 형태로 재표현(re-express)했음을 시사한다고 언급했습니다.
• 절제 실험: 시계열 조건이나 정적 조건을 제거하면 성능이 저하되어, 두 요소 모두 필수적인 정보를 담고 있음을 확인했습니다. 교차 주의 집중 토큰 메커니즘은 단순 인컨텍스트 토큰이나 인페인팅(in-painting) 대안보다 특히 어려운 ABP 태스크에서 훨씬 뛰어난 성능을 보였습니다.

의의 및 주장
본 논문은 ReCoGen이 일상적으로 수집되는 신호를 침습적이거나 사용 불가능한 신호의 정보력이 높은 대리물(surrogates)로 전환함으로써, 덜 침습적이고 저비용인 연속 임상 모니터링을 향한 진일보를 나타낸다고 주장합니다. 저자들은 핵심 기여가 조건 표현과 생성의 분리에 있으며, 이를 통해 시스템이 실제 임상 데이터의 불규칙하고 이질적이며 결측이 있는 특성을 효과적으로 처리할 수 있게 된다는 점을 강조합니다.

저자들은 결과 해석에 대해 신중한 입장을 유지합니다:

• 충실도(Fidelity) vs 유용성(Utility): 그들은 다운스트림 유용성이 타겟의 충실도와 조건의 재표현을 혼재하고 있다고 명시합니다. 높은 점수는 생성된 신호에 라벨 관련 정보가 살아남아 있음을 나타내지만, 합성된 신호가 측정되지 않은 실제 참값(ground truth)을 완벽하게 재구성한다는 것을 보장하지는 않습니다.
• 한계점: 현재 방식은 모달리티를 독립적으로 인코딩하므로, 모달리티 간의 의존성은 생성기에 의해 학습됩니다. 향후 연구에서는 공동 조건화(joint conditioning)를 탐색하고, 쌍을 이룬 설정에서 충실도와 재표현을 분리하는 작업을 진행할 수 있습니다.