🤖 AI

TRACE: A Temporal Conditional Estimation for Multimodal Time Series Foundation Models

본 논문은 시계열 정렬 불일치와 부분적인 모달리티 결손 문제를 해결하기 위해 가용 가능한 보조 모달리티로부터 불완전한 타겟 모달리티를 체계적으로 추론하는 멀티모달 시계열 파운데이션 모델을 위한 조건부 추정 패러다임인 TRACE를 제안하며, 기존 방식들과 비교하여 헬스케어 및 감성 컴퓨팅 벤치마크 전반에서 우수한 강건성과 성능을 입증한다.

원저자: Ziwen Kan, Yishuo Chen, Kecheng Li, Andrew Wen, Xiaomeng Wang, Liwei Wang, Jihao Duan, Song Wang, Hongfang Liu, Tianlong Chen

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziwen Kan, Yishuo Chen, Kecheng Li, Andrew Wen, Xiaomeng Wang, Liwei Wang, Jihao Duan, Song Wang, Hongfang Liu, Tianlong Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 복잡한 퍼즐을 풀려고 노력하고 있다고 상상해 보세요. 하지만 그림을 볼 때마다 몇몇 조각은 사라져 있고, 당신이 가진 조각들은 서로 다른 시간에 테이블 위에 흩어져 있습니다. 이것이 컴퓨터가 멀티모달 시계열 데이터(환자의 심박수, 혈압, 의사의 진료 기록이나 비디오의 오디오, 텍ate, 비주얼 같은 것들)를 분석할 때 마주하는 일상적인 현실입니다.

현실 세계에서는 센서가 고장 나기도 하고, 기록이 늦게 작성되기도 하며, 데이터가 서로 다른 속도로 도착하기도 합니다. 기존의 컴퓨터 모델들은 단순한 수학(두 지점 사이를 직선으로 긋는 것과 같은 방식)을 사용하여 빈 부분을 추측하거나, 그냥 빈 공간을 무시함으로써 이 문제를 해결하려고 합니다. 이 논문은 이러한 방식이 마치 전체 그림은 무시한 채, 바로 옆에 있는 조각만을 보고 빠진 조각의 색깔을 추측하며 퍼즐을 완성하려는 것과 같다고 주장합니다.

다음은 이 논문이 제안하는 TRACE의 간단한 요약입니다:

1. 문제점: "깨진 퍼즐"

환자의 건강 데이터를 세 명의 서로 다른 화자가 들려주는 이야기라고 생각해 보세요:

화자 A (심박 모니터)는 1초마다 말을 합니다.
화자 B (의사의 진료 기록)는 의사가 무언가를 적을 때만 말을 합니다.
화자 C (X-ray)는 스캔을 찍을 때만 말을 합니다.

때때로 화자 B와 C는 오랫동안 침묵합니다. 기존의 컴퓨터 모델(예: FuseMoE)은 마지막으로 들었던 내용을 바탕으로 "최선의 추측"을 하여 이 침묵을 채우려 합니다. 하지만 이는 화자 A가 '지금 당장' 말하고 있는 내용에 귀를 기울여 B와 C의 빈 공간을 채우지 못하기 때문에, 종종 왜곡된 이야기를 만들어냅니다.

2. 해결책: TRACE ("스마트한 탐정")

저자들은 TRACE를 제안합니다. 이는 Temporal Conditional Estimation(시간적 조건부 추정)의 약자입니다.

단순히 고립된 상태에서 빈 조각을 추측하는 대신, TRACE는 사용 가능한 모든 단서를 사용하여 사라진 이야기의 부분을 재구성하는 탐정처럼 행동합니다.

비유: 시끄러운 파티 중에 친구가 했던 말을 기억해 내려는데, 몇 문장을 놓쳤다고 상상해 보세요. 단순히 무작위로 단어를 추측하는 대신, 당신은 친구가 말하기 전과 후의 내용에 귀를 기울이고, 동시에 그 자리에 있던 다른 친구들이 한 말에도 귀를 기울여 빈칸을 채웁니다.
작동 방식: TRACE는 **디퓨전(Diffusion)**이라는 기술을 사용합니다. 이것은 마치 조각가가 무작위 노이즈(덩어리 형태의 찰흙)에서 시작하여, 다른 화자들로부터 얻은 "단서"들에 의해 유도되며 노이즈를 조금씩 깎아내어 결국 명확하고 사실적인 형태를 만들어내는 과정과 같습니다. TRACE는 단순히 선을 긋는 것이 아니라, 존재하는 다른 모든 맥락을 바탕으로 누락된 데이터를 상상해 냅니다.

3. 2단계 프로세스

TRACE는 두 명의 팀원이 협력하는 것처럼 두 가지 뚜렷한 단계로 작동합니다.

1단계: 재구성 팀 (조건부 디퓨전 - Conditional Diffusion)
팀이 최종 문제를 해결하기 전에, 먼저 함께 협력하여 깨진 데이터를 "수리"합니다. 만약 심박 모니터의 데이터 일부가 누락되었다면, 이 팀은 의사의 진료 기록과 X-ray를 살펴보고 누락된 부분이 확률적으로(수학적으로) 어떤 모습이었을지를 재구성합니다. 이들은 단순히 정적인 숫자로 채우는 것이 아니라, 맥락에 부합하는 "가능성의 구름"을 만들어냅니다.
2단계: 결정 팀 (전문가 혼합 모델 - Mixture-of-Experts)
데이터가 "수리"되면, 두 번째 팀(전문가 혼합 모델이라고 불림)이 이제 완성된 그림을 보고 예측(예: 환자가 퇴원할지 아니면 병원에 계속 머물지, 혹은 영상이 즐거운지 슬픈지 등)을 수행합니다. 데이터가 더 깨끗하고 정확해졌기 때문에, 이 팀은 더 나은 결정을 내릴 수 있습니다.

4. 연구 결과 (결론)

연구진은 두 가지 유형의 "퍼즐"로 TRACE를 테스트했습니다:

감성 분석 (CMU-MOSI/MOSEI): 텍스트, 오디오, 비디오를 바탕으로 비디오 클립이 긍정적인지 부정적인지 판단합니다.
의료 예측 (MIMIC-IV): 생체 신호, 진료 기록, X-ray, ECG 등을 바탕으로 환자의 결과(예: 사망률 또는 입원 기간)를 예측합니다.

판결:

더 높은 정확도: TRACE는 일관되게 이전 모델들보다 뛰어난 성능을 보였습니다. 의료 테스트에서 환자의 결과를 예측하는 데 더 효과적이었습니다.
회복 탄력성: 데이터가 더 많이 누락될수록 TRACE의 진가가 드러났습니다. 다른 모델들이 데이터가 부족할 때(30% 이상 누락 시) 무너지는 반과 달리, TRACE는 침착함을 유지했습니다.
현실에 더 가까움: 논문은 TRACE가 생성한 "수리된" 데이터가 단순한 추측을 하는 다른 모델들보다 실제 현실(모든 센서가 완벽하게 작동했을 때의 상황)에 훨씬 더 가깝다는 것을 보여줍니다.

요약

요약하자면, TRACE는 컴퓨터가 누락된 데이터를 처리하는 방식을 바꿉니다. "단순히 평균값으로 이 빈칸을 채우겠다"라고 말하는 대신, "현재 일어나고 있는 다른 모든 일들을 살펴보고 누락된 부분을 지능적으로 재구성하겠다"라고 말합니다. 이는 과거에 대한 훨씬 더 명확한 그림을 그려내며, 결과적으로 컴퓨터가 미래에 대해 훨씬 더 똑똑한 예측을 할 수 있도록 돕습니다.

기술 요약: TRACE – 멀티모달 시계열 파운데이션 모델을 위한 시간적 조건부 추정(Temporal Conditional Estimation)

1. 문제 정의

시계열 파운데이션 모델(TS-FM)은 다양한 다운스트림 작업에 적응 가능한 일반화된 시간적 표현을 학습하는 것을 목표로 합니다. 그러나 의료 및 감성 컴퓨팅과 같은 도메인의 실제 멀티모절 시계열 데이터는 빈번하게 **시간적 불일치(temporal misalignment)**와 부분적 모달리티 결손(partial modality missingness) 문제를 겪습니다. 이러한 시나리오에서 서로 다른 모달리티는 이질적인 시간 척도에서 관찰되거나, 불규칙한 샘플링 또는 센서 오류로 인해 특정 모달리티가 부분적으로 부재할 수 있습니다.

기존의 접근 방식은 일반적으로 퓨전(fusion) 전 단계에서 나이브 임퓨테이션(naive imputation)(예: 제로 필링, 최근값 채우기)이나 마스킹 전략을 통해 이러한 문제를 해결합니다. 저자들은 이러한 방법들이 교차 모달 의존성(cross-modal dependencies)을 고려하지 못한다고 주장합니다. 결측치를 결정론적으로 완성하는 기존 모델들은 조건부 불확실성을 붕괴시켜, 잠재적으로 시간적 역동성을 왜곡하고 다운스트림 퓨전에 편향을 초래할 수 있습니다. 또한, 많은 현재의 TS-FM은 결측을 단순한 전처리 단계로 취급하며, 이를 조건부로 추정해야 할 잠재적 시간 변수로 취급하지 않아 심각한 희소성(sparsity) 상황에서의 강건성이 제한됩니다.

2. 방법론: TRACE

저자들은 TRACE(Temporal Conditional Estimation)를 제안하며, 이는 희소하고 이벤트 중심적인 관측치를 처리하는 방식을 재구성합니다. TRACE는 결측된 모달리티 입력을 결정론적 완성이 아닌, 퓨전 전 가용한 보조 모달리티로부터 조건부로 추정되어야 할 잠재 변수로 취야합니다. 이 아키텍처는 2단계 파이프라인으로 작동합니다.

1단계: 멀티모달 조건부 확산(Multimodal Conditional Diffusion)

이 단계는 누락된 성분에 대한 확률적 신호 수준 추정을 수행합니다.

교차 모달 컨텍스트 구축: 타겟 모달리티 $m$ 에 대해, 모델은 Mixture-of-Experts(MoE)에서 영감을 얻은 게이팅 메커니즘을 사용하여 보조 모달리티( $M \setminus \{m\}$ )로부터 관측된 성분들을 집계합니다. 게이팅 함수는 관측된 특징을 기반으로 각 보조 모달리티에 대한 중요도 점수를 할당하여, 가중치가 적용된 교차 모달 컨텍스트 $x^{(m)}_c$ 를 생성합니다.
조건부 확산 프로세스: TRACE는 조건부 디노이징 확산 모델(DDPM 기반)을 사용하여 관측되지 않은 성분 $x^{(m)}_U$ $x_{U}^{(m)}$ 를 추정합니다.
- 이 프로세스는 타겟 모달리티의 관측된 부분 $x^{(m)}_O$ 와 집계된 교차 모달 컨텍스트 $x^{(m)}_c$ 에 조건을 둡니다.
- 순방향 노이징 프로세스는 누락된 성분에만 가우시안 노이즈를 추가하며, 관측된 항목은 고정된 상태를 유지합니다.
- $\epsilon_\theta$ 로 매개변수화된 역방향 디노이징 프로세스는 멀티모달 컨텍스트에 조건 지어 노이즈를 예측하고 누락된 값을 확률적으로 재구성하는 법을 학습합니다.
학러닝: 확산 네트워크는 자기 지도형 마스킹 전략(CSDI에서 영감을 받음)을 사용하여 학습됩니다. 여기서 관측된 값의 일부를 마스킹하고, 나머지 관측값 및 교차 모달 컨텍스트를 조건으로 하여 임퓨테이션 타겟으로 취급합니다.

2단계: 멀티모달 퓨전 및 예측

누락된 성분이 확률적으로 추정되면, 완성된 모달리티 표현은 다운스트림 퓨전 레이어로 전달됩니다.

MoE 퓨전: TRACE는 FuseMoE의 MoE 퓨전 레이어를 채택합니다. 이 레이어는 희소 게이팅 메커니즘을 사용하여 모달리티별 표현을 공유된 피드포워드 전문가(expert) 풀로 라우팅하고, 이를 태스크 특화 예측 헤드를 위한 통합 임베딩으로 집계합니다.
정규화: 전문가 활용의 균형을 맞추고 전문가 붕괴(expert collapse)를 방지하기 위해 엔트로피 기반 정규화 항이 추가됩니다.

3. 주요 기여

문제 식별: 저자들은 퓨전 전 결측 관측치를 결정론적으로 완성하는 것이 TS-FM 파이프라인에서 중요한 병목 현상이며, 종종 정렬이 어긋나거나 저하된 표현을 초래한다는 점을 식별했습니다.
TRACE 패러다임: 이들은 멀티모달 TS-FM을 위한 조건부 추정 패러다임인 TRACE를 제안합니다. 이는 누락된 데이터를 추론하기 위해 교차 모달 컨텍스트를 명시적으로 활용하는 확산 기반 메커니즘을 통해 구체화됩니다.
실증적 검증: 광범한 실험을 통해, 저자들은 TRACE가 다양한 데이터셋과 결측 패턴 전반에서 일관되게 다운스트림 성능을 향상시킨다는 것을 입증하며, 시간적 조건부 추정이 효과적인 시스템 레벨의 레버리지 포인트임을 확립했습니다.

4. 실험 결과

TRACE는 감성 분석 및 임상 예측을 아우르는 세 가지 벤치마크인 CMU-MOSI, CMU-MOSEI, MIMIC-IV에서 평가되었습니다.

감성 분석 (CMU-MOSI/MOSEI): TRACE는 모든 지표(MAE, Accuracy, Correlation, F1)에서 SOTA 베이스라인(MulT, MAG, TFN, FuseMoE 포함)을 능가했습니다. 특히, 더 낮은 예측 오차와 더 높은 분류 정확도를 달성하였으며, 이는 더 안정적인 교차 모달 추정을 나타냅니다.
임상 예측 (MIMIC-IV): 48시간 내 병원 내 사망률(48-IHM), 입원 기간(LOS), 표현형 분류(25-PHE)를 포함한 작업에서, TRACE는 대부분의 지표에서 FuseMoE, MISTS, HAIM과 같은 베이스라인보다 뛰어난 평균 AUROC 및 F1 점수를 기록했습니다.
결측에 대한 강건성: 절제 연구(ablation studies) 및 통제된 결측 실험에서, TRACE는 결측률이 증가함에 따라 우수한 강건성을 보여주었습니다. 나이브 임퓨테이션(FuseMoE)이 높은 결측률(예: 30-50%)에서 표현력이 저하되는 반면, TRACE는 "오라클(oracle)"(완전 관측된) 그라운드 트루스와 더 가까운 표현을 유지했습니다.
절제 연구 (Ablation Studies):
- 조건부 확산: 교차 모달 컨디셔닝을 제거하거나 무조건부 확산을 사용할 경우 성능이 크게 저하되었으며, 이는 보조 모달리티를 활용하는 것의 필요성을 확인시켜 줍니다.
- MoE 라우팅: 적응형 라우팅을 비활성화(고정 가중치 사용)하면 성능이 감소하여, 데이터 의존적 전문가 선택의 중요성을 강조했습니다.
- 전문가 수: 확산 모듈의 성능은 5개의 전문가에서 정점을 찍었으며, 희소한 감독(sparse supervision)으로 인해 전문가 수가 더 많아지면 성능이 저하되거나 정체되었습니다.
효율성: TRACE는 약 2.7M 개의 파라미터를 요구합니다. 확산 단계로 인해 추론 속도는 결정론적 베이스라인보다 느리지만, 단계를 50에서 10으로 줄이면 성능 손실을 최소화하면서 4배의 속도 향상을 얻을 수 있어, 엄격한 실시간 응답이 항상 필수적이지 않은 임상 환경에서도 실행 가능합니다.

5. 의의 및 주장

본 논문은 TRACE가 현재의 멀티모달 시계열 모델링의 근본적인 한계, 즉 결측 데이터를 정적인 값 채우기 문제가 아닌 동적인 조건부 추정 작업으로 다루어야 한다는 점을 해결한다고 주장합니다.

패러다임 전환: 이 연구는 "공백을 채우는 것"에서 "잠재 변수를 추정하는 것"으로 초점을 전환하여, 결측 데이터의 확률적 구조를 보존하고 교차 모달 의존성을 활용합니다.
표현 충실도(Representation Fidelity): 저자들은 TRACE의 주요 이점이 단순히 점 단위의 임퓨테이션 정확도를 높이는 것이 아니라, 심각한 결측 상황에서도 잠재 공간에서의 의미 있는 시간적 표현을 보존하는 데 있다고 주장합니다. 이를 통해 다운스트림 퓨전 레이어가 더 충실한 데이터를 바탕으로 작동하게 하여 더 나은 강건성을 이끌어냅니다.
일반화 가능성: 현재의 구현은 모달리티가 부분적으로 관측되는 설정(내부 모달리티 결측)에 집중하고 있지만, 프레임워크는 TS-FM을 위한 일반적인 패러다임으로 설계되었습니다. 저자들은 모달리티 전체가 부재한 경우 시스템이 부재한 입력을 우회하여 라우팅하는 능력에 의존하지만, 핵심 기여는 데이터가 존재하지만 희소한 경우 표현을 정교화하는 데 있다고 언급합니다.
한계점: 저자들은 특정 도메인 지식의 귀납적 편향(inductive bias)에 크게 의존하는 작업(예: 표현형 분류에서의 HAIM)의 경우 전문화된 아키텍처가 여전히 더 우수할 수 있음을 인정하며, TRACE 내에 경량화된 도메인 사전 지식을 결합하는 것이 향후 연구 방향임을 시사했습니다. 또한, 현재 범위는 완전히 부재한 모달리티를 생성하는 것이 아니라 부분적 관측을 대상으로 함을 명시했습니다.

결론적으로, TRACE는 견고하고 일반화 가능한 멀티모달 시계리 파운데이션 모델을 구축하기 위해 확산을 통한 명시적인 시간적 조건부 추정이 나이브 임퓨테이션보다 우월한 전략임을 입증합니다.