[기술 요약] TEMPO: 횡단적 데이터를 이용한 시계열 질병 진행 예측을 위한 트랜스포머 모델

1. 문제 정의 (Problem Statement)

알츠하이머병(AD)과 같은 신경퇴행성 질환의 진행 과정을 파악하는 것은 조기 진단과 치료 설계에 필수적입니다. 하지만 다음과 같은 기술적 한계가 존재합니다:

• 데이터의 희소성: 종단적(Longitudinal) 데이터는 수집 비용이 높고 기술 변화에 따라 데이터 일관성이 떨어집니다. 따라서 단일 시점의 데이터인 횡단적(Cross-sectional) 데이터만으로 질병의 시간적 흐름을 추론해야 하는 과제가 있습니다.
• 기존 모델(EBM)의 한계: 기존의 이벤트 기반 모델(Event-Based Models, EBM)은 바이오마커의 **순서(Ordinal sequence)**만 제공할 뿐, 이벤트 사이의 **실제 시간 간격(Continuous temporal spacing)**을 추정하지 못합니다. 또한, 질병의 비가역성(Irreversibility)과 같은 경직된 가정을 전제로 합니다.
• 딥러닝의 한계: 트랜스포머와 같은 딥러닝 모델은 강력하지만, 실제 데이터에는 정답(Ground-truth)인 질병 진행 경로가 없기 때문에 지도 학습(Supervised learning)을 적용하기 어렵습니다.

2. 방법론 (Methodology)

본 논문은 **시뮬레이션 기반 지도 학습(Simulation-Based Supervised Learning, SBSL)**을 활용하여, 정답이 알려진 합성 데이터로 학습한 후 실제 데이터에 적용하는 TEMPO 아키텍처를 제안합니다.

핵심 아키텍처: Dual-Branch Transformer

TEMPO는 두 개의 트랜스포머 모듈을 사용하여 '이벤트 순서'와 '환자 단계'를 동시에 학습합니다.

1. 이벤트 시퀀싱 브랜치 (Biomarkers-as-Tokens):

   • 각 바이오마커를 하나의 **토큰(Token)**으로 취급합니다.
   • 전체 코호트 내에서 특정 바이오마커의 측정값들을 인코딩하고 평균 풀링(Mean pooling)하여 바이오마커 임베딩을 생성합니다.
   • Biomarker Transformer를 통해 바이오마커 간의 상호작용을 학습하고, 최종적으로 바이오마커의 상대적 순서와 연속적인 시간 점수($s \in \mathbb{R}^B$)를 출력합니다.

2. 환자 스테이징 브랜치 (Patients-as-Tokens):

   • 각 환자를 하나의 토큰으로 취급합니다.
   • Abnormality Detector: 환자의 측정값, 진단 라벨, 그리고 시퀀싱 브랜치에서 얻은 순위 점수를 입력받아 각 바이오마커의 이상 징후 확률($p_{j,b}$)을 계산합니다.
   • Patient Transformer: 환자의 이상 징후 프로필을 토큰화하여 처리하며, 환자 간 셀프 어텐션(Cross-patient self-attention)을 통해 배치 내 다른 환자들의 맥락을 반영하여 환자의 질병 단계($\hat{y}_j$)를 예측합니다.

학습 전략 (Loss Function)

• Hybrid Sequencing Loss: 직접적인 위치 점수(MSE)와 바이오마커 쌍 간의 상대적 순서(Pairwise loss)를 결합하여 학습합니다.
• Normalized Staging Loss: 환자의 질병 단계를 회귀(Regression) 문제로 풀며, 바이오마커 수에 관계없이 안정적인 학습을 위해 MSE를 바이오마커 수의 제곱($B^2$)으로 정규화합니다.

3. 주요 기여 (Key Contributions)

1. 연속적 시간 추정: 횡단적 데이터만으로도 바이오마커 이벤트 사이의 실제 시간적 간격을 추정할 수 있는 능력을 최초로 입증했습니다.
2. 고차원 확장성: 바이오마커의 수가 늘어날수록(12개 $\to$ 100개) 환자 수준의 어텐션 메커니즘이 더 효과적으로 작동하여, 차원이 높아질수록 스테이징 오차가 감소하는 성능 향상을 보였습니다.
3. 유연한 가설 검증 도구: 복잡한 확률 모델의 추론 알고리즘을 직접 유도할 필요 없이, 다양한 생성 모델(Generative hypotheses)로 학습된 TEMPO를 통해 어떤 질병 모델이 실제 임상 데이터와 가장 잘 일치하는지 빠르게 비교할 수 있습니다.

4. 실험 결과 (Results)

합성 데이터 실험 (Synthetic Benchmarks)

• 순서 정확도: 최신 모델인 SA-EBM 대비 Kendall's Tau 거리를 52.89% 감소시켰습니다 (12개 바이오마커 기준). 고차원(100개)에서는 58.88% 감소했습니다.
• 스테이징 정확도: SA-EBM 대비 MAE(평균 절대 오차)를 25.33% 감소시켰습니다.

실제 데이터 적용 (ADNI 데이터셋)

• 생물학적 타당성: ADNI 데이터를 분석한 결과, 내측 측두엽 위축(Medial temporal atrophy) $\to$ 아밀로이드 축적 $\to$ 인지 기능 저하 $\to$ 타우 병증 및 전뇌 위축으로 이어지는 일관된 질병 진행 경로를 복원했습니다. 이는 기존의 알려진 알츠하이머 진행 모델과 일치합니다.
• 시간적 클러스터링: 바이오마커 이벤트가 특정 시기에 밀집(Cluster)되어 나타나는 양상을 시각화하여 보여주었습니다 (예: 초기 구조적 변화 클러스터, 후기 신경퇴행 가속화 클러스터).

5. 의의 (Significance)

TEMPO는 기존 EBM의 한계였던 **'순서만 알 수 있다'**는 점과 **'복잡한 모델 적용이 어렵다'**는 점을 딥러닝의 유연성과 시뮬레이션 기반 학습으로 해결했습니다. 이 모델은 임상 연구자들이 복잡한 수학적 유도 과정 없이도 다양한 질병 진행 가설을 신속하게 검증하고, 환자의 정밀한 질병 단계를 파악하는 데 강력한 도구가 될 수 있음을 시사합니다.