HealthFormer: Dual-level time-aware Transformers for irregular electronic health record events

이 논문은 다양한 임상 코드를 포함하는 불규칙한 시계열 전자의무기록 (EHR) 데이터를 효과적으로 모델링하기 위해, 이벤트 내 및 이벤트 간 구조와 경과 시간을 동시에 고려하는 이중 수준 시간 인식 트랜스포머 'HealthFormer'를 제안하고, 대규모 헝가리 국가 건강 기록을 활용한 자기지도 학습을 통해 다양한 암 발생 예측 과제에서 기존 기법보다 우수한 성능을 입증했습니다.

핵심

1. 문제 상황: "산만하고 불규칙한 환자의 일기장"

환자의 병력 기록은 마치 매우 산만하고 불규칙하게 쓰인 일기장과 같습니다.

• 불규칙함: 어떤 환자는 매일 병원에 오고, 어떤 환자는 1 년에 한 번만 옵니다. 기록 사이의 간격이 일정하지 않습니다.
• 산만함: 한 번 방문할 때 의사, 약사, 간호사 등 여러 사람이 기록을 남깁니다. 진단명, 수술 내용, 처방약 등 서로 다른 종류의 정보가 한 번에 섞여 있습니다.

기존의 AI 는 이 복잡한 일기장을 단순히 "단어 나열"처럼 처리하거나, 시간 간격을 무시하고 무작위로 섞어버리는 경우가 많았습니다. 이는 중요한 맥락 (예: "수술 3 일 후 처방된 약") 을 잃게 만듭니다.

2. 해결책: "HealthFormer" - 두 단계로 읽는 똑똑한 비서

HealthFormer 는 이 복잡한 일기장을 읽을 때 **두 단계 (Dual-level)**로 나누어 매우 정교하게 분석합니다.

1 단계: "한 번의 방문"을 한 덩어리로 이해하기 (Intra-Event Encoder)

• 비유: 환자가 병원에 왔을 때, 의사가 진단하고 약을 처방하고 수술을 결정하는 모든 행위를 **하나의 '사건 (Event)'**으로 묶어 이해합니다.
• 작동 방식: 마치 한 번의 회의록을 읽을 때, 각 발언 (진단, 약, 수술) 을 따로따로 보지 않고, **"이 회의의 전체적인 결론은 무엇인가?"**를 파악하듯, 한 번의 방문에 포함된 모든 정보를 하나로 통합하여 요약합니다.

2 단계: "시간의 흐름"을 고려하여 전체 이야기를 읽기 (Inter-Event Encoder)

• 비유: 각 방문 기록들을 시간순으로 이어 장편 소설처럼 읽습니다.
• 핵심 기술 (ALiBI): 일반적인 AI 는 "1 번, 2 번, 3 번"처럼 순서만 중요하게 여기지만, HealthFormer 는 **"얼마나 시간이 지났는지"**를 매우 중요하게 생각합니다.
  • 예: "어제 감기 걸림"과 "1 년 전 감기 걸림"은 의미가 다릅니다. HealthFormer 는 이 **시간 간격 (Time Gap)**을 수학적으로 계산하여, 최근의 기록이 더 중요하게 반영되도록, 혹은 긴 시간 간격이 중요한 패턴일 때 이를 감지하도록 설계되었습니다.

3. 학습 방법: "미리 공부한 천재 학생" (Self-Supervised Pretraining)

이 모델은 처음부터 특정 질병을 예측하는 법을 배우는 것이 아니라, 수백만 명의 환자 기록을 먼저 통째로 읽으며 스스로 공부합니다.

• 학습 과제 (미션):
  1. 빈칸 채우기: 기록에서 일부 진단명이나 약을 가리고, 주변 문맥을 보고 무엇이었는지 맞히기.
  2. 다음 사건 예측: "다음에 무슨 일이 일어날까?" (예: 수술 후 다음 방문은 어떤 진료일까?)
  3. 시간 예측: "다음 방문까지 얼마나 걸릴까?"
• 효과: 이 과정을 통해 모델은 의학적 지식이 없는 상태에서도 **"질병과 약의 관계", "시간에 따른 질병의 진행 패턴"**을 스스로 깨우칩니다. 마치 수많은 의학 서적을 읽은 후, 특정 질병을 진단할 때 필요한 '직관'을 얻는 것과 같습니다.

4. 실제 성과: "암 예측의 정확도 향상"

연구진은 이 모델이 대장암과 전립선암이 발병하기 30~90 일 전에 미리 예측할 수 있는지 테스트했습니다.

• 결과: 기존의 간단한 통계 방법 (로그회귀) 보다 훨씬 높은 정확도를 보였습니다.
  • 대장암 예측: 81% 의 정확도 (기존보다 크게 향상).
  • 전립선암 예측: 94% 의 정확도.
• 의미: 이는 AI 가 단순히 "최근에 많이 방문했으니 병일 것이다"가 아니라, "과거의 복잡한 기록 패턴을 시간 흐름과 함께 분석하여" 더 정교한 예측을 할 수 있음을 보여줍니다.

5. 왜 이것이 중요한가요? (핵심 요약)

1. 유연함: 이 모델은 한 번 학습되면, 새로운 질병을 예측할 때에도 설계를 다시 할 필요 없이 바로 적용할 수 있습니다. (마치 만능 열쇠처럼)
2. 해석 가능성: 모델이 왜 그렇게 예측했는지, 어떤 과거 기록이 중요한 역할을 했는지 추적할 수 있어 의사가 신뢰하고 사용할 수 있습니다.
3. 실용성: 복잡한 병원 기록을 단순히 숫자로만 처리하는 것이 아니라, **의미 있는 이야기 (Story)**로 이해하여 더 정확한 의료 서비스를 가능하게 합니다.

결론

HealthFormer는 환자의 병력 기록을 "단순한 데이터 나열"이 아닌, 시간과 맥락이 살아있는 이야기로 이해하는 새로운 인공지능입니다. 이를 통해 우리는 질병이 발생하기 훨씬 전에 미리 경고하고, 더 나은 치료를 받을 수 있는 길을 열게 되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 비정형 전자 건강 기록 (EHR) 의 복잡성: 장기적인 EHR 데이터는 다양한 진료 환경 (1 차 진료, 외래, 입원, 수술, 약물 처방 등) 에서 발생하는 이질적인 사건 (events) 들로 구성되어 있습니다.
• 주요 도전 과제:
  1. 이질적인 사건 구성 (Intra-event Heterogeneity): 하나의 임상 사건 (예: 입원) 은 진단 (ICD), 시술 (hPCS), 약물 (ATC) 등 여러 코딩 시스템의 코드가 혼재되어 있습니다. 기존 방법론들은 이를 단일 토큰이나 순서 없는 'Bag-of-codes'로 단순화하여 사건 내부의 구조적 관계를 잃어버리는 문제가 있었습니다.
  2. 불규칙한 시간 간격 (Irregular Temporal Sampling): 사건 간의 시간 간격은 수 일에서 수 년까지 다양하게 분포하며, 임상적으로 중요한 시간적 맥락 (예: 진단 후 경과 시간) 을 포착하기 어렵습니다. 기존의 이산화된 시간 버킷 (bucket) 이나 단순 위치 인코딩은 이러한 연속적인 시간 정보를 충분히 활용하지 못합니다.
  3. 전용성 부족: 새로운 예측 태스크마다 모델 아키텍처나 특징 공학 (feature engineering) 을 다시 설계해야 하는 비효율성이 존재했습니다.

2. 제안 방법론: HealthFormer (Methodology)

HealthFormer 는 이중 레벨 (Dual-level) 아키텍처와 시간 인지 (Time-aware) 메커니즘을 결합한 사전 학습 (Pretraining) 프레임워크입니다.

가. 데이터 표현 및 이벤트 구성

• 이중적 이벤트 taxonomy: 환자의 기록을 시간 순서대로 정렬된 '타입이 지정된 사건 (Typed Events)' 시퀀스로 변환합니다. 각 사건은 진단, 시술, 약물, 시설 정보 등 도메인별 코드를 포함합니다.
• 계층적 토큰화: ICD(진단) 및 ATC(약물) 코드는 계층 구조 (Hierarchy) 를 가지므로, 코드를 조상 노드 (Ancestor) 경로로 분해하여 계층적 임베딩을 적용합니다.

나. 이중 레벨 아키텍처 (Dual-level Architecture)

1. Intra-Event Encoder (사건 내부 인코더):
   • 하나의 사건 내에서 발생하는 이질적인 도메인 토큰들을 통합합니다.
   • 코드별 임베딩 모듈: 각 도메인 (ICD, ATC 등) 에 특화된 임베딩을 적용한 후 공유 차원으로 투영합니다.
   • 어텐션 풀링 (Attention Pooling): 사건 타입을 Query 로, 사건 내 토큰들을 Key/Value 로 사용하여 컨텍스트에 따라 토큰을 가중치 있게 집계하여 하나의 '이벤트 임베딩'을 생성합니다.
2. Inter-Event Encoder (사건 간 시퀀스 인코더):
   • 생성된 사건 임베딩 시퀀스를 처리하여 장기적인 환자 궤적을 모델링합니다.
   • Date Encoder: 절대적인 날짜 정보를 Sinusoidal Time2Vec 을 사용하여 임베딩하고 사건 표현에 추가합니다.
   • ALiBI 기반 연속 시간 어텐션 편향: 기존의 토큰 위치 대신 경과 시간 ($\Delta t$) 의 로그 값을 기반으로 어텐션 편향 (Bias) 을 적용합니다. 이는 불규칙한 시간 간격을 연속적으로 모델링하고, 물리적 시간상 가까운 사건에 더 큰 주의를 기울이면서도 장기 의존성을 학습할 수 있게 합니다.

다. 다중 태스크 자기지도 학습 (Multi-task Self-Supervised Pretraining)

HealthFormer 는 4 가지 보조 태스크를 통해 사전 학습됩니다:

1. Code-level MLM: 사건 내 특정 코드를 마스킹하고 나머지 코드 및 시퀀스 맥락으로부터 복원 (도메인별 분류).
2. Event-level MLM: 전체 사건 (타입 및 코드) 을 마스킹하고 주변 사건을 통해 사건 타입을 예측.
3. Next-event Prediction: 현재 사건을 기반으로 다음 사건의 타입과 코드를 예측 (인과적 마스크 적용).
4. Time-to-next-event Regression: 다음 사건까지의 경과 시간 ($\Delta t$) 을 회귀 (Regression) 로 예측.

3. 주요 기여 (Key Contributions)

1. 이질적 행정 EHR 을 위한 이벤트 중심 표현: 복잡한 진료 기록을 단일 토큰이 아닌, 도메인별 코드를 가진 '타입이 지정된 사건' 시퀀스로 재구성하여 사건 내부 구조를 보존합니다.
2. 시간 인지 이중 레벨 Transformer: 사건 내부의 코드 상호작용과 사건 간의 시간적 동역학을 분리하여 모델링하며, ALiBI 기반의 연속 시간 편향을 도입하여 불규칙한 샘플링 문제를 해결합니다.
3. 범용 전이 학습 (Transfer Learning): 하나의 사전 학습된 백본을 사용하여 다양한 하류 태스크 (예: 암 발병 예측) 에 표준 파인튜닝 (Fine-tuning) 으로 적용 가능하며, 태스크별 아키텍처 변경이 불필요합니다.
4. 임상 해석 가능성: 학습된 진단 (ICD-10) 임베딩 공간이 ICD 계층 구조와 일치하는 기하학적 구조를 가지며, 임상적으로 의미 있는 군집을 형성함을 입증했습니다.

4. 실험 결과 (Results)

• 데이터: 헝가리 국가 행정 건강 기록 (약 1000 만 명, 12 년간) 을 기반으로 사전 학습 수행.
• 하류 태스크: 대장암 (CRC) 및 전립선암 발병 예측 (30 일, 60 일, 90 일 예측 구간).
• 성능 (AUC):
  • CRC 예측: 30/60/90 일 구간에서 0.81 / 0.75 / 0.73의 AUC 달성.
  • 전립선암 예측: 30/60/90 일 구간에서 0.94 / 0.87 / 0.84의 AUC 달성.
  • 비교: 기존 로지스틱 회귀 기반 베이스라인 (시간 감쇠 Bag-of-codes 등) 보다 모든 구간에서 유의미하게 높은 성능을 보였습니다 (예: CRC 에서 약 0.13 AUC 향상).
• 임베딩 분석: t-SNE 시각화 결과, 학습된 ICD 임베딩이 질병의 계층 구조 (Hierarchy) 와 임상적 공발현 관계를 잘 반영하는 군집 구조를 형성함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 유용성: 단순한 빈도 기반의 특징 공학을 넘어, 시간적 맥락과 사건 내부의 복잡한 상호작용을 포착하여 더 정확한 질병 예측이 가능합니다.
• 실용성: 헝가리 데이터로 학습되었으나, ICD-10 및 ATC 코드는 국제적으로 표준화되어 있어 다른 국가의 행정 건강 기록에도 적용 가능성이 높습니다.
• 확장성: 하나의 모델로 다양한 임상 예측 태스크에 유연하게 적용할 수 있으며, 향후 실험실 수치나 비정형 텍스트 등 추가 모달리티 통합을 통해 임상적 유용성을 더욱 높일 수 있는 아키텍처를 제시합니다.

요약하자면, HealthFormer는 불규칙하고 이질적인 EHR 데이터를 효과적으로 처리하기 위해 이중 레벨 구조와 연속 시간 어텐션을 도입한 혁신적인 모델로, 자기지도 학습을 통해 학습된 표현이 임상적으로 해석 가능하고 다양한 예측 태스크에서 우수한 성능을 입증했습니다.