기술 요약: TEDDY – 소아 질환 위험 조기 경보를 위한 소아 전용 파운데이션 모델

문제 정의

소아 전자 건강 기록(EHR)은 해부학, 생리학 및 질병 양상이 성인과 근본적으로 다른 발달 단계별 임상 궤적을 포착합니다. 그러나 기존의 임상 예측 도구 및 AI/ML 모델은 주로 성인 인구에 기반하여 학습되었기 때문에 소아 환자에게는 신뢰할 수 없는 예측을 내놓는 경우가 많습니다. 이러한 격차는 특히 희귀 및 발달 질환(예: 선천성 장애, 자폐 스펙트럼 장애)에서 두드러지는데, 이 경우 성인 기록으로부터 유의미한 사전 정보(priors)를 얻을 수 없기 때문입니다.

현재 EHR을 위한 생성형 파운데이션 모델(예: Delphi, ReClaim, Curiosity)은 성인 또는 혼합 연령 코호트를 대상으로 학습되며, 소아 데이터에 적용할 때 다음과 같은 두 가지 방법론적 함정에 빠지는 경우가 많습니다:

1. 내방 내 누수(Within-encounter leakage): 모델이 동일한 방문일의 다른 코드들을 사용하여 진단을 의도치 않게 예측함으로써, EHR 시스템이 내부 순서 없이 달력 날짜 기준으로 진단을 기록한다는 점을 악용해 정확도를 부풀릴 수 있습니다.
2. 인구통계학적 혼란 변수(Demographic confounding): 모델이 실제 임상 신호가 아닌 인구통계학적 상관관계(예: 성별 특이적 질환)를 학습함으로써 높은 성능을 보이는 현상입니다.

또한, 소아 데이터는 희소하고 파편화되어 있으며, 수십억 개의 파라미터를 가진 모델을 학습시키는 데 필요한 인구 규모의 데이터셋이 부족한 경우가 많습니다. 따라서 성인 유래의 사전 정보에 의존하지 않고도 발생 가능한 진단과 방문 시기를 예측할 수 있는, 소아를 위해 특별히 설계된 생성 모델이 절실히 필요합니다.

방법론

데이터 및 코호트

모델인 TEDDY(Temporal Event Decoder for Disease in Youth)는 텍사스 아동 병원(Texas Children's Hospital, TCH)의 데이터를 기반으로 학습되었습니다.

• 코호트: 160만 명의 소아 환자(연령 ≤ 25세).
• 데이터 규모: 약 7,300만 개의 ICD-10 진단 이벤트.
• 어휘집(Vocabulary): 1,849개의 토큰으로 구성된 폐쇄형 어휘집(1,841개의 ICD-10 유도 코드[장/소분류로 축약됨] 및 VISIT_START, VISIT_END, NO_EVENT, BIRTH, SEX_*와 같은 8개의 특수 토큰 포함).
• 전처리:
  • 간격 채우기(Gap-filling): 의료 공백 기간 동안의 시간 간격을 정의하기 위해 미국 소아과학회(AAP)의 영유아 검진 일정에 따라 실제 이벤트 사이에 NO_EVENT 토큰을 삽입했습니다.
  • 방문 브래키팅(Visit Bracketing): 동일한 달력 날짜의 모든 코드는 VISIT_START와 VISIT_END 토큰 사이에 그룹화됩니다.
  • 비식별화: 시계열 데이터는 출생 후 일수(days) 형태의 연령으로만 저장되며, 달력 날짜나 개인 건강 정보(PHI)는 보관되지 않습니다.
  • 제외 대상: 향후 세대 간 전이 실험을 허용하기 위해 모자(母-兒) 쌍은 사전 학습에서 제외되었습니다.

모델 아키텍처

TEDDY는 1.84백만 개의 파라미터(8개 레이어, 8개 어텐션 헤드, 임베딩 차원 128)를 가진 **디코더 전용 트랜스포머(decoder-only transformer)**입니다.

• 입력: (토큰, 연령) 쌍의 시퀀스. 연령은 사인 함수 특징(sinusoidal features)을 통해 연 단위로 매핑되어 학습된 토큰 임베딩과 합산됩니다. 학습된 위치 임베딩(positional embeddings)은 사용되지 않으며, 시간적 순서는 연령 채널과 인과적 어텐션 마스크를 통해 도출됩니다.
• 학습 목표: 공동 차기 토큰 및 사건 발생 시간(next-token and time-to-event) 목표:
  1. 범주형 교차 엔트로피($L_{CE}$): 1,849개 토큰 어휘집 내에서 다음 토큰(진단 코드, NO_EVENT, 또는 방문 경계)을 예측합니다.
  2. 사건 발생 시간 손실($L_{\Delta t}$): 다음 방문 경계까지의 시간 분포인 지수 분포의 비율($\lambda_t$)을 예측합니다. NO_EVENT 타겟은 우측 절단(right-censored) 관측치로 처리됩니다.
• 손실 함수: $L = L_{CE} + L_{\Delta t}$.

평가 프로토콜

평가는 성능 부풀리기의 흔한 원인을 제거하도록 설계되었습니다:

1. 방문 경계 스코어링(Visit-Boundary Scoring): 해당 날짜의 어떤 코드도 공개되기 전인 VISIT_START 토큰 시점에서 예측을 수행합니다. 이를 통해 내방 내 누수를 방지합니다.
2. 최초 발생 사례 한정(First-Occurrence Only): 모델은 이미 알려진 질환을 재예측하는 것이 아니라 새로운 질환의 발생을 예측하는 데 집중하도록, 진단이 처음 나타난 경우에 대해서만 점수를 산출합니다.
3. 인구통계학적 매칭: 각 질환에 대해 동일한 성별 및 유사한 연령대(계층적 미세-조정 매칭 전략 사용)의 대조군을 매칭하여, 성능이 인구통계학적 층화가 아닌 실제 임상 신호를 반영하도록 합니다.
4. 벤치마크: TEDDY는 다음 모델들과 비교되었습니다:
   • 동일 데이터 베이스라인: DenseNet, CNN, RNN, LSTM (모두 크기 맞춤형).
   • 범용 언어 모델: Gemma-3-4b (40억 개의 파라미터, 약 2000배 더 큼), 동일한 환자 이력을 바탕으로 프롬프트 입력.

주요 결과

진단 위험 예측

16개 ICD-10 장에 걸친 797개의 질환 발생 예측 작업 전반에 걸쳐:

• 전체 성능: TEDDY는 **중앙값 AUC 72.0%**를 달기했습니다.
• 비교: TEDDY는 **96~99%**의 작업에서 동일 데이터 베이스라인(DenseNet: 50.0%, CNN: 57.2%, RNN: 60.1%, LSTM: 62.7%)보다 우수한 성능을 보였습니다.
• 희귀 질환: 성능은 희귀 질환에서 가장 강력했습니다. 가장 희귀한 225개 질환(유병률 10,000명당 5명 미만) 중 **90%(202개 질환)**가 95% 신뢰 구간 전체가 우연(chance)보다 높게 나타났습니다.
• 인구통계학: 성능은 성별 및 연령 층위 전반에서 일관되게 유지되었으며, 이는 신호가 인구통계학적 분리성에 의해 구동되지 않음을 나타냅니다.
• 특정 벤치마크:
  • 천식 (J45): TEDDY AUC = 79.3% vs Gemma-3-4b (62.7%) 및 LSTM (60.0%).
  • ADHD (F90): TEDDY AUC = 84.7% vs Gemma-3-4b (51.2%) 및 LSTM (71.7%).
  • 참고: Gemma-3-4b는 TEDDY보다 2000배 더 큼에도 불구하고, ADHD에 대해서는 우연 수준의 성능을 보였으며 두 질환 모두에서 TEDDY보다 현저히 낮은 성능을 보였습니다.

시간적 조기 경보 (Temporal Forewarning)

진단을 예측하는 모델의 능력은 다양한 리드 타임(lead time)에서 평가되었습니다:

• 신호 지속성: 예측 신호는 첫 진단 기록보다 2년 이상 앞선 시점에서도 탐지 가능한 상태로 유지되었습니다.
  • 2년 이상의 리드 타임에서의 중앙값 AUC: (제한 없는 분석) 59.7% 및 (고정 코호트 민감도 분석) 64.4%.
  • 당일(same day)에서의 중앙값 AUC: 71.8%.
• 이는 모델이 단순한 단기 상관관계가 아니라 장기적인 궤적 구조를 포착하고 있음을 시사합니다.

방문 시기 예측

TEDDY는 제한 평균 생존 시간(RMST) 지표를 사용하여 다음 방문까지의 시간을 추정합니다:

• 정확도: 365일 범위 내에서 평균 절대 오차(MAE)는 3.0일입니다.
• 보정(Calibration): 모델은 아동 특유의 방문율을 포착하지만(로그 변환된 시간에 대해 Pearson $r=0.54$), 롱테일(long tail) 부분에서 드리프트 현상을 보입니다. 즉, 1년 후 재방문하지 않을 확률을 과대평가합니다(예측 0.399 vs 관찰 0.296). 이는 단일 지수 분포율 헤드의 단순성 때문인 것으로 보입니다.

의의 및 주장

본 논문은 TEDDY가 광범위한 희귀 질환 및 장기 위험 예측이 가능한 압축된 생성 모델을 위한 실행 가능한 기질(substrate)로서 소아 진단 이력을 확립했다고 주장합니다.

주요 기여 및 주장은 다음과 같습니다:

1. 소아 전용 파운데이션 모델: TEDDY는 소아의 생리학 및 질병 양상에 일반화하기 어려운 성인 모델의 한계를 해결하며, 소아를 위해 특별히 구축된 최초의 생성형 EHR 파운데이션 모델입니다.
2. 데이터 효율성: 임상 궤적의 충실한 표현(방문 브래키팅 및 연령 인코딩을 통해)이 수십억 개의 파라미터나 대규모 인구 데이터 없이도(160만 명의 환자, 1.84백만 개의 파라미터) 의미 있는 예측을 낼 수 있음을 입증함으로써, EHR 성능을 위해 거대 모델이 필수적이라는 패러다임에 도전합니다.
3. 엄격한 평가: 내방 내 누수 및 인구통계학적 혼란 변수를 방지하는 엄격한 안전장치를 구현함으로써, 보고된 성능이 인위적인 결과가 아닌 실제 예측 구조를 반영함을 주장합니다.
4. 임상적 유용성: 특히 진단 여정이 흔한 희귀 질환의 경우, 진단 수년 전부터 신호를 감지할 수 있는 능력은 일상적인 소아 진료에서 조기 개입 및 의뢰를 가능하게 할 잠재력을 가집니다.

저자들은 TEDDY가 첫 단계이며, 향후 연구에서 측정값 및 약물을 포함하고, 기관 간 일반화를 수행하며, 세대 간(모자) 궤적을 탐구해야 한다고 결론지었습니다. 또한 단일 기관 데이터의 한계와 비진단적 구조화 데이터(검사 결과, 활력 징후 등)의 제외에 대해서도 명시적으로 언급하였습니다.