기술 요약: 장수 과학 및 심층 노화 시계(Deep Ageing Clocks)를 위한 트랜스포머 이전 모델 연구

문제 제기

계산 생물학적 노화 연구(computational biogerontology) 분야는 고차원의 분자 또는 생리적 데이터를 생물학적 연령 추정치로 매핑하는 "노화 시계(ageing clocks)" 모델에 의존하고 있다. 만성 질환 및 사망률의 예측 인자로 사용되는 것은 만성 연령과의 편차(연령 가속도)이다. 역사적으로 이 분야는 페널티 회귀(penalized regression), 커널 머신(kernel machines), 트리 앙상블(tree ensembles), 그리고 2017년 이전의 딥 네트워크와 같은 트랜스포머 이전 방식들을 활용해 왔다. 그러나 일반 인공지능 분야에서 어텐션 기반 트랜스포머가 지배적인 위치를 차지함에 따라, 과연 트랜스포머가 노화 연구의 특정 데이터 조건에서도 기존 방식들을 능가하는가라는 중요한 질문이 제기된다.

현재의 문헌들은 노화 코호트(작은 표본 크기, 높은 차원성, 노이즈가 많은 레이블, 규제 요구사항)의 특성상 간결한(parsimonious) 모델이 유리하다고 선험적으로 주장하는 경우가 많으나, 이는 헤드 투 헤드(head-to-head) 비교를 통한 실증적 검증이 부족한 상태였다. 본 논문은 이러한 격차를 해소하기 위해, 트랜스포머로의 이주가 정당화되는지 아니면 트랜스포머 이전의 툴킷이 여전히 합리적인 기본값(default)으로 남아야 하는지를 결정하기 위한 통제된 벤치마크를 수행한다.

방법론

본 연구는 5가지 데이터 모달리티에 걸친 6개의 공개 코호트를 아우르는 통합 벤치마크를 구축하였다:

1. DNA 메틸화: GSE40279 (혈액, 450K 어레이, $n=656$, $p \approx 20,000$).
2. 혈액 생화학: NHANES (임상 마커, $n \approx 34,000$, 34개 특징).
3. 전사체(Transcriptome): GTEx v8 (전혈, $n \approx 755$, 5,000개 유전자).
4. 장내 미생물군집: American Gut (16S 프로파일, $n \approx 9,500$, $\sim 1,500$개 분류군).
5. 가속도계(Accelerometry): NHANES (7일간의 분 단위 시계열, $n \approx 7,000$).
6. 뇌 MRI: Cam-CAN (T1 구조 스캔, $n \approx 650$).

모델 클래스: 8가지의 구별되는 모델 클래스를 평가하였다:

• 고전적 트랜스포머 이전 모델: Elastic Net, Kernel SVR, Random Forest, Gradient Boosted Decision Trees (GBDT).
• 트랜스포머 이전 딥 네트워크: 다층 퍼셉트론(MLP), 그리고 모달리티별 특화 딥 네트워크(표형 데이터를 위한 Autoencoder, 가속도계를 위한 ConvLSTM, MRI를 위한 3D-CNN).
• 트랜스포머: 처음부터 학습하는 방식(Tr-scr) 및 사전 학습 후 미세 조정하는 방식(Tr-pre) 변형 (표형 데이터를 위한 FT-Transformer/TabTransformer, 가속도계를 위한 Sequence Transformer, MRI를 위한 Vision Transformer).

프로토콜:

• 평가: 모든 모델에 대해 동일한 데이터 분할, 특징, 무작위 시드를 사용하는 단일 중첩 교차 검증(nested cross-validation) 프로토콜(10회 반복된 5-fold 외부 루프)을 적용하였다.
• 하이퍼파라미터 튜닝: 내부 루프 내에서 Optuna(100회 시행)를 사용하였다.
• 지표:
  • 정확도: 평균 절대 오차(MAE) 및 실제 연령에 대한 피어슨 상관계수.
  • 효율성: Elastic Net 대비 훈련 계산 비용.
  • 해석 가능성: 상위 기여 특징 중 문헌적으로 검증된 노화 마커의 비율.
  • 생물학적 타당성: 모든 원인 사망률(NHANES에서 테스트)에 대한 연령 가속도 잔차의 위험비(Hazard Ratio, HR).
  • 전이 가능성: GSE40279에서 학습하고 독립된 코호트인 GSE87571에서 테스트할 때의 성능 저하($\Delta$MAE).

주요 결과

1. 모달리티별 정확도

• 표형 오믹스(Tabular Omics): 메틸화, 전사체, 미생물군집 데이터에서 페널티 회귀(Elastic Net)와 그래디언트 부스팅이 가장 우수하거나 공동 최고 성능을 보였다.
  • 메틸화: Elastic Net이 가장 낮은 MAE(3.42년)를 달성하였으며, 처음부터 학습한 트랜스포머는 과적합으로 인해 최악의 성능(5.22년)을 보였다.
  • 전사체: GBDT가 선두(8.07년)를 차지하였고, 처음부터 학습한 트랜스포머는 뒤처졌다(9.90년).
• 구조화된 데이터: 가속도계 및 MRI 데이터에서는 모달리티 특화 트랜스포머 이전 딥 네트워크(ConvLSTM 및 3D-CNN)가 다른 모든 클래스를 능가했다.
  • 가속도계: ConvLSTM (12.66년) vs. 트랜스포머 (>13년).
  • MRI: 3D-CNN (4.74년) vs. Vision Transformer (7.48년).
• 대규모 $n$ 코호트: 트랜스포머가 승리한 유일한 사례는 NHANES 혈액 화학 데이터($n \approx 34,000$)였다. 사전 학습된 트랜스포머는 GBDT(6.50년)보다 약간 낮은 MAE(6.40년)를 기록했으나, 그 차이는 단 0.10년에 불과했다.
• 종합: 사전 학습된 트랜스포머가 모든 코호트에서 '최고 성능과의 평균 격차'가 가장 낮았으나(0.18년), 이 종합적인 우위는 전적으로 단 하나의 대규모 $n$ 코호트에 의해 주도되었다.

2. 데이터 효율성 및 계산량

• 손익분기점: NHANES 코호트에서 사전 학습된 트랜스포머는 훈련 샘플 크기가 $n \approx 23,000$에 도달했을 때 비로소 그래디언트 부스팅을 능가하기 시작했다. 이 임계값 미만에서는 트랜스포머 이전 모델들이 엄격하게 더 우수했다.
• 계산 비용: 사전 학습된 트랜스포머는 최고 성능과의 평균 격차를 단 0.05년 개선하기 위해 Elastic Net의 약 21,000배, 네이티브 딥 네트워크의 약 23배에 달하는 계산량을 필요로 했다. 처음부터 학습한 트랜스포머는 가장 효율성이 낮았다.

3. 해석 가능성 및 마커 회복

• 희소 선형 모델(Elastic Net)과 트리 앙상블(GBDT)은 딥 및 트랜스포머 모델(0.29–0.46)에 비해 문헌적으로 검증된 노화 마커를 훨씬 높은 비율(각각 0.74와 0.73)로 회복했다.
• 딥 및 트랜스포머의 기여도는 약하게 가중치가 부여된 많은 입력값에 분산되어 있었던 반면, 희소 모델은 특정 혈청 알부민, C-반응성 단백질과 같은 알려진 바이오마커를 명확히 식별하였다.

4. 생물학적 타당성 (사망률 예측)

• 역설(The Paradox): 실제 연령 오차가 가장 적었던 모델(사전 학습된 트랜스포머)이 오히려 가장 약한 사망 관련 신호(위험비 $\approx 1.13$ per SD)를 나타냈다.
• 위험 계층화: 두 트랜스포머 변형 모두 위험 계층화에서 최하위를 기록했다. 반면, 트랜스포머와 거의 동일한 연령 정확도(6.50 vs. 6.40년)를 보였던 GBDT는 훨씬 강력한 사망 신호(HR $\approx 1.27$)를 입증했다.
• 결론: 실제 연령 오차를 최소화하는 것이 생물학적 신호를 극대화하는 것은 아니다. 고용량 어텐션 모델은 사망 위험에 대해 정보량이 적은 잔차를 학습하는 경향이 있다.

5. 코호트 간 전이

• GSE40279의 메틸화 시계를 GSE87571로 전이했을 때, Elastic Net은 가장 적은 성능 저하($\Delta$MAE +1.2년)를 보였다.
• 처음부터 학습한 트랜스포머는 가장 큰 저하(+4.0년)를 보였고, 네이티브 딥 네트워크가 그 뒤를 이었다(+2.8년). 사전 학습된 트랜스포머는 중간 정도의 견고성(+1.9년)을 보여 자기 지도 학습 기반의 사전 학습이 전이에 도움을 준다는 것을 시사했으나, 희소 선형 모델의 수준에는 미치지 못했다.

의의 및 주장

본 논문은 인간 노화 연구의 데이터 조건(작은 $n$, 높은 $p$, 표형 오믹스, 구조화된 영상)에서 트랜스포머 이전의 툴킷이 합리적인 기본값이라고 결론짓는다.

• 구조적 우월성: 트랜스포머 이전 모델들(페널티 회귀, GBDT, ConvLSTM, 3D-CNN)은 단순히 "유산"이 된 도구가 아니라, $p \gg n$ 환경과 구조화된 데이터에 필요한 특정 귀납적 편향(inductive bias)에 구조적으로 더 적합하다.
• 트랜스포머의 한계: 트랜스포메이션은 일반적인 노화 시나리오에서 정확도 측면에서 승리하지 못한다. 이들의 유일한 이점은 대규모 샘플 크기($n > 23,000$) 또는 대규모 비라벨 데이터가 결합된 경우에 나타나는 것으로 보이지만, 그 경우에도 정확도 향상은 미미하며 막대한 계산 비용을 수반한다.
• 생물학적 타당성: 고용량 모델을 통해 실제 연령 오차를 최소화하려는 시도는 오히려 역효м을 낳을 수 있다. 이러한 모델들은 사망률과 연관성이 더 낮은 잔차를 생성하기 때문이다.
• 권고 사항: 어텐션 메커니즘은 대체재가 아닌 타겟팅된 추가 요소로 간주되어야 한다. 어텐션은 특정 시퀀스 구조와 트랜스포머의 귀납적 편향에 부합하는 대규모 비라벨 데이터 규모를 제공하는 코호트에서만 정당화된다. 대다수의 노화 연구에서 트랜스포머 이전의 툴킷은 정확도, 해석 가능성, 전이 가능성, 그리고 생물학적 타당성의 최적의 균형을 제공한다.