🤖 machine learning

Staying Alive: Uncensored Survival Analysis with Tabular Foundation Models

이 논문은 표 형식 파운데이션 모델(Tabular Foundation Models)을 활용하여 우측 검열된 데이터를 반복적으로 임퓨테이션하고 가속 실패 시간(Accelerated Failure Time) 모델을 구축함으로써, 표준 벤치마크에서 기존의 학습 기반 모델들과 대등한 성능을 달azz하는 학습이 필요 없는 생존 회귀 방법을 소개한다.

원저자: Mariana Vargas Vieyra

게시일 2026-06-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mariana Vargas Vieyra

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 학습 없이 "언제"를 예측하기

당신이 환자가 진단 후 얼마나 오래 생존할지 예측하려는 의사라고 상상해 보거나, 특정 부품이 언제 고장 날지 추측하는 자동차 정비사라고 상상해 보세요. 이것을 **생존 분석(Survival Analysis)**이라고 합니다. 까다로운 점은 종종 최종적인 사건(event)을 직접 목격하지 못한다는 것입니다. 예를 들어, 환자가 다른 곳으로 이사를 갔거나, 자동차 부품이 고장 나기 전에 연구가 종료될 수도 있습니다. 통계학에서는 이를 **우측 절단(right-censoring)**이라고 부릅니다. 즉, 사건이 아직 발생하지 않았다는 것은 알지만, 정확히 언제 발생할지는 모르는 상태를 말합니다.

보통 이를 해결하려면 새로운 데이터셋이 생길 때마다 처음부터 맞춤형 모델을 구축해야 하는데, 이는 땅을 살 때마다 집을 설계하기 위해 새로운 건축가를 고용하는 것과 같습니다.

이 논문은 **표 형식 파운데이션 모델(Tabular Foundation Models, TFMs)**을 사용하여 이를 수행하는 새로운 방법을 소개합니다. TFM을 수백만 개의 서로 다른 데이터셋을 이미 읽어본 "매우 똑똑하고 사전 학습된 탐정"이라고 생각해보세요. 이 탐정은 새로운 사실들의 목록(데이터 테이블)을 보고, 추가적인 학습 없이도 단 한 번의 눈길만으로 예측을 할 수 있습니다. 저자들은 이 "슈퍼 탐정"이 추가 학습 없이도 생존 분석의 "누락된 시간" 퍼즐을 풀 수 있는지 확인하고자 했습니다.

문제점: 결말을 볼 수 없는 탐정

문제는 이 슈퍼 탐정들(TFM)이 전체 이야기를 보는 데 익숙하다는 점입니다. 만약 당신이 "이 환자가 얼마나 오래 살까요?"라고 묻는데, 환자가 연구를 떠난 시점까지만의 데이터만 준다면, 탐정은 혼란에 빠집니다. 탐정은 "아직 모름"이 아니라 확정적인 답을 기대하기 때문입니다.

만약 누락된 종료 시점(절단된 데이터)이 있는 환자들을 그냥 무시한다면, 탐정은 편향될 것입니다. 탐정은 사람들이 실제보다 더 빨리 사망한다고 생각할 것입니다. 왜냐하면 일찍 사망한 사람들만 보고, 여전히 살아있는 사람들은 무시하기 때문입니다.

해결책: "빈칸 채우기" 게임

저자들은 탐정이 퍼즐을 풀 수 있도록 TabSA(Tabular Survival Analysis)라는 방법론을 만들었습니다. 이 방법은 두 가지 영리한 단계를 거칩니다.

1단계: "평균 추측하기" (AFT 모델)

먼저, 특징들(나이, 건강 지표 등)을 바탕으로 모두의 "평균 로그 시간(average log-time)"을 추측하도록 탐정을 사용합니다. 이는 탐정이 군중을 보고 "내가 이전에 본 바로는, 이 그룹은 보통 X년 정도 지속된다"라고 추측하는 것과 같습니다.

하지만 이 추측을 할 때는 연구를 실제로 마친 사람들만을 보도록 제한합니다. 이를 위해 단 하나의 숫자(척도 매개변수, scale parameter)만을 조정합니다. 이는 탐정에게 "당신은 추측을 잘하니, 당신의 추측치를 얼마나 늘리거나 줄여야 하는지만 알려달라"고 말하는 것과 같습니다.

2단계: "상상력 게임" (반복적 대치, Iterative Imputation)

이것이 마법 같은 부분입니다. 절단된 환자들의 경우 탐정이 이야기의 끝을 볼 수 없기 때문에, 저자들은 "빈칸 채우기" 게임을 진행합니다.

첫 번째 추측: 표준적인 통계적 기법(예: 살아있는 다른 사람들을 기반으로 한 대략적인 추정치)을 사용하여 절단된 환자들의 누락된 종료 시간을 추측하며 시작합니다.
루프(Loop): 이 추측치를 탐정에게 다시 입력합니다. 탐정은 전체 집단(추측치가 포함된)을 살펴보고 이렇게 말합니다. "사실, 이 새로운 정보를 바탕으로 볼 때, 저 사람의 시간은 조금 더 길어야 해."
정교화: 추측치를 업데이트하고 탐정에게 다시 묻습니다. 이 과정을 추측치가 더 이상 변하지 않을 때까지 반복합니다(마치 스케치를 다듬는 것처럼).

이 과정은 **버클리-제임스 추정량(Buckley-James estimator)**이라는 오래된 통계 방법에서 영감을 얻었지만, 복잡한 수학 계산을 하는 대신 "슈퍼 탐정"(TFM)이 누락된 시간이 어떠해야 하는지를 파악하는 데 힘을 쓰게 합니다.

결과: 성과는 어떠했는가?

저자들은 다섯 개의 실제 데이터셋(심장마비, 유방암, 중환자 케어 등)에서 실험을 진행했으며, 다음 대상들과 비교했습니다:

고전적 모델: 많은 학습이 필요한 전통적인 "맞춤형 건축가"들.
다른 제로샷(Zero-Shot) 방법들: 이 탐정들을 학습 없이 사용하는 다른 방식들.

발견된 사실:

순위 결정 능력: 그들의 방법(TabSA-BJ)은 환자의 순위를 매기는 랭킹(Ranking) 작업에서 탁월했습니다. 값비싼 전체 학습 모델만큼이나 "환자 A가 환자 B보다 더 오래 살 것이다"라는 것을 정확하게 맞혔습니다.
보정(Calibration): 랭킹 능력은 뛰어났지만, 시간을 구간별로 나누는 방식(이산화)과 비교했을 때 특정 시점의 정확한 생존 확률을 예측하는 면에서는 약간 완벽함이 떨어졌습니다.
학습 불필요: 가장 큰 승리는 이 결과를 얻기 위해 모델을 특정 데이터셋에 맞춰 재학습할 필요가 없었다는 점입니다. 데이터를 넣고, "빈칸 채우기" 루프를 돌리기만 하면 결과가 나왔습니다.

핵심 요약

이 논문은 생존 시간을 예측하기 위해 항상 처음부터 새로운 모델을 만들 필요는 없다는 것을 보여줍니다. 사전 학습된 "파운데이션 모델"을 똑똑한 엔진으로 사용하고, 누락된 데이터를 처리하기 위해 간단한 "추측 및 정교화" 게임을 수행함으로써, 우리는 전통적이고 무거운 통계 모델과 경쟁할 수 있는 결과를 얻을 수 있습니다.

이는 세상의 모든 요리를 맛본 마스터 셰프를 두는 것과 같습니다. 셰프에게 새로운 레시피를 처음부터 가르치는 대신, 재료를 건네주며 "당신의 경험상 이 스튜가 익으려면 얼마나 걸릴까요?"라고 묻고, 그 추측이 적절하다고 느껴질 때까지 조절하게 하는 것과 같습니다.

기술 요약: 생존을 위한 무검열 생존 분석: 표 형식 파운데이션 모델을 활용하여

문제 정의
생존 분석(Survival Analysis, SA)은 심혈관 질환부터 고객 이탈 예측에 이르기까지 다양한 분야에 적용되는, 관심 사건이 발생할 때까지의 시간을 모델링하는 통계적 프레框架입니다. 생존 분석의 핵심 과제는 **우측 검열(right-censoring)**로, 이는 피험자가 연구를 중단하거나 사건이 발생하기 전에 관찰 기간이 종료되어 일부 대상의 사건 발생 시간을 관찰할 수 없는 상황을 의미합니다. 고전적인 생존 모델은 이러한 검열된 데이터를 자연스럽게 처리하지만, **표 형식 파운데이션 모델(Tabular Foundation Models, TFMs)**은 인컨텍스트 분류 및 회귀에는 뛰어나지만 이 작업에는 어려움을 겪습니다. TFMs는 일반적으로 완전히 관찰된 예측 대상을 기대하므로, 생존 회귀에 직접 적용하기 어렵습니다. 이를 해결하기 위해 시간을 빈(bin)으로 이산화하여 분류하는 기존의 시도들은 해상도와 유효한 컨텍스트 크기 사이의 트레이드오프를 유발하며, 빈의 크기가 커질수록 성능이 저하되는 문제를 낳습니다.

방법론
저자들은 얼어 있는(frozen) TFM을 활용하여 생존 회귀를 수행하는 학습 불필요(training-free) 프레임워크인 TabSA를 제안합니다. 이 방법은 로그 시간( $\log T$ )이 선형적으로 모델링된다는 가속 실패 시간(Accelerated Failure Time, AFT) 모델 가정을 따릅니다. 핵심 혁신은 Buckley-James 추정량에서 영감을 얻은, 검열된 데이터에 대한 반복적이고 비모수적인 임퓨테이션(imputation, 결측치 대체) 전략입니다.

제안된 알고로리즘은 다음과 같이 진행됩니다:

모델 구축: TFM은 인컨텍스트 예시를 바탕으로 대상자의 평균 로그 시간( $\hat{\mu}$ )을 예측하는 회귀 백본(backbone)으로 사용됩니다.
파라미터 추정: 단일 스칼라 파라미터인 척도 파라미터(scale parameter) $\sigma$ 는 훈련 세트에 대한 최대 우도 추정(Maximum Likelihood Estimation, MLE)을 통해 추정됩니다. 이는 훈련이 필요한 유일한 파라미터이며, TFM 백본은 그대로 유지됩니다.
반복적 임퓨테이션 (TabSA-BJ): 데이터를 버리지 않고 우측 검열 문제를 해결하기 위해, 이 방법은 검열된 대상에 대한 의사 타겟(pseudo-targets)을 반복적으로 임퓨테이션합니다:
- 초기화: 의사 타겟은 Kaplan-Meier 잭나이프 추정량을 기반으로 한 데이터 주도형 웜 스타트(warm start)를 사용하여 초기화됩니다.
- 반복: 각 단계에서, TFM은 (자기 자신의 예측에 빠지는 퇴보 현상을 방지하기 위해) 부분 샘플링된 미검열 및 검열 대상의 확률적 컨텍스트를 사용하여 검열된 대상의 평균 로그 시간을 예측합니다.
- 업데이트: 조건부 평균을 임퓨테이션하는 표준 Buckley-James 추정법과 달리, 이 방법은 임퓨테이션된 시간이 반드시 검열 시간보다 커야 한다는 제약 조건을 엄격히 준수하며 절단된 분포(truncated distribution, $p(\log T_i | T_i > C_i)$ )로부터 샘플링하여 의사 타겟을 업데이트합니다.
- 정교화: 척도 파라미터 $\sigma$ 는 업데이트된 데이터셋에 대해 MLE를 통해 재추정됩니다. 이 루프는 의사 타겟이 안정화될 때까지 지속됩니다.
추론: 테스트 시점에 모델은 순방향 패스(forward pass)를 수행하여 평균 로그 시간을 얻으며, 이 값은 최종 $\sigma$ 와 결합되어 생존 함수를 구성합니다.

주요 기여

제로샷 생존 회귀: 본 논문은 데이터셋 특화 훈련 없이 TFM을 사용하여 생존 회귀를 수행하는 방법을 소개하며, 단 하나의 스칼라 파라미터( $\sigma$ )를 조정하는 것만 필요로 합니다.
비모수적 인컨텍스트 임퓨테이션: 저자들은 시간 이산화와 관련된 해상도-성능 트레이드오프를 피하면서, TFM을 비모수적 추정기로 활용하여 우측 검열을 처리하는 새로운 반복 메커니즘을 제안합니다.
AFT 통합: 이 프레임워크는 TFM 백본을 사용하여 AFT 모델을 성공적으로 구축함으로써, 현대적인 파운데이션 모델과 고전적인 생존 분석 구조 사이의 간극을 메웁니다.

실험 결과
방법론은 심혈관 질환, 종양학, 중환자 관리를 다루는 5개의 표준 생존 분석 벤치마크(WHAS500, GBSG, METABRIC, SUPPORT, FLCHAIN)에서 평가되었습니다. 제안된 방법(TabSA-BJ)은 고전적으로 훈련된 모델(Cox PH, Weibull AFT, Log-Normal AFT, Random Survival Forest) 및 제로샷 경쟁 모델(시간 이산화를 사용하는 TabSA-Bin)과 비교되었습니다.

변별력 (C-Index): TabSA-BJ는 경쟁력 있는 C-Index 점수를 달성하였으며, 종종 고전적으로 훈련된 모델들과 대등하거나 이를 능가하였고, 더 단순한 제로샷 변체들(TabSA-CCA, TabSA-PO)보다는 유의미하게 높은 성능을 보였습니다. 특히 검열율이 높은 데이터셋에서 강점을 보였습니다.
교정 (IBS): TabSA-BJ는 강력한 변별력을 보여주었으나, 통합 브라이어 점수(Integrated Brier Score, IBS)는 일반적으로 TabSA-Bin 및 고전적 방법들보다 낮았습니다. 저자들은 이를 방법론의 특성 때문이라고 설명합니다. 즉, TabSA-Bin은 고정된 분위수에서 생존 확률을 최적화(교정에 유리)하는 반면, TabSA-BJ는 로그 시간 척도에서 작동하여 순위 구조를 보존(변별력에 유리)하기 때문입니다.
수렴: 분석 결과 척도 파라미터 $\sigma$ 가 안정적인 값(종종 1 근처)으로 수렴함을 보여주었으며, 이는 TFM 백본이 명시적인 생존 특화 훈련 없이도 로그 시간의 분산의 상당 부분을 포착하고 있음을 시사합니다.

의의 및 주장
본 논문은 표 형식 파에이션 모델이 최소한의 적응만으로 생존 과업에 일반화될 수 있는 충분한 회귀 구조에 대한 사전 지식을 인코딩하고 있다고 주장합니다. 훈련이 필요 없는 반복적 임퓨테이션 전략을 도입함으로써, 본 연구는 TFMs가 우측 검열 데이터를 효과적으로 처리할 수 있음을 입증하며, 이는 라벨링된 사건 시간 데이터가 부족하거나 재학습 없는 빠른 배포가 필요한 영역에서 제로샷 통계 모델링의 유망한 방향을 제시합니다. 저자들은 TabSA-BJ와 TabSA-Bin을 상호 보완적인 메커니즘으로 위치시키며, 전자는 변별력에서, 후자는 교정에서 탁월한 성능을 보인다고 명시합니다.