📊 statistics

From Risk Sets to Martingales: A Counting-Process Framework for Event-History Learning

이 논문은 카운팅 프로세스 표기법과 마팅게일 이론에 기반하여 다양한 중도 절단, 재발성 및 다상태 데이터 문제를 다섯 가지의 반복되는 수학적 객체로 변환함으로써, 고전적 생존 분석 방법과 머신러닝 생존 분석 방법을 도출하고 비교하기 위한 공통된 계산 알고리즘, 이론적 증명 템플릿, 그리고 공유된 언어를 제공하는 통합된 이벤트 히스토리 학습 프레임워크를 구축한다.

원저자: Eliuvish Han Cui

게시일 2026-06-23

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Eliuvish Han Cui

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 전구가 언제 수명을 다할지, 혹은 환자가 치료 후 언제 재발할지를 예측하려고 노력하고 있다고 상상해 보십시오. 현실 세계에서는 그 "사건"이 일어나는 정확한 순간을 직접 목격하는 경우가 거의 없습니다. 때로는 조사를 중단했을 때 전구가 여전히 작동하고 있기도 하고(중도 절단, censoring), 때로는 일주일에 한 번씩 전구를 확인하기 때문에 화요일과 금요일 사이에 고장이 났다는 것만 알 수도 있습니다(구간 중도 절단, interval censoring). 또한 어떤 환자는 병에 걸렸다가, 나아졌다가, 다시 병에 걸렸다가, 결국 사망하는 과정을 거칠 수도 있습니다(다상태 모델, multistate).

이 논문은 이러한 모든 지저히고 불완전한 타임라인을 처리하기 위한 보편적인 번역기이자 조립 키트입니다. 저자인 엘비스 한 취(Elvis Han Cui)는 모든 유형의 생존 데이터를 각각 별개의 혼란스러운 문제로 취급하는 대신, **계수 과정 프레임워크(Counting-Process Framework)**라는 하나의 강력한 수학적 렌즈를 통해 모두 바라볼 수 있다고 주장합니다.

다음은 일상적인 비유를 사용하여 이 논문의 아이디어를 정리한 내용입니다.

1. 핵심 아이디어: "위험 집단(Risk Set)"과 "놀라움(Surprise)"

논문은 다음과 같은 간단한 방정식으로 시작합니다: $dN(t) = Y(t)\alpha(t)dt + dM(t)$ .
이것을 미래를 예측하기 위한 레시피라고 생각해 보십시오:

$Y(t)$ (위험 집단): 현재 "게임에 참여 중인" 사람이나 사물의 무리입니다. 만약 전구를 연구하고 있다면, $Y(t)$ 는 아직 켜져 있는 전구의 개수입니다. 전구가 타버리거나 관찰을 중단하면 그 전구는 무리에서 빠지게 됩니다.
$\alpha(t)$ (위험률, Hazard): 바로 이 순간 발생하는 "순간적인 압박" 또는 고장의 위험입니다.
$dN(t)$ (점프, Jump): 실제 사건이 발생하는 것(전구가 타버리거나 환자가 재발하는 것)을 의미합니다.
$dM(t)$ (마팅게일/놀라움, Martingale/Surprise): 가장 중요한 부분입니다. 이것은 예상치 못한 것을 나타냅니다. 우리가 무리의 크기와 위험을 알고 있더라도, 다음 전구가 정확히 언제 터질지는 예측할 수 없습니다. "마팅게일"은 "우리가 기대했던 일과 실제로 일어난 일 사이의 차이는 그저 무작위적인 노이즈일 뿐이다"라는 것을 수학적으로 표현하는 방법입니다.

논문의 주요 주장은, 만약 당신이 예측 가능한 무리와 무작위적인 놀라움을 분리할 수 있다면, 거의 모든 유형의 시간-사건 데이터를 분석할 수 있는 통합된 시스템을 구축할 수 있다는 것입니다.

2. 다섯 가지 구성 요소

수많은 시나리오마다 서로 다른 수백 개의 공식을 외우는 대신, 이 논문은 모든 문제가 다섯 가지의 반복되는 객체로 분해될 수 있다고 말합니다:

위험 과정 (Risk Process): 누가 아직 게임에 참여 중인가?
점프 과정 (Jump Process): 사건이 실제로 언제 발생했는가?
보상 과정 (Compensator): 규칙에 근거하여 우리가 기대했던 것은 무엇인가?
추정 방정식 (Estimating Equation): 답을 찾기 위해 사용되는 수학적 도구.
극한 논증 (Limiting Argument): 데이터가 많아질수록 답이 더 정확해진다는 증명.

3. 이 프레임워크가 할 수 있는 일

이 논문은 단일 프레임워크가 어떻게 다양한 복잡한 상황들을 동일한 언어로 번역하여 처리하는지 보여줍니다:

표준 생존 분석 (우측 중도 절단, Right-Censored): 고전적인 "카플란-마이어(Kaplan-Meier)" 곡선입니다. 달리기 선수들의 줄을 상상해 보십시오. 일부는 결승선에 도달하기 전에 중도 탈락(중도 절단)합니다. 프레임워크는 매 단계마다 누가 여전히 달리고 있는지를 살펴봄으로써 완주할 확률을 계산합니다.
다상태 모델 (Multistate): 환자가 "건강함" $\to$ "아픔" $\to$ "사망"하거나, "건강함" $\to$ "사망"으로 직접 가는 과정을 상상해 보십시오. 논문은 곱적분(product integral)(작은 확률들을 곱하는 것과 같은 방식)을 사용하여 특정 시점에 특정 상태에 있을 확률을 추적합니다. 이는 각 경로를 선택할 확률을 곱해 나가는 순서도와 같습니다.
재발 사건 (Recurrent Events): 환자가 병에 걸렸다가 나아졌다가 다시 병에 걸린다면 어떻게 될까요? 프레임워크는 환자가 여전히 위험 집단에 속해 있는 한 모든 "점프"(병에 걸림)를 카운트합니다.
구간 중도 절단 (Interval Censoring): 월요일과 수요일에만 환자의 건강을 체크한다고 가정해 봅시다. 수요일에는 아프지만 월요일에는 건강했다면, 그 사이에 사건이 발생했다는 것은 알지만 정확히 언제인지는 모릅니다. 논문은 최적의 적합치를 찾을 때까지 가능한 시간 구간에 확률 질량을 재분배하는 "자기 일관성(self-consistency)" 알고리즘(EM 알고리즘과 유사)을 사용합니다.
인과 추론 (도구 변수, Causal Inference/Instrumental Variables): 때때로 더 아픈 환자들에게 특정 치료(예: 약물)가 제공되어, 마치 그 약이 효과가 없는 것처럼 보일 수 있습니다. 이를 해결하기 위해, 논문은 "도구 변수"(예: 유전적 표지자나 의사의 무작와 선호도)를 사용하여 환자의 기저 건강 상태와 약물의 효과를 분리함으로써 진정한 인과적 효과를 격리해 냅니다.

4. "교차 적합(Cross-Fitted)" 혁신

이 논문의 새로운 기여 중 하나는 생존 데이터에 사용되는 현대적 머신러닝 모델(예: 신경망)을 검증하는 방법입니다.

문제점: 모델을 데이터셋으로 학습시키고 동일한 데이터로 테스트하면, 모델이 단순히 정답을 암기(과적합, overfitting)할 수 있습니다.
해결책: 논문은 "교차 적합(cross-fitted)" 접근 방식을 제안합니다. 데이터의 90%로 모델을 학습시키고 나머지 10%로 테스트합니다.
마법: 논문은 새로운 수학적 항등식을 증명합니다: 만약 모델이 우수하다면, 테스트 그룹에서의 "놀라움"(마팅게일 잔차)은 무작위 노이즈처럼 보여야 합니다. 만약 모델이 좋지 않다면, "놀라움"은 특정한 패턴을 보일 것입니다. 이는 복잡한 AI 모델이 실제로 사건의 이력을 학습하고 있는지, 아니면 단순히 추측하고 있는지를 엄밀하게 확인할 수 있는 방법을 제공합니다.

5. 이것이 왜 중요한가

이 논문은 단순히 오래된 방법들을 나열하는 것이 아니라, 공통된 언어를 제공합니다.

수학자들에게: "증명 템플릿"을 제공합니다. 새로운 유형의 데이터가 나올 때마다 처음부터 새로운 정리를 증명하는 대신, 자신의 문제를 이 다섯 가지 구성 요소에 대입하여 기존의 증명을 사용할 수 있습니다.
데이터 과학자들에게: 복잡한 생존 분석을 재사용 가능한 알고리즘으로 바꿔줍니다. 전구를 분석하든, 직원의 근속 기간을 분석하든, 환자의 재발을 분석하든, "위험 집단 스윕(risk-set sweep)"(알고리즘 1)은 동일합니다.
모두에게: 분야를 통합합니다. 두 집단을 비교하기 위해 단순한 "로그-순위 검정(Log-Rank test)"을 수행하든, 다상태 전이를 위한 복잡한 "베이지안 비모수(Bayesian nonparametric)" 모델을 수행하든, 이들은 모두 위험 집단과 놀라움을 관리하는 서로 다른 방식일 뿐입니다.

요약

이 논문을 시간-사건 데이터에 대한 보편적인 어댑터라고 생각하십시오. 데이터가 지저분하거나, 불완전하거나, 여러 상태를 포함하거나, 인과 관계 질문을 포함하더라도, 저자는 복잡성을 걷어내고 핵심 메커니즘을 볼 수 있음을 보여줍니다: 누가 위험에 처해 있는가? 우리는 무엇을 기대했는가? 실제로 무슨 일이 일어났는가? 그리고 그 차이는 단지 무작위 노이즈였는가? 이러한 질문들에 일관되게 답함으로써, 우리는 사건 이력을 분석하는 모든 방법을 도출하고, 검증하고, 비교할 수 있습니다.

기술 요약: 리스크 세트에서 마팅게일까지: 이벤트 히스토리 학습을 위한 카운팅 프로세스 프레임워크

문제 정의

생존 및 이벤트 히스토리 데이터는 완전한 반응 변수가 아니라 본질적으로 필터링된 관측치이다. 임의의 시점 $t$ 에서 분석가는 누적된 이력(리스크 세트, 공변량, 이전 상태)을 관찰하지만, 이벤트 점프(event jump)는 그것이 발생할 때만 관찰된다. 이러한 시간적 비대칭성은 검열(censored), 절단(truncated), 재발(recurrent), 다상태(multistate), 그리고 공변량 의존적(covariate-dependent) 데이터를 분석하는 과정을 복잡하게 만든다. 다양한 특정 방법론들(예: Kaplan–Kaplan, Cox 회귀, Fine–Gray)이 존재하지만, 예측 가능한 리스크 세트 정보와 관찰된 이벤트 점프를 분리하여 이벤트 히스토리 데이터에 대한 고전적 방법과 머신러닝 방법을 도출, 검증 및 비교할 수 있는 통합된 프레임워크가 필요하다.

방법론

본 논문은 **카운팅 프로세스 표기법(counting-process notation)**과 **곱셈적 강도 표현(multiplicative-intensity representation)**에 기반한 통합 프레임워크를 구축한다:
$dN(t) = Y(t)\alpha(t)dt + dM(t)$
여기서:

$N(t)$ 는 점프 프로세스(관찰된 이벤트 횟수)이다.
$Y(t)$ 는 예측 가능한 리스크 프로세스(위험에 처한 대상 수)이다.
$\alpha(t)$ 는 강도 함수(intensity function)이다.
$Y(t)\alpha(t)dt$ 는 보상량 증분(compensator increment)이다.
$dM(t)$는 마팅게일 혁신(martingale innovation)이다.

특정 생존 분석법들을 단순히 나열하는 대신, 이 프레임워크는 부분적으로 관찰된 모든 학습 문제를 다섯 가지의 반복되는 객체로 변환한다:

리스크 프로세스(Risk Process): 이벤트가 발생할 자격이 있는 대상들의 예측 가능한 집합.
점프 프로세스(Jump Process): 관찰된 이벤트 증분.
보상량(Compensator): 예측 가능한 강도 모델.
추정 방정식(Estimating Equation): 마팅게일 성질 또는 가능도(likelihood)로부터 유도됨.
극한 논거(Limiting Argument): 점근적 정당성(예: 마팅게일 중심 극한 정리).

본 프레임워크는 다음과 같은 네 가지 영역에 체계적으로 적용된다:

비모수 추정(Nonparametric Estimation): Nelson–Aalen(누적 위험), Kaplan–Meier(생존), Aalen–Johansen(다상태), Dabrowska(이변량), Turnbull(구간 검열) 추정량을 곱적분(product-integral) 업데이트 또는 가능도 극대화로서 도출한다.
가설 검정(Hypothesis Testing): 로그-순위(log-rank) 및 가중 검정을 마팅게일 리스크 세트 대비(contrast)로 공식화하며, 이를 계층화된, 교차 위험(crossing-hazard), 경쟁 위험(competing-risk) 시나리오로 확장한다.
회귀 모델링(Regression Modeling): Cox–Andersen–Gill(곱셈적), Aalen(가법적), 변환/AFT, 그리고 준-마르코프(semi-Markov) 모델을 통합한다. 이는 달력 시간(calendar time)과 경과 체류 시간(elapsed sojourn time)을 구분함으로써 지속 시간 의존성(duration dependence)을 명시적으로 처리한다.
인과 추론(Causal Inference): 인과적 모멘트 제한(causal moment restrictions)과 카운팅 프로세스 추정 방정식을 결래하여, 검열된 결과에 대한 도구 변수(IV) 방법(예: G-estimation, 구조적 Cox 모델)을 적응시킨다.

또한, 이 프레임워크는 유연한 학습기(랜덤 포레스트, 신경망)를 이 구조에 매핑함으로써 현대적 머신러닝을 통합하며, 특히 검열된 데이터에 대한 **교차 적합 검증(cross-fitted validation)**을 다룬다.

주요 기여

1. 계산적 통합

본 논문은 다양한 계산 과업을 재사용 가능한 알고리즘과 시뮬레이션 진단으로 변환한다:

리스크 세트 스윕(Risk-set sweeps): Nelson–Aalen, Kaplan–Meier, log-rank, Cox 스코어 계산을 위한 통합 알고리즘 (Algorithm 1).
곱적분 업데이트(Product-integral updates): 다상태 전이(Aalen–Johansen) 및 준-마르코프 경과 시간 기록 관리.
구간 가능도(Interval likelihoods): 구간 검열 데이터를 위한 Turnbull 자기 일관성/EM-ICM 청사진.
교차 적합 검증(Cross-fitted validation): 예측 가능한 리스크 세트와 필트레이션(filtration)을 준수하면서 검열된 데이터에 현대적 학습기를 적용하기 위한 래퍼(Algorithm 4).

2. 이론적 기여

증명 템플릿: 마팅게일 분해와 함수적 델타 방법을 사용하여 광범위한 클래스의 추정기에 대한 일관성, 점근적 정규성 및 분산 추정을 증명하기 위한 표준화된 구조를 제공한다.
새로운 이론적 결과 (Theorem 27): 교차 적합된 검열 학습기를 위한 새로운 **역외 보상량 검증 항등식(out-of-fold compensator validation identity)**을 증명한다. 이는 훈련 폴드(training folds)가 주어졌을 때, 검증 폴드의 잔차 점수(residual scores)가 가중 적분 강도 의미에서 학습된 강도가 교정(calibrated)되었을 때만 마팅게일 중심을 이룬다는 것을 입증한다. 이는 교차 적합을 필트레이션 요구 사항으로 해석한다: 즉, 검증 예측은 훈련 데이터와 $t$ 이전의 이력에는 의존할 수 있지만, 미래의 검증 점프에는 의 depend할 수 없다.

3. 응용 매핑

본 프레임워크는 다양한 도메인(생물 의학, 신뢰성, 운영, 경제, 금융, 문학, 역사, 인과적 생존 예시)을 동일한 리스크 세트 및 보상량 언어로 매핑한다. 이를 통해 방법론들을 도출하고 비교할 수 있는 공통의 수학적 언어를 제공한다.

결과 및 범위

본 논문은 새로운 경험적 데이터를 제시하는 것이 아니라, 이론적 및 알고리즘적 합성을 제시한다. 그 "결과"는 다음과 같은 것들의 성공적인 통합이다:

추정량: 단순 우측 검열 곡선에서 복잡한 이변량 구간 검열 표면 및 다상태 전이 확률에 이르기까지.
검정: 표준 로그-순위 검정에서 적응형, 가중, 경쟁 위험 비교에 이르기까지.
모델: 모수적(Weibull, Gompertz) 모델에서 준모수적(Cox, Aalen) 및 완전 비모수적(Beran, Turnbull) 모델에 이르기까지.
인과적 방법: 검열된 데이터의 내생성을 처리하는 구조적 Cox 및 가법적 위험 IV 모델.

본 논문은 $dN = Y\alpha dt + dM$ 이라는 카운팅 프로세스 분해가 이러한 모든 방법의 "공통 분석 기초" 역할을 함을 보여준다. Nelson–Aalen 추정량이 누적 위험 추정의 원형이며, Kaplan–Meier 추정량은 이것의 곱적분 변환이고, Aalen–Johansen 추정량은 동일한 논리의 다상태 확장임을 입증한다.

의의 및 주장

본 논문은 검열, 재발 및 다상태 이벤트 히스토리 데이터에 대한 고전적 방법과 머신러닝 방법을 도출, 검증 및 비교하기 위한 공통의 수학적 언어를 제공한다고 주장한다.

고전적 분석을 위해: 마팅게일, 가능도 및 곱적분 논거의 반복되는 구조를 명확히 하는 증명 템플릿을 제공하여, 새로운 추정량의 도출을 더욱 체계적으로 만든다.
현대적 학습을 위해: 유연한 머신러닝 모델(예: 신경망, 랜덤 포레스트)을 검열된 데이터 추론의 엄격한 요구 사항과 통합하는 문제를 다룬다. 구체적으로, 교차 적합을 생존 설정에서 사용하는 것에 대한 이론적 정당성(Theorem 27)을 제공하며, 학습된 강도가 적절히 교정되었을 때만 검증 잔차가 마팅게일처럼 행동함을 보장한다.
인과 추론을 위해: 도구 변수 이론과 생존 분석 사이의 간극을 메워, 검열된 데이터의 필트레이션을 존중하는 유효한 G-estimator 및 구조적 모델을 구축하는 방법을 보여준다.

저자들은 이 작업을 단순히 명명된 방법들의 목록이 아니라, 어떤 학습 문제에 대해서도 "리스크 세트, 검열 메커니즘 및 필트레이션 제한"을 명시적으로 드러내는 조직화된 프레임워크로 규정한다. 궁극적인 목표는 동일한 확률적 구조를 공유하도록 함으로써 (예: 임상 시험에서 신뢰성 공학으로) 방법론의 도메인 간 전이를 용이하게 하는 것이다.