기술 요약: 언제 스코어링 규칙이 적절한가? 생존 모델 평가에서의 이론과 실제의 가교

1. 문제 제기

생존 분석에서 모델 평가는 전통적으로 예측의 순위 결정 능력(변별력)만을 평가하는 일치 지수(concordance indices)에 의존해 왔다. 그러나 현대의 생존 모델은 종종 전체 사건 발생 시간 분포에 대한 확률적 예측을 생성하며, 이는 변별력과 교정(calibration)을 모두 포함하는 평가 지표를 필요로 한다.

본 논문이 다루는 핵심 문제는 우측 절단된(right-censored) 생존 데이터 맥락에서 이러한 스코어링 규칙의 **적절성(properness)**이다. 스코어링 규칙이 "적절하다"는 것은 예측된 분포가 실제 데이터 생성 분포와 일치할 때 기대 손실이 최소화됨을 의미한다. 이러한 적절성은 미절단(uncensored) 데이터에서는 잘 이해되어 있으나, 절단(censoring) 하에서의 동작, 특히 독립적 절단 및 유한 표본 상황에서의 동작은 완전히 규명되지 않았다. 구체적으로, 흔히 사용되는 지표인 생존 브리어 점수(Survival Brier Score, SBS), 통합 생존 브리어 점수(Integrated Survival Brier Score, ISBS), 그리고 우측 절단 로그 손실(Right-Censored Log-Loss, RCLL)이 규제 조건(예: 꼬리 부분이 사라지는 조건)이 위반될 때(이는 유한한 추적 관찰이나 완치 분율이 존재하는 실제 연구에서 흔히 발생함) 여전히 엄격하게 적절한지 여부는 불분명하다.

2. 방법론

저자들은 이론적 유도와 광범적인 시뮬레이션 실험을 결합한 이중 접근 방식을 채택하였다.

이론적 프레임워크

• 한계적 적절성(Marginal Properness): 본 논문은 관측 가능한 결과 $(T, \Delta)$에 기반하여 적절성을 정의한다. 여기서 $T = \min(Y, C)$는 관측된 시간이고 $\Delta$는 사건 지표이다. 이 "한계적" 정의는 독립적 절단($Y \perp\!\!\perp C$)을 가정하지만, 예측은 공변량에 의존할 수 있도록 허용한다. 이는 공변량 $X$에 조건화된 조건부 적절성 정의와 대조된다.
• 규제 조건(Regularity Conditions): 분석은 두 가지 설정을 구분한다:
  1. 이상적 설정: 생존 및 절단 분포가 절대 연속이며 꼬리가 사라지는 경우($\lim_{t\to\infty} S(t) = 0$).
  2. 실제적 설정: 유한한 추적 관찰 또는 완치 분율로 인해 분포가 사라지지 않는 꼬리(잔여 질량)를 가질 수 있는 경우.
• 분석된 손실 함수:
  • 정확한 손실(Exact Losses): 생존 연속 확률 점수(Survival Continuous Ranked Probability Score, SCRPS), 음의 로그 가능도(Negative Log-Likelihood, NLL), 그리고 우측 절단 로그 손실(Right-Censored Log-Loss, RCLL).
  • IPCW 손실: 생존 브리어 점수(SBS), 통합 생존 브리어 점수(ISBS), 통합 이항 로그 손실(Integrated Binomial Log-Loss, IBLL), 그리고 통합 생존 절대 점수(Integrated Survival Absolute Score, ISAS). 이들은 절단을 보정하기 위해 역확률 절단 가중치(Inverse Probability of Censoring Weighting, IPCW)를 활용한다.

시뮬레이션 실험

이론적 발견을 검증하고 유한 표본 동작을 평가하기 위해 두 가지 주요 시뮬레이션 연구가 수행되었다:

1. 경험적 적절성 평가: Weibull 분포를 따르는 사건 및 절단 시간을 사용하여 10,000회의 시뮬레이션을 수행하였으며, 저자들은 다양한 표본 크기($n=10$에서 $10,000$까지)에 따른 실제 분포와 오설정된 예측 간의 경험적 손실 차이를 평가하였다. 이를 통해 오설정된 모델이 실제보다 더 낮은 기대 손실을 달성할 수 있는지(적절성 위반 여부)를 테스트하였다.
2. 오설정 민감도: 비비례 위험 로그-노멀 모델(non-proportional hazards log-normal model)을 사용하여 데이터를 생성하였다. 연구는 올바르게 설정된 "오라클(Oracle)" 모델과 점점 더 심하게 오설정된 모델들(예: 상호작용 누락, 잘못된 모수 가족, Cox 모델, 랜덤 생존 포레스트 등)의 시퀀스를 비교하였다. 낮은 절단율과 높은 절단율 환경에서 스코어링 규칙이 이러한 모델들을 구별하는 능력을 평가하였다.
3. 그리드 해상도 민감도: 밀도 추정이 필요한 RCLL의 경우, 예측 그리드 해상도가 절대 점수 및 상대적 순위에 미치는 영향을 테스트하였다.

3. 주요 기여 및 결과

이론적 발견

• RCLL: 독립적 절단 및 표준 규제 조건(사라지는 꼬리) 하에서, 우측 절단 로그 손실(RCLL)은 엄격하게 적절하다. 그러나 규제 조건이 위반되면(즉, 사건과 절단 분포 모두에 양의 잔여 질량이 존재하는 경우), RCLL은 작은 잔여 질량을 갖는 예측을 선호하게 되어 부적절해질 수 있다.
• SBS 및 ISBS: 생존 브리어 점수(SBS)와 통합 생존 브리어 점수(ISBS)는 잔여 꼬리 질량이 0인 경우에만 엄격하게 적절하다. 잔여 질량이 존재할 때(유한한 추적 관찰 시 흔함), 이 점수들은 부적절해진다.
  • 부적절성의 메커니즘: 기대 SBS는 실제 생존 확률을 체계적으로 과소평가하는 생존 확률에 의해 최소화된다. 이 편향의 크기는 잔여 꼬리 질량($\epsilon$)과 평가 시점에서의 누적 사건 확률 대비 절단 생존 확률의 비율에 의해 결정된다.
  • 시간 의존성: 이 편향은 초기 평가 시점에는 미미하지만, 후기 시점(예: 90 백분위수) 및 높은 절단율 하에서는 뚜렷하게 나타난다.
• 정확한 손실: SCRPS와 NLL은 명시적인 가중치나 밀도 가정을 통한 적절한 처리가 없다면, 독립적 절단 하에서 부적절함이 입증되었다. 이는 이상적인 조건에서도 마찬가지인데, 이는 절단 메커니즘을 적절히 고려하지 못하기 때문이다.

경험적 발견

• 유한 표본 위반: 작은 표본($n < 50$)에서 SBS와 ISBS는 오설정된 모델이 실제보다 낮은 손실을 달리는 적절성 위반을 빈번하게 나타냈다. 이러한 위반 빈도는 표본 크기가 증가하고 잔여 꼬리 질량이 감소함에 따라 줄어든다.
• 변별력:
  • SBS: 잔여 질량으로 인한 체계적 편향 때문에, 특히 후기 평가 시점에서 모델 간 변별력이 낮다.
  • ISBS: 시간적 통합 덕분에 SBS보다 견고하지만, 여전히 작은 표본이나 높은 절단율 하에서 감소된 변별력과 간헐적인 부적절성을 보인다.
  • RCLL: 가장 일관된 동작을 보였다. 시뮬레이션에서 엄격한 적절성을 유지하였으며, ISBS에 비해 올바르게 설정된 모델과 오설정된 모델 사이의 구별 능력이 우수하였다.
• 그리드 해상도 효과: RCLL의 절대값은 밀도 근사 그리드에 민감하다. 거친 그리드는 오설정된 모델의 RCLL을 인위적으로 낮출 수 있다. 그러나 모든 모델이 동일한 그리드에서 평가된다면, 상대적 모델 순위는 다양한 그리드 해상도에서도 안정적으로 유지된다.
• 절단율 영향: 절대적인 RCLL 값은 절단율의 영향을 크게 받는다(높은 절단율은 밀도 항에서 생존 항으로 가중치를 이동시킨다). 따라서 서로 다른 절단율을 가진 데이터셋 간에 절대 RCML 값을 비교하는 것은 오해의 소지가 있으며, 데이터셋 내의 상대적 순위가 적절한 지표이다.

4. 의의 및 권고 사항

본 논문은 생존 스코어링 규칙의 이론적 부적절성이 실제 적용 시 오도하는 모델 비교로 이어질 수 있음을 보여준다. 구체적으로, 널리 사용되는 ISBS와 SBS는 추적 관찰이 유한하거나 완치 분율이 존재하는 경우 생존 확률을 과소평가하는 것을 선호할 수 있으며, 이는 잠재적으로 최적이 아닌 모델을 선택하게 만들 수 있다.

제안된 실무 지침:

1. 지점별 SBS를 피하라: 특히 후기 평가 시점에서는 지점별 생존 브리어 점수(pointwise SBS)를 사용하지 마라. 이는 부적절성에 매우 취약하다.
2. ISBS 사용 시 주의하라: ISBS를 사용할 경우, 꼬리 부분의 불안정성을 완화하기 위해 통합 구간을 제한(예: 추적 관찰의 80~90 백분위수까지)하고, 테스트 샘플 크기를 적절한 수준($n \ge 50-100$)으로 유지하라.
3. RCLL을 선호하라: 우측 절단 로그 손실(RCLL)은 이론적으로 근거가 있고 경험적으로 견고한 대안으로 권장된다. 이를 효과적으로 사용하려면:
   • 비교되는 모든 모델에 대해 예측 밀도가 조밀하고 일관된 예측 그리드 상에서 근사되도록 하라.
   • 여러 데이터셋의 벤치마크나 절단율이 변하는 경우, 절대적인 점수 값보다는 상대적 모델 순위를 강조하라.
4. 표본 크기: 신뢰할 수 있는 평가를 위해서는 유한 표본 위반을 최소화하기 위해 충분한 테스트 세트 크기($n \ge 50-100$)가 필요하다.

저자들은 표준적인 조건 하에서는 ISBS에 기반한 기존 벤치마크들이 대체로 신뢰할 수 있지만, 절단 및 꼬리 동작을 더 엄격하게 처리하기 위한 추가적인 방법론적 발전이 필요하다고 결론짓는다. 이 연구는 이론적 적절성 분석을 변별력 및 견고성에 대한 체계적인 경험적 연구로 보완해야 할 필요성을 강조한다.