📊 statistics

Extending Deep Cox Survival Models with Case-Cohort risk set Sampling

이 논문은 딥 코스(deep Cox) 비례 위험 신경망에 케이스-코호트 리스크-셋 샘플링(case-cohort risk-set sampling)을 최초로 통합하고 이를 평가하며, 중첩 케이스-컨트롤 샘플링이 전체 리스크-셋 성능을 일관되게 근사하는 반면, 미니 배치 학습을 통해 케이스-코호트 샘플링이 상당한 계산 비용 절감과 함께 대등한 정확도를 달성할 수 있음을 입증한다.

원저자: Justine Nasejje, Michael P. Falk, Marvin N. Wright, Wende Clarence Safari, Pierre-Philippe Dechant, Raeesa Manjoo Docrat, Rukia Nuermaimaiti

게시일 2026-09-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Justine Nasejje, Michael P. Falk, Marvin N. Wright, Wende Clarence Safari, Pierre-Philippe Dechant, Raeesa Manjoo Docrat, Rukia Nuermaimaiti

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

의학 연구와 공학 분야에서, 무언가가 언제 일어날지를 정확히 아는 것보다 언제 일어날 것인지를 예측하는 것이 종종 더 가치 있는 일이 됩니다. 기계 부품이 고장 나든 환자가 질병에서 생존하든, 과학자들은 사건이 발생할 때까지의 시간을 연구하기 위해 생존 분석(survival analysis)이라는 방법을 사용합니다. 이 분야의 주요 과제는 연구가 모든 대상이 사건을 경험하기 전에 종료되는 경우가 많다는 점입니다. 즉, 연구가 종료될 때까지 일부 사람들은 여전히 살아있거나 기계는 여전히 작동 중일 수 있습니다. 이를 우측 절단 데이터(right-censored data)라고 하며, 이는 존재하는 가치 있는 데이터를 버리지 않고도 이러한 불완전한 정보를 처리할 수 있는 특별한 통계적 도구를 필요로 합니다. 수십 년 동안 이 분야의 표준 도구는 특정 시점에 여전히 위험에 처해 있는 집단, 즉 위험 집단(risk set)을 기준으로 위험도를 계산하는 모델이었습니다.

데이터의 규모가 폭발적으로 커짐에 따라, 수천 명의 환자를 추적하고 수백만 개의 데이터 포인트를 기록하는 현대적 연구에서 이러한 전통적인 계산 방식은 병목 현상이 되었습니다. 데이터를 처리하기 위해 컴퓨터는 사건이 발생할 때마다 연구에 참여 중인 모든 사람을 매번 확인해야 하며, 이 과정은 엄청난 컴퓨정 능력과 메모리를 요구합니다. 이는 대규모 데이터셋을 활용하는 데 능숙하지만, 무겁고 반복적인 계산을 수행해야 할 때 어려움을 겪는 현대의 강력한 인공지능 기술을 사용하는 데 장벽이 됩니다. 연구자들은 이러한 고급 모델의 정확도를 유지하면서도, 21세기의 방대한 데이터셋에서 실행될 수 있을 만큼 빠르게 만드는 방법을 고민하고 있습니다.

남아프리카 공화국, 독일, 영국 대학의 연구진은 복잡한 패턴을 찾아내도록 설계된 인공지능의 한 유형인 딥 뉴럴 네트워크(deep neural networks)를 훈련시키는 새로운 방법을 테스트함으로써 이 문제를 해결했습니다. 그들의 목표는 매번 모든 사람을 한꺼번에 보는 대신, 신중하게 선택된 표본만을 봄으로써 훈련 과정을 가속화할 수 있는지 확인하는 것이었습니다. 그들은 두 가지 서로 다른 샘플링 전략을 비교했습니다. 하나는 매 사건마다 비교할 소수의 새로운 사람들을 뽑는 방식이고, 다른 하나는 연구 시작 시점에 고정된 그룹을 선정하여 끝까지 유지하는 방식입니다. 연구진은 정답을 알고 있는 컴퓨터 생성 데이터와 실제 유방암 환자 데이터셋 모두에 이 방법들을 테스트하여, 모델이 생존을 얼마나 잘 예측하는지, 그리고 컴퓨터 메모리와 시간이 얼마나 소요되는지를 측정했습니다.

연구진은 매 사건마다 새로운 그룹을 뽑는 방식인 중첩 사례-대조 샘플링(nested case-control sampling)이 거의 완벽하게 작동한다는 것을 발견했습니다. 전체 데이터셋을 사용하든 작은 표본만을 사용하든, 이 접근 방식은 모든 사람을 살펴보는 느리고 무거운 방식과 거의 동일한 예측 결과를 만들어냈습니다. 모델은 올바른 패턴을 학습했으며, 예측값은 표준적인 접근 방식만큼 정확했지만, 막대한 계산 비용 없이도 이를 수행했습니다. 이는 많은 대규모 문제에 대해, 연구자들이 예측력을 잃지 않으면서도 모델을 훨씬 빠르게 실행하기 위해 이 샘플링 기법을 안전하게 사용할 수 있음을 시사합니다.

사례-코호트 샘플링(case-cohort sampling)이라 불리는 두 번째 방법은 다르게 행동하며 더 복잡한 이야기를 보여주었습니다. 연구진이 전체 연구를 대표하기 위해 매우 작은 고정 그룹을 사용했을 때, 모델은 상당한 어려움을 겪었습니다. 아주 작은 그룹을 대상으로 한 테스트에서, 고위험군과 저위험군 환자를 구별하는 모델의 능력은 급격히 떨어졌고 예측은 신뢰할 수 없게 되었습니다. 그러나 연구진은 컴퓨터가 데이터를 처리하는 방식이 모든 것을 바꾼다는 사실을 발견했습니다. 전체 데이터셋을 한꺼번에 처리하는 방식에서 작고 빠른 배치(batch) 단위로 처리하는 방식으로 전환하자, 작은 고정 그룹의 성능이 극적으로 향起来되었습니다. 이 더 빠른 처리 방식을 통해, 작은 그룹조차 모델이 효과적으로 학습하도록 도울 수 있었으며, 상당한 컴퓨팅 자원을 절약하면서도 대부분의 정확도를 회복했습니다.

이 연구는 또한 이러한 방법들이 컴퓨터 자체에 어떤 영향을 미치는지도 살펴보았습니다. 모든 데이터를 한꺼번에 처리하는 전통적인 방식은 엄청난 양의 메모리를 요구하며, 종종 6기가바이트 이상에 달해 일반적인 컴퓨터를 다운시킬 수 있습니다. 데이터를 배치 단위로 처리하는 방식으로 전환함으로써 메모리 사용량은 0.5기가바이트 미만으로 줄어들었고, 이를 통해 이러한 고급 모델을 훨씬 작은 사양의 기기에서도 사용할 수 있게 되었습니다. 연구진은 작은 고정 그룹 방식이 컴퓨터가 모든 데이터를 한꺼번에 볼 때 불안정하다는 것을 관찰했지만, 배치 방식이 오류를 완화하여 모델이 꾸준히 학습할 수 있도록 해준다는 점을 확인했습니다. 샘플의 크기와 데이터 처리 방식 사이의 이러한 트레이드오프(trade-off)는 과학자들에게 새로운 도구 상자를 제공합니다. 즉, 항상 견고한 방법을 사용할 수도 있고, 데이터 처리 방식을 조정할 의사가 있다면 더 작고 빠른 방법을 사용할 수도 있습니다.

궁극적으로 이 연구는 고전 통계학과 현대 인공지능 사이의 간극을 메우고 있습니다. 이는 생존 데이터를 분석하는 데 필요한 힘든 작업이 매 순간 모든 사람을 일일이 확인함으로써 이루어질 필요는 없다는 것을 보여줍니다. 스마트한 샘플링 기법을 사용하고, 특히 이를 현대적인 훈련 방법과 결합함으로써, 연구자들은 정확하면서도 효율적인 강력한 모델을 구축할 수 있습니다. 이 연구 결과는 미래의 생존 분석에 있어 핵심은 단순히 더 많은 데이터를 갖는 것이 아니라, 숫자 속에 숨겨진 진실을 보존하면서도 우리 컴퓨터의 한계를 존중하는 방식으로 데이터를 바라보는 법을 아는 것임을 시사합니다.

기술 요약: Case-Cohort 위험 집합 샘플링을 통한 딥 Cox 생존 모델의 확장

문제 정의
심층 신경망(DNN)은 Cox 부분 가능도(partial likelihood)를 사용하여 학습할 때 생존 분석에서 우수한 예측 성능을 입증해 왔다. 그러나 대규모 데이터셋으로 이러한 모델을 확장하는 데 있어 중요한 병목 현상이 존재한다. 즉, 관찰된 모든 이벤트 시간마다 전체 위험 집합(full risk set)을 평가하는 것은 상당한 계산 및 메모리 비용을 초는 데 따른다. 이러한 한계는 딥 Cox 모델의 확장성을 제한한다. Nested Case-Control (NCC)와 같은 위험 집합 샘플링 기법이 신경망에 적응되어 규모를 줄이는 데 사용되어 왔으나, 베이스라인에서 한 번에 정적 서브코호트(subcohort)를 샘플링하는 설계인 Case-Cohort (CC) 샘플링을 딥 Cox 프레임워크에 통합하는 연구는 여전히 미개척 분야로 남아 있다. 본 연구는 딥 생존 학습 내에서의 CC 샘플링 적용 및 평가에 관한 기존 문헌의 공백을 메우며, 특히 풀 배치(full-batch) 및 미니 배치(mini-batch) 학습 체제 모두에서 NCC 및 전체 위험 집합 방식과의 트레이드오프를 조사한다.

방법론
저자들은 위험 집합 샘플링을 포함하는 Cox 기반 DNN을 위한 학습 프레임워크를 제안한다. 핵심적인 통계적 기초는 Cox 비례 위험 모델이며, 여기서 네트워크 출력 $\eta_i = f_\theta(X_i)$ 는 선형 예측량 $\beta^\top X_i$ 를 대체한다. 모델은 음의 로그 부분 가능도(negative log-partial likelihood)를 최소화한다.

본 연구는 각 이벤트 시간 $t_j$ 에서 위험 집합 $R(t_j)$ 를 구성하기 위해 세 가지 샘플링 전략을 평가한다:

Full Risk Set (전체 위험 집합): 모든 위험 인원을 사용하는 기본 방식 ( $R(t_j) = \{i : T_i \ge t_j\}$ ).
Nested Case-Control (NCC): 각 이벤트에 대해, 현재 위험 집합에서 무작위로 고정된 수의 대조군( $m$ )을 샘플링한다.
Case-Cohort (CC): 베이스라인에서 크기 $m$ 의 정적 서브코호트를 한 번 샘플링한다. 각 이벤트 시간에는 이벤트 케이스와 아직 위험 상태에 있는 서브코호트 구성원들로 구성된 위험 집합이 형성된다.

이 프레임워크는 Adam 옵티마이저를 통해 학습되는 피드 포워드 신경망(ReLU 활성화 함수를 가진 3개의 은닉층, 드롭아웃 규제 포함)을 사용하여 구현된다. 평가는 두 가지 뚜렷한 학습 체제를 포괄한다:

Full-Batch (풀 배치): 각 그래디언트 업데이트마다 전체 데이터셋을 사용한다.
Mini-Batch (미니 배치): 데이터를 배치로 분할하며, 위험 집합은 현재 배치 내에 존재하는 개인들로 제한된다. 미니 배치에서의 CC의 경우, 위험 집합은 고정된 서브코호트와 현재 배치의 교집합, 그리고 이벤트 케이스로 구성된다.

실험은 다음 데이터를 대상으로 수행되었다:

합성 데이터(Synthetic Data): 진정한 선형 예측량과 잠재적 위험 구조를 회복하는지 평가하기 위해 생성된 데이터 ( $N=6,000$ ).
실제 데이터(Real-World Data): 복잡한 임상 데이터에 대한 성능을 평가하기 위한 METABRIC 유방암 데이터셋 ( $N \approx 1,800$ ).

성능은 일치 지수(C-index), 통합 브라이어 점수(IBS), 피어슨 및 스피어먼 상관계수(합성 데이터용), 그리고 계산 자원 활용도(CPU 및 메모리)를 통해 측정되었다.

주요 기여
저자들이 아는 바에 따르면, 본 연구는 딥 Cox 비례 위험 신경망 내에서 Case-Cohort 위험 집합 샘플링의 최초의 통합 및 체계적 평가를 제공한다. 구체적인 기여는 다음과 같다:

새로운 통합: 고전적인 Case-Cohort 설계를 딥 신경망 구현의 Cox 모델에 적응시켜, 딥 생존 학습 프레임워크의 공백을 해결하였다.
학습 정식화: 스케일러블한 학습을 가능하게 하기 위해 미니 배치 확률적 최적화 내에서 Case-Cohort 샘플링을 포함하는 학습 정식화를 개발하였다.
체계적 비교: 딥 Cox 모델 내에서 Full Risk Set, NCC, CC 전략을 최초로 경험적으로 비교하여, 계산 비용과 예측 정확도 사이의 트레이드오프를 분석하였다.

결과

Full-Batch 학습:
- NCC: 모든 구성에서 전체 위험 집합 베이스라인을 일관되게 근사하였다. 합성 데이터에서 C-index 값(~0.78)이 베이스라인과 거의 동일했으며, 로그-위험 상관관계는 0.99에 달했다.
- CC: 서브코호트 크기( $k$ )에 높은 민감도를 보였다. 심각한 다운샘플링( $k=5$ )은 상당한 성능 저하(베이스라인 대비 C-index 약 23% 감소)와 잠재적 위험 구조의 불량한 회복을 초래했다. 그러나 서브코호트 크기를 늘리면(예: 합성 데이터에서 1,000, METABRIC에서 500) 오버피팅이 완화되고 베이스라인 성능을 회복했으나, 훈련 시간은 증가하였다.
Mini-Batch 학습:
- NCC: 높은 안정성을 유지하며 전체 위험 베이스라인을 추적하였다.
- CC: 미니 배치 실행은 풀 배치 CC에서 관찰된 성능 저하를 실질적으로 감소시켰다. 풀 배치에서 성능이 낮았던 작은 서브코호트( $k=5$ )가 미니 배치에서는 약 0.738의 C-index를 달성하였다(베이스라인 대비 약 5.3% 감소). 서브코호트 크기를 15 이상으로 늘리면 CC가 베이스라인에 근접한 C-index 및 IBS 점수를 회복할 수 있었다.
- 자원 효율성: 미니 배칭은 피크 메모리 사용량을 획기적으로 줄였다(풀 배치 시 약 6 GB에서 미니 배치 시 약 0.5 GB로). 미니 배치에서 서브코호트 크기를 늘리는 것은 메모리 사용량을 크게 증가시키지는 않았으나, 실제 훈련 시간(wall-clock time)은 증가시켰다.
위험 구조 회복: 합성 실험에서 NCC는 잠재적 위험 구조를 일관되게 보존하였다. 작은 서브코호트를 가진 CC는 풀 배치에서 진정한 위험 순위를 회복하는 데 어려움을 겪었으나, 미니 배치 설정에서는 눈에 띄는 개선을 보였다.

의의 및 주장
본 논문은 적절한 샘플링 전략이 선택된다면 위험 집합 샘플링이 예측 성능을 희생하지 않으면서도 딥 Cox 모델에서 상당한 계산적 이점을 제공할 수 있다고 주장한다.

NCC는 다양한 샘플링 구성에서도 일관된 성능을 제공하는 견고한 방법으로 제시된다.
미니 배치 CC는 서브코호트 크기가 적절히 선택될 때 효과적인 대안으로 식별되며, 계산 효율성과 통계적 정확도 사이의 균형을 제공한다.
본 연구는 CC 샘플링이 데이터가 자연스럽게 Case-Cohort 연구 설계로부터 발생할 때 특히 가치가 있음을 강조하며, 이는 해당 데이터에 대한 자연스러운 분석 전략을 제공한다.
연구 결과는 풀 배치 CC가 성능 저하를 피하기 위해 큰 서브코호트를 필요로 하는 반면, 미니 배치 훈련의 확률적 특성은 CC가 훨씬 적은 샘플을 사용하여 전역적 위험 역학을 합성함으로써 적은 비용으로 전체 예측 능력을 달 수 있게 함을 시사한다.

저자들은 자신들의 프레임워크가 고전적인 Cox 부분 가능도를 현대적인 대규모 학습으로 확장하며, 풀 배치 설정에서는 정확한 정식화를 회복하고 효율적인 샘플링 설계를 통합한다고 결론짓는다.

유사한 논문