Adaptive Gaussian Process Search for Simulation-Based Sample Size Estimation in Clinical Prediction Models: Validation of the pmsims R Package

1. 연구 배경 및 문제 제기 (Problem)

임상 예측 모델 (Clinical Prediction Models) 을 개발할 때, 신뢰할 수 있고 일반화 가능한 모델을 얻기 위해서는 적절한 표본 크기 (Sample Size) 를 결정하는 것이 필수적입니다. 그러나 현재까지의 연구들은 다음과 같은 한계를 가지고 있습니다.

• 기존 분석적 방법 (Analytical Methods) 의 한계: pmsampsize 와 같은 기존 도구는 선형 회귀나 일반화 선형 모델 (GLM) 에 국한되어 있으며, 최대우도추정 (MLE) 의 가정 (정규성, 선형성 등) 을 전제로 합니다. 실제 임상 데이터는 비선형성, 상호작용, 복잡한 상관관계를 가지므로 이러한 가정이 위반될 수 있어, 실제 필요한 표본 크기를 과소 또는 과대 평가할 위험이 있습니다. 또한, 이들은 주로 '평균 (Mean)' 기준에 초점을 맞추어 표본 크기 변동성 (Variability) 을 고려하지 못합니다.
• 기존 시뮬레이션 기반 방법의 한계: samplesizedev 와 같은 시뮬레이션 기반 도구는 확률 기반 (Assurance) 기준을 지원하지만, 주로 로지스틱/코크스 회귀 모델과 정규분포 예측변수에만 국한되어 있어 다양한 모델 구조나 데이터 생성 메커니즘에 적용하기 어렵습니다.
• 계산 비용: 전통적인 시뮬레이션 기반 탐색 (예: 격자 탐색, 이분법) 은 방대한 계산 비용을 요구하며, 특히 신호가 약하거나 고차원 데이터에서 비효율적입니다.

이러한 한계를 극복하기 위해, pmsims 라는 새로운 R 패키지를 개발하고, 이를 가우시안 프로세스 (Gaussian Process, GP) 를 활용한 적응형 시뮬레이션 프레임워크로 검증하는 것이 본 연구의 목적입니다.

2. 방법론 (Methodology)

본 연구는 pmsims 패키지의 유효성을 검증하기 위해 두 가지 주요 목적 (Aim) 으로 구성된 포괄적인 시뮬레이션 연구를 수행했습니다.

2.1. 핵심 알고리즘: 적응형 가우시안 프로세스 탐색

pmsims 는 표본 크기 ($n$) 와 모델 성능 간의 관계를 미지의 부드러운 함수로 간주하고, 이를 가우시안 프로세스 (GP) 대리 모델 (Surrogate Model) 로 근사화합니다.

• 작동 원리: 모든 후보 표본 크기를 일일이 평가하는 대신, GP 모델이 현재 불확실성이 가장 높은 지점 (또는 획득 함수 Acquisition Function 을 최대화하는 지점) 을 선택하여 다음 시뮬레이션을 수행합니다.
• 적응형 학습: 새로운 시뮬레이션 결과를 바탕으로 GP 사후분포를 업데이트하며, 목표 성능 ($\tau$) 을 달성하는 최소 표본 크기를 효율적으로 탐색합니다. 이는 베이지안 최적화 원리에 기반합니다.
• 검색 엔진 비교: 연구에서는 세 가지 검색 엔진을 비교했습니다.
  1. GP 기반 (gp): 순수 적응형 GP 탐색.
  2. 이분법 (bisection): 결정론적 이분법 탐색.
  3. 하이브리드 (gp-bs): 초기 이분법으로 구간을 좁힌 후 GP 탐색을 수행하는 3 단계 전략.

2.2. 시뮬레이션 설계

• 데이터 생성: 이항 (Binary), 연속 (Continuous), 생존 (Survival) 결과를 모두 포함하며, 예측 변수의 차원 ($p=10, 100$), 사건 발생률/유병률, 모델 강도 (Model Strength) 를 다양하게 변화시켰습니다.
• 성능 지표: 판별력 (Discrimination: AUC, C-index, $R^2$) 과 보정 (Calibration: Calibration Slope) 을 평가했습니다.
• 평가 기준:
  • 평균 기준 (Mean): 기대 성능이 임계값을 초과.
  • 보증 기준 (Assurance): 높은 확률 (예: 80%) 로 임계값을 초과 (표본 크기 변동성 고려).
• 벤치마킹: Aim 1 에서는 세 가지 엔진을 비교하고, Aim 2 에서는 최적 엔진 (gp) 을 기존 도구 (pmsampsize, samplesizedev) 와 비교하여 독립적인 검증 데이터셋 (30,000 관측치) 에서 달성된 성능 편차를 평가했습니다.

3. 주요 기여 (Key Contributions)

1. pmsims R 패키지 개발 및 검증: 임상 예측 모델의 표본 크기 추정을 위해 유연하고 효율적인 시뮬레이션 기반 프레임워크를 제공하며, 다양한 모델 유형과 데이터 생성 메커니즘에 적용 가능합니다.
2. GP 기반 적응형 탐색의 도입: 기존 격자 탐색이나 이분법보다 훨씬 적은 수의 모델 피팅 (Model Evaluations) 으로 정밀한 표본 크기를 추정할 수 있음을 입증했습니다.
3. 확률 기반 (Assurance) 기준의 실용화: 단순 평균이 아닌, 학습 데이터의 변동성을 고려한 '보증 (Assurance)' 기준을 효율적으로 계산할 수 있는 방법을 제시했습니다.
4. 광범위한 시나리오 검증: 이항, 연속, 생존 데이터, 다양한 예측 변수 수, 그리고 다양한 모델 강도 조건에서 패키지의 안정성과 정확성을 체계적으로 검증했습니다.

4. 연구 결과 (Results)

4.1. Aim 1: 검색 엔진 비교

• 성능 안정성: GP 기반 (gp) 엔진이 모든 결과 유형 (이항, 연속, 생존) 에서 가장 낮은 변동계수 (CV, Coefficient of Variation) 를 보이며 가장 안정적인 표본 크기 추정을 제공했습니다.
• 효율성: 특히 신호가 약한 (Low-signal) 상황과 고차원 (High-dimensional, $p=100$) 환경에서 gp 의 우위가 두드러졌습니다.
• 최적 설정: 평가당 반복 횟수 ($\kappa$) 를 20 으로 설정하고, 총 시뮬레이션 예산 ($B$) 을 약 1,000으로 할당했을 때 성능이 수렴하여 추가적인 계산 비용 대비 효율이 가장 좋았습니다.
• 비교: 결정론적 이분법 (bisection) 은 확률적 최적화 환경에서 비효율적이었으며, 하이브리드 (gp-bs) 는 일부 조건에서 gp 보다 약간 나을 수 있었으나 전반적으로 gp 가 우세했습니다.

4.2. Aim 2: 기존 도구와의 벤치마킹

• 성능 달성도: pmsims (gp 엔진, 평균 기준) 는 이항, 연속, 생존 결과 모두에서 목표 성능과 $\pm 1\%$ 이내의 편차를 보이며 매우 정밀하게 목표에 도달했습니다.
• 기존 도구 대비 우위:
  • pmsampsize (분석적 방법) 는 고 판별력 (High-discrimination) 시나리오에서 표본 크기를 과소평가하여 목표 성능에 도달하지 못했습니다 (편차 최대 -9.84%).
  • samplesizedev (시뮬레이션 기반) 와는 유사한 성능을 보였으나, pmsims 는 더 유연한 모델 설정이 가능했습니다.
• 보장 (Assurance) 기준: pmsims (보증 기준) 는 보수적인 표본 크기를 제안하여 목표 성능을 안정적으로 달성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 계산 효율성과 유연성의 균형: pmsims 는 전통적인 분석적 공식의 한계를 극복하면서도, 무작위 탐색 (Exhaustive Search) 보다 훨씬 적은 계산 비용으로 정확한 표본 크기를 제공합니다.
• 실무 적용 가능성: 연구 결과에 따르면, $\kappa \ge 20$의 반복 횟수와 $B \approx 1,000$의 예산을 사용하는 GP 기반 검색 엔진은 임상 예측 모델 개발에서 원칙적인 (Principled) 표본 크기 계획 수립을 위한 강력한 대안이 됩니다.
• 미래 전망: 이 도구는 연구자들이 특정 예측 모델링 컨텍스트에 맞춰 계산 방법을 맞춤화할 수 있게 하여, 표본 크기 정당화 (Justification) 가 부족한 많은 연구들의 방법론적 엄격성을 높이는 데 기여할 것으로 기대됩니다.

결론적으로, 본 논문은 pmsims 패키지가 임상 예측 모델 개발에 있어 가우시안 프로세스 기반의 적응형 시뮬레이션을 통해 기존 방법론들보다 우월한 정밀도와 효율성을 제공함을 실증적으로 입증했습니다.