Sample Size Calculations for Developing Clinical Prediction Models: Overview and pmsims R package

이 논문은 임상 예측 모델 개발을 위한 표본 크기 산정 방법론을 검토하고, 학습 곡선과 가우시안 프로세스 최적화를 통합한 시뮬레이션 기반 접근법을 제안하며, 이를 구현한 오픈 소스 R 패키지 'pmsims'를 소개합니다.

핵심

이 논문은 **"의료용 예측 모델을 만들 때, 얼마나 많은 환자 데이터를 모아야 할까?"**라는 아주 중요한 질문에 대한 해답을 제시하고 있습니다.

기존에는 "변수 1 개당 환자 10 명" 같은 단순한 규칙을 따르거나, 복잡한 수식을 사용했지만, 이 방법들은 현실의 복잡한 상황 (예: 인공지능 모델, 다양한 질병 데이터) 에는 잘 맞지 않았습니다.

이 논문은 **pmsims**라는 새로운 도구 (R 패키지) 를 소개하며, 더 똑똑하고 안전한 방법을 제안합니다.

---

🏥 비유로 이해하는 이 연구의 핵심

1. 문제 상황: "요리 레시피를 완성하려면 재료가 얼마나 필요할까?"

의료 예측 모델은 새로운 요리 레시피를 만드는 것과 같습니다.

• 데이터 (환자 정보): 재료 (양파, 고기, 소금 등)
• 모델 (예측 알고리즘): 요리사나 레시피
• 목표: 이 레시피로 만든 요리를 다른 식당 (다른 환자 집단) 에서도 맛있게 팔 수 있도록 하는 것.

기존의 문제점:
과거에는 "재료 10 가지면 최소 100 명분의 요리를 만들어야 해"라는 **단순한 규칙 (10-20-10 법칙)**만 따랐습니다. 하지만 이건 너무 단순합니다.

• 재료가 서로 섞이는 방식이 복잡하면 (상호작용) 더 많은 재료가 필요할 수 있습니다.
• 요리사가 초보자라면 (모델이 복잡하거나 불안정하면) 실패할 확률이 높아 더 많은 연습 (데이터) 이 필요합니다.
• 결과: 재료가 부족하면 요리는 실패하고, 다른 식당에 가면 맛이 완전히 달라져서 (과적합, 일반화 실패) 손님이 불평합니다.

2. 새로운 접근법: "학습 곡선"과 "보증서"

이 논문은 두 가지 중요한 개념을 도입합니다.

① 학습 곡선 (Learning Curve): "재료를 늘리면 맛이 어떻게 변할까?"
요리사가 재료를 조금씩 늘려가며 요리를 만들어 봅니다.

• 재료가 100 개일 때: 맛이 60 점.
• 재료가 1,000 개일 때: 맛이 80 점.
• 재료가 10,000 개일 때: 맛이 90 점.
  이렇게 재료의 양 (샘플 크기) 에 따른 맛의 변화 곡선을 그려봅니다.

② 평균 vs 보증 (Assurance): "평균적으로 맛있다 vs 실패하지 않을 확률이 80% 이상"

• 기존 방법 (평균 중심): "재료를 1,000 개 쓰면 평균적으로 맛이 80 점 이상일 거야." (하지만 운이 나쁘면 50 점짜리 요리가 나올 수도 있음)
• 이 연구의 방법 (보증 중심): "재료를 이만큼 쓰면, 10 번 중 8 번 이상은 80 점 이상의 요리를 만들 수 있다는 보장을 줄게." (변동성을 고려하여 실패 확률을 줄임)

3. 해결책: pmsims (스마트 요리 시뮬레이터)

이 논문이 만든 **pmsims**는 마치 **"가상 요리 시뮬레이션 게임"**과 같습니다.

1. 가상 실험실: 실제 환자를 모으기 전에, 컴퓨터 안에서 가상의 환자 데이터를 수천 번 만들어냅니다.
2. 학습 곡선 그리기: 가상의 데이터를 100 개, 500 개, 1,000 개...로 늘려가며 모델을 훈련시킵니다.
3. 최적점 찾기: "어디까지 데이터를 모아야 80% 확률로 좋은 결과가 나올까?"를 찾아냅니다.
4. AI 와 복잡한 데이터도 가능: 단순한 통계 모델뿐만 아니라, 최신 인공지능 (머신러닝) 모델이나 복잡한 환자 데이터도 이 시뮬레이터에 넣어서 계산할 수 있습니다.

---

💡 왜 이것이 중요한가요?

• 시간과 비용 절약: "아마도 1,000 명이면 되겠지?"라고 막연히 생각하다 5,000 명을 모으고 실패할 수도 있습니다. 이 도구를 쓰면 정확한 숫자를 미리 알 수 있어 불필요한 데이터 수집을 막습니다.
• 안전성 확보: "평균적으로 잘 될 것"이 아니라, "실패할 확률이 매우 낮은" 안전한 데이터 양을 찾아줍니다. 이는 의료 현장에서 환자의 생명을 다루는 일에서 매우 중요합니다.
• 유연성: 어떤 종류의 모델 (통계, AI) 이든, 어떤 종류의 데이터 (이분형, 연속형) 이든 맞춰서 계산할 수 있습니다.

📝 한 줄 요약

**"의료 예측 모델을 만들 때, '평균적으로' 잘 될 것 같은 데이터 양이 아니라, '실패할 확률이 매우 낮은' 안전한 데이터 양을 찾아주는 **스마트 시뮬레이션 도구 (pmsims)를 개발했습니다."

이 연구는 의료 AI 가 실제 병원에서 믿고 쓰일 수 있도록, 데이터의 '양'과 '질'을 과학적으로 설계하는 길잡이가 되어줍니다.

기술 요약

논문 개요

이 논문은 임상 예측 모델 (Clinical Prediction Models) 개발 시 필요한 최소 표본 크기를 결정하는 방법론을 체계적으로 검토하고, 기존 방법론의 한계를 극복하기 위해 학습 곡선 (Learning Curves), 가우시안 프로세스 (Gaussian Processes), 그리고 보증 (Assurance) 원칙을 통합한 새로운 시뮬레이션 기반 접근법과 이를 구현한 오픈소스 R 패키지 **pmsims**를 소개합니다.

1. 문제 제기 (Problem)

• 현황: 임상 예측 모델은 의료 의사결정에 널리 사용되지만, 모델 개발에 필요한 적절한 표본 크기를 결정하는 것은 여전히 해결되지 않은 중요한 과제입니다.
• 위험: 불충분한 표본 크기는 과적합 (Overfitting), 낮은 일반화 능력 (Poor generalisability), 편향된 예측을 초래합니다.
• 기존 방법론의 한계:
  • 휴리스틱 (Heuristics): '변수당 10 개의 사건 (EPV)' 규칙 등은 단순하지만 예측 변수의 강도, 상관관계, 모델 복잡성을 고려하지 않아 지나치게 단순화된 지침입니다.
  • 폐형 분석식 (Closed-form formulas): Riley 등 (pmsampsize 패키지) 의 방법론은 해석이 빠르고 직관적이지만, 복잡한 데이터 구조나 머신러닝 모델에는 적용하기 어렵고 분포 가정에 의존합니다.
  • 시뮬레이션 기반: 유연성이 높지만 계산 비용이 크고, 많은 연구자들이 이를 쉽게 활용할 수 있는 도구가 부족합니다.
• 핵심 문제: 대부분의 기존 방법은 평균적인 성능을 기준으로 표본 크기를 산출하지만, 실제 개발 데이터의 변동성으로 인해 특정 모델이 목표 성능에 도달하지 못할 확률을 고려하지 못합니다.

2. 방법론 (Methodology)

2.1 개념적 프레임워크: 평균 vs 보증 (Mean vs. Assurance)

저자는 표본 크기 결정 문제를 두 가지 기준으로 구분합니다.

1. 평균 기반 기준 (Mean-based): 개발 데이터의 평균적인 기대 성능이 목표치 ($M^*$) 를 초과하는 최소 $n$을 찾습니다.
2. 보증 기반 기준 (Assurance-based): 개발 데이터의 변동성을 고려하여, 높은 확률 (예: 80%) 로 모델 성능이 목표치 ($M^*$) 를 초과하도록 하는 최소 $n$을 찾습니다. 이는 모델의 불안정성 (예: 신경망의 초기화 무작위성) 을 고려하여 더 보수적이고 안전한 표본 크기를 제시합니다.

2.2 제안된 접근법: pmsims 패키지

pmsims는 모델에 구애받지 않는 (Model-agnostic) 시뮬레이션 기반 도구로, 다음 4 단계 워크플로우를 따릅니다.

1. 시나리오 정의: 데이터 생성기 (Data generator), 예측 모델 함수, 성능 지표 (AUC, Calibration slope 등), 목표 성능 ($M_{ideal}$) 및 허용 오차 ($d$), 보증 수준 (기본 80%) 을 설정합니다.
2. 데이터 생성기 튜닝: 타겟 인구 집단의 특성을 반영하도록 생성기를 보정하여, 대규모 샘플에서 목표 성능 ($M_{ideal}$) 을 달성하도록 합니다.
3. 학습 곡선 추정: 다양한 샘플 크기 ($n$) 에 대해 합성 데이터를 생성하고 모델을 학습시킨 후, 독립적인 테스트 데이터에서 성능을 평가합니다. **가우시안 프로세스 (GP)**를 사용하여 학습 곡선을 보간하고, 목표 성능의 20 백분위수 (80% 보증 수준) 를 만족하는 $n$을 효율적으로 탐색합니다.
4. 최소 표본 크기 결정: 학습 곡선의 20 백분위수가 임계값을 초과하는 가장 작은 $n$을 최종 표본 크기로 결정합니다.

3. 주요 결과 (Results)

3.1 사례 연구 (Case Studies)

세 가지 다른 시나리오 (유병률, 예측 변수 수, AUC 가 상이한 3 가지 데이터셋) 에 대해 다양한 방법론 (EPV, pmsampsize, samplesizedev, Silvey & Liu 앱, pmsims 등) 을 비교 적용했습니다.

• 표본 크기 편차: 방법론, 성능 지표, 모델 유형 (로지스틱 회귀 vs 머신러닝) 에 따라 추정된 최소 표본 크기가 크게 달라졌습니다.
  • 로지스틱 회귀의 경우: 200~6,000 사이 (모델 오지정 시 20,000 이상까지 증가).
  • 머신러닝 (ML) 모델의 경우: 로지스틱 회귀보다 평균적으로 510 배 더 큰 데이터 (2,000수만 개) 가 필요했습니다.
• pmsims 의 성능: pmsims는 보증 기준 (Assurance criterion) 을 적용하여 보정 계수 (Calibration slope) 가 0.90 이상일 확률이 80% 가 되도록 필요한 표본 크기를 산출했습니다. 그 결과는 다른 시뮬레이션 기반 도구 (samplesizedev) 와 유사하거나 중간 범위에 위치하며, 기존 휴리스틱이나 평균 기반 방법보다 더 보수적이고 현실적인 추정을 제공했습니다.

3.2 비교 분석

• 유연성: pmsims는 사용자가 정의한 데이터 생성기, 모델, 성능 지표를 자유롭게 적용할 수 있어 기존 도구들이 다루지 못했던 복잡한 ML 모델과 비선형 관계에 적합합니다.
• 계산 효율성: 가우시안 프로세스를 활용한 서로게이트 모델링 (Surrogate modelling) 으로 인해, 전통적인 시뮬레이션에 비해 계산 부하를 줄이면서도 정밀한 학습 곡선 추정이 가능합니다.

4. 기여 및 의의 (Contributions & Significance)

1. 새로운 방법론적 프레임워크: 단순한 평균 성능이 아닌, 변동성을 고려한 '보증 (Assurance)' 기준을 표본 크기 계산의 핵심으로 제시하여, 개발된 모델이 실제 임상 환경에서 실패할 확률을 줄이는 데 기여합니다.
2. 실용적인 도구 (pmsims) 개발: 복잡한 시뮬레이션 설정을 사용자 친화적으로 구현한 오픈소스 R 패키지를 제공하여, 연구자들이 다양한 예측 모델 (통계적 모델부터 머신러닝까지) 에 대해 적절한 표본 크기를 계산할 수 있는 접근성을 높였습니다.
3. ML 모델에 대한 통찰: 머신러닝 모델이 전통적인 통계 모델보다 훨씬 더 많은 데이터를 필요로 하며, 모델의 불안정성 (Model instability) 이 표본 크기 요구사항에 큰 영향을 미친다는 것을 실증적으로 보여주었습니다.
4. 미래 연구 방향 제시: 계층적 데이터, 결측치, 공정성 (Fairness) 및 안정성 지표, 그리고 다중 모달 (Multimodal) 데이터 (이미지, 유전체 등) 를 포함한 복잡한 구조에 대한 표본 크기 계산 방법론의 확장 필요성을 강조했습니다.

5. 결론

이 논문은 임상 예측 모델 개발의 핵심인 표본 크기 결정 문제를 해결하기 위해, 이론적 엄밀함과 계산 효율성을 결합한 pmsims 프레임워크를 제안합니다. 이는 과적합을 방지하고 모델의 일반화 성능을 보장하기 위한 필수적인 단계로, 특히 머신러닝과 AI 기반 의료 모델이 급증하는 상황에서 연구 설계의 질을 높이는 데 중요한 기여를 할 것으로 기대됩니다.