📊 statistics

Bayesian sample size calculations for external validation studies of risk prediction models

이 논문은 기존 고정값 기반의 표본 크기 계산의 한계를 극복하고, 예측 모델의 성능에 대한 불확실성을 명시적으로 반영하여 베이지안 프레임워크를 통해 기대 정밀도, 보장 확률, 정보 가치 분석을 기반으로 한 외부 검증 연구용 표본 크기 산정 방법을 제안합니다.

원저자: Mohsen Sadatsafavi, Paul Gustafson, Solmaz Setayeshgar, Laure Wynants, Richard D Riley

게시일 2026-02-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohsen Sadatsafavi, Paul Gustafson, Solmaz Setayeshgar, Laure Wynants, Richard D Riley

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 상황 설정: "예측 모델"이란 무엇인가요?

가상의 상황을 상상해 보세요. 의사가 "이 환자가 병이 악화될 확률이 얼마나 될까?"를 예측하는 **스마트한 계산기 (모델)**를 만들었습니다. 이 계산기가 정말 잘 작동하는지 확인하기 위해, 새로운 병원 (대상 집단) 에서 환자들의 데이터를 가지고 테스트를 해보려 합니다.

이때 가장 중요한 질문은 **"테스트를 위해 몇 명의 환자를 모아야 할까?"**입니다. 너무 적으면 결과가 불확실하고, 너무 많으면 시간과 돈이 낭비됩니다.

2. 기존 방법 (레이리 등): "정해진 숫자 맞추기"

기존의 표준적인 방법 (레이리 등) 은 다음과 같이 생각했습니다.

비유: "우리는 이 계산기가 **정확도 90%**를 낼 거라고 확신합니다. 그래서 95% 신뢰구간 (오차 범위) 이 0.1이 되도록 하려면 1,000 명이 필요하다고 계산했습니다."
문제점: 이 방법은 "우리가 정확히 90% 를 알 수 있다"고 가정합니다. 하지만 실제로는 이전 연구들이 유한한 표본을 기반으로 했기 때문에, 진짜 성능이 90% 일지 85% 일지, 혹은 95% 일지 정확히 알 수 없습니다.
한계: 마치 "내 차가 시속 100km 로 달릴 거라고 확신하고, 그 속도를 유지하려면 연료가 얼마나 필요한지 계산하는" 것과 같습니다. 하지만 진짜 차는 연료 상태나 도로 상황에 따라 달라질 수 있는데, 이를 무시하고 고정된 숫자만 믿는 것입니다.

3. 새로운 방법 (베이지안 접근법): "불확실성을 인정하고 준비하기"

이 논문은 **"우리는 진짜 성능을 정확히 모른다. 하지만 이전 연구들을 바탕으로 '대략 이런 정도일 것 같다'는 추측 (불확실성) 을 가지고 있다"**는 전제에서 출발합니다.

이를 세 가지 핵심 아이디어로 설명할 수 있습니다.

① "불확실성 지도" 그리기 (Prior Distribution)

비유: "이 계산기가 90% 일 수도, 85% 일 수도 있다. 하지만 85~95% 사이일 확률이 가장 높고, 70% 나 99% 일 확률은 아주 낮다"는 확률 지도를 먼저 그립니다.
효과: 고정된 숫자 하나만 믿는 대신, 다양한 가능성 (시나리오) 을 모두 고려하여 표본 크기를 계산합니다.

② "확신 (Assurance)"을 요구하기

비유: 기존 방법은 "평균적으로 오차 범위가 0.1 이 되길 바란다"고 했습니다. 하지만 이 논문은 **"오차 범위가 0.1 이 넘을 확률이 10% 미만이어야 한다 (즉, 90% 확신)"**고 요구합니다.
상황: "평균적으로 비가 안 올 것 같아 (기대값)"라고 믿는 것과, "비가 올 확률이 10% 미만이어야 우산을 안 챙겨도 안심할 수 있어 (확신)"라고 생각하는 차이입니다. 연구자들은 종종 평균보다는 실패하지 않을 확률을 더 중요하게 생각합니다. 이 논문은 그 '확신'을 수치로 계산해 줍니다.

③ "정보의 가치" 계산하기 (Value of Information)

비유: "이 테스트를 위해 1,000 명을 모으는 데 드는 비용이, 그 테스트로 얻을 수 있는 **의학적 이득 (생명을 구하거나 불필요한 치료를 피하는 것)**보다 더 클까요?"
핵심: 단순히 "정확한 숫자를 맞추기 위해" 사람을 모으는 게 아니라, **"이 테스트를 통해 얻는 이익이 투자 비용을 넘어서는지"**를 계산합니다.
- 예: "이미 500 명만 조사해도 치료 전략을 결정하기에 충분한 정보가 나오는데, 1,000 명까지 조사하면 얻는 추가 이익은 1% 도 안 된다?" → 그렇다면 500 명으로 충분하다고 판단합니다.

4. 실제 사례: 코로나19 환자 악화 예측

이 논문은 실제 코로나19 환자 악화 예측 모델을 검증하는 사례를 들었습니다.

기존 방법: 정해진 오차 범위를 맞추려면 1,056 명이 필요하다고 계산했습니다 (주로 '보정 기울기'라는 지표 때문에 숫자가 커짐).
새로운 방법:
1. 불확실성을 고려하고, 90% 확신 수준을 요구했습니다.
2. 하지만 **정보의 가치 (VoI)**를 분석해 보니, 1,056 명까지 조사하는 것은 비용 대비 효과가 떨어지는 (Diminishing Return) 구간이었습니다.
3. 결론: 522 명만 조사해도 치료 전략을 결정하는 데 충분한 정보를 얻을 수 있었고, 불필요한 인력 낭비를 피할 수 있었습니다.

5. 요약: 왜 이 논문이 중요한가요?

이 논문은 연구 설계 방식을 **"숫자 맞추기 (Frequentist)"**에서 **"불확실성 관리와 가치 판단 (Bayesian)"**으로 바꾸라고 제안합니다.

기존: "우리는 A 가 B 라고 알고 있다. 그래서 C 명을 조사하자."
새로운: "우리는 A 가 B 일지 C 일지 모르지만, 이런 분포를 가진 것 같아. 그래서 이렇게 많은 확신을 얻거나, 이렇게 많은 가치를 얻기 위해 D 명을 조사하자."

한 줄 결론:
이 논문은 연구자들이 **"정답을 안다는 착각"**을 버리고, **"모르는 것에 대한 불확실성"**을 정직하게 인정하여, 더 적은 비용으로 더 확실한 결론을 내릴 수 있는 새로운 계산 도구를 제공했습니다. 마치 날씨 예보를 할 때 "내일 비가 온다"고 단정 짓는 대신, "비가 올 확률이 80% 이니 우산을 챙기는 게 좋겠다"라고 판단하는 것과 같은 사고방식의 전환입니다.

1. 문제 제기 (Problem Statement)

기존의 위험 예측 모델 외부 검증 연구의 표본 크기 계산 (예: Riley et al. 의 다중 기준 접근법) 은 다음과 같은 한계를 가집니다.

고정된 가정의 비현실성: 연구 설계 시 모델 성능 지표 (예: c-통계량, 보정 곡선) 에 대한 '고정된 참값'을 가정해야 합니다. 그러나 과거 연구의 유한한 표본으로 인해 대상 인구의 실제 모델 성능은 불확실하며, 이를 고정값으로만 다루는 것은 불완전한 그림입니다.
정밀도 중심의 한계: 기존 방법은 95% 신뢰구간 (CI) 의 폭과 같은 정밀도 (Precision) 기준을 목표로 합니다. 그러나 특정 데이터셋에서 기대되는 정밀도가 달성되지 않을 확률 (Assurance) 을 고려하지 않습니다.
임상 유용성 (Clinical Utility) 의 부적절성: 순이익 (Net Benefit, NB) 과 같은 임상적 의사결정 지표에 대해서는 단순한 정밀도 기반 추론의 관련성이 의문시됩니다. NB 는 의사결정 이론적 측도이므로, 불확실성 하에서 최적의 전략을 식별할 확률이나 정보의 가치 (Value of Information) 를 고려하는 것이 더 적절합니다.

2. 방법론 (Methodology)

저자들은 모델 성능 지표에 대한 불확실성을 사전 분포 (Prior Distribution) 로 모델링하고, 몬테카를로 (Monte Carlo) 시뮬레이션을 통해 미래 검증 연구의 결과를 예측하는 일반적인 베이지안 프레임워크를 제안합니다.

2.1. 핵심 개념 및 가정

모수화 (Parameterization): 대상 인구의 예측 위험 ( $\pi$ $π$ ) 과 관찰된 결과 ( $Y$ $Y$ ) 의 결합 분포를 기술하는 모수 $\theta = \{\phi, c, h\}$ $θ = {ϕ, c, h}$ 를 정의합니다.
- $\phi$ : 결과의 유병률 (Prevalence)
- $c$ : c-통계량 (Discrimination)
- $h$ : 보정 함수 (Calibration function, 로짓 스케일에서 선형으로 가정: $\alpha, \beta$ )
불확실성 모델링: 이전 연구 (또는 메타분석) 의 결과를 바탕으로 $\theta$ 의 사전 분포 $P(\theta)$ 를 설정합니다. 이는 단일 점 추정이 아닌 분포로 표현됩니다.
사전 - 사후 분포 (Pre-posterior Distribution): 고정된 표본 크기 $N$ 에 대해, $\theta$ 에서 샘플링하고 가상의 검증 데이터 $D_N$ 을 생성하여 성능 지표 (CI 폭, NB 등) 의 분포를 추정합니다.

2.2. 제안된 표본 크기 결정 규칙 (Sample Size Rules)

베이지안 접근법은 두 가지 유형의 규칙을 허용합니다.

통계적 성능 지표 (c-통계량, 보정) 에 대한 규칙:
- 기대 CI 폭 (Expected CI Width, ECIW): 미래 연구에서 기대되는 CI 폭이 목표치 ( $\tau$ ) 이하가 되도록 하는 최소 $N$ 을 찾습니다.
- 보장 확률 (Assurance-type Rules): 미래 연구에서 CI 폭이 목표치 이하가 될 확률 (예: 90%) 을 보장하는 $N$ 을 찾습니다. 이는 특정 데이터셋에서 목표 정밀도를 달성하지 못할 위험을 줄여줍니다.
임상 유용성 (Net Benefit, NB) 에 대한 규칙:
- 최적성 보장 (Optimality Assurance): 검증 표본을 통해 도출된 최적 전략이 실제 인구 집단에서 가장 높은 NB 를 가진 전략과 일치할 확률을 목표로 합니다.
- 정보의 가치 (Value of Information, VoI):
  - EVSI (Expected Value of Sample Information): 표본 크기 $N$ 을 늘림으로써 얻는 기대 NB 증가분.
  - rEVSI (Relative EVSI): EVSI 를 완벽한 정보의 가치 (EVPI) 로 나눈 비율. 불확실성으로 인한 손실을 얼마나 줄일 수 있는지 백분율로 표현합니다.
  - ENBS (Expected Net Benefit of Sampling): 샘플링 비용과 임상적 이득을 균형 있게 고려하여 ENBS 를 최대화하는 $N$ 을 찾습니다.

2.3. 구현 (Implementation)

알고리즘: 몬테카를로 시뮬레이션을 기반으로 하며, bayespmtools R 패키지로 구현되었습니다.
데이터 생성: 유병률, c-통계량, 보정 함수의 분포를 기반으로 보정된 위험 ( $p$ ) 의 분포 (Beta, Logit-normal 등) 를 유도하고, 이를 바탕으로 가상의 이진 결과 ( $Y$ ) 와 예측 위험 ( $\pi$ ) 쌍을 생성합니다.
최적화: 표본 크기 결정은 확률적 루트 찾기 (Stochastic Root-finding, 예: Robbins-Monro 알고리즘) 를 통해 수행됩니다.

3. 사례 연구 결과 (Case Study Results)

ISARIC 4C 모델 (COVID-19 입원 환자 악화 예측) 을 런던 지역 (London) 에서 검증하는 시나리오를 적용했습니다.

입력 데이터: 영국 8 개 지역의 내부 - 외부 검증 결과를 바탕으로 한 메타분석 데이터 (유병률, c-통계량, 보정 기울기 등) 를 사전 분포로 사용.
비교 분석:
- 기존 Riley 방법: c-통계량, O/E 비율, 보정 기울기의 CI 폭 목표를 달성하기 위해 1,056 명의 표본이 필요하다고 계산 (보정 기울기가 제한 요인).
- 베이지안 방법 (기대 CI 폭): 기존 방법과 유사한 결과 (약 1,064 명).
- 베이지안 방법 (90% 보장 확률): 불확실성을 고려하여 더 보수적인 1,181 명이 필요하다고 계산.
VoI 분석 및 결론:
- VoI (rEVSI) 곡선을 분석한 결과, 보정 기울기에 대한 엄격한 정밀도 기준을 충족시키기 위해 표본을 522 명에서 1,181 명으로 두 배 이상 늘리는 것은 한계 효용 체감 (Diminishing Returns) 구간임을 발견했습니다. (표본 2 배 증가에 따른 NB 기대 이득은 8.8% 에 불과).
- 보정 곡선의 변동성 분석을 통해, 표본을 522 명으로 줄여도 임상적으로 수용 가능한 오차 범위 내에 있음을 확인.
- 최종 권고: 임상적 유용성과 비용 효율성을 고려할 때, 522 명의 표본 크기가 적절하다고 결론 내렸습니다.

4. 주요 기여 (Key Contributions)

불확실성의 명시적 정량화: 모델 성능에 대한 불확실성을 고정값이 아닌 분포로 표현하여, 연구 설계 단계에서 이를 체계적으로 반영할 수 있게 했습니다.
다양한 표본 크기 규칙의 도입: 단순한 기대 정밀도뿐만 아니라, '보장 확률 (Assurance)'과 '정보의 가치 (VoI)'를 기반으로 한 의사결정 이론적 규칙을 제안했습니다.
임상적 의사결정 중심의 접근: NB(Net Benefit) 에 대한 분석을 위해 신뢰구간 폭 대신 최적 전략 식별 확률과 정보 가치를 강조하여, 임상적 유용성 평가에 더 적합한 프레임워크를 제공했습니다.
실용적 도구 개발: bayespmtools 패키지를 통해 연구자들이 사전 분포를 설정하고 표본 크기나 기대 정밀도를 계산할 수 있는 소프트웨어를 제공했습니다.

5. 의의 및 시사점 (Significance)

연구 설계의 유연성: 기존 방법론이 요구하는 고정된 가정 대신, 연구자의 사전 지식과 불확실성을 유연하게 반영하여 더 현실적인 표본 크기 결정을 가능하게 합니다.
자원 효율성: VoI 분석을 통해 불필요하게 큰 표본 크기를 줄일 수 있는 근거를 제공하여, 연구 자원 (시간, 비용) 을 효율적으로 활용할 수 있게 합니다. (사례 연구에서 약 50% 이상의 표본 절감 가능성 제시)
임상 적용의 합리성: 통계적 정밀도 (CI 폭) 에만 집중하는 것이 아니라, 실제 임상 현장에서의 의사결정 품질 (최적 전략 식별) 을 높이는 데 초점을 맞춥니다.
문화적 변화 유도: 예측 모델의 불확실성을 인정하고 이를 연구 설계에 통합하는 새로운 패러다임을 제시하며, 향후 예측 모델 검증 연구의 표준으로 자리 잡을 가능성을 시사합니다.

이 논문은 위험 예측 모델의 검증 연구가 단순한 통계적 검증을 넘어, 불확실성 하에서의 합리적인 의사결정을 지원하는 도구로 진화해야 함을 강조합니다.