Separation-like irregularity and sample size optimism in high-discrimination logistic prediction models

기술 요약: 고구별능력 로지스틱 예측 모델에서의 분리 유사 불규칙성 및 표본 크기 낙관주의

문제 정의
로지스틱 회귀를 사용하는 임상 예측 모델의 개발은 안정적인 교정(calibration)을 보장하고 과적합을 방지하기 위해 적절한 표본 크기에 크게 의존한다. 전역적 수축 목표(global shrinkage targets)를 기반으로 최소 표본 크기를 결정하기 위해 널리 사용되는 Riley 프레임워크(pmsampsize R 패키지로 구현됨)는, 최근 평가에 따르면 특정 설계 체제에서 공식이 낙관적으로 변할 수 있음을 시사한다. 구체적으로, 예상되는 모델 구별능력(AUC)이 높을 때, 폐쇄형(closed-form) 권고안이 교정 안정성을 유지하는 데 필요한 표본 크기를 과소평가할 수 있다는 우려가 있다. 본 논문은 "분리 유사(separation-like)" 수치적 불규칙성이 발생할 수 있는 고구별능력 설정에 초점을 맞추어, Riley 벤치마크($n_{Riley}$)의 작동 특성을 경험적으로 도출된 필요 표본 크기($n_{req}$, 표본 외 교정 기울기 안정성에 의해 정의됨)와 비교 조사한다.

연구 방법론
저자들은 공식 기반 권고안과 경험적 요구사항을 비교하기 위해 포괄적인 몬테카를로 시뮬레이션 연구를 수행하였다.

• 시뮬레이션 설계: 연구는 네 가지 설계 요인을 교차하는 요인 설계 그리드를 활용하였다:
  • 예측 변수 분포: 정규 분포, 표준화된 왜도(skewed) 연속형(지수 분포), 이진형(베르누이 분포).
  • 신호 밀도: 조밀한(Dense) 형태(모든 $p=10$개의 예측 변수에 신호가 분포) 대 희소한(Sparse) 형태(신호가 3개의 예측 변수에 집중되고 7개는 노이즈).
  • 목표 구별능력: $AUC_{target} \in \{0.70, 0.75, 0.80, 0.85, 0.90\}$.
  • 유병률: $\phi_{target} \in \{0.05, 0.10, 0.20\}$.
• 데이터 생성: 매 시나리오에 대해, 생성된 데이터가 목표 유병률과 AUC를 정확히 일치시키도록 거대 합성 인구($N=1,000,000$)에 대한 중첩 루트 파인딩(nested root-finding)을 통해 파라미터(절편 $\alpha$ 및 신호 강도 $f$)를 교정하였다.
• 벤치마크 ($n_{Riley}$): 전역 수축 목표 $S \geq 0.90$을 사용하여 pmsampsize 패키지로 계산되었다.
• 경험적 요구사항 ($n_{req}$): 반복적인 개발 샘플링 하에서 다음을 만족하는 최소 표본 크기 $n$으로 정의된다:
  1. 기대 로짓 척도 교정 기울기 $E(b_n) \geq 0.90$.
  2. 심각한 미교정 확률 $Pr(b_n < 0.80) \leq 0.20$.
  • $n_{req}$는 결과 노이즈를 제거하기 위해 대규모의 고정된 검증 공변량 집합($N_{val}=50,000$)에서 진리값 기반 교정 기울기를 평가하는 적응형 이분법 탐색(adaptive bisection search)을 통해 결정되었다.
• 메커니즘 진단: $n = n_{Riley}$ 지점에서, 연구는 수치적 병리 현상이 불일치를 설명하는지 평가하기 위해 비수렴 빈도, 분리 경고(극단적인 적합 로짓 또는 확률), 극단적인 적합 위험도를 기록하였다.
• 응용 예시: 실세계 뇌졸중 예측 데이터셋을 사용하여 이러한 진단법의 적용과 비처벌(unpenalized) 및 리지 처벌(ridge-penalized) 로지스틱 회귀의 비교를 입증하였다.

주요 결과

1. 구별능력 의존적 괴리: 중간 정도의 구별능력($AUC_{target} \leq 0.75$)에서는 $n_{Riley}$가 $n_{req}$에 근접하였다. 그러나 구별능력이 높아짐에 따라 $n_{Riley}$는 필요한 표본 크기를 점점 더 과소평가하였다. $AUC_{target} = 0.90$일 때, 공식 기반 권고안은 경험적 요구사항보다 유의미하게 낮았으며(예: 유병률에 따라 -40.5%에서 -47.2%의 상대적 차이), 이는 0.90 목표치보다 훨씬 낮은 교정 기울기를 가진 모델로 이어졌다.
2. 강건성: 고구별능력에서의 주요 과소평가 패턴은 예측 변수 분포(정규, 왜도, 이진)와 신호 밀도 구성(조밀함 vs 희소함)에 관계없이 일관되게 나타났다.
3. 낙관주의의 메커니즘: 고구별능력 설정의 $n = n_{Riley}$에서, 표준 비처벌 로지스틱 회귀 적합은 명목상 수렴을 보고함에도 불구하고 자주 "분리 유사(separation-like)" 동작을 보였다.
   • 완전한 비수렴은 드물었지만, 분리 경고(극단적인 적합 위험 또는 로짓)의 빈도는 AUC와 함께 급격히 증가하였다($AUC=0.90$, 저유병률에서 약 50%에 도달).
   • 이는 Riley 수축 근사치에 사용되는 가능도 기반 정보 척도(예: $\Delta\chi^2$)가 결정론적 예측에 의해 팽창하거나 교란되어, 지나치게 낙관적인 수축 추정치를 유도하고 결과적으로 불충분한 표본 크기 권고를 초래함을 시사한다.
4. 응용 예시: 뇌졸중 데이터셋 사례에서, 공식 권고 표본 크기로 개발된 비처벌 모델은 과적합 징후(교정 기울기 0.802)를 보였으나, 리지 처벌 모델은 더 나은 안정성(기울기 1.013)을 달 확보하였다(다만 약간의 과소적합 경향을 동반함).

핵심 기여

• 경험적 매핑: 본 연구는 폐쇄형 표본 크기 권고안이 실제 요구사항과 일치하거나 벗어나는 지점을 체계적으로 규명하였으며, 목표 구별능력(AUC)을 낙관주의의 주요 동인으로 식별하였다.
• 진단 프로토콜: 권고된 표본 크기에서 평가될 수 있는 수렴 및 분리 관련 진단법(예: 극단적 적합 위험)을 구체화하였다. 이러한 진단법은 가능도 기반 근사가 한계에 부딪혔는지 감지하는 실용적인 도구 역할을 한다.
• 실무적 가이드라인: 저자들은 $n_{Riley}$가 원칙적인 기준점 역할을 하되, 높은 구별능력이 예상될 경우 타겟팅된 시뮬레이션 스트레스 테스트나 처벌된 추정 전략으로 보완되어야 한다는 워크플로우를 제안한다.

의의 및 주장
본 논문은 공식 기반 최소 표본 크기 권고의 정확도가 예상되는 구별능력의 함수라는 경험적 증거를 제공한다고 주장한다. 저자들은 Riley 프레임워크가 중간 정도의 구별능력에서는 방어 가능한 도구이지만, 고구별능력 설정에서는 분리 유사 수치적 불규칙성의 빈번한 발생으로 인해 가능도 기반 수축 근사에 대한 의존성이 무너진다고 단언한다.

그 의의는 왜 폐쇄형 기준이 낙관적이 되는지에 대한 일관된 설명을 제공한다는 점에 있다: 적합된 가능도는 거의 결정론적인 예측에 의해 지배되며, 이는 정보 척도와 유효한 과적합 사이의 연결을 약화시킨다. 결과적으로 저자들은 고구별능력 모델을 계획하는 연구자들이 폐쇄형 계산에만 의존하지 말고, 대신 명시적인 교정 안정성 및 수치 진단을 동반한 시뮬레이션 기반 계획이나 처벌된 추정 전략을 사용할 것을 권고한다. 본 연구는 Riley 프레임워크를 완전히 무효화하려는 것이 아니라, 그 신뢰성의 경계를 정의하고 특정 고위험 영역에서의 한계를 완화하기 위한 메커니즘 기반의 접근법을 제시하는 데 목적이 있다.