The effect of collinearity and sample size on linear regression results: a simulation study

기술 요약: 선형 회귀 결과에 미치는 공선성과 표본 크기의 영향

문제 제로 (Problem Statement)
최소제곱법(OLS) 회귀 분석에서 다중공선성은 계수 추정치의 분산을 팽창시켜 신뢰 구간을 넓히고, 잠재적으로 통계적 추론의 신뢰성을 저하시킨다. 단순한 경험칙(rules of thumb)에 대한 오랜 우려에도 불구하고, 응용 연구에서는 "문제가 되는" 공선성을 진단하기 위해 고정된 분산 팽창 요인(VIF) 임계값(예: 4 또는 10)을 빈번하게 사용한다. 이러한 관행은 표본 크기가 50개 미만인 연구부터 수백만 개의 데이터 포인트를 포함하는 데이터셋에 이르기까지, 매우 상이한 표본 크기를 가진 연구 전반에 걸쳐 일률적으로 적용된다. 여기서 다루는 핵심 문제는 공선성의 실질적인 결과가 유한 표본 현상(finite-sample phenomena)이라는 점이다. 즉, 언제 발생하는 분산 팽창이 추정 정밀도, 범위(coverage), 그리고 추론 결론을 의미 있게 저해할 만큼 커지는지에 대한 정량적 가이드라인이 부족하며, 특히 모델 오설정(misspecification)이 존재하는 경우 더욱 그러하다. 기존의 시뮬레이션 연구들은 표본 크기가 작고(통상적으로 $N \le 1,000$) VIF 범위가 좁아, 현대 역학 및 생물 의학 데이터 과학에서 흔히 볼 수 있는 대규모 데이터셋과 공선성 간의 상호작용을 포착하지 못했다는 한계가 있다.

방법론 (Methodology)
저자들은 공선성과 표본 크기가 선형 회귀 결과에 미치는 공동 영향을 체계적으로 조사하기 위해 포괄적인 시뮬레이션 연구를 수행하였다.

• 설계: 연구는 표본 크기($N$)를 100에서 100,000까지, 공선성 수준(VIF)을 1(없음)에서 50(극심함)까지 변화시켰다.
• 데이터 생성: 각 시나리오에 대해 1,000개의 데이터셋을 생성하였다. 예측 변수는 표준 정규 분포에서 추출되었으며, 목표 VIF를 달fulness하기 위해 지정된 상관 행렬으로부터 유도된 촐레스키 인자(Cholesky factor)를 사용하여 변환되었다. 종속 변수는 주요 관심 예측 변수($\beta_{main} = 2$)를 포함한 6개의 예측 변수를 사용하는 선형 모델을 통해 생성되었다.
• 시나리오: 시뮬레이션은 올바르게 설정된 모델(correctly specified models)과 누락된 변수로 인해 편향이 유도되는 오설정된 모델(misspecified models) 모두를 다루었다.
• 지표: 주요 계수에 대해 다음 네 가지 결과를 평가하였다:
  1. 범위 (Coverage): 95% 신뢰 구간(CI)이 실제 값을 포함하는 비율.
  2. 오차 및 편향 (Error and Bias): 평균 절대 오차(MAE) 및 체계적 편향.
  3. 전통적 검정력 (Traditional Power): 신뢰 구간이 0을 제외하는 비율.
  4. 정밀도 보증 (Precision Assurance): 95% 신뢰 구간이 실제 효과 주변의 사전 지정된 실질적 마진($\beta_{main} \pm c_{powval}$) 내에 완전히 들어올 확률로 정의된 정밀도 확률 지표. 이 지표는 공선성이 없을 때 $N=1,000$에서 80%의 검정력을 갖도록 보정되었다.

주요 결과 (Key Results)

• 올바르게 설정된 모델:
  • 범위 (Coverage): 공선성은 명목상의 범위에 실질적인 영향을 미치지 않았다. 95% 신뢰 구간은 모든 표본 크기와 VIF 수준에서 실제 계수를 안정적으로 포착하였다.
  • 편향 (Bias): 공선성 자체에 의해 체계적인 편향이 도입되지 않았다. 작은 표본($N=100$)에서 관찰된 미세한 편차는 OLS 편향이라기보다 유한 표본 변동성 및 몬테카를로 오차에 기인한 것이다.
  • 정밀도 및 검정력: 공선성은 정밀도와 검정력을 크게 감소시켰으나, 이 효과의 크기는 표본 크기에 크게 의존했다.
    • 작은 표본 크기($N \approx 100$)에서는 경미한 공선성(VIF < 2)조차도 오차를 크게 팽창시키고 정밀도 보증과 전통적 검정력을 모두 감소시켰다.
    • 큰 표본 크기($N \ge 50,000$)에서는 극심한 공선성(VIF = 50) 하에서도 추정치가 견고하게 유지되었으며, 높은 정밀도 보증이 유지되었다.
• 오설정된 모델 (누락 변수 편향):
  • 관련 예측 변수가 누락되었을 때, 공선성은 결과적인 편향을 강력하게 증폭시켰다.
  • 편향된 시나리오에서는 최소한의 공선성(VIF $\approx$ 1.1)만으로도 정밀도 보증이 급격히 떨어지고 범위(coverage)가 감소했는데, 이는 편향이 추정치를 실제 값으로부터 멀어지게 만드는 동시에 신뢰 구간을 넓혔기 때문이다.
• 효과 크기 및 예측 변수 수: 상관된 예측 변수의 수와 전체 예측 변수의 수는 표본 크기에 비해 결과에 미치는 영향이 미미했다. 효과 크기는 전통적 검정력(0 포함에 대한 강건성)에는 영향을 주었으나, 정밀도 보증, 범위 또는 MAE에는 영향을 주지 않았다.

의의 및 실무적 시사점 (Significance and Practical Implications)
본 연구는 고정된 VIF 임계값을 기계적으로 적용하는 것에 이의를 제기한다. 저자들은 공선성을 표본 크기 및 잠재적 편향 원인과 연관 지어 해석해야 한다고 결론지었다:

1. 맥락 의존적 임계값: 소규모 연구에서는 경미한 VIF도 중대한 결과를 초래할 수 있는 반면, 매우 큰 규모의 연구에서는 극심한 VIF도 실질적으로 무시할 수 있을 수 있다.
2. 변수 제외의 위험: VIF를 줄이기 위해 단지 예측 변수를 제외하는 것은 권장되지 않는다. 모델 오설정이 존재하는 상황에서 공선성을 제거하기 위해 변수를 삭제하는 것은, 공선성이 증폭시키는 누락 변수 편향을 도입하거나 악화시켜 오히려 추론을 망칠 수 있다.
3. 가이드 도구: 저자들은 연구자들이 다양한 연구 규모와 모델링 가정에 따라 공선성이 정밀도 보증에 미치는 영향을 예측할 수 있도록 히트맵(예: 그림 5)을 제공한다. 이러한 도구는 경직된 컷오프를 넘어, 표본 크기와 모델 구조를 명시적으로 포함하여 의사결정에 반영할 수 있는 경험적 근거가 있는 평가를 용이하게 한다.

본 논문은 공선성이 분산을 팽창시키기는 하지만, 올바르게 설정된 모델에서 본질적으로 추정치에 편향을 일으키지는 않는다는 점을 강조한다. 그러나 오설정된 모델에서의 편향과 공선성의 상호작용은 고정된 임계값으로는 포착할 수 없는 심각한 추론 위험을 초래한다.