Outcome-Calibrated Regression and Predicted Outcome-Based Inference

기술적 요약: 결과 보정 회귀 및 예측 결과 기반 추론

문제 제기
일반 최소제곱법 (OLS) 회귀는 가우스-마르코프 정리에 따라 최선 선형 불편추정량 (BLUE) 의 속성을 갖는 과학적 추론의 표준 도구로 평가받습니다. 이 속성은 공변량 ($X$) 이 주어졌을 때 예측값이 조건부 불편임을 보장합니다. 즉, $E(\hat{Y} - Y | X = x) = 0$입니다. 그러나 저자들은 종종 간과되는 치명적인 결함을 지적합니다. OLS 예측값은 일반적으로 결과 ($Y$) 가 주어졌을 때 조건부 불편이 아닙니다.

평균 제곱 오차의 최소화 때문에 OLS 예측값은 결과의 모집단 평균 ($\mu_Y$) 으로 체계적으로 수렴합니다. 이로 인해 큰 결과 값은 과소 예측되고 작은 결과 값은 과대 예측되는 '평균으로의 회귀 (RTM)' 현상이 발생합니다. 수학적으로 조건부 예측 편차는 $E(\hat{Y}_{OLS} - Y | Y = y) = (\eta_{OLS} - 1)(y - \mu_Y)$이며, 여기서 $\eta_{OLS} < 1$은 예측값을 실제 결과에 회귀했을 때의 모집단 기울기 (모집단 $R^2$와 동일) 를 나타냅니다.

이 편차는 예측 결과 기반 추론에 있어 무시할 수 없는 문제를 야기합니다. 이는 실제 결과 $Y$가 관측되지 않거나 측정에 비용이 많이 드는 뇌연령 분석, 다유전자 위험 점수 연구, 인과 추론과 같은 분야에서 예측값 $\hat{Y}$를 변수 $W$에 대해 사용하여 추론을 수행하는 일반적인 관행입니다. 저자들은 이러한 수렴이 하류 분석으로 전파되어 $\hat{Y}$와 $W$ 사이의 추정된 연관성을 체계적으로 약화시키고, 편향된 효과 추정치와 잠재적으로 오류가 있는 과학적 결론을 초래한다고 입증했습니다.

방법론: 결과 보정 회귀 (OCR)
이를 해결하기 위해 저자들은 모델 적합 과정에서 직접 결과 조건부 불편성을 강제하는 새로운 프레임워크인 **결과 보정 회귀 (OCR)**를 제안합니다.

1. 보정 제약 조건: 이 방법은 회귀 계수 $\beta$에 두 가지 선형 등식 제약 조건을 부과합니다.

   • 단위 기울기: 예측값을 관측 결과에 회귀했을 때의 기울기가 1 이어야 합니다 ($\hat{\eta} = 1$). 이는 예측값과 관측값 간의 공분산이 관측값의 분산과 같음을 보장합니다.
   • 영 절편: 이 보정 회귀의 절편은 0 이어야 합니다 ($\hat{\alpha} = 0$). 이는 적합된 값의 평균이 관측된 결과의 평균과 일치함을 보장합니다.

2. 폐형 해 (Closed-Form Solution): OCR 은 제약 최소제곱 문제로 공식화됩니다:
   $$\hat{\beta}_{OCR} = \arg\min_{\beta} \frac{1}{2n}\|y - X\beta\|_2^2 \quad \text{s.t.} \quad A\beta = c$$
   여기서 $A\beta = c$는 기울기와 절편 제약 조건을 인코딩합니다. 저자들은 라그랑주 승수를 사용하여 폐형 해를 유도했는데, 이는 OCR 추정량이 OLS 추정량의 선형 조정임을 보여줍니다:
   $$\hat{\beta}_{OCR} = \hat{\beta}_{OLS} - K(A\hat{\beta}_{OLS} - c)$$
   여기서 $K$는 OLS 추정량의 제약 위반을 계수 조정으로 매핑하는 보정 교정 행렬로 작용합니다.

3. 이론적 속성:

   • 제약 가우스-마르코프: 보정 제약 조건을 만족하는 모든 선형 불편 추정량 중에서 $\hat{\beta}_{OCR}$은 최소 분산을 가집니다.
   • 하류 불편성: 잔차 $(\hat{Y}_{OCR} - Y)$가 $Y$ 조건 하에서 외부 변수 $W$와 독립이라는 가정 하에, $\hat{Y}_{OCR}$을 $W$에 회귀했을 때의 회귀 계수는 감쇠 없이 진정한 모집단 계수 $\theta$를 회복합니다.
   • 추론: 이 논문은 $\hat{\beta}_{OCR}$의 분산 - 공분산 행렬, 표준 오차, 유효한 신뢰/예측 구간을 위한 공식을 제공하며, 매개변수 공간의 제한으로 인해 분산이 일반적으로 OLS 보다 크지 않음을 지적합니다.

주요 결과
저자들은 다양한 표본 크기 ($n$), 예측자 차원 ($p$), 그리고 잡음 수준 ($\sigma$) 에서 OLS 와 OCR 을 비교하는 시뮬레이션 연구를 통해 OCR 을 검증했습니다.

• 보정: OLS 는 잡음에 따라 0.335 에서 0.837 로 다양하게 나타나는 보정 기울기 ($\hat{\eta}$) 가 1 보다 현저히 작음을 일관되게 보인 반면, OCR 은 모든 시나리오에서 정확한 보정 ($\hat{\eta} = 1.000, \hat{\alpha} = 0$) 을 달성했습니다.
• 하류 추론: 실제 연관성 $\theta$를 추정하기 위해 예측 결과를 외부 변수 $W$에 회귀했을 때:
  • OLS: 95% 신뢰구간의 경험적 커버리지가 0% 인 심각한 편향된 추정치 (편향 $\approx -0.50$) 를 생성했습니다. 편향과 표준 편차의 비율이 극도로 높아 체계적 편향이 표본 변동을 지배했음을 나타냈습니다.
  • OCR: 거의 불편인 추정치 ($|편향| < 0.25$, 종종 훨씬 낮음) 를 생성했으며, 경험적 커버리지율은 명목상 95% 에 근접했습니다 (95.2% 에서 98.6% 범위).
• 절충: 보정 제약 조건의 강제는 OLS 에 비해 예측 자체의 평균 제곱 오차 (MSE) 를 증가시킵니다. 특히 고잡음 조건에서 그렇습니다. 그러나 예측 오차의 이러한 증가는 하류 추론에서 체계적 편향을 제거하기 위한 필수적인 비용입니다.

의의 및 주장
이 논문은 OLS 의 평균으로의 회귀 편차가 유한 표본 인공물이 아닌 방법의 고유한 속성이며, 하류 추론에 대한 그 결과가 지금까지 거의 규명되지 않았다고 주장합니다.

OCR 의 중요성은 관측되지 않은 실제 값을 대리하는 예측 결과를 사용할 때 유효한 통계적 추론을 가능하게 한다는 점에 있습니다. 저자들은 OCR 이 특히 다음과 같은 경우에 관련성이 높다고 명시합니다.

• 예측된 노출 또는 결과에 대한 인과 효과 추정.
• 뇌연령 격차 분석 및 생물학적 노화 시계.
• 다유전자 위험 점수 연관성 연구.
• 두 표본 멘델 무작위화.
• 모델 예측값만 공유되는 페더레이션 또는 전이 학습 환경.

표준 OLS 예측을 OCR 보정 예측으로 대체함으로써 연구자들은 평균으로의 회귀로 인한 효과 크기의 체계적 감쇠를 제거하여 하류 과학적 결론의 편향을 줄일 수 있습니다. 저자들은 OCR 을 모든 맥락에서 OLS 를 대체하는 것이 아니라, 예측 결과에 기반한 추론이 목표일 때 특히 필요한 프레임워크로 제시합니다.