Detecting and Quantifying Circularity Bias When Composite Quality Ratings Are Used as Covariates: A Methodological Demonstration Using CMS Hospital Excess Readmissions Data

기술 요약: 복합 품질 등급에서의 순환성 편향(Circularity Bias) 탐지 및 정량화

문제 제기
공개적으로 보고되는 위험 조정 품질 지표는 의료 제공자를 비교하고 지급액을 할당하는 데 점점 더 많이 활용되고 있다. 흔히 사용되는 방법론적 관행은 특정 결과(예: 병원 재입원율)를 연구할 때 전체적인 품질을 조정하기 위해 회귀 모델에 복합 품질 등급(예: CMS 종합 별점 등급)을 공변량으로 포함하는 것이다. 본 논문은 이러한 관행에서 발생하는 치명적인 방법론적 위험, 즉 순환성 편향(과잉 조정의 일종)을 식별한다.

복합 등급 $R$이 부분적으로 관심 대상인 결과 $Y$(예: 별점 등급에는 재입원 성과가 포함됨)의 함수로 구성될 때, $R$은 **결과의 자손(descendant of the outcome)**이 된다. 결과의 자손인 이러한 등급을 $Y$를 종속 변수로 하는 모델의 회귀 변수로 포함하는 것은, 결과의 대리 변수를 방정식의 우변에 배치하는 효과를 낳는다. 결과적으로, 등급 계수는 결과와 자기 자신 사이의 기계적 관계의 일부를 흡수하게 되며, 이로 인해 진정한 구조적 예측 변수(예: 병원 소유 형태)의 계수가 체계적으로 **0을 향해 감쇄(attenuated toward zero)**된다. 이는 혼란 변수 조정이나 충돌 편향(collider bias)과는 구별되는 것으로, 분석가가 결과에 의해 부분적으로 결정된 사후 처리 변수를 조건화할 때 발생하는 구조적 오류이다.

방법론
본 논문은 두 가지 측면의 방법론적 접근 방식인 진단 테스트와 분산 분해를 제안한다.

1. 순환성 진단:

   • 절차: 동일한 하위 표본에 대해 모델을 두 번 추정한다:
     • 모델 A: 구조적 예측 변수 $X$에 대해 $Y$를 회래한다 (복합 등급 제외).
     • 모델 B: $X$와 복합 등급 $R$을 포함하여 $Y$를 회귀한다.
   • 해석: 두 모델 간의 $X$에 대한 핵심 계수를 비교한다. 모델 B에서 0을 향한 유의미한 이동이 나타나면 감쇄가 발생한 것이다. 감쇄는 정당한 혼란 조정에서도 발생할 수 있으나, 진단은 구조적 지식에 의존한다: 만약 추가된 변수가 결과의 자손(많은 복합 등급이 그러함)이라면, 그 감쇄는 편향을 의미하며, 조정되지 않은 모델 A가 구조적 연관성에 대해 덜 편향된 추정치를 제공한다.

2. 분산 분해:

   • 진단을 보완하기 위해, 저자들은 집단 간(between-group) 대 집단 내(within-group) 분산 분해를 수행한다. 이는 총 제곱합을 분할하여 그룹 수준의 특성(예: 인구 조사 지역)에 의한 변동과 집단 내 변동을 결정한다. 이는 통계적으로 유의미하지만 실질적으로는 미미한 지리적 계수를 과도하게 해석하는 것을 방지한다.

3. 데이터 및 시뮬레이션:

   • 실증 데이터: 본 연구는 2,446개의 급성기 병원을 포함하는 2026 회계연도 CMS 데이터를 활용한다. 결과 변수는 입원 환자 가중치 적용 초과 재입원율(30일 재입원에 대한 위험 조정 지표)이다. 핵심 예측 변수는 병원 소유 형태(영리 vs 비영리)이다.
   • 몬테카를로 시뮬레이션: 편향의 체계적인 성격을 확인하기 위해, 저자들은 알려진 참 효과를 가진 이진 지표와 결과 사이의 데이터를 시뮬레이션했다. 복합 등급은 결과를 내포하도록 구성되었다. 시뮬레이션은 등급 포함 여부에 따른 추정치를 비교하여, 결과의 자손인 등급을 포함하는 것이 추정치를 0으로 편향시키는 것을 검증했다.

주요 결과

• 실증적 발견: 복합 별점 등급을 제외한 기본 모델(모델 A)에서, 영리 목적 소유는 비영리 소유에 비해 높은 초과 재입원율과 연관이 있었다($+0.0196$, $p < 0.001$).
• 편향의 정량화: (재입원 결과를 내포하는) 별점 등급을 포함했을 때(모델 B), 영리 목적 소유의 계수는 48% 감소한 $+0.0113$으로 감쇄되었다. 별점 등급 자체는 강력한 예측 변수(별점당 $-0.0209$)였으며 변동성의 19.8%를 설명했으나, 이는 주로 등급의 구성 방식에 따른 기계적인 결과였다.
• 시뮬레이션 확인: 알려진 참 효과인 $+0.020$을 대상으로 한 몬테카를로 시뮬레이션에서, 등급을 제외했을 때는 이 효과를 거의 정확하게 회복했다. 반면, 결과가 내포된 등급을 포함했을 때는 추정치가 0으로 편향되었으며(평균 $+0.0099$), 결과적으로 50%의 평균 감쇄가 발생했다. 이는 실제 CMS 데이터에서 관찰된 48%의 감쇄와 매우 유사하며, 이 편향이 체계적임을 확인시켜 준다.
• 분산 분해: 초과 재입원율의 변동 중 인구 조사 지역 간 변동은 단 **1.1%**였으며, 98.9%는 지역 내 변동이었다. 이는 지역 계수가 통계적으로 유의미할 수는 있으나, 지역 멤버십이 실제 지표의 변동을 설명하는 데는 무시할 만한 수준임을 나타낸다.
• 강건성: 영리 소유와 초과 재입원 사이의 양의 상관관계는 6가지 특정 임상 조건(예: 심부전, 폐렴)에 걸쳐 안정적으로 유지되었으나, 그 크기는 다양했다.

의의 및 주장
본 논문은 세 가지 주요 기여를 주장한다:

1. 위험의 공식화: 복합 등급이 결과의 자손인 맥락에서 발생하는 "결과의 자손" 문제를 명시적으로 식별하고 공식화하며, 이를 표준적인 혼란 또는 충돌 편향과 구분한다.
2. 간단한 진단 도구: 추가적인 데이터 없이도 이 특정 과잉 조정 편향을 탐지하고 정량화할 수 있는 저비용의 투명한 진단법(등급 포함 여부에 따른 모델 비교)을 제안한다.
3. 변동의 명확화: 분산 분해를 통해, 통계적으로 유의미한 그룹 계수(예: 지역)가 실제 변동의 거의 전무한 부분을 설명할 수 있음을 보여줌으로써, 통계적 유의성을 실질적 중요성과 동일시하는 것에 경종을 울린다.

한계 및 범위
저자들은 다음과 같은 제한 사항을 언급하며 신중한 입장을 유지한다:

• 인과적 추정치가 아님: "조정되지 않은" 추정치(등급 제외)는 순환성 측면에서는 덜 편향되어 있으나, 소유 효과에 대한 인과적 추정치는 아니다. 이는 환자 구성(patient mix)에 의한 표준적인 혼란 가능성이 여전히 존재한다. CMS 초과 재입원율은 동료 집단 내에서는 위험 조정되지만, 병원 수준에서는 그렇지 않기 때문이다.
• 복합적 성격: 저자들은 결과 자체가 6가지 조건의 복합체라는 점을 인정한다. 그러나 가중치 부여 방식이 투명하며 구조적 예측 변수를 내포하지 않으므로, 본 연구에서 다루는 특정 순환성 문제와는 무관하다.
• 일반화 가능성: 진단 및 분해 도구는 복합 등급이 결과의 자손으로서 공변량으로 고려되는 모든 환경(예: 요양원, 투석 시설)에 전이 가능하다.

결론적으로, 본 논문은 결과를 내포하는 복합 등급을 공변량으로 포함하는 것은 중립적인 조정이 아니라 감쇄 편향의 원인이 된다고 주장한다. 제안된 도구들을 통해 연구자들은 이러한 편향을 탐지하고 구조적 연관성 및 지리적 변동에 대한 해석을 재정립할 수 있다.