Weighted Extensions of the Kolmogorov-Smirnov, Cramer-von Mises, and Anderson-Darling Tests for Assessing Covariate Balance

기술 요약: 공변량 균형을 위한 분포 기반 적합도 검정의 가중치 확장

문제 제기
공변량 균형(covariate balance)을 평가하는 것은 인과 추론에서 필수적인 진단 단계로, 측정되지 않은 특성이 추정된 처치 효과를 유의미하게 교란하지 않는다는 가정을 뒷받침하는 데 필요합니다. 균형은 종종 성향 점수 가중치 부여(propensity-score weighting), 엔트로피 균형(entropy balancing), 또는 층화(stratification)와 같은 사후 조정을 통해 달성되지만, 현재의 진단 관행은 표준화된 평균 차이(SMD) 및 분산 비율과 같은 요약 통계량에 크게 의존하고 있습니다. 이러한 요약 통계량은 특정 지점(예: 평균 또는 분산)만을 타겟으로 한다는 결정적인 한계를 지니며, 이러한 특정 모멘트에 영향을 주지 않으면서 왜도(skewness), 질량 위치(mass location), 또는 꼬리 행동(tail behavior)의 분포적 차이를 탐지하는 능력은 본질적으로 결여되어 있습니다.

경험적 누적 분포 함수(ECDF)에 기반한 분포 적합도 검정—구체적으로 콜모고로프-스미르노프(KS), 크래머-폰 미제스(CVM), 안데르센-달링(AD) 검정—은 전체 분포를 비교함으로써 더 포괄적인 대안을 제공합니다. 그러나 본 연구 이전까지, 이러한 검정들은 가중치가 없는 데이터에 대해서만 사용 가능했습니다. 이러한 간극은 가중 분석이 처치 집단과 비교 집단을 동일하게 만드는 데 가장 중요한 역할을 하는 바로 그 설정(가중치를 적용한 분석 환경)에서 분포적 균형을 적용하는 것을 방해해 왔습니다.

방법론
본 논문은 KS, CVM, AD 검정을 임의의 기원을 가진 사례 가중치(case weights)를 수용할 수 있도록 확장합니다. 핵심적인 방법론적 혁신은 관측치의 가중치를 특정 추정 메커니즘에 묶인 양이 아니라 고정된 속성으로 취급하는 통합된 레이블 순열 추론(label-permutation inference) 절차를 사용하는 것입니다. 이 접근 방식은 가중치가 어떻게 생성되었는지에 대한 어떠한 가정도 요구하지 않으므로, 수정 없이 모든 가중치 체계(예: 역확률 처치 가중치, 엔트로피 균형)에 적용될 수 있습니다.

가중 통계량은 다음과 같이 정의됩니다:

• 가중 KS ($D^w$): 두 집단의 가중 ECDF 사이의 최대 절대 수직 거리.
• 가중 CVM ($CVM^w$): 분산 표준화 없이, 서로 다른 값들 사이의 가중 ECDF 간 제곱 차이의 합.
• 가중 AD ($AD^w$): 귀무 가설 하의 분산에 의해 표준화된 제곱 차이의 합. 결정적으로, 분산 항의 표본 크기 $N$은 가중 표본의 정보 함량을 고려하기 위해 키시 유효 표본 크기($n_e$)로 대체됩니다. 묶임 승수(tie multiplier)는 공유되는 관측치의 실제 개수를 유지합니다.

추론은 레이블 순열을 통해 수행됩니다: $N$개의 관측치 사이에서 각 관측치의 값과 가중치는 고정한 채로 그룹 레이블을 무작ระ로 재배치합니다. $p$-값은 순열된 통계량이 관측된 통계량을 초과하는 비율로부터 도출됩니다.

시뮬레이션 연구 설계
알려진 비가중 검정들의 비교 우위가 가중치 적용 시에도 지속되는지 평가하기 위해 시뮬레이션 연구가 수행되었습니다. 네 가지 시나리오가 구성되었습니다:

1. 귀무 가설(Null): 차이가 없음 (제1종 오류 평가용).
2. 중심부 위치 차이(Centrally Located Discrepancy): 사분위 범위 내에 국한된 이동.
3. 꼬리 위치 차이(Tail-Located Discrepancy): 극단적인 꼬리 부분에 국한된 이동.
4. 확산된 차이(Diffuse Discrepancy): 전체 분포에 걸친 균일한 이동.

연구는 표본 크기($n = 1,000$에서 $4,000$)와 가중치 변동성(목표 키시 유효 표본 크기 비율$r_e = 0.6$, 범위$0.2$에서$0.9$까지의 민감도 검사 포함)를 변화시키며 진행되었습니다.

주요 결과

1. 제1종 오류 통제: 모든 표본 크기와 상당한 가중치 변동성 하에서도 세 가지 가중 검정 모두 명목 수준인 5%에 가깝게 제1종 오류를 통제했습니다. 이는 공유된 레이블 순열 절차가 가중치 생성 방식에 대한 가정 없이도 귀무 분포를 효과적으로 보정함을 확인시켜 줍니다.
2. 중심부 위치 차이: KS 검정이 가장 높은 검정력을 보였으며, AD와 CVM을 유의미하게 앞질렀습니다. 이는 단일하고 큰 국소적 편차에 가장 민감하다는 KS의 이론적 기대와 일치합니다.
3. 꼬리 위치 차이: AD 검정이 압도적으로 가장 강력한 성능을 보였으며, KS와 CVM을 유의미하게 능가했습니다. KS와 CVM은 제1종 오류율 근처에 머물러 꼬리 편차를 감지하는 데 실패했습니다. 이는 분산 표준화 항으로 인한 AD의 꼬리 편차 민감도를 확인시켜 줍니다.
4. 확산된 차이: AD와 CVM 모두 유사하게 수행되었으며, 둘 다 KS를 유의미하게 앞질렀습니다. CVM이 확산된 차이에 대해 독보적으로 우월할 것이라는 이론적 기대와 달리, 중대형 표본 크기에서 AD가 CVM보다 완만한 하지만 통계적으로 유의미한 우위를 점했습니다.
5. 가중치 변동성 민감도: 세 검정의 상대적 순위는 넓은 범위의 가중치 변동성($r_e$ 범위 $0.2$에서$0.9$)에서도 안정적으로 유지되었습니다. 가장 극단적인 변동성($r_e = 0.2$)에서 세 검정 모두 제1종 오류의 완만한 상승(약 6.4–6.7%)을 보였으나, 상대적인 성능 순위는 일관되게 유지되었습니다.

적용 사례
본 방법론은 역확률 처치 가중치를 사용한 건강 코칭 개입의 준실험적 평가에 적용되었습니다. 체질량 지수(BMI) 균형 평가 결과 상이한 결론이 도출되었습니다: AD 검정은 유의미한 잔여 차이를 감지한 반면($p = .018$), CVM은 암시적이었고($p = .079$), KS는 비유의적이었습니다($p = .123$). 가중 ECDF의 시각적 검사는 단일한 날카로운 격차가 아닌, BMI 값의 범위에 걸쳐 점진적이고 지속적인 발산을 보여주었으며, 이는 왜 AD(전체 분포 변화에 민감함)는 불균형을 감지한 반면 KS는 그렇지 못했는지를 설명해 줍니다.

의의 및 주장
본 논문은 두 가지 주요 기여를 합니다:

1. 방법론적 확장: KS, CVM, AD 검정의 첫 번째 가중 일반화를 제공하여, 가중 처치 효과 연구에서 일상적인 공변량 균형 평가에 사용할 수 있도록 합니다.
2. 추론 프레임식: 모든 가중치 체계에 적용 가능한 단일하고 가정이 없는 레이블 순열 추론 절차를 확립합니다.

저자들은 알려진 비가중 검정의 비교 우위가 가중치 적용 시에도 보존된다고 결론짓습니다. 따라서 이들은 일상적인 공변량 균형 평가를 위한 합리적인 범용 기본값으로 **안데르센-달링(AD)**을 권장합니다. AD는 차이의 유형에 관계없이 견고하게 작동하며, (성향 점수 가중치에서 흔히 발생하는 문제인) 꼬리 위치 편차에 대해 압도적으로 우수하기 때문입니다. 그러나 중심부에 집중된 불균형이 구체적으로 의심되는 경우에는 **콜모고로프-스미르노프(KS)**가 뚜렷한 이점을 유지한다는 점을 언급합니다. 또한, 단일 통계량의 사각지대에 대비하기 위해 여러 검정(예: AD와 KS 모두)을 함께 보고하는 것이 신중한 전략이라고 제안합니다.

저자들은 시뮬레이션에 정규 분포 기반을 사용했다는 점을 들어 연구 범위에 대해 겸허한 입장을 유지하며, 확산된 차이(AD와 CVM이 유사했던 경우)에 대한 비교 순위는 기저 메커니즘에 대한 추가 조사가 필요하다고 언급합니다. 이들은 모든 가능한 가중치 체계나 분포 형태에 대해 이 검정들의 타당성을 증명했다고 주장하는 것이 아니라, 시뮬레이션된 특정 조건 하에서의 일관성을 입증한 것임을 분명히 합니다.