📊 statistics

Weighted k-Sample Kolmogorov-Smirnov, Cramer-von Mises, and Anderson-Darling Tests for Assessing Covariate Balance

이 논문은 임의의 그룹 수(k ≥ 2)에 걸친 공변량 균형을 평가하기 위해 가중 Kolmogorov-Smirnov, Cramer-von Mises 및 Anderson-Darling 검정을 확장하며, 그룹 수가 많아질수록 옴니버스 검정력은 감소하지만 그에 수반되는 사후 쌍별 절차가 특정 불균형을 탐지하는 데 민감한 도구로 남아 있음을 입증하고, 모든 방법론을 Stata로 구현하였다.

원저자: Ariel Linden

게시일 2026-08-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ariel Linden

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 진실을 밝히려는 탐정이 되어 미스터리를 해결하는 장면을 상상해 보십시오. 누가 정말로 범인일까요? 과학의 세계에서도, 특히 연구자들이 새로운 약물이나 정책이 실제로 효과가 있는지 알아내려 할 때, 그들은 이와 유사한 게임을 수행합니다. 그들은 치료를 받은 집단과 받지 않은 집단을 비교합니다. 하지만 여기 함정이 있습니다. 비교가 공정하려면, 두 집단은 나이, 건강 이력, 습관 등 모든 면에서 쌍둥이처럼 똑같아야 합니다. 만약 그렇지 않다면, 결과는 혼란스러운 엉망진창이 될 것입니다. 이것을 '공변량 균형(covariate balance)'을 확인한다고 합니다.

보통 과학자들은 단순히 평균 연령이나 평균 소득이 같은지를 확인합니다. 하지만 평균은 속임수를 쓸 수 있습니다. 두 집단의 평균 연령이 모두 30세인 상황을 상상해 보십시오. 한 집단은 모두가 정확히 30세입니다. 그런데 다른 집단은 절반은 10세이고 나머지 절반은 50세입니다. 평균은 일치하지만, 두 집단은 완전히 다릅니다! 이러한 교활한 차이를 잡아내기 위해, 과학자들은 특수한 '분포 검정(distributional tests)'을 사용합니다. 이것은 인파의 평균 키만 보는 것이 아니라, 집단 전체의 형태를 스캔하여 두 집단이 정말로 동일한지 확인하는 하이테크 스캐너라고 생각하면 됩니다. 오랫동안 이 스캐너들은 한 번에 두 집단만을 비교할 수 있었습니다. 하지만 만약 비교해야 할 집단이 세 개, 네 개, 혹은 그 이상이라면 어떻게 될까요? 이 논문이 해결하고자 하는 퍼즐이 바로 이것입니다.

아리엘 린든(Ariel Linden)이 작성한 이 논문은 세 가지 유명한 통계적 스캐너인 콜모고로프-스미르노프(Kolmogorov–Smirnov), 앤더슨-달링(Anderson–Darling), 크래머-폰 미제스(Cramér–von Mises) 테스트를 사용하여, 데이터에 가중치가 부여된 경우(특정 인물에게 더 많은 중요성을 부여하는 경우처럼)에도 여러 집단(두 개 이상)을 동시에 비교할 수 있는 새로운 방법을 소개합니다. 저자는 또한 '사후(post-hoc)' 도구라는 영리한 도구를 추가했는데, 이는 큰 스캔이 무언가 잘못되었다고 알렸을 때 정확히 어느 집단이 다른지를 찾아내는 돋보기와 같습니다.

그들이 발견한 이야기는 다음과 같습니다. 먼저, 저자는 이 새로운 다중 집단 스캐너들을 구축하고 컴퓨터 시뮬레이션을 이용한 가상 세계에서 이를 테스트했습니다. 그들은 세 개의 집단이 있는 수천 개의 가짜 시나리오를 만들어 스캐너가 실수를 하는지 확인했습니다. 좋은 소식은, 이 스캐너들이 매우 정직했다는 점입니다. 집단들이 실제로 동일할 때, 스캐너는 오류율을 적절한 수준(약 5%)으로 유지하며 거의 "범인이 있다"고 외치지 않았습니다.

하지만 시뮬레이션은 놀라운 반전을 드러냈습니다. 과학자들이 두 집단 대신 세 집단을 비교했을 때, 거대한 '옴니버스(omnibus)' 스캐너(모든 집단을 한꺼번에 체크하는 것)의 민감도가 약간 낮아졌습니다. 정상적인 두 집단 사이에 숨어 있는 단 하나의 이상한 집단을 찾아내는 것이 더 어려워졌습니다. 저자는 이것이 이상한 집단이 덜 이상해졌기 때문이 아니라, 스캐너가 더 많은 집단을 살펴봐야 했기 때문에 발생하는 현상이라고 설명합니다. 즉, 스캐너가 기대하는 '정상 범위'가 훨씬 넓어졌기 때문입니다. 이것은 마치 조용한 방 안에서의 속삭임을 듣는 것과 시끄러운 경기장 안에서의 속삭임을 듣는 것의 차이와 같습니다. 속삭임 자체는 같지만, 경기장의 배경 소음 때문에 속삭임을 감지하기가 더 어려워지는 것입니다.

이 때문에 논문은 스마트한 전략을 제안합니다. 만약 특정 집단이 다르다고 의심된다면, 단순히 전체 집단 스캔에만 의존하지 마십시오. 대신, 새로운 '사후(post-hoc)' 도구를 사용하여 집단들을 두 개씩 짝지어 비교하십시오. 이 쌍별(pairwise) 도구는 추가적인 집단들로 인한 '소음'의 영향을 받지 않으며, 구체적인 범인을 잡아내는 데 훨씬 더 뛰어납니다.

또한 이 논문은 세 가지 서로 다른 스캐너가 두 집단을 비교할 때와 마찬가지로 각자의 특수한 초능력을 여전히 보유하고 있음을 확인했습니다. 콜모고로프-스미르노프 테스트는 데이터의 중간 부분에서 차이를 포착하는 데 가장 좋습니다(예: 한 집단의 모든 사람이 다른 집단보다 약간 더 큰 경우). 앤더슨-달링 테스트는 데이터의 양 끝단이나 '꼬리' 부분에서 차이를 포착하는 데 있어 챔피언입니다(예: 한 집단에 다른 집단에는 없는 극도로 아픈 사람들이 몇 명 포함된 경우). 크래머-폰 미제스 테스트는 차이가 곳곳에 퍼져 있을 때 앤더슨-달링과 유사하게 작동하는 탄탄한 올라운더입니다.

이 방법이 실제 세상에서 어떻게 작동하는지 보여주기 위해, 저자는 심부전 질환 관리 프로그램의 데이터를 적용했습니다. 그들에게는 세 그룹이 있었습니다: 참여하지 않은 사람들, 전화 상담을 받은 사람들, 그리고 원격 모니터링을 받은 사람들입니다. 데이터를 조정하기 전에는 스캐너들이 집단들이 완전히 다르다고 비명을 질렀습니다. 하지만 특별한 가중치 부여 방식을 적용하여 균형을 맞춘 후에는, 스캐너들이 "이상 없음!"이라고 말했습니다. 이제 집단들은 통계적으로 쌍둥이였습니다.

요약하자면, 이 논문은 과학자들에게 여러 집단을 공정하게 비교할 수 있는 새로운 도구 상자를 제공합니다. 이는 모든 집단을 한꺼번에 체크하는 것이 단 하나의 이상한 사례를 놓칠 수 있다고 경고하지만, 그 이상한 사례를 찾을 수 있는 구체적인 후속 도구를 함께 제공합니다. 또한 서로 다른 테스트가 서로 다른 유형의 차이에 더 적합함을 확인해주며, 이 방법들이 데이터가 복잡하고 가중치가 부여된 경우에도 잘 작동한다는 것을 증명합니다. 저자는 시뮬레이션을 바탕으로 이러한 결과에 확신을 가지고 있지만, 향후 연구에서 더욱 복잡한 집단 설정들을 탐구할 수 있을 것이라고 언급했습니다.

기술 요약: 공변량 균형을 위한 가중 $k$ -표본 분포 검정

문제 정의
공변량 균형(Covariate balance)은 관찰 연구 및 다중 군 무작위 시험에서 유효한 인과 추론을 위한 전제 조건이다. 고전적인 분포 검정(Kolmogorov–Smirnov, Anderson–Darling, Cramér–von Mises)은 최근 가중치가 적용된 두 집단 비교를 수용하도록 확장되었으나, 세 개 이상의 집단( $k \ge 2$ )이 포함되는 시나리오에 대해서는 여전히 공백이 존재한다. 기존의 $k > 2$ 방식은 조사자들에게 만족스럽지 못한 선택지를 강요한다. 즉, 다중 검정 문제를 무시하고 조정되지 않은 쌍별 비교(pairwise comparisons)를 수행하거나, 분포 정보를 버리는 요약 척도(예: 표준화된 평균 차이)에 의존해야 하는 것이다. 또한, 임의의 케이스 가중치를 수용하면서 $k$ -표본 일반화를 달성하고, 기존의 두 집단 대응 방식과 정확히 일치하는 통합된 순열 추론(permutation-inference) 절차를 동시에 제공하는 프레임워크는 현재 존재하지 않는다.

방법론
본 논문은 기존의 비가중 $k$ -표본 문헌에 존재하는 $k$ -표본 일반화 기법과 가중치에 무관한 순열 추론 절차를 통합함으로써, 가중 두 집단 프레임워크를 임의의 수의 집단( $k \ge 2$ )으로 확장한다.

검정 통계량:
- Kolmogorov–Smirnov (KS): 각 집단의 가중 경험적 누적 분포 함수(ECDF)와 가중 통합 ECDF 사이의 제곱 편차를 합산하는 Kiefer(1959)의 일반화 방식을 활용한다.
- Cramér–von Mises (CVM): 결합된 표본 내 모든 서로 다른 값들에 대해 제곱 편차를 합산하는 Kiefer(1959)의 일반화 방식을 적용한다.
- Anderson–Darling (AD): 꼬리 부분의 편차를 강조하는 분산 가중 항을 포함하는 Scholz 및 Stephens(1987)의 이산 $k$ -표본 일반화를 채택한다.
가중치 부여 및 추론: 모든 통계량은 케이스 가중치를 처리하기 위해 가중 ECDF와 유효 표본 크기(Kish, 1965)를 사용한다. 유의성은 집단 크기와 관측치 가중치를 보존하면서 집단 레이블을 재배열하는 레이블-순열(label-permutation) 절차를 통해 평가된다.
하위 호환성: 핵심적인 설계 제약 조건은 $k=2$ 일 때, $k$ -표본 통계량이 단순히 점근적으로(asymptotically) 유사해지는 것이 아니라, 선행 연구(Linden, 2026b)에서 정의된 특정 두 집단 통계량과 대수적 및 수치적으로 정확히 일치하도록 보장하는 것이다.
사후 절차(Post-Hoc Procedure): 옴니버스 검정(omnibus test)이 불균형의 구체적인 원인을 식별하는 데 한계가 있다는 점을 해결하기 위해, 본 논문은 쌍별 비교 절차를 도입한다. 이는 동일한 순열 메커니즘을 사용하여 모든 $\binom{k}{2}$ 쌍에 대해 정확한 두 집단 검정을 수행한다. 오류율을 제어하기 위해 Bonferroni, Šidák, Holm의 단계적 하강(step-down), 그리고 Benjamini–Hochberg의 네 가지 조정 방법을 제공한다.

주요 기여

$k$ 개 집단으로의 확장: $k=2$ 일 때 두 집단 형태로 정확히 환원되는 것을 보장하며 가중 KS, AD, CVM 검정을 $k \ge 2$ 집단으로 공식 확장하였다.
통합된 사후 분석 프레임워크: 옴니버스 검정 결과가 나온 후 특정 집단 간의 불균형을 국지화하기 위한 체계적인 절차를 동일한 순열 프레임워크 내에서 제공한다.
구현: 해당 방법들은 자유롭게 사용 가능한 Stata 명령어(kstest, adtest, cvmtest)로 구현되었다.

결과
$k=3$ 집단과 네 가지 불일치 시나리오(Type I error, 중심, 꼬리, 확산 불일치)를 대상으로 한 시뮬레이션 연구에서 다음과 같은 결과가 도출되었다:

Type I Error: 세 가지 검정 모두 표본 크기와 가중치 변동성 수준에 관계없이 공칭 5% 수준에 근접한 기각률을 유지하였으며, 이는 두 집단 설정에서의 성능과 일치하였다.
검정력 특성: 두 집단 설정에서 확립된 상대적 민감도 패턴이 그대로 유지되었다:
- KS는 중앙에 위치한 불일치에 대해 가장 강력했다.
- AD는 꼬리 부분에 위치한 불일치에 대해 압도적으로 가장 강력했다.
- AD와 CVM은 확산된 불일치에 대해 유사한 성능을 보였으나, AD가 약간의 일관된 우위를 점했다.
옴니버스 검정의 검정력 감소: $k=3$ 에서 옴니버스 검정의 검정력이 매칭된 두 집단 설정보다 일관되게 낮다는 체계적인 발견이 있었다. 본 논문은 이를 신호 희석(signal dilution) 때문이 아니라, 영 분포(null distribution)의 자유도( $k-1$ )가 확장됨에 따라 기각에 필요한 임계값이 높아졌기 때문이라고 설명한다.
사후 분석 민감도: 쌍별 통계량은 옴니버스 검정의 검정력 페널티를 지니지 않기 때문에, 사후 절차가 옴니버스 검정 자체보다 특정 집단 불균형을 탐지하는 데 더 민감한 경우가 많다.
응용 사례: 세 그룹(대조군, 전화 상담군, 원격 모니터링군)이 포함된 질병 관리 프로그램 연구에서, 이 검정들은 가중치 적용 전의 유의미한 불균형을 탐지하였다. 층화(stratification)를 통한 한계 평균 가중치(marginal mean weights)를 적용한 후, 옴니버스 및 사후 검정 모두 성공적인 균형을 나타냈으며, 유의미한 잔여 차이는 없었다.

의의 및 주장
본 논문은 이러한 확장이 연구자로 하여금 분포 정보를 희생하거나 통계적 엄밀성을 잃지 않으면서 여러 집단 간의 공변량 균형을 평가할 수 있게 해준다고 주장한다. 주요 의의는 전역적인 동질성 평가에서 단일하고 일관된 프레임워크 내에서의 구체적이고 조정된 쌍별 결론으로 이동할 수 있는 능력에 있다.

저자는 $k$ 가 증가함에 따라 옴니버스 검정의 검정력이 감소하는 것은 (영 분포의 자유도 증가라는) 검정 구조의 구조적 특성이지, 가중치나 불일치 유형의 결함이 아님을 명시적으로 언급한다. 따라서 연구자들에게 특정 집단의 불균형이 의심될 경우, 옴니버스 검정 단독에 의존하기보다 사후 쌍별 결과에 의존할 것을 권고한다. 본 연구는 $k=3$ 결과가 두 집단 속성의 보존을 확인해주지만, $k > 3$ 및 비정규 분포에 대한 검정력 감소 및 사후 성능의 스케일링 문제는 향후 연구 과제로 남아 있다고 겸허히 결론짓는다.

유사한 논문