📊 statistics

New Equivalence Tests for Approximate Independence in Contingency Tables

이 논문은 이원 분할표에서의 근사적 독립성에 대한 새로운 점근적 및 부트스트랩 기반 등가성 검정을 소개하며, 경계점에 대한 계산 효율적인 추정치를 특징으로 하고, 시뮬레이션과 실제 응용 사례를 통해 그 성능을 검증함과 동시에 동반되는 R 구현체를 제공한다.

원저자: Vladimir Ostrovski

게시일 2026-07-14

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Vladimir Ostrovski

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 풀려는 탐정이라고 상상해 보세요: 당신의 데이터 속에 있는 두 가지 요소가 정말로 연결되어 있을까요, 아니면 그저 연결된 척하고 있는 걸까요? 예를 들어, 눈 색깔과 머리카락 색깔 사이에 관계가 있는지, 혹은 환자의 성별이 특정 약물에 대한 반응을 변화시키는지 살펴보고 있다고 가정해 봅시다. 통계학의 세계에서는 이를 '독립성(independence)'을 테스트한다고 부릅니다.

보통 탐정들은 완벽한 일치를 찾습니다. 만약 데이터가 100% 완벽하게 일치하지 않으면, 그들은 "아하! 둘은 연결되어 있구나!"라고 말합니다. 하지만 현실 세계에서 모든 것이 완벽하게 완벽할 수는 없습니다. 때로는 두 요소가 '거의' 독립적인 상태, 즉 아주 미세한 차이는 무시해도 될 정도로 충분히 가까운 상태일 수 있습니다. 여기서 '근사적 독립성(approximate independence)'이라는 개념이 등장합니다.

문제는 무엇일까요? 기존의 탐정 도구들은 다소 투박했습니다. 그 도구들은 답을 찾기 위해 매번 거대하고 복 복잡한 수학 퍼즐(이를 '수치 최적화'라고 합니다)을 풀어야 하는 방식에 의존했습니다. 이는 마치 건초 더미에서 바늘을 찾기 위해 건초 한 조각마다 새로운 로봇을 만드는 것과 같았습니다. 느렸고, 로봇은 가끔 길을 잃고 멈춰 서기도 했습니다.

새로운 탐정 키트
독일 쾰른 출신의 통계학자 블라디미르 오스트로프스키(Vladimir Ostrovski)는 훨씬 더 매끄럽고 세련된 새로운 탐정 키트를 만들었습니다. 그는 무거운 수학 퍼즐과 씨름하는 대신, 당신의 데이터와 '완전한 독립'이라는 개념 사이의 '거리'를 측정하는 두 가지의 매우 빠른 새로운 방법을 발명했습니다.

이것은 흔들리는 테이블이 얼마나 평평한지에서 벗어나 있는지를 측정하는 것과 비슷합니다.

'절대적' 자 ( $d_a$ ): 이는 가공되지 않은 차이를 측정합니다. 테이블 다리가 바닥에서 얼마나 떨어져 있는지 밀리미터 단위로 확인하는 것과 같습니다.
'상대적' 자 ( $d_r$ ): 이는 테이블의 크기와 비교하여 차이를 측정합니다. 이는 "그 흔들림이 테이블 크기에 비해 엄청나게 큰가, 아니면 아주 작은 점 수준인가?"라고 묻는 것과 같습니다.

이 새로운 자들은 사용하기 쉽습니다. 답을 구하기 위해 슈퍼컴퓨터가 필요하지 않으며, 즉시 계산할 수 있습니다.

'부트스트랩(Bootstrap)' 마술
여기 까다로운 부분이 있습니다. 당신의 측정값이 실제 차이인지, 아니면 적은 양의 샘 데이터 때문에 발생한 우연한 현상인지를 알기 위해서는 '임계값(critical value)'을 알아야 합니다. 이는 테이블이 얼마나 흔들려야 '고장 났다'고 판단할 것인지 기준을 아는 것과 같습니다.

기존 방식은 데이터가 수백만 개 있을 때는 잘 작동하지만, 데이터가 적을 때는 다소 불안정한 이론적 공식을 사용하여 이를 계산했습니다. 이를 해결하기 위해 저자는 부트스트랩이라는 기술을 사용합니다.

데이터를 나타내는 구슬 주머니가 있다고 상상해 보세요. 부트스트랩 방식은 그 주머니에서 한 움큼의 구슬을 꺼내 복사본을 만들고, 다시 넣는 과정을 수천 번 반복하며 결과가 얼마나 흔들리는지 관찰하는 것과 같습니다. 이를 통해 더 적은 양의 데이터에서도 훨씬 더 정확한 그림을 그려낼 수 있습니다.

하지만 문제가 있었습니다. 독립성을 위한 이 부트스트랩 기술을 수행하려면, 데이터가 '정확히' 독립성의 경계에 놓여 있는 특정한 '경계점(boundary point)'을 찾아야 합니다. 이 지점을 찾는 것은 지도 없이 해변에서 특정 모래알 하나를 찾는 것만큼이나 어려웠습니다.

해결책: 무작위 지도
저자는 '무작위 추정량(randomized estimator)'을 만들어 이 문제를 해결했습니다. 하나의 완벽한 모래알을 찾는 대신, 이 방법은 해변 위로 그물을 던집니다. 독립적이지 않은 것이 확실한 여러 '외부 점(exterior points)'들을 생성한 다음, 당신의 데이터와 이 점들 사이의 선을 그려 경계를 찾아냅니다.

이는 "숲의 경계가 정확히 어디인지는 모르겠지만, 내 집에서 멀리 떨어진 산을 향해 걸어가다 보면 결국 숲의 가장자리에 닿을 것이다"라고 말하는 것과 같습니다. 이 방식은 복잡한 표에서도 전체 과정을 빠르고 계산 가능하게 만듭니다.

시뮬레이션 결과
저자는 단순히 추측만 한 것이 아니라, 대규모 시뮬레이션 실험실을 운영했습니다. 다양한 크기의 가짜 데이터 테이블(작은 $2 \times 4$ 격자부터 거대한 $5 \times 5$ 격자까지)을 만들어 놓고, 새로운 방법과 기존 방법을 테스트했습니다.

좋은 소식: 새로운 '부트스트랩' 테스트는 작은 표본 크기를 처리하는 데 훨씬 뛰어납니다. 기존의 '점근적(asymptotic)' 테스트가 테이블이 커질수록 너무 신중해지는(보수적으로 변하는) 경향이 있는 반면, 새로운 방식은 규칙(명목 수준 0.05)을 훨씬 더 잘 준수합니다.
주의할 점: 이 테스트가 모든 곳에서 완벽한 것은 아닙니다. 데이터에 사람이 거의 없는 카테고리(확률이 0에 가까운 카테기)가 있다면, 테스트가 연결성을 너무 성급하게 찾아내려는 경향(반-보수적/anti-conservative)이 있습니다. 저자는 데이터에 빈 칸이나 거의 비어 있는 칸이 있다면 각별히 주의해야 한다고 경고합니다.
'축소' 기법: 테스트를 더 안전하게 만들기 위해, 저자는 '허용 오차 매개변수(tolerance parameter, 당신이 받아들일 수 있는 흔들림의 정도)'를 0.18로 줄이면 테스트가 매우 신뢰할 수 있게 되며 오보를 거의 내지 않는다는 것을 보여주었습니다.

실제 사례 테스트
저자는 이 새로운 키트를 세 가지 실제 미스터리에 적용해 보았습니다.

니트렌디핀(Nitrendipine) 요법: 성별이 환자의 혈압 약 반응에 영향을 미치는가? 217명의 표본을 대상으로 했을 때, 새로운 테스트는 성별과 결과가 근사적으로 독립적(강하게 연결되어 있지 않음)임을 시사했습니다.
눈 색깔과 머리카락 색깔: 갈색 눈은 항상 갈색 머리카락과 함께 가는가? 테스트는 우리가 이미 알고 있는 사실, 즉 둘은 독립적이지 않다는 것을 확인해주었습니다. 데이터는 강한 연결을 보여주었으며, 테스트는 허용 오차(tolerance)를 약 0.58 정도로 크게 잡았을 때만 독립성을 인정했습니다.
자녀 수와 소득: 가족의 자녀 수가 소득에 따라 달라지는가? 이 데이터셋은 매우 컸지만(25,263명), 일부 카테고리가 매우 비어 있었습니다. 테스트는 이들이 근사적으로 독립적일 수 있다고 제안했지만, 빈 카테고리들 때문에 그 근사치는 "매우 부정확"했습니다.

결론
이 논문은 독립성의 미스터리를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 통계학자들에게 더 빠르고 신뢰할 수 있는 새로운 도구 세트를 제공합니다. 이 논문은 느리고 무거운 수학 퍼즐을 빠르고 스마트한 계산과 작은 데이터 세트를 다루기 위한 영리한 '무작위 보행(random walk)' 방식으로 대체합니다.

저자는 누구나 사용할 수 있도록 온라인에 무료 '탐정 키트'(소프트웨어 코드)를 제공합니다. 이 테스트는 대부분의 상황에서 잘 작동하지만, 저자는 데이터 카테고리에 항목이 매우 적은 경우 사용할 때 주의가 필요하다고 명시적으로 경고합니다. 이는 세상을 바라보는 강력한 새로운 방법이지만, 유능한 탐정처럼 당신도 언제 단서를 재검토해야 하는지 알아야 합니다.

기술 요약: 분할표에서의 근사적 독립성에 대한 새로운 등가 검정

문제 제기
본 논문은 이원 분할표(two-way contingency tables)에서 근사적 행-열 독립성(approximate row-column independence)을 검정하는 통계적 과제를 다룬다. 전통적인 독립성 검정이 완전한 독립성이라는 귀무가설을 기각하는 데 초점을 맞추는 것과 달리, 본 연구는 등가 검정(equivalence testing)에 집중한다. 목적은 실제 확률 행렬을 $p$ , 독립성 모델(모든 곱 측도의 집합)을 $M$ 이라 할 때, $H_0: \{d(p, M) \geq \varepsilon\}$ 에 대해 $H_1: \{d(p, M) < \varepsilon\}$ 를 검정하는 것이다. 여기서 $d$ 는 거리 척도이고, $\varepsilon > 0$ 은 사전 지정된 허용 오차 매개변수이다.

저자는 기존의 방법들(예: Hodges와 Lehmann, 1954; Diaconis와 Efron, 1985; Liu와 Lindsay, 2009; Wellek, 2010)이 준매개변수적(semi-parametric) 허용 영역이나 완전히 지정된 다항 분포에 대한 검정에 의존하는 경우가 많다는 점을 지적한다. 저자의 이전 연구(Ostrovski, 2018)에서 확인된 구체적인 한계점은 최소 거리 $d(p, M)$ 을 계산하기 위해 수치 최적화(numerical optimization)에 의존한다는 것이며, 이는 부트스트랩 기반 검정을 계산적으로 매우 집약적으로 만든다. 또한, 독립성 모델을 위한 연속적인 최소화 가능점(minimizer)의 존재가 가정되었으나 증명되지 않았다는 이론적 공백이 존재했다.

방법론
본 논문은 확률 행렬 $p$ 의 변환으로부터 유도된 두 가지 특정 거리 척도를 도입함으로써, 독립성 모델에 대한 수치 최적화를 피하는 프레임워크를 제안한다.

절대 편차 ( $d_a$ ): 변환 $h_a(p) = (p_{ij} - r_i c_j)$ 를 통해 정의된다. 여기서 $r$ 과 $c$ 는 주변 확률 벡터이다. 거리는 $d_a(p, M) = l(h_a(p), 0)$ 이다.
상대 편차 ( $d_r$ ): 변환 $h_r(p) = (p_{ij} / r_i c_j)$ 를 통해 정의된다. 거리는 $d_r(p, M) = l(h_r(p), 1)$ 이다.

여기서 $l$ 은 미분 가능한 거리(시뮬레이션에서는 스케일링된 유클리드 거리)를 나타낸다. 이러한 척도들을 사용하면 반복적인 최적화 과정 없이 독립성 모델까지의 최소 거리를 직접 계산할 수 있다.

본 논문은 두 가지 유형의 검정을 개발한다:

점근적 검정 (Asymptotic Tests): 검정 통계량은 $T_*(p_n) = \sqrt{n}(d_*(p_n, M) - \varepsilon)$ 로 정의된다. 델타 방법(Delta method)을 사용하여, 저자는 이 통계량의 점근적 가우시안 분포를 도출한다. 임계값은 추정된 점근적 분산 $\sigma_*(p_n)$ 을 사용하여 계산된다.
부트스트랩 검정 (Bootstrap Tests): 유한 표본 성능을 개선하기 위해 매개변수적 부트스트랩 접근법이 도입된다. 핵심적인 혁신은 계산적으로 실행 가능한 경계점 추정량( $\tilde{p}_n$ $\tilde{p}_{n}$ )의 개발이다. 경계 $\partial H_0$ $\partial H_{0}$ 는 복잡하고 매개변수화하기 어렵기 때문에, 저자는 무작위 추정량을 제안한다. 이는 다음 과정을 포함한다:
- $d_*(q, M) > \varepsilon$ 을 만족하는 "외부" 점들의 집합 $Q$ 를 선택한다.
- 모델까지의 거리가 $\varepsilon$ 과 같아지도록 하는 선형 결합 $c(p_n, q) = a_n p_n + (1-a_n)q$ 를 구성한다.
- 관측된 데이터 $p_n$ 과의 거리를 최소화하는 조합을 $\tilde{p}_n$ 으로 선택한다.
- $\tilde{p}_n$ 을 기반으로 한 몬테카를로 시뮬레이션을 사용하여 임계값 $c(\alpha, \tilde{p}_n)$ 을 추정한다.

주요 기여

분석적 단순화: 본 논문은 $d_a$ 와 $d_r$ 을 사용하여 독립성 모델까지의 최소 거리에 대한 폐쇄형 표현(closed-form expressions)을 제공함으로써, 일반적인 기존 방법들에서 요구되는 수치 최적화를 제거한다.
효율적인 경계 추정: 경계점에 대한 무작위 추정량이 개발되어, 부트스트랩 검정을 분할표에 대해 계산적으로 실행 가능하게 만든다.
이론적 보장: 저자는 특정 조건 하에서 제안된 경계 추정량이 일치성(거의 모든 곳에서 실제 경계점으로 수렴)을 가짐을 증명하고, 검정 통계량의 점근적 정규성을 확립한다.
구현: 검정법은 R로 구현되었으며 온라인을 통해 공개되었다.

결과
제안된 검정의 성능은 시뮬레이션 연구를 통해 평가되었으며, 실제 데이터셋에도 적용되었다:

유한 표본 성능:
- 검정력 (Power): 90% 검정력을 달�기 위해 필요한 최소 허용 매개변수 $\varepsilon$ 은 표본 크기( $n^{-1/2}$ )에 따라 감소하고, 표의 크기( $k_1 + k_2$ )에 따라 증가한다.
- 제1종 오류 (Type I Error): 점근적 검정은 작은 표에서는 비보수적(non-conservative)이었으나 큰 표에서는 매우 보수적이었다. 반면, 부트스트랩 검정은 다양한 표 크기에 걸쳐 공칭 수준( $\alpha = 0.05$ )에 매우 가까운 기각 확률을 유지하였다. 다만, $d_r$ 기반 부트스트랩 검정은 특정 경계 영역(주변 확률이 0에 가까운 영역)에서 반보수적(anti-conservative)인 경향을 보였다.
- 제2종 오류 (Type II Error): $d_a$ 기반 검정의 검정력은 서로 다른 지점들 사이에서 비교적 안정적이었던 반면, $d_r$ 기반 검정은 높은 변동성을 보였다.
실제 데이터 적용:
- 니트렌디핀(Nitrendipine) 요법: 작은 표본 크기( $n=217$ )에서 점근적 검정과 부트스트랩 검정 모두 치료 결과와 성별 사이에 근사적 독립성이 있음을 시사했다.
- 눈 및 머리카락 색상: 검정은 매우 큰 $\varepsilon$ 에 대해 독립성을 올바르게 기각하여, 이 변수들 사이의 알려진 독립성 결여를 확인했다.
- 자녀 수 및 소득: 큰 표본 크기( $n=25,263$ )에도 불구하고, "자녀 4명 이상" 범주의 희소성으로 인해 $d_r$ 기반 검정의 검정력이 낮았다. $d_a$ 기반 검정은 근사적 독립성을 시사했으나 그 근사가 부정확함을 언급했다.

의의 및 주장
본 논문은 근사적 독립성을 검정하기 위한 통계적으로 효율적이고 계산적으로 실행 가능한 방법을 제공한다고 주장한다. 수치 최적화를 피하고, (Ostrovski, 2018에서 필요했던) 연속적인 최소화 가능점의 존재에 대한 미증명된 가정을 배제함으로써, 제안된 방법은 더 견고한 이론적 토대를 제공한다. 저자는 특히 제안된 경계 추정량을 사용하는 부트스트랩 검정이 점근적 검정에 비해, 특히 더 큰 분할표에서 우수한 유한 표본 성능을 제공한다는 점을 강조한다. 이 연구는 통계적 실무를 개선하기 위한 실용적인 개선책으로 제시되었으며, 적용을 용이하게 하기 위해 도구들이 공개되었다.

유사한 논문