📊 statistics

The Benjamini--Hochberg Procedure Can Fail to Control the FDR for Correlated Two-Sided Gaussian Tests

이 논문은 벤자미니-호치버그 절차가 상관관계가 있는 양측 가우시안 검정에서 명목 수준의 허위 발견율을 제어하는 데 실패함을 보여줌으로써 오랜 가설을 반증하였으며, 이는 구간 산술을 통해 엄밀하게 증명되었고 저자에 의해 검증되었다.

원저자: Edgar Dobriban

게시일 2026-07-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Edgar Dobriban

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 방 안에 있는 거짓말쟁이 집단을 잡으려는 형사라고 상상해 보십시오. 당신에게는 정직한 구경꾼들을 너무 많이 무고하게 몰아세우지 않도록 "딱 걸렸어!"라고 외치는 법을 알려주는 특별한 규칙책(벤자미니-호흐베르크 절차)이 있습니다. 수십 년 동안 통계학자들은 이 규칙책이 깨뜨릴 수 없는 불변의 법칙이라고 믿었습니다. 그들은 설령 방 안의 사람들이 서로 비밀을 속삭이고 있더라도(상관관계가 있는 데이터), 이 규칙책이 오판율을 엄격한 한계치인, 예를 들어 1%(0.01) 미만으로 유지해 줄 것이라고 믿었습니다.

거대한 발견: 규칙책에 구멍이 뚫렸다
저자들은 'GPT-5.6 Pro'라는 이름의 초지능형 AI의 도움을 받아, 특정 유형의 까다로운 상황—테스트가 양방향 가우시안 숫자(위아래로 흔들릴 수 있는 측정값이라고 생각하십시오)와 같은 경우—에서 이 규칙책이 실패할 수 있음을 보여주었습니다. 알고 보니, 측정값들이 매우 특정한 방식으로, 즉 아주 교묘하게 상관되어 있을 때, 규칙책은 허위 고발률을 엄격한 제한치보다 아주 조금 더 높게 허용해 버립니다.

단순히 1%에 머무는 대신, 오경보율은 0.0104까지 치솟을 수 있습니다. 이는 작은 숫자일 수 있지만, 엄격한 수학의 세계에서는 댐에 생긴 거대한 균열과 같습니다. 논문은 단순히 추측하는 것이 아니라, 데이터의 양이 많을 때 이 비율이 반드시 0.01보다 높을 것임을 확실하게 증명하는 엄밀한 '증명서'(수학적 안전 검사관의 보고서와 같은 것)를 구축했습니다.

"교묘한 요인" 모델
그들은 어떻게 이 구멍을 찾아냈을까요? 그들은 이 규칙책을 테스트하기 위해 가상의 세계인 '요인 모델'을 구축했습니다. 거대한 방에 세 그룹의 사람들이 있다고 상상해 보십시오:

정직한 군중 (방의 96%): 이들은 진정한 귀무가설(nulls)입니다. 이들은 무죄여야 합니다.
신호 그룹 A (방의 1%): 이들은 '진짜' 신호이며, 한 방향으로 움직입니다.
신호 그룹 B (방의 3%): 이들 또한 진짜 신호이지만, 다른 방향으로 움직입니다.

여기서 반전이 있습니다. 방 안의 모든 사람은 하나의 보이지 않는 지휘자(잠재 요인인 Z)의 지시를 따르고 있습니다.

정직한 군중은 지휘자와 함께 움직입니다.
신호 그룹들은 지휘자와 반대로 움직이지만, 각기 다른 속도로 움직입니다.

지휘자가 지휘봉을 휘두르는 방식에 따라 신호가 커지면서 규칙책이 "딱 걸렸어!"라고 더 자주 외치게 만듭니다. 하지만 동시에, "정직한 군중"도 약간 불안해지면서, 그들의 꼬리 부분(행동의 가장자리)이 마치 신호처럼 의심스럽게 보이게 만듭니다. 이것이 완벽한 폭풍을 만들어내어, 규칙책을 혼란에 빠뜨리고, 너무 많은 무고한 사람들을 기각하며, 허위 발견율을 1% 규칙을 깨뜨릴 만큼 충분히 높이 치솟게 만듭니다.

얼마나 확신하는가?
이것은 "아마도 그럴 것이다"나 "우리는 그렇게 생각한다"가 아닙니다. 저자들은 매우 확신하고 있습니다.

증명: 핵심 논증은 AI에 의해 생성되었으며, 이후 인간 저자에 의해 면밀히 검토되었습니다. 그들은 반올림 오차조차 허용하지 않는 안전 마진을 둔 수학 방식인 '구간 산술(interval arithmetic)'을 사용했습니다. 그들은 테스트의 수가 충분히 클 때, 이 비율이 엄밀하게 0.0104보다 크다는 것을 증명했습니다.
시뮬레이션: 이를 뒷받침하기 위해 그들은 컴퓨터 실험(몬테카를로 시뮬레이션)을 수행했습니다. 데이터 그룹 200개(총 20,000개의 테스트)를 사용하여 테스트했을 때, 컴퓨터는 허위 발견율을 0.010359로 측정했습니다. 이는 통계적으로 1% 한계보다 높으며, 실제 세계의 시뮬레이션에서 이론을 확인시켜 줍니다.

이것이 의미하는 바 (그리고 의미하지 않는 바)
이 논문은 벤자미니-호흐베르크 절차가 모든 양방향 가우시안 테스트에 대해 안전하다는 생각을 명시적으로 부정합니다. 20년 동안 전문가들은 이것이 안전하다고 믿었지만, 이 논문은 "사실 그렇지 않다"라고 말합니다.

하지만, 이 논문은 규칙책이 쓸모없다고 말하는 것은 아닙니다. 위반 정도는 매우 미미하며(0.0104 대 0.01), 이는 테스트의 수가 매우 많은 특정한 구조화된 시나리오에서 발생합니다. 저자들은 이 현상이 더 적은 수의 테스트에서도 발생하는지, 혹은 얼마나 나빠질 수 있는지에 대한 보편적인 상한선이 있는지 알지 못한다고 인정합니다. 또한 그들은 유전자나 주식과 같은 실제 데이터에 대해 테스트하지 않았습니다. 그들은 단지 이 점을 증명하기 위해 수학적 모델을 구축했을 뿐입니다.

그러니 다음에 어떤 통계적 방법이 모든 조건에서 작동한다고 "증명"되었다는 말을 듣게 된다면, 이 논문을 기억하십시오. 때때로 가장 신뢰받는 도구에도 초지능형 탐정(그리고 약간의 AI 도움)만이 찾아낼 수 있는 작고 숨겨진 균열이 존재할 수 있습니다.

기술 요약: 벤자미니-호흐베르그(Benjamini–Hochberg) 절차는 상관관계가 있는 양측 가우시안 검정에서 FDR 제어에 실패할 수 있다

문제 정의
본 논문은 다중 가설 검정의 오랜 미결 과제인, 양측 가우시안 검정에서 임의의 상관 구조를 가질 때 벤자미니-호흐베르그(BH) 절차가 명목 수준 $\alpha$ 에서 허위 발견율(FDR)을 제어할 수 있는지 여부를 다룬다. BH 절차는 독립성 조건(Benjamini and Hochberg, 1995) 및 부분에 대한 양의 회귀 의존성(PRDS) 조건(Benjamini and Yekutieli, 2001) 하에서는 FDR을 제어하는 것으로 알려져 있으나, 상관관계가 있는 양측 검정의 경우는 해결되지 않은 상태였다.

Reiner-Benaim (2007), Kim and van de Wiel (2008)의 경험적 연구와 Benjamini (2010), Sarkar (2023)의 영향력 있는 리뷰를 포함한 기존 문헌들은 상관관계 구조가 있는 모든 양측 $z$ -검정에 대해 FDR 제어가 성립할 것이라고 널리 추측해 왔다. 본 논문은 이러한 추측에 이의를 제기하며, 양측 검정에서의 두 꼬리의 "접힘"(folding) 현상( $\{P_i \le t\} = \{X_i \ge c_t\} \cup \{X_i \le -c_t\}$ )이 일측 통계량에서 작동하는 단조 회귀 및 총 양의 성질(total-positivity) 논리를 무너뜨려, 잠재적으로 FDR 팽창을 초래할 수 있다고 주장한다.

방법론 및 구성
이 추측을 반증하기 위해, 저자들은 세 개의 블록으로 분할된 특정 가우시안 요인 모델( $m_N = 100N$ 가설)을 구성한다:

진성 귀무가설 블록 ( $96N$ ): $X^{(0)}_i = \frac{3}{10}Z + \frac{\sqrt{91}}{10}\epsilon_i$ .
비귀무가설 블록 1 ( $N$ ): $X^{(1)}_j = \frac{12}{5} - \frac{3}{10}Z + \frac{\sqrt{91}}{10}\eta_j$ .
비귀무가설 블록 2 ( $3N$ ): $X^{(2)}_k = \frac{22}{5} - \frac{18}{25}Z + \frac{\sqrt{301}}{25}\xi_k$ .

여기서 $Z$ 는 공통 잠재 요인이며, $\epsilon, \eta, \xi$ 는 독립적인 표준 정규 분포를 따른다. 비귀무가설 블록들의 평균은 잠재 요인 $Z$ 에 대해 반대로 움직이도록 조정되었으며, 반면 귀무가설 블록은 $Z$ 와 함께 움직인다. 이는 특정 $Z$ 의 실현값에 대해, 비귀무가설 신호가 (BH 임계값을 높이는) 기각 횟수를 증가시키는 시점에 정확히 조건부 귀무 분포의 양측 꼬리가 두꺼워지도록 만든다.

증명은 $p$ -값의 경험적 누적 분포 함수(CDF)에 대한 점근적 분석에 의존한다. 저자들은 "임계값 브래케팅(threshold bracketing)" 기법을 활용한다:

$Z=z$ 일 때의 극한 조건부 CDF $G_z(t)$ 를 정의한다.
BH 임계값 $\tau_N$ 이 $v$ 와 $w$ ( $v < w < \alpha$ ) 사이로 엄격하게 제한되는 $z$ 값의 범위를 식별한다.
이 범위 내에서, 조건부 허위 발견 비율(FDP)이 $\alpha$ 를 초과함을 보인다.

주요 기여 및 증명 메커니즘
본 논문의 주요 기여는 상관관계가 있는 양측 가우시안 검정에 대해 FDR 제어가 실패함을 입증하는 엄격한 반례를 제시하는 것이다. 증명은 두 가지 혁신을 통해 차별화된다:

극한 유일성 회피: 이 논증은 고유한 극한 교차점이나 교차에서의 미분 가능성을 요구하지 않는다. 대신, 두 개의 엄격한 부호 조건을 사용하여 임계값을 브래킷(bracket) 안에 가둔다.
엄격한 구간 산술(Interval Arithmetic): 저자들은 "외향 라운딩 구간 산술"(outward-rounded interval arithmetic, Arb 라이브러리 사용)을 사용하여 검증된 유한한 부등식 집합을 사용한다. 잠재 요인 공간과 $p$ -값 임계값 공간을 유리수 직사각형으로 분할함으로써, 특정 부등식이 엄격하게 성립함을 인증한다. 이를 통해 부동 소수점 오차를 제거하고, FDR이 명목 수준을 초과한다는 수학적 인증서를 제공한다.

이 증명은 AI 모델인 GPT-5.6 Pro에 의해 생성되었으며, 이후 저자에 의해 검증되었고, 저자는 또한 수치 시뮬레이션을 수행하고 원고를 작성하였다.

결과

이론적 결과: 구성된 모델에 대해 $\alpha = 0.01$ 수준에서, 저자들은 충분히 큰 $N$ 에 대해 $\text{FDR}_N > 0.0104$ 임을 증명한다. 이는 명목 수준인 0.01을 엄격히 위반한다.
수치적 인증서: 잠재 요인 $Z$ 의 1,000개 빈(bin)에 걸친 기여도를 합산한 구간 산술 인증서는 약 $0.0104168$의 인증된 하한값을 산출한다.
몬테카를로 실험: 분산을 처리하기 위해 $Z$ $Z$ 에 대해 층화된(stratified) 몬테카를로 시뮬레이션이 $N=50, 100, 200$ $N = 50, 100, 200$ 에 대해 수행되었다.
- $N=200$ 일 때, 추정된 FDR은 $0.010359 $였으며, 95% 신뢰 구간은$ [0.010155, 0.010563]$으로, 명목 수준보다 완전히 높게 나타났다.
- 결과는 점근적 이론 결과와 일치하며, 유한 표본에서도 제어 실패를 보여준다.

의의 및 주장
본 논문은 20년 동안 널리 믿어져 온 추측을 반증한다고 주장한다. 이는 BH 절차가, 특히 상관관계가 신호 강도와 귀무 분포의 꼬리 행동 사이의 결합을 유도하는 경우, 양측 가우시안 검정에서 임의의 상관 구조에 대해 보편적으로 강건하지 않음을 보여준다.

저자들은 이 위반이 미미하며(명목 수준 대비 약 4%의 팽창), 매우 많은 수의 검정이 포함된 모델에서 발생한다는 점에 주목한다. 저자들은 FDR 팽창에 대한 보편적인 상한이 존재하는지, 혹은 적은 수의 검정에서는 제어가 보장되는지에 대해서는 여전히 미결 과제로 남아 있다고 명시한다. 이 연구는 복잡하고 의존적인 환경에서 BH 절차의 현재 이론적 보증이 가진 한계를 강조하며, 이러한 시나리오에서 의존성 조정 대안의 필요성을 역설한다.

유사한 논문