📊 statistics

Why Empirical p-Values Are Not Uniform: Reference Samples, Dependence, and PIT Backtesting

본 논문은 유한한 기준 표본에서 도출된 경험적 p-값이 유도된 의존성과 분산 왜곡으로 인해 기대되는 균일 분포에서 벗어남을 보여주며, 이를 독립적인 균일 추출로 취급하는 대신 근본적인 2 단계 표본 추출 구조를 고려한 수정된 백테스팅 보정 방법이 필요함을 입증한다.

원저자: Jakub Lis

게시일 2026-05-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jakub Lis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 쉬운 언어와 일상적인 비유를 사용하여 설명합니다.

핵심 아이디어: "완벽한 지도" 대 "대략적인 스케치"

이미 알고 있는 사람들과 비교하여 새로운 사람이 얼마나 "평균적인지" 판단하려 한다고 상상해 보세요.

통계의 이상적인 세계 (이론) 에서는 "신의 시각"을 갖습니다. 즉, 전 세계 사람들이 어떻게 분포되어 있는지에 대한 정확하고 완벽한 지도를 알고 있습니다. 새로운 사람을 두고 "당신보다 키가 작은 사람은 몇 퍼센트인가?"라고 묻는다면, 그 답은 **확률 적분 변환 (PIT)**이 됩니다. 만약 모델이 정확하다면, 이러한 답들은 0 과 1 사이에서 완전히 무작위로 나오는 숫자, 즉 모자에서 숫자를 뽑아내는 것과 같아야 합니다.

문제점: 실제 세계 (실무) 에서는 완벽한 지도를 가지고 있지 않습니다. 우리가 가진 것은 **참조 표본 (Reference Sample)**뿐입니다. 즉, 지금까지 측정한 소규모 그룹일 뿐입니다. "얼마나 작은 비율이 더 작은가?"라는 질문에 답하기 위해 우리는 이 제한된 데이터를 바탕으로 추측해야 합니다. 이를 통해 우리는 제한된 데이터를 사용하여 분포의 "대략적인 스케치"를 만듭니다.

논문의 발견: 저자 Jakub Lis 는 숨겨진 함정을 지적합니다. "완벽한 지도" 대신 이 "대략적인 스케치"(경험적 추정치) 를 사용할 때, 우리가 얻는 숫자들은 무작위 숫자처럼 행동하지 않게 됩니다. 왜곡되기 때문입니다. 만약 이 숫자들을 완벽한 무작위 숫자처럼 취급한다면, 우리의 통계적 검정은 잘못된 답을 내놓을 것입니다.

세 가지 시나리오: 스케치를 만드는 방법

이 논문은 사람들이 모델을 테스트하기 위해 이 "대략적인 스케치"를 만드는 세 가지 다른 방법을 살펴봅니다. 각 방법은 서로 다른 방식으로 규칙을 위반합니다.

1. "하나의 고정된 그룹" 방법 (Common-Sample)

비유: 당신이 100 명의 학생을 평가하는 교사라고 상상해 보세요. 한 학생이 "평균적인지" 결정하기 위해, 학년 초에 측정한 50 명의 단일하고 고정된 반과 비교합니다. 당신은 그 50 명으로 구성된 같은 반을 사용하여 100 명의 새로운 학생 모두를 평가합니다.

잘못된 점:
모든 사람에게 동일한 50 명을 사용하기 때문에, 그 특정 50 명 그룹에 있는 어떤 실수나 기이함도 100 명의 새로운 성적 모두에 복사됩니다.

만약 그 50 명 그룹이 우연히 unusually 키가 컸다면, 모든 사람의 "평균" 기준선이 위로 이동합니다.
논문은 여기서의 수학이 "단일 표본 검정"(완벽한 규칙에 대해 한 그룹을 확인) 처럼 보이지 않고, **"이중 표본 검정"(두 개의 엉망인 그룹을 서로 비교)**처럼 보이기 시작한다고 보여줍니다.
결과: 숫자가 독립적이라고 가정하는 표준 검정을 사용하면 잘못된 경보를 받게 됩니다. 모델이 실제로는 괜찮은데도 고장난 것으로 생각하거나, 그 반대의 상황이 발생할 수 있습니다.

2. "모두를 위한 새로운 그룹" 방법 (Independent Reference)

비유: 이제 100 명의 학생 각각에 대해, 그들과 비교할 완전히 새롭고 다른 50 명의 그룹을 꺼낸다고 상상해 보세요.

잘된 점:
이것이 유일하게 잘 작동하는 방법입니다. 각 학생마다 참조 그룹의 "노이즈"나 실수가 다르기 때문에, 서로 상쇄되기 때문입니다.

한 그룹은 너무 키가 클 수 있고, 다음 그룹은 너무 작을 수 있습니다. 이들을 모두 평균내면 오차는 사라집니다.
결과: 숫자는 거의 정확히 있어야 할 대로 행동합니다. "대략적인 스케치"들이 평균화되어 "완벽한 지도"처럼 보이므로, 여기서 표준 검정이 작동합니다.

3. "슬라이딩 윈도우" 방법 (Rolling Window)

비유: 이는 미닫이 문과 같습니다. 한 학생을 그들 바로 앞에 지나간 50 명과 비교합니다. 그런 다음 그 학생이 문을 통과하여 다음 사람을 위한 그룹의 일부가 됩니다.

잘못된 점:
이것은 연쇄 반응을 만듭니다.

학생 A 는 학생 B 를 위한 그룹을 정의하는 데 도움을 줍니다.
학생 B(학생 A 의 영향을 받은) 는 학생 C 를 위한 그룹을 정의하는 데 도움을 줍니다.
숫자들은 더 이상 독립적이지 않습니다. "점착성"이 있거나 **자기상관 (autocorrelated)**되어 있습니다.
결과: 논문은 이 방법이 데이터의 자연스러운 "흔들림"이나 분산을 억제한다고 발견합니다. 숫자들이 너무 안정적이고, 너무 완벽해 보입니다. 만약 이에 대해 표준 검정을 수행한다면, 데이터가 기만적으로 매끄럽게 보이기 때문에 실제 문제를 놓칠 수 있습니다.

핵심 결론

이 논문은 우리가 이러한 "대략적인 스케치"(경험적 p-값) 를 "완벽한 지도"인 것처럼 취급해 왔다고 주장합니다.

실수: 이론상 숫자가 균일 (무작위) 해야 한다는 이유로, 실제 데이터에서 계산한 숫자들도 균일하다고 가정합니다.
현실: 유한한 표본을 사용하여 지도를 추정하는 행위 자체가 숫자의 성질을 변화시킵니다.
- 하나의 고정된 그룹을 사용하면, 실제로는 한 그룹 확인이 아닌 두 그룹 비교를 수행하는 것입니다.
- 슬라이딩 윈도우를 사용하면, 숫자들이 사슬처럼 서로 연결되어 독립성의 규칙을 위반합니다.

결론:
이를 해결하기 위해 데이터가 독립적이고 완벽하게 균일하다고 가정하는 표준 "적합도 검정"(콜모고로프 - 스미르노프 검정 등) 을 단순히 사용할 수는 없습니다. 우리는 제한된 양의 벽돌로 지도를 만들고 있다는 사실을 고려한 새로운, 개정된 방법이 필요합니다. 이를 보정하지 않으면, 우리의 백테스팅 (위험 모델이 작동하는지 확인하는 과정) 이 오해의 소지가 있을 수 있습니다.

기술적 요약: 경험적 p-값이 균일하지 않은 이유

문제 제기
본 논문은 확률 적분 변환 (PIT) 의 이론적 속성과 모델 검증 및 백테스팅에서의 실제 구현 사이에 존재하는 근본적인 불일치를 다룹니다. 이론적으로, $X$ 가 누적 분포 함수 (CDF) $F_X$ 를 갖는 연속 확률 변수라면, 변환된 변수 $F_X(X)$ 는 $[0, 1]$ 구간에서 균일 분포를 따릅니다. 이 속성은 앙상블 예보에서 금융 리스크 관리 (예: 유럽 중앙은행 가이드라인) 에 이르기까지 다양한 분야에서 예측 분포의 보정을 평가하기 위해 PIT 와 경험적 p-값을 사용하는 기초가 됩니다.

그러나 실제로는 진정한 분포 $F_X$ 를 알 수 없습니다. 따라서 실무자들은 유한한 기준 표본을 사용하여 백분위수를 추정해야 합니다. 본 논문은 이러한 추정 단계가 문제의 통계적 구조를 근본적으로 변화시킨다고 주장합니다. 구체적으로, 경험적 백분위수를 균일 분포로부터의 독립적인 표본으로 취급하는 것은 잘못되었습니다. 올바른 모델 명세 하에서도 결과 통계량은 기대되는 균일 분포를 따르지 않으며, 이로 인해 이러한 경험적 값에 직접 적용될 때 고전적인 단일 표본 적합도 검정 (예: 콜모고로프 - 스미르노프 검정) 은 무효화됩니다.

방법론
저자는 경험적 p-값의 분포적 속성을 분석하기 위해 세 가지 서로 다른 구현 프레임워크 하에서 이론적 분해와 몬테카를로 시뮬레이션을 결합하여 사용합니다:

단일 조건부 표본 (고정 기준): 모든 관측치는 크기가 $n$ 인 단일 고정 기준 표본에 대해 평가됩니다. 경험적 백분위수 $\hat{p}(x)$ 는 이 기준 표본의 순서 통계량을 보간하여 구성됩니다.
독립 기준 표본: 각 관측치는 서로 다른 독립 기준 표본에 대해 평가됩니다. 이 프레임워크는 앙상블 예보에서 사용되는 "랭크 히스토그램" 접근법을 모방합니다.
롤링 윈도우 프레임워크: 경험적 p-값은 이전 관측치들의 이동 윈도우를 사용하여 계산되며, 각 새로운 관측치는 후속 평가를 위해 기준 집합에 포함됩니다.

이 분석은 균일 분포 $F_U$ 에 대한 변환된 값의 경험적 분포 함수 $F_m$ 을 분해하는 데 의존합니다. 논문은 Donsker 정리를 사용하여 경험적 과정의 점근적 거동을 특징화하고, 결과적으로 도출된 콜모고로프 - 스미르노프 (KS) 통계량 및 p-값을 이론적 대응값과 비교합니다.

주요 기여 및 결과

분산 분해 (고정 기준):
논문은 단일 기준 표본이 사용될 때, 변환된 값의 경험적 분포가 두 가지 무작위성의 중첩임을 보여줍니다:
1. 평가된 관측치에서의 표본 추출 변동성 (차수 $O_p(m^{-1/2})$ ).
2. 유한한 기준 표본에서의 추정 오차 (차수 $O_p(n^{-1/2})$ ).
이 분해는 $F_m - F_U = (F_m - \tilde{F}) + (\tilde{F} - F_U)$ 로 표현되며, 여기서 $\tilde{F}$ 는 기준 표본에 의해 유도된 무작위 분포입니다. 결과는 결과 KS 통계량이 단일 표본 통계량이 아니라 이중 표본 KS 통계량처럼 점근적으로 행동함을 보여줍니다. 수치 실험은 경험적 p-값의 분산과 결과 KS 통계량이 두 개의 독립 표본을 비교하여 생성된 것과 거의 구별할 수 없음을 확인합니다. 따라서 표준 단일 표본 균일성 검정을 적용하면 왜곡된 추론과 체계적인 기각률이 초래됩니다.
독립 표본을 통한 완화:
각 관측치가 고유한 독립 기준 표본을 갖는 프레임워크에서는 기준 표본과 관련된 추정 노이즈가 관측치 간에 평균화됩니다. 논문은 이러한 설정에서 경험적 백분위수의 분산이 정확한 백분위수의 분산을 밀접하게 추적함을 보여줍니다. 노이즈가 존재하지만, 변환된 값은 기본 표본의 통계적 속성을 유지하며, 정확한 KS 통계량과 경험적 KS 통계량 간의 상관관계는 여전히 명확합니다.
롤링 윈도우의 의존성:
롤링 윈도우 구현은 자기상관과 분산 감소를 도입합니다. 각 관측치가 자신의 p-값을 결정하고 이후 평가를 위해 기준 집합에 들어가기 때문에, 경험적 p-값의 시퀀스는 더 이상 독립적이지 않습니다. 시뮬레이션은 평가된 관측치 수 ( $m$ ) 가 윈도우 크기 ( $n$ ) 와 비슷할 때, 정확한 p-값과 경험적 p-값의 KS 통계량 간의 상관관계가 무너진다고 나타냅니다. 경험적 p-값은 실제 p-값에 비해 체계적으로 감소된 변동성을 보이며, 이로 인해 표준 백테스팅 절차는 오해를 불러일으키게 됩니다.

의의 및 주장
본 논문은 이론적 PIT 와 그 경험적 추정 사이의 구조적 불일치가 표준 백테스팅 맥락에서 고전적 적합도 검정 절차의 직접 적용을 무효화한다고 주장합니다. 이 작업의 주요 의의는 경험적 p-값이 독립적인 균일 표본이 아니라 2 단계 표본 추출 구조에 의해 지배된다는 것을 식별하는 데 있습니다.

저자는 다음과 같이 결론 내립니다:

공통 표본 구현은 본질적으로 문제를 이중 표본 비교로 변환하므로, 기준 표본의 크기와 변동성을 고려한 수정된 보정 방법이 필요합니다.
롤링 윈도우 구현은 자기상관과 같은 복잡한 의존 구조를 도입하여 통계적 추론을 더욱 왜곡합니다.
현재 PIT 기반 규제 및 실용적 백테스팅 절차는 기준 표본이 유한하고 관측치 간에 공유될 때 특히 이러한 추정으로 인한 왜곡을 고려하여 개정되어야 합니다.

본 논문은 구체적인 새로운 검정 통계량을 제안하기보다는, 데이터 생성 과정의 근본적인 이중 표본 또는 의존적 성격을 반영하기 위해 기존 프레임워크의 귀무가설 분포를 재평가할 것을 요구합니다.