📊 statistics

The Dirichlet Process as sampling distribution

본 논문은 디리클레 프로세스를 데이터 생성 모델로서 처음으로 조사하며, 시뮬레이션 및 실제 히스토그램 데이터를 모두 사용하여 중심 측도와 정밀도 매개변수를 추론하기 위한 베이지안 프레임워크를 제안한다.

원저자: Luis E. Nieto-Barajas

게시일 2026-07-30

📖 5 분 읽기🧠 심층 분석

원저자: Luis E. Nieto-Barajas

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 통계적 퍼즐: 데이터가 스냅샷으로 들어올 때

당신이 거대한 도시의 날씨를 이해하려고 노력하고 있다고 상상해 보십시오. 하지만 당신에게는 슈퍼컴퓨터로부터 오는 단일한, 연속적인 데이터 스트림이 없습니다. 대신, 서로 다른 동네에서 그려진 오래된 손으로 그린 기상 지도 더미를 가지고 있습니다. 어떤 지도는 크고 덩어리진 블록 형태로 온도를 보여주고, 어떤 지도는 아주 작고 정밀한 사각형을 사용합니다. 어떤 지도는 도시 전체를 보여주는 반면, 어떤 지도는 단 하나의 공원만을 보여줍니다. 이것이 바로 **베이지안 비매개변수(Bayesian nonparametrics)**의 세계입니다. 이는 경직되고 미리 정의된 틀에 억지로 끼워 맞추지 않고, 현실의 "형태"를 파악하려고 노력하는 통계학의 한 분야입니다.

보통 통로 통계학자들은 **디리클레 프로세스(Dirichlet Process, DP)**라는 도구를 숙련된 요리사의 비밀 레시피처럼 사용합니다. 그들은 몇 개의 샘플을 바탕으로 숨겨진 성분(진정한 데이터 분포)이 어떤 모습일지 추측하기 위해 이를 사용합니다. 하지만 여기에는 반전이 있습니다. 이 논문에서 저자는 이 순서를 뒤집습니다. DP를 성분을 추측하기 위한 레시피로 사용하는 대신, 그는 DP 자체를 데이터를 만들어낸 성분으로 취급합니다. 그는 다음과 같이 묻습니다. "만약 이 무질서하고 서로 다르게 보이는 지도들이 모두 동일한 보이지 않는 기계에 의해 생성되었다면, 그 기계는 어떤 모습일까?" 이것은 마치 다양한 모양의 쿠키 더미를 보고, 그 모든 것을 만들어낸 정확한 레시피와 쿠키 커터의 크기를 알아내려는 것과 같습니다.

논문의 핵심 아이디어: 레시피를 거꾸로 뒤집기

이 연구에서 루이스 E. 니에토-바라하스(Luis E. Nieto-Barajas)는 유명한 디리클레 프로세스를 가져와 이를 **샘플링 분포(sampling distribution)**로 사용합니다. 보통 이 프로세스는 데이터를 보기 전 데이터가 어떠할지에 대한 시작점인 "사전 분포(prior)"로 사용됩니다. 하지만 여기서 저자는 DP를 실제 데이터 생성기로 취급합니다. 그는 히스토그램(사건이 얼마나 자주 발생하는지 보여주는 막대그래프)의 모음이 단순히 무작위로 나타난 것이 아니라, 모두 단일한 디리클레 프로세스로부터 "태어났다"고 가정합니다.

목표는 기계를 역설계하는 것입니다. 만약 우리가 이러한 히스토그램들을 가지고 있다면, 그것들을 만든 기계의 두 가지 주요 설정을 알아낼 수 있을까요?

중심 측정치 ( $F_0$ ): 이것은 "평균적인" 형태나 기계가 복제하려고 노력하는 목표 청사진이라고 생각하면 됩니다.
정밀도 매개변수 ( $c$ ): 이것은 기계의 "까다로움" 또는 "조밀함"과 같습니다. $c$ 가 높으면 기계는 매우 엄격하여 청사진과 거의 똑같이 닮은 복사본을 만듭니다. $c$ 가 낮으면 기계는 엉성하여 매우 다양하고 변화무쌍한 복사본을 만듭니다.

논문은 DP가 연속적인 데이터(매끄러운 곡선 같은)를 모델링하는 데는 훌륭하지만, 그 경로가 실제로는 이산적(discrete)(매끄러운 선이 아닌 점프/계단 형태)이라는 점을 지적합니다. 이는 연속적인 데이터에는 보통 문제로 간주되지만, 저자는 이를 특징으로 바꿉니다. 그는 히스토그램이 이미 이산적인 블록(빈, bins)으로 구성되어 있기 때문에, DP가 히스토그램을 직접 모델링하기에 완벽한 도구라고 제안합니다.

난제: 서로 다른 지도, 하나의 퍼즐

까다로운 점은 현실 세계에서 이 히스토그램들이 항상 일치하지 않는다는 것입니다. 어떤 히스토그램은 폭이 1인 빈을 가질 수 있고, 다른 것은 1.5인 빈을 가질 수 있습니다. 이들은 서로 다른 세트에서 나온 퍼즐 조각과 같습니다. 이를 해결하기 위해 저자는 **"공통 분할(common partition)"**을 만듭니다. 모든 서로 다른 지도들을 겹쳐 놓아 모든 지도를 수용할 수 있는 가장 작고 상세한 그리드(격자)를 찾는다고 상상해 보십시오. 그러면 각 원래의 히스토그램은 이 새로운 공유 그리드로 변환됩니다. 이를 통해 수학적으로 사과가 서로 다른 모양으로 잘려 있더라도, 사과 대 사과로 비교할 수 있게 됩니다.

수학적 마법: 다항 프로세스(Multinomial Process)

기계의 설정( $c$ 와 $F_0$ )을 알아내기 위해 저자는 영리한 트릭을 사용합니다. 그는 새로운 변수 $G$ (중심 측정치에 정밀도를 곱한 값, $G = c \times F_0$ )를 사용하여 문제를 재구성합니다. 이는 문제를 훨씬 다루기 쉽게 만듭니다.

형태를 직접 추측하는 대신, 그는 **다항 프로세스(Multinomial Process)**를 사전 분포로 사용합니다. 디리클레 프로세스가 무한한 색상을 담을 수 있는 마법의 구슬 주머니라면, 다항 프로세스는 정해진 수의 구슬이 들어 있는 주머니와 같습니다. 이는 전체 데이터의 "질량"이 고정되어 있기 때문에 수학적으로 완벽하게 들어맞습니다. 이를 기하 분포(Geometric distribution)(주머니에 구슬이 얼마나 들어 있는지 추측하는 방법)와 결려 하여, 그는 완전한 통계 모델을 구축합니다.

방정식을 풀기 위해 그는 MCMC(마르코프 연쇄 몬테카를로)라는 컴퓨터 방법을 사용합니다. 이것은 눈을 가린 탐험가가 가장 높은 봉우리(가장 가능성 높은 답)를 찾기 위해 어두운 산을 돌아다니며 작은 발걸음을 옮기는 것과 같습니다. 탐험가는 매 단계마다 경사도를 확인하고 계속 걸어갈지 아니면 되돌아갈지를 결정합니다. 저자는 숫자가 매우 작아져 컴퓨터 오류를 일으킬 수 있었기 때문에, 탐험가가 길을 잃거나 절벽에서 떨어지지 않도록 "발걸음 크기"를 세심하게 조정해야 했습니다.

결과: 시뮬레이션과 실생활

저자는 두 가지 방식으로 자신의 아이디어를 테스트했습니다.

1. 시뮬레이션 (연습 게임):
그는 두 개의 정규 분포(통계학에서 흔히 쓰이는 형태)를 혼합하여 가짜 데이터를 만들었습니다. 그는 50개 또는 100개의 데이터 포인트를 가진 10개의 히스토그램을 생성했습니다.

시나리오 A: 모든 히스토그램이 동일한 그리드를 사용하는 경우. 모델은 "까다로움" 매개변수( $c$ )가 약 74(95% 신뢰 구간 [71, 79])임을 성공적으로 예측했습니다. 모델은 원래의 형태를 단계별적인 블록 형태로 거의 완벽하게 재구성했습니다.
시나리오 B: 히스토그램들이 무작위로 서로 다른 그리드를 가진 경우. 이것은 서로 다른 상자에서 나온 퍼즐 조각을 맞추는 것처럼 더 어렵습니다. 그럼에도 불구하고 모델은 작동하여 $c$ 를 약 135(범위 [120, 153])로 추정했습니다. 모델은 혼돈을 매끄럽게 다듬고 진정한 기저의 형태를 찾아냈습니다.

2. 실제 데이터 (실전 테스트):
저자는 이를 멕시코의 실제 노동 데이터에 적용했습니다. 2,478개 지방 자치 단체의 8개년(2017~2024년) 동안의 "경제 활동 인구(EAP)"와 "비공식 종사 인구(IOP)"를 살펴보았습니다.

EAP 데이터: 이 연도들의 히스토그램은 서로 다른 범위와 빈 크기를 가졌습니다. 정렬을 마친 후, 모델은 "까다로움" 매개변수 $c$ 가 약 91(범위 [78, 84])임을 찾아냈습니다. 추정된 형태는 대부분의 지방 자치 단체가 인구의 약 **57%**를 경제 활동에 참여시키고 있으며, 피크는 56%에서 58% 사이에 있음을 보여주었습니다.
IOP 데이터: 비공식 인구의 경우, 모델은 $c$ 를 127(범위 [98, 159])로 추정했습니다. 흥미로운 발견이 나타났습니다. 지방 자치 단체의 약 13%에서 17% 사이에서, 종사 인구의 거의 **100%**가 비공식적으로 일하고 있을 확률이 **95%**에 달했습니다. 저자는 이것이 멕시코의 세수 확보에 중요한 문제가 될 수 있다고 언급했습니다.

이것이 의미하는 바

이 논문은 통계학 전체를 해결했다고 주장하는 것이 아니라, 디리클레 프로세스를 사용하는 새롭고 효과적인 방법을 보여줍니다. 단순히 시작점으로서의 사전 분포로 사용하는 대신, 우리는 그것을 데이터가 만들어지는 실제 이야기로 사용할 수 있습니다. 저자는 공통 그리드와 다항 프로세스를 사용함으로써, 무질서하고 서로 맞지 않는 히스토그램들로부터 명확하고 공유된 현실의 그림을 끌어낼 수 있음을 증명했습니다.

저자는 과정 중에 어려움이 있었다는 점을 인정합니다. 모델은 0이라는 숫자를 싫어하며(빈에 아무것도 없는 상태를 허용하지 않음), 매우 작은 숫자는 컴퓨터를 다운시킬 수 있습니다. 하지만 이러한 문제들을 해결하고 나면, 이 방법은 매우 빠릅니다. 표준 컴퓨터에서 20초 미만으로 실행됩니다.

결국, 이 연구는 우리가 세상에 대한 서로 다르고 블록 형태인 여러 시각을 가지고 있을 때, 디리클레 프로세스가 전체 그림을 명확하게 볼 수 있는 최고의 렌즈가 될 수 있음을 시사합니다. 이는 때때로 전체 그림을 이해하기 위해서, 블록을 매끄럽게 다듬으려고 노력하는 대신 그 블록들을 세는 것부터 시작해야 한다는 점을 상기시켜 줍니다.

기술 요약: 샘플링 분포로서의 디리클레 프로세스

문제 제기
디리클레 프로세스(Dirichlet Process, DP)는 베이지안 비모수 통계학의 초석으로, 전통적으로 퍼거슨(Ferguson, 1973)에 의해 미지의 샘플링 분포 $F$ 에 대한 사전 분포로 소개되었습니다. 표준적인 응용 사례에서 데이터 $X = (X_1, \dots, X_n)$ 는 $F$ 로부터 생성된다고 가정하며, 추론을 용이하게 하기 위해 $F \sim DP(c, F_0)$ 라는 DP 사전 분포가 $F$ 에 놓입니다. 그러나 샘플링 분포 그 자체로서의 DP의 특성은 광범위하게 연구되지 않았으며, 이 맥락에서의 파라미터( $c$ 및 $F_0$ )에 대한 추론 또한 개발되지 않았습니다.

본 논문은 역문제를 다룹니다. 즉, $n$ 개의 관측된 누적 분포 함수(CDF) 또는 히스토그램 $F_1, \dots, F_n$ 의 집합을 고려하고, 이들이 독립적으로 DP로부터 생성되었다고, 즉 $F_i \sim DP(c, F_0)$ 라고 가정하는 것입니다. 본 연구의 목적은 알려지지 않은 중심 측정치(centering measure) $F_0$ 와 정밀도 파라미터(precision parameter) $c$ 에 대한 베이지안 추론을 수행하는 것입니다. 이러한 설정은 빈도표나 히스토그램과 같이 요약된 형태의 대규모 데이터셋이 증가하고 있는 현상에 의해 동기 부여되었습니다.

방법론
제안된 방법론은 모델을 재매개변수화하고 히스토그램 데이터의 가능도(likelihood)를 처리하기 위한 특정 사전 구조를 구축하는 것을 포함합니다.

데이터 표현 및 공통 분할(Common Partition):
데이터는 각각 서로 다른 분할 $\Pi_i$ 에 의해 정의될 수 있는 $n$ 개의 히스토그램으로 구성됩니다. 데이터를 통합하기 위해, 저자들은 모든 원래의 분할 $\Pi_i$ 의 교집합(세분화)으로 정의되는 공통 분할 $\Pi^*$ 를 구축합니다. $B^*_j$ 를 $\Pi^*$ 의 구간이라고 합시다. 원래 히스토그램의 상대 빈도는 이 공통 분할으로 매핑됩니다. 디리클레 분포의 유효성(양수의 인수를 요구함)을 보장하기 위해, 관측된 빈도가 0인 경우 작은 양수 값(예: 0.001)을 할당하고 히스토그램을 재정규화합니다.
가능도 구축:
$F_i | c, F_0 \sim DP(c, F_0)$ 라는 가정하에, 임의의 분할에 대한 상대 빈도 벡터는 디리클레 분포를 따릅니다. 파라미터에 대한 데이터의 가능도는 디리클레 밀도들의 곱입니다. 저자들은 $G = cF_0$ 라는 재매개변수화(reparameterization)를 도입하는데, 여기서 $G$ 는 정규화되지 않은 측도(un-normalized measure)입니다. $G$ 의 총 질량은 정밀도 파라미터 $c$ 에 해당합니다 (즉, $\sum G(B^*_j) = c$ ). $G$ 에 대한 가능도는 디리클레 밀도 형태를 기반으로 도출됩니다.
사전 분포 명시:
베이지안 추론을 용이하게 하기 위해, 저자들은 $c$ 가 주어졌을 때 $G$ 에 대한 사전 분포로 **다항 프로세스(Multinomial Process, MP)**를 제안합니다.

$G | c \sim MP(c, G_0)$ , 여기서 $G_0$ 는 확률 측도입니다. 이는 임의의 분할에 대해 벡터 $(G(B_1), \dots, G(B_K))$ 가 $c$ 번의 시행과 확률 $G_0(B_j)$ 를 갖는 다항 분포를 따름을 의미합니다.
정밀도 파라미터 $c$ 에는 기하 분포(Geometric prior)가 할당됩니다, $c \sim Geo(\pi_0)$ .
이러한 선택은 MP 사전 분포가 DP 샘플링 가정으로부터 도출된 가능도와 부분적으로 공액(conjugate) 관계를 갖는다는 사실에 의해 뒷받침됩니다.

사후 추론:
사후 분포는 $G$ 와 $c$ 에 대한 전체 조건부 분포(full conditional distributions)로 특징지어집니다.

$G$ 에 대한 조건부 사후 분포는 요소별로 업데이트할 수 있는 다변량 분포를 포함합니다.
$c$ 에 대한 조건부 사후 분포는 $G$ 의 현재 상태에 의존합니다.
(메트로폴리스-헤이스팅스 수락 확률을 계산하기 위해 큰 인수를 가진 감마 함수의 비율을 계산할 때 발생하는) 수치적 불안정성 때문에 직접적인 샘플링은 어렵습니다. 저자들은 무작위 워크 제안(진폭 $\pm \delta$ 인 균등 분포)을 사용하는 메트로폴리스-헤이스팅스(Metropolis-Hastings, MH) 알고리즘을 구현하여 이들의 조건부 분포로부터 샘플링합니다.

주요 기여 및 결과
본 논문은 시뮬레이션과 실제 적용을 통해 DP를 데이터 생성 모델로 사용하는 것의 타당성을 입증합니다.

시뮬레이션 연구:
- 시나리오 1: 데이터는 두 개의 정규 혼합 분포로부터 생성되었습니다 ( $n=10$ , 표본 크기 50, 공통 분할 사용). 모델은 진정한 중심 측정치 $F_0$ 와 정밀도 파라미터 $c$ (사후 평균 $\approx 74$ )를 성공적으로 회복했습니다.
- 시나리오 2: 데이터는 더 큰 표본 크기( $n=10$ , 크기 100)와 무작위의 비정렬 분할( $k_i=7$ )로 생성되었습니다. 모델은 공통 세분화( $k=38$ )를 구축함으로써 다양한 분할을 처리했습니다. $c$ 에 대한 사후 분포는 135 근처에 집중되었으며, 추정된 $F_0$ 는 실제 밀도를 밀접하게 따랐습니다. $c$ 에 대한 사전 분포를 조정하기 위해 의사 마진 가능도(Pseudo Marginal Likelihood)의 로그값인 LPML을 통한 모델 선택이 사용되었습니다.
실제 데이터 분석:
모델은 8개년(2017~2024) 동안 2,478개 지방 자치 단체에 대한 멕시코 국립 통계 지리 연구소(INEGI)의 노동 지표에 적용되었습니다.
- 경제 활동 인구 (EAP): 모델은 서로 다른 범위를 가진 8개의 히스토그램을 공통 분할로 요약했습니다. $F_0$ 의 사후 평균은 57%(구간 56–58%) 부근의 최빈값을 나타냈으며, 정밀도 파라미터 $c \approx 91$ 이었습니다.
- 비공식 종사 인구 (IOP): 다양한 빈 크기와 범위를 가진 히스토그램에 적용되었습니다. $F_0$ 의 사후 평균은 상당 부분의 지방 자치 단체에서(확률 질량 약 13–17% 부근) 종사 인구의 거의 100%가 비공식적임을 시사했습니다. 정밀도 파라미터 $c$ 는 127로 추정되었습니다.

의의 및 주장
본 논문은 디리클레 프로세스를 사전 분포가 아닌 샘플링 분포로 취급함으로써 문헌의 공백을 메운다고 주장합니다. 주요 기여는 히스토그램(그 자체가 분포인 데이터)으로부터 DP의 파라미터( $c, F_0$ )를 추론하기 위한 베이지안 프레임워크를 공식화한 것입니다.

저자들은 구현이 간단하지만, 빈도가 0인 경우의 금지 및 수치적 불안정성을 피하기 위해 매우 작은 빈도를 가진 구간을 병합해야 하는 등의 주의 깊은 처리가 필요함을 강조합니다. 모델은 계산 효율적이며, 표준 하드웨어에서 실행 시간이 20초 미만인 예시들이 있습니다.

본 논문은 이 접근 방식이 여러 히스토그램으로부터 공통의 기저 분포를 추정하기 위해 힘을 모으는(pull strength) 효과가 있다고 겸허히 결론짓습니다. 향후 연구에서는 공변량, 시계열 구조를 포함하거나 다른 이산 비모수 모델(예: 스틱-브레이킹 프로세스)을 탐색할 수 있음을 시사하지만, 본 연구의 특정 사전 선택(다항 프로세스)은 이 맥락에서 도출된 특정 가능도 형태의 공액 성질에 의해 결정된 것이지, 클러스터링을 위한 계층적 디리클레 프로세스(Teh et al., 2006)보다 우월함을 주장하는 것은 아님을 명시합니다.