📊 statistics

Dual system estimation using mixed effects loglinear models

이 논문은 혼합 효과 로그선형 모델을 이용한 이중 체계 추정을 조사하며, 시뮬레이션을 통해 해당 모델이 표준 고정 효과 접근 방식보다 평균 제곱 오차 측면에서 약간의 개선을 제공하는 동시에 다중 체계 추정으로의 확장을 위한 프레임워크를 제공함을 입증한다.

원저자: Ceejay Hammond, Paul A. Smith, Peter G. M. van der Heijden

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ceejay Hammond, Paul A. Smith, Peter G. M. van der Heijden

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 한 대규모 국가에 얼마나 많은 사람들이 살고 있는지 세려고 한다고 상상해 보십시오. 모든 사람에게 직접 물어볼 수는 없으므로, 당신은 두 개의 서로 다른 "목록"(예를 들어 유권자 등록 명부와 세금 기록 명부)을 사용하여 이들을 찾아내기로 합니다. 이것을 **이중 체계 추정(Dual System Estimation)**이라고 합니다.

기본적인 아이디어는 간단합니다. 목록 A에 누가 있는지, 목록 B에 누가 있는지, 그리고 두 목록 모두에 누가 있는지를 살펴봅니다. 약간의 수학을 이용하면, 두 목록 모두에 없는 사람들(즉, "숨겨진" 인구)이 얼마나 될지 추측할 수 있습니다.

하지만 문제가 하나 있습니다. 만약 국가 전체를 대상으로 한꺼번에 이 작업을 수행하려고 하면 수학이 매우 복式해집니다. 왜냐하면 지역마다(예를 들어 서로 다른 도시나 지역) 사람들의 행동 양상이 다르기 때문입니다. 그래서 통계학자들은 보통 국가를 더 작은 단위(층, strata)로 나누고 각 단위별로 수학적 계산을 수행합니다.

문제점: "소규모 그룹"의 딜레마

이 논문은 이러한 단위들을 처리하는 두 가지 방법을 비교합니다.

고정 효과 접근법 (기존 방식): 이는 모든 개별 지역을 완전히 분리된 하나의 섬처럼 취급합니다. 지역 A의 데이터만을 사용하여 지역 A의 답을 계산하고, 그다음 지역 B에 대해서도 똑같이 수행합니다.
- 결함: 만약 어떤 지역이 작거나 명부에 기재된 사람이 매우 적다면, 수학적 계산이 불안정해집니다. 이는 마치 농구팀의 평균 키를 구하려고 하는데 단 한 명의 선수만 보고 추측하는 것과 같습니다. 추정치가 터무니없이 틀리거나, 혹은 계산 자체가 불가능(무한대)해질 수 있습니다.
혼합 효과 접근법 (새로운 방식): 이는 지역들을 하나의 큰 가족의 일부로 취급합니다. 모든 지역이 고유한 특성을 가지고 있지만, 동시에 공통된 특성도 공유한다고 가정합니다.
- 비유: 당신이 30개의 서로 다른 과수원에 있는 사과의 무게를 추측하고 있다고 상상해 보십시오.
  - 고정 효과: 당신은 과수원 A의 사과 무게를 재고, 과수원 B를 보지 않은 채 과수원 A의 총 무게를 추측합니다. 만약 과수원 A에 사과가 3개뿐이라면, 당신의 추측은 근거 없는 무모한 시도가 됩니다.
  - 혼합 효과: 당신은 30개 과수원의 사과 무게를 모두 잽니다. 만약 과수원 A에 사과가 아주 적다면, 모델은 이렇게 말합니다. "음, 다른 과수원들은 나무 한 그루당 평균 100파운드였으니, 과수원 A도 아마 그 근처일 것이지만, 우리가 과수원 A에서 실제로 본 데이터를 바탕으로 약간 조정하자."
- 마법: 이것을 **"수축(Shrinkage)"**이라고 부릅니다. 모델은 작은 지역에서 나온 터무니없는 추측치를 전체 평균 쪽으로 "수축"시킵니다. 즉, 샘플링이 잘 된 큰 지역으로부터 얻은 힘을 빌려와서, 샘플링이 제대로 되지 않은 작은 지역을 돕는 것입니다.

이 논문이 수행한 작업

저자들은 어떤 방법이 더 효과적인지 알아보기 위해 수천 번의 컴퓨터 시뮬레이션을 실행했습니다. 그들은 다양한 규모(작은 마을부터 거대 도시까지)의 가상 인구를 만들고, 이를 여러 지역(5개에서 30개 사이)으로 나누었습니다. 또한 데이터가 완벽하게 "정규 분포"를 따르지 않을 때(예: 인구 분포가 편향된 경우) 수학적 오류가 발생하는지도 테스트했습니다.

결과

정확도: "혼합 효과" 방식(가족 접근법)이 "고정 효과" 방식(섬 접근법)보다 약간 더 우수했습니다. 특히 지역이 작거나 데이터가 희소할 때 실수가 더 적었습니다.
강건성(Robustness): 데이터가 완벽한 수학적 규칙(편향된 분포 등)을 따르지 않을 때도, 혼합 효과 방식은 잘 버텨냈습니다. 즉, 모델이 무너지지 않았습니다.
채프먼 추정량(Chapman Estimator): 논문은 오류를 줄이기 위한 특정 해결책인 "채프먼 추정량"(기존 방식의 수학적 미세 조정)에 대해서도 살펴보았습니다. 채프먼 수정안이 기존 방식의 도움을 주긴 했지만, 전체적인 정확도와 안정성 측면에서는 새로운 혼합 효과 방식이 여전히 약간 더 우월했습니다.

결론

두 개의 목록을 사용하여 숨겨진 인구를 세려고 할 때, 데이터를 여러 작은 지역으로 나누어야 한다면 **혼합 효과 로그선형 모델(Mixed Effects Loglinear Model)**이 더 현명한 도구입니다. 이는 일종의 안전망과 같습니다. 만약 한 지역의 데이터가 약하다면, 모델은 다른 지역들로부터 얻은 정보를 사용하여 그 추정치가 낭떠러지로 떨어지지 않도록 잡아줍니다.

논문은 또한 두 개의 목록 대신 세 개의 목록을 사용하는 경우(다중 체계 추정)에도 이와 동일한 "가족" 논리가 적용될 수 있다고 언급하지만, 핵심적인 발견은 동일합니다. 즉, 전체 그룹으로부터 힘을 빌리는 것이 작은 부분들에 대해 더 나은 수치를 얻는 데 도움이 된다는 것입니다.

기술 요약: 혼합 효과 로그선형 모델을 이용한 이중 체계 추정 (Dual System Estimation)

1. 문제 정의

이중 체계 추정(Dual System Estimation, DSE)은 두 데이터 소스를 연결하고 두 목록 모두에서 누락된 단위의 수를 추정함으로써 모집단 크기를 추정하는 공식 통계의 표준 도구이다. 이 방법은 두 목록 사이의 독립성과 균일한 포함 확률 가정을 기반으로 한다. 이러한 균일성 가정을 충족하기 위해, DSE는 종종 지역과 같은 변수에 의해 층화(stratification)된다.

표준적인 접근 방식은 고정 효과 로그선형 모델(fixed effects loglinear models)을 사용하여 모든 층화 변수의 수준에 대해 파라미터를 추정한다. 이 방식은 다음과 같은 상당한 문제에 직면한다:

파라미터 과잉 (Parameter Proliferation): 층화 수준(예: 지역)의 수가 많아지면 파라미터의 수가 관리 불가능할 정도로 늘어난다.
소표본 편향 (Small Sample Bias): 많은 층과 층 내 소표본이 존재하는 시나리오에서 고정 효과 모델(및 표준 Lincoln-Petersen 추정량)은 편향된 추정치를 생성한다.
무한 추정치 (Infinite Estimates): 특정 층 내에서 두 목록의 교집합이 비어 있는 경우( $n_{11}=0$ ), 고정 효과 추정량은 무한한 모집단 추정치를 산출한다.

소표본 편향을 완화하기 위해 Chapman 추정량이 자주 사용되지만, 이는 여러 파라미터를 독립적으로 추정하는 데서 발생하는 비효율성을 해결하지 못한다. 본 논문은 혼합 효과 로그선형 모델(mixed effects loglinear models, 또는 다층/계층 모델로도 알려짐)을 대안으로 사용하는 방안을 조사한다. 이 모델은 층화 변수와 관련된 고정 파라미터를 분포에서 추출된 랜덤 효과(random effects)로 대체하여, 그룹 간에 "정보를 공유(borrowing strength)"함으로써 추정의 안정성을 개선한다.

2. 방법론

2.1. 고정 효과 로그선형 모델

저자들은 로그 링크를 가진 포아송 회귀(Poisson regression)를 사용하여 베이스라인을 정의한다.

층화가 없는 경우: 두 개의 목록( $A$ 와 $B$ )에 대한 포화 모델(saturated model)은 절편과 상호작용 항을 포함한다. $A=0, B=0$ 인 누락된 단위 셀은 관측되지 않으므로, 모델은 독립성을 가정하며 조건부 독립 형태( $conditional\ independence\ form$ )로 축소된다.
층화가 있는 경우: 층화 변수 $R$ (예: 지역)이 도입될 때, 표준 접근 방식은 각 $R$ 의 수준 $l$ 에 대해 $[AR][BR]$ 조건부 독립 모델을 적합시킨다. 이는 모든 지역에 대해 별도의 파라미터 세트를 생성하며, 결과적으로 자유도가 0인 최대 모델(maximal model)이 된다.

2.2. 혼합 효과 로그선형 모델

핵심 제안은 층화 변수( $R$ ) 및 그 상호작용과 관련된 고정 효과를 랜덤 효과로 대체하는 것이다.

모델 구조: 로그선형 모델은 지역 전반에 걸친 목록 $A$ 와 $B$ 의 포함 확률을 위해 랜덤 절편( $u_{0l}$ )과 랜덤 기울기( $u_{1il}, u_{2jl}$ )를 포함하도록 재매개변수화된다.
$\log \mu_{ijl} = (\lambda + u_{0l}) + \lambda^A_i + \lambda^B_j + u_{1il} + u_{2jl}$
여기서 $u_{0l} \sim N(0, \sigma^2_{u0})$ 는 모집단 크기의 지역 간 변동성을 포착하며, 기울기 항은 포획 확률의 변동성을 포착한다.
축소 추정 (Shrinkage Estimation): 랜덤 효과 추정량은 축소 추정량(최적 비편향 예측량, Best Unbiased Predictors) 역할을 한다. 그룹 수준의 추정치는 그룹의 데이터 신뢰도(표본 크기)와 전체 평균으로부터의 거리에 따라 가중치가 부여되어 전체 평균 쪽으로 "축소(shrunk)"된다. 이는 분산을 줄이고, 무한한 추정치를 요구하지 않으면서 소표본 편향을 완화한다.
구현: 모델은 R의 lme4 패키지를 사용하여 적합되며, 작은 셀 빈도에서 흔히 발생하는 수렴 문제를 처리하기 위해 bobyqa 옵티마이저를 활용한다.

2.3. 편향 감소 및 확장

Chapman 추정량: 고정 효과 모델의 경우, 저자들은 소표본 편향을 줄이기 위해 Chapman 추정량( $n_{11}$ 셀에 1을 더함)을 적용한다. 이러한 조정은 혼합 효과 모델에는 적용되지 않는데, 이는 축소 메커니즘 자체가 유사한 편향 감소 목적을 수행하기 때문이다.
다중 체계 추정 (MSE): 이 방법론은 세 개의 목록(Triple System Estimation)으로 확장된다. 저자들은 고정 상호작용 항을 랜덤 효과로 대체하여 관측되지 않은 셀( $A=0, B=0, C=0$ )을 추정하는 3원 테이블(three-way tables)을 위한 혼합 효과 모델을 구성한다.

3. 시뮬레이션 연구 설계

저자들은 고정 효과 모델(Chapman 보정 포함 및 미포함) 대비 혼합 효과 모델의 성능을 평가하기 위해 종합적인 시뮬레이션 연구를 수행하였다.

변화 요인:
- 모집단 크기 ( $N$ ): 500에서 300,000까지 범위 설정.
- 지역 수: 5개에서 30개.
- 포획 확률: 높은 경우 ( $\pi_A=0.8, \pi_B=0.7$ ) 및 낮은 경우 ( $\pi_A=0.4, \pi_B=0.2$ ) 시나리오.
- 랜덤 효과 분포: 정규 분포(가정됨), 로그 정규 분포, 그리고 정규성 위반에 대한 강건성을 테스트하기 위한 파레토(Pareto) 분포.
평가 지표: 성능은 평균 절대 상대 편향(MARb), 변동 계수(CV), 그리고 평균 제곱 오차(MSE)를 사용하여 평가되었다.

4. 주요 결과

성능 비교: 혼합 효과 로그선형 모델은 Chapman 추정량을 적용한 고정 효과 모델과 비슷하거나 일관되게 더 우수한 성능을 보였다.
- 편향: 혼합 효과 모델은 특히 모집단 크기가 작고 지역 수가 많을 때(셀 빈도가 희소한 경우) 더 낮은 MARb를 보였다.
- 분산: 혼합 효과 모델은 표본 크기가 작을 때 고정 효과 모델에 비해 더 낮은 변동성(CV)을 나타냈다.
분포 가정에 대한 강건성: 결과는 혼합 효과 모델이 정규성 가정 위반에 대해 강건함을 보여주었다. 로그 정규 및 파레토 분포를 따른 랜덤 효과로부터 도출된 추정치는 정규성 가정이 성립할 때와 비교하여 유사한 MARb 및 CV를 나타냈다.
소표본 동작: 고정 효과 모델(Chapman 보정 미적용 시)이 교집합에서의 0 카운트로 인해 무한한 추정치를 생성했던 시나리오에서도, 혼합 효과 모델은 안정적이고 유한한 추정치를 제공했다.
개선 정도: 혼합 효과 모델이 더 나은 성능을 보였으나, 저자들은 Chapman 추정량을 적용한 고정 효과 모델 대비 평균 제곱 오차(MSE)의 개선 폭은 일반적으로 작음을 언급하였다.

5. 의의 및 주장

본 논문은 혼합 효과 로그선형 모델이 특히 다음과 같은 공식 통계 맥락의 이중 체계 추정에서 실행 가능한 강력한 대안임을 주장한다:

많은 층 (Many Strata): 총 모집단에 비해 지역 수가 많은 상황.
작은 표본 크기 (Small Sample Sizes): 개별 층의 데이터가 희소하여 고정 효과 추정치의 불안정성을 초래하는 상황.
낮은 포획 확률 (Low Capture Probabilities): 포함 확률이 낮아 빈 셀(empty cells) 발생 위험이 높은 상황.

저자들은 Chapman 추정량이 여전히 강력한 성능을 발휘하지만, 혼합 효과 모델이 모든 그룹으로부터 정보를 공유함으로써 "편향에 강건한 접근 방식(bias-robust approach)"을 제공한다고 결론지었다. 이 접근 방식은 편향과 분산 사이의 트레이드오프를 자연스럽게 처리하여, 무한한 추정치의 위험을 줄이고 어려운 추정 시나리오에서 전반적인 정밀도를 향상시킨다. 이 방법론은 다중 체계 추정으로 성공적으로 확장되었으며, 이는 이중 체계 사례를 넘어 넓은 적용 가능성을 시사한다.

저자들은 혼합 효과 모델이 고정 효과 모델보다 우수하지만, 테스트된 시나리오에서 MSE의 이득이 종종 미미하다는 점을 인정하며 신중한 어조를 유지하였다. 그러나 소표본 및 고층 구조 환경에서 혼합 효과 접근 방식이 갖는 안정성과 강건성이 주요 장점으로 강조되었다.