The Marginal Likelihood of two-way tables and Ecological Inference

기술 요약: 이원 분할표의 주변 가능도와 생태적 추론

문제 정의
본 논문은 행과 열의 주변 합계(marginal totals)만이 관측될 때, 이원 분할표의 연관 구조(구체적으로는 조건부 행 분포)를 추론하는 근본적인 통계적 과제를 다룬다. 이 문제는 **생태적 추론(Ecological Inference)**의 핵심이며, 이는 개별 수준의 행동(예: 선거 간 유권자의 투표 전환)을 집계된 데이터(예: 투표소 결과)로부터 추정하는 방법론이다. 이때 개별의 결합 결정은 투표 비밀주의로 인해 관측 불가능하다.

본 논문은 두 가지 구별되는 시나리오를 조사한다:

1. 단일 표(Single Table): 단일 $R \times C$ 표의 주변값으로부터 조건부 확률을 추론함.
2. 표의 집합(Collection of Tables): 동일한 연관 구조를 공유하지만 서로 다른 주변 합계를 가진 $s$개의 표(국지적 단위) 집합으로부터 공통된 조건부 행 분포를 추론함.

방법론 및 이론적 프레임워크

1. 단일 표의 경우 ($R \times C$)
저자는 $2 \times 2$ 표에 관한 Plackett(1977)의 연구를 일반적인 $R \times C$ 표로 확장한다. 분석은 다항 샘플링(multinomial sampling) 하에서의 **주변 가능도(marginal likelihood)**에 초점을 맞춘다.

• 매개변수화: 조건부 행 확률은 기저 범주(baseline category)에 대한 로짓($\phi_j$)과 로그 오즈 비(log-odds ratios, $\lambda_{ij}$)를 사용하여 매개변수화된다.
• 가능도 방정식: 논문은 표준적인 무제약 추정치($\hat{p}_{j|i} = n_{ij}/n_{i0}$)가 주변 제약 조건은 만족하지만, 관측된 표에 대한 조건부 기대값 제약($M_{ij} = n_{i0}p_{j|i}$)은 만족하지 못함을 보여주는 가능도 방정식을 도출한다.
• 극단적 표(Extreme Tables): 핵심적인 이론적 기여는 극단적 표의 개념을 포함한다. 이들은 주어진 주변값들을 갖는 프레셰 클래스(Fréchet class)의 상한을 나타내는 특정 행 및 열 범주의 치환(Algorithm 1)을 통해 구축된 빈도 표이다.
  • 논문은 극단적 표 $Z$에 접근하는 확률 분포의 수열 $P(Z, \epsilon)$을 $\epsilon \to 0$일 때로 정의한다.
  • 이 극한에서, 비제로(non-zero) 로그 오즈 비는 $+\infty$(또는 $2\xi$)로 발산하며, 프레셰 클래스 내에서 가능한 가장 강력한 양의 연관성을 생성한다.
• 지역 최댓값(Local Maxima): 이러한 극한 분포들이 가능도 방정식을 만족함을 증명하며, 이는 주변 가능도가 극단적 표들에서 달성되는 일련의 지역 최댓값을 가짐을 의미한다.

2. 표의 집합의 경우
단일 표로부터의 추론은 본질적으로 불가능하다(가능도가 병리적인 극단적 연관에서 최대화되므로), 이를 인식하여 논문은 동일한 조건부 행 확률을 공유하는 $s$개 표의 집합으로 초점을 전환한다.

• 가능도 구축: 각 단위 $h$의 관측된 주변값과 호환되는 모든 가능한 표 $N_h$에 대한 합산을 요구하는 정확한 다항 주변 가능도를 공식화한다.
• 피셔 스코어링 알고리즘(Fisher Scoring Algorithm): 이 복잡한 가능도를 최대화하기 위해 저자는 효율적인 피셔 스코어링 알고리즘을 제안한다.
  • 기대 정보 행렬(expected information matrix)을 사용하는 대신(계산이 어려움), 점수 벡터(score vectors)로부터 도출된 **경험적 정보 행렬(empirical information matrix)**을 활용한다.
  • 점수 벡터는 확장된 초기하 분포(extended hypergeometric distribution) 하에서의 조건부 기대값 $M_{hij}$를 사용하여 계산된다.
  • 식별성(identifiability)을 위한 필요 조건이 확립된다: 국지적 단위의 수 $s$는 적어도 $R(C-1)$ 이상이어야 한다(비퇴화 데이터 가정 시).

주요 결과

1. 단일 표 MLE의 일관성 결여
논문은 단일 표에 대한 최대 가능도 추정치(MLE)가 **일관성이 없음(inconsistent)**을 입증한다.

• 표본 크기가 증가함에 따라, 가능도의 전역 최댓값은 극단적 표 중 하나에서 달성된다.
• 이러한 극단적 표는 (적절한 치환 후) 가능한 가장 강력한 양의 연관성을 갖는 분포에 해당하며, 이는 일반적으로 실제 밑바탕이 되는 연관 구조를 반영하지 않는다.
• 결과적으로, 단일 표에 대한 가능도 기반 추론은 "결론을 내릴 수 없거나" 오해의 소지가 있는 결과를 낳으며, 이는 $2 \times 2$ 사례에 대한 Plackett의 초기 발견을 확인시켜 준다.

2. 제안된 알고리즘의 성능
$s=60$개의 국지적 단위, $R=C=3$, 단위당 $n=40$의 관측치를 가진 시뮬레이션 연구가 수행되었다. 제안된 피셔 스코어링 알고리즘(정확한 가능도)을 다음 방법들과 비교하였다:

• Goodman의 선형 회귀법 (1953).
• 수정된 Brown 및 Payne 방법 (2009).

결과:

• 정확한 가능도(Exact Likelihood) 방법은 실제 생성 기제($\Pi$)에 가장 가까운 추정치($\hat{\Pi}$)를 생성하였으며, 평균 제곱 오차($M_e$)는 0.0537이었다.
• 수정된 Brown 및 Payne 방법은 $M_e = 0.0549$를 기록했다.
• Goodman의 방법은 $M_e = 0.0551$을 기록했다.
• 결과는 제안된 방법이 이론적으로 우월하지만, 이 특정 시뮬레이션에서의 성능 격차는 완만함을 나타낸다. 저자는 Goodman의 방법이 (확률이 $[0,1]$ 범위를 벗어날 수 있는 등의) 한계에도 불구하고 놀라울 정도로 잘 작동한다고 언급한다.

3. 계산 복잡도
논문은 중요한 계산적 병목 현상을 강조한다: 각 국지적 단위에 대해 호환되는 모든 표($N_h$)를 구축하고 저장하는 문제.

• $3 \times 3$ 표의 경우, $N_h$의 크기는 표본 크기 $n$에 따라 급격히 증가한다 (예: $n=100$일 때 약 $10^5$개의 표, $n=200$일 때 $>10^6$개).
• 저자는 근사치나 부분 집합 선택 전략 없이는 실제 선거 데이터(투표소가 흔히 $n \approx 800$인 경우)에 이 방법을 적용하는 것이 현재로서는 불가능하다고 지적한다.

의의 및 주장
논문은 다음과 같은 성과를 주장한다:

1. 기하학적 통찰: 고정된 주변값을 갖는 표 집합의 기하학적 구조를 명확히 함. 특히, 주변 가능도의 지역 최댓값이 발산하는 로그 오즈 비를 갖는 극단적 표에 대응함을 식별하였다.
2. 이론적 해결: 단일 표의 MLE가 일관성이 없음을 증명함으로써, 왜 추가적인 가정이나 데이터 없이는 표준적인 가능도 추론이 생태적 추론 맥락에서 실패하는지를 설명한다.
3. 알고리즘적 기여: 여러 국지적 단위의 데이터가 사용 가능할 때, 정확한 다항 가능도를 최대화하기 위한 효율적인 피셔 스코어링 알고리즘을 제공한다.
4. 실증적 검증: 정확한 가능도 접근법이 기존 방법들보다 진리에 더 가까운 추정치를 산출한다는 증거를 제시한다. 다만, 작은 규모의 시뮬레이션에서 실질적인 이점은 미미하다.

저자는 정확한 방법이 이론적으로는 견고하지만, 대규모 실제 데이터에 대한 적용은 현재 계산적 제약에 의해 제한되어 있으며, 점수 및 정보 행렬을 근사하기 위해 표 집합의 의미 있는 부분 집합을 사용하는 향후 연구가 필요함을 시사하며 결론을 맺는다.