The Marginal Likelihood of two-way tables and Ecological Inference

技术摘要：二元表的边际似然与生态推断

问题陈述
本文探讨了一个基本的统计挑战：在仅观测到行和列边际总量的情况下，如何推断二元列联表（two-way contingency table）的关联结构（具体为条件行分布）。这一问题是**生态推断（Ecological Inference）**的核心，该方法用于从聚合数据（例如投票站结果）中估计个体层面的行为（例如选举间的选民转移），而在这些聚合数据中，由于投票秘密原则，个体的联合决策是无法观测到的。

本文研究了两种截然不同的情景：

1. 单表情况： 从单个 $R \times C$ 表的边际中推断条件概率。
2. 表格集合情况： 在一组 $s$ 个表格（局部单位）中推断一组共同的条件行分布，这些表格共享相同的关联结构，但具有不同的边际总量。

方法论与理论框架

1. 单表情况 ($R \times C$)
作者将 Plackett (1977) 关于 $2 \times 2$ 表的研究推广到了通用的 $R \times C$ 表。分析重点是多项式抽样下的边际似然（marginal likelihood）。

• 参数化： 条件行概率使用相对于基准类别的对数几率（logits, $\phi_j$）和对数几率比（log-odds ratios, $\lambda_{ij}$）进行参数化。
• 似然方程： 本文推导了似然方程，表明标准的无约束估计（$\hat{p}_{j|i} = n_{ij}/n_{i0}$）虽然满足边际约束，但无法满足观测表中存在的条件期望约束（$M_{ij} = n_{i0}p_{j|i}$）。
• 极端表（Extreme Tables）： 核心理论贡献涉及极端表的概念。这些频率表是通过对行和列类别进行特定排列（算法 1）构建的，代表了给定边际的 Fréchet 分布类的上界。
  • 文中定义了一个概率分布序列 $P(Z, \epsilon)$，当 $\epsilon \to 0$ 时趋向于一个极端表 $Z$。
  • 在此极限下，非零的对数几率比趋于 $+\infty$（或 $2\xi$），从而在 Fréchet 类中创造了最强的正相关性。
• 局部极大值： 文中证明了这些极限分布满足似然方程，这意味着边际似然具有一系列在这些极端表处取得的局部极大值。

2. 表格集合情况
由于作者意识到从单表进行推断本质上是不可能的（因为似然函数会在病态的极端关联处达到最大值），本文转向研究共享相同条件行概率的 $s$ 个表格集合。

• 似然构造： 为表格集合构建了精确的多项式边际似然，这需要对与每个单元观测到的边际相兼容的所有可能表格 $N_h$ 进行求和。
• Fisher 得分算法（Fisher Scoring Algorithm）： 为了最大化这个复杂的似然函数，作者提出了一种高效的 Fisher 得分算法。
  • 该方法并非使用难以计算的期望信息矩阵，而是利用从得分向量（score vectors）导出的经验信息矩阵。
  • 得分向量是使用扩展超几何分布下的条件期望（$M_{hij}$）计算得出的。
  • 作者建立了一个识别性（identifiability）的必要条件：局部单位的数量 $s$ 必须至少为 $R(C-1)$（假设数据是非退化的）。

主要结果

1. 单表 MLE 的不一致性
本文证明了单表的极大似然估计（MLE）是不一致的。

• 随着样本量的增加，似然函数的全局最大值将在一个极端表处取得。
• 这些极端表对应于在经过适当排列后具有最强正相关的分布，而这通常无法反映真实的底层关联结构。
• 因此，基于单表的似然推断会产生“无结论”或误导性的结果，证实了 Plackett 早期关于 $2 \times 2$ 情况的研究结果。

2. 所提算法的性能
研究人员进行了一项模拟实验，设置 $s=60$ 个局部单位，$R=C=3$，且每个单元的观测数 $n=40$。将所提出的精确似然法（Exact Likelihood）与以下方法进行了对比：

• Goodman 的线性回归法 (1953)。
• 修改后的 Brown 和 Payne 方法 (2009)。

发现：

• 精确似然法产生的估计值（$\hat{\Pi}$）最接近真实的生成机制（$\Pi$），其均方误差（$M_e$）为 0.0537。
• 修改后的 Brown 和 Payne 方法的 $M_e = 0.0549$。
• Goodman 的方法 $M_e = 0.0551$。
• 结果表明，尽管所提方法在理论上更优，但在该特定模拟中的性能提升幅度较小。作者指出，尽管 Goodman 的方法存在局限性（例如，可能出现概率超出 $[0,1]$ 范围的情况），但其表现出奇地好。

3. 计算复杂度
本文强调了一个显著的计算瓶颈：为每个局部单元构建并存储所有兼容表格（$N_h$）的过程。

• 对于一个 $3 \times 3$ 的表，其大小随样本量 $n$ 的增加而迅速增长（当 $n=100$ 时约为 $10^5$ 个表格，$n=200$ 时超过 $10^6$ 个）。
• 作者指出，在不使用近似法或子集选择策略的情况下，目前将此方法应用于现实世界的选举数据（其中投票站的 $n$ 通常接近 800）是不可行的。

意义与主张
本文声称提供了以下内容：

1. 几何洞察： 澄清了具有固定边际的表格集合的几何结构，特别是识别出边际似然的局部极大值对应于对数几率比发散的极端表。
2. 理论解决： 证明了单表的 MLE 是不一致的，解释了为什么在没有额外假设或数据的情况下，标准的似然推断在生态推断语境下会失效。
3. 算法贡献： 提供了一种高效的 Fisher 得分算法，用于在有多个局部单元数据时最大化精确的多项式似然。
4. 实证验证： 证据表明，精确似然法产生的估计值比现有方法更接近真实值，尽管在小型模拟中的实际优势是有限的。

作者总结道，虽然精确法在理论上是稳健的，但由于计算限制，其在处理大规模现实世界数据方面的应用目前受到限制，这表明未来需要研究如何通过有意义的表格集合子集来近似得分和信息矩阵。