The Marginal Likelihood of two-way tables and Ecological Inference

技術要約：二元分割表の周辺尤度と生態学的推論

問題提起
本論文は、行および列の周辺合計のみが観測されている場合に、二元分割表の関連構造（具体的には条件付き行分布）を推論するという、基礎的な統計学的課題に取り組んでいる。この問題は、個人の意思決定が投票の秘密保持によって観測不能である場合（例：選挙間の投票行動の遷移）、集計データ（例：投票所の結果）から個人のレベルの行動を推定する手法である「生態学的推論（Ecological Inference）」において中心的な役割を果たす。

本論文では、2つの異なるシナリオを調査している：

1. 単一の表： 単一の $R \times C$ 表の周辺量から条件付き確率を推論する。
2. 表の集合： 同一の関連構造を共有しながら、異なる周辺合計を持つ $s$ 個の表（ローカル・ユニット）の集合から、共通の条件付き行分布を推論する。

方法論および理論的枠組み

1. 単一の表の場合 ($R \times C$)
著者は、$2 \times 2$ 表に関する Plackett (1977) の研究を一般的な $R \times C$ 表へと一般化している。分析は、多項分布サンプリングにおける周辺尤度に焦点を当てている。

• パラメータ化： 条件付き行確率は、ベースラインとなるカテゴリに対するロジット ($\phi_j$) および対数オッズ比 ($\lambda_{ij}$) を用いてパラメータ化される。
• 尤度方程式： 論文は尤度方程式を導出し、標準的な無制約推定値 ($\hat{p}_{j|i} = n_{ij}/n_{i0}$) が周辺制約を満たす一方で、観測された表に対する条件付き期待値の制約 ($M_{ij} = n_{i0}p_{j|i}$) を満たさないことを示している。
• 極端な表（Extreme Tables）： 本研究の核心となる理論的貢献は、「極端な表」の概念である。これらは、与えられた周辺量を持つフレシェ・クラス（Fréchet class）の分布の上限を表す、行および列のカテゴリの特定の置換（アルゴリズム1）を通じて構築される頻度表である。
  • 論文では、極端な表 $Z$ に接近する確率分布の列 $P(Z, \epsilon)$ を $\epsilon \to 0$ として定義している。
  • この極限において、非ゼロの対数オッズ比は $+\infty$ （または $2\xi$）へと発散し、フレシェ・クラス内で可能な限り強い正の関連性を生み出す。
• 局所極大値： これらの極限分布は尤度方程式を満たすことが証明されており、これは周辺尤度がこれらの極端な表において達成される一連の局所極大値を持つことを意味している。

2. 表の集合の場合
単一の表からの推論は本質的に不可能である（尤度は病理的な極端な関連において最大化されるため）ことを認識し、論文は、同一の条件付き行確率を共有する $s$ 個の表へと焦点を移している。

• 尤度の構築： 各ユニット $h$ の観測された周辺量と互換性のあるすべての可能な表 $N_h$ についての総和を必要とする、集合に対する正確な多項周辺尤度を定式化している。
• フィッシャー・スコアリング・アルゴリズム： この複雑な尤度を最大化するために、著者は効率的なフィッシャー・スコアリング・アルゴリズムを提案している。
  • 期待情報行列（計算が困難である）の代わりに、スコアベクトルから導出された経験情報行列を利用する。
  • スコアベクトルは、拡張ハイパー幾何分布の下での条件付き期待値 $M_{hij}$ を用いて計算される。
  • 同定可能性（identifiability）のための必要条件が確立されている：データが非退化であると仮定した場合、ローカル・ユニットの数 $s$ は少なくとも $R(C-1)$ 以上でなければならない。

主な結果

1. 単一表の最尤推定量の不一致性
本論文は、単一の表に対する最尤推定（MLE）が**不一致（inconsistent）**であることを示している。

• サンプルサイズが増加するにつれ、尤度の大域的極大値は、極端な表のいずれかにおいて達成される。
• これらの極端な表は、適切な置換の後、最も強い正の関連性を持つ分布に対応しており、これらは通常、真の背後にある関連構造を反映していない。
• したがって、単一の表に対する尤度ベースの推論は「決定不能」または誤解を招く結果をもたらし、Plackett による $2 \times 2$ ケースでの知見を裏付けている。

2. 提案されたアルゴリズムの性能
$s=60$ のローカル・ユニット、$R=C=3$、およびユニットあたりの観測数 $n=40$ を用いたシミュレーション研究が行われた。提案されたフィッシャー・スコアリング・アルゴリズム（正確尤度法）を以下の手法と比較した：

• Goodman の線形回帰法 (1953)。
• 改良された Brown and Payne 法 (2009)。

結果：

• 正確尤度法は、真の生成メカニズム ($\Pi$) に最も近い推定値 ($\hat{\Pi}$) を生成し、平均二乗誤差 ($M_e$) は 0.0537 であった。
• 改良された Brown and Payne 法の $M_e$ は $0.0549$ であった。
• Goodman の手法の $M_e$ は $0.0551$ であった。
• 結果は、提案手法が理論的に優れているものの、この特定のシミュレーションにおける既存手法との性能差はわずかであることを示している。著者は、Goodman の手法は（確率が $[0,1]$ の範囲外になる可能性などの）限界はあるものの、驚くほど良好に機能することに言及している。

3. 計算量
本論文は、重大な計算上のボトルネックを強調している：各ローカル・ユニットに対して互換性のあるすべての表の集合 ($N_h$) を構築し、保存することである。

• $3 \times 3$ の表の場合、集合のサイズはサンプルサイズ $n$ に対して急速に増大する（$n=100$ で約 $10^5$ 個の表、$n=200$ で $>10^6$ 個の表）。
• 著者は、近似法や部分集合選択戦略なしでは、現実世界の選挙データ（投票所の $n$ がしばしば $\approx 800$ に達する）にこの手法を適用することは現在不可能であると述べている。

意義と主張
本論文は、以下の提供を主張している：

1. 幾何学的洞察： 固定された周辺量を持つ表の集合の幾何学的な明確化。具体的には、周辺尤度の局所極大値が、対数オッズ比が発散する極端な表に対応することを特定している。
2. 理論的解決： 単一の表に対する MLE が不一致であることを証明し、なぜ標準的な尤度推論が追加の仮定やデータなしでは生態学的推論の文脈で失敗するのかを説明している。
3. アルゴリズムへの貢献： 複数のローカル・ユニットからのデータが利用可能な場合に、正確な多項尤度を最大化するための効率的なフィッシャー・スコアリング・アルゴリズム。
4. 実証的検証： 正確な尤度アプローチが、既存の手法よりも真の値に近い推定値を与えるという証拠（ただし、小規模なシミュレーションにおける実用的な利点は限定的である）。

著者は、正確な手法は理論的に堅牢であるものの、その適用は計算上の制約によって大規模な現実世界のデータには現在制限されており、スコアおよび情報行列を近似するための、表の集合の有意義な部分集合に関する今後の研究の必要性を示唆して結論づけている。