論文要約：モデル支援型データ統合（MADI）サンプリング戦略

タイトル: Model Assisted Data Integration: An unbiased sampling strategy to use nonprobability data
著者: Martin Hyllienmark, Gustaf Strandell (Statistics Sweden)

1. 背景と課題 (Problem)

近年、統計機関（NSO）は、コスト削減、回答負担の軽減、品質向上を目的として、確率標本（Probability Sample）に加え、非確率データ（Nonprobability Data, NPD）や行政記録などの「発見されたデータ」の活用を模索しています。しかし、NPD を利用する際の最大の課題は、選択バイアス（Selection Bias）です。NPD は特定の選抜メカニズム（例：自発的参加、デジタルデバイドなど）に基づいて収集されるため、母集団を代表しておらず、その選抜メカニズムが不明である場合、従来の推定量ではバイアスが生じるリスクがあります。

既存の解決策（インプテーション、応答傾向スコア、重み較正、ダブルロバスト推定量など）は、多くの場合「欠測がランダムである（MAR）」という仮定に依存しており、現実の複雑な選抜バイアス（MNAR: Missing Not At Random）下では検証が困難、あるいは仮定が成り立たないという限界があります。また、小標本サイズかつ多数の補助変数を用いる場合、従来の GREG 推定量（一般化回帰推定量）は重みの不安定化や行列の特異化を招き、推定が不可能になることがあります。

2. 提案手法：モデル支援型データ統合 (MADI) (Methodology)

本論文では、Kim and Tam (2021) が提案した「データ統合（Data Integration, DI）推定量」を拡張し、モデル支援型データ統合（Model Assisted Data Integration, MADI）サンプリング戦略を提案しています。

核心的な考え方

母集団 $U$ を、 study 変数 $y$ の値が既知の非確率データ集合 $A$ と、未知の補集合 $B$ に分割します。

1. サンプリング設計: 確率標本 $s_B$ を、NPD でカバーされていない部分集合 $B$ からのみ抽出します。
2. 推定量の構成: 以下の 3 つの項からなる推定量を構築します。
   $$\hat{t}_{y, MADI} = \underbrace{\sum_{i \in A} y_i}_{\text{既知の総和}} + \underbrace{\sum_{i \in B} \mu(\mathbf{x}_i, A)}_{\text{モデルによる予測総和}} + \underbrace{\sum_{i \in s_B} \frac{e_i}{\pi_{iB}}}_{\text{モデル誤差の補正}}$$
   • 第 1 項: NPD 集合 $A$ における $y$ の総和（既知）。
   • 第 2 項: 集合 $B$ 全体に対する、NPD 集合 $A$ で学習した機械学習モデル $\mu(\mathbf{x}, A)$ による予測値の総和。
   • 第 3 項: 確率標本 $s_B$ における残差 $e_i = y_i - \mu(\mathbf{x}_i, A)$ を設計重み $\pi_{iB}$ で加重した値。これによりモデルの予測誤差を補正します。

特徴と利点

• 設計不偏性（Design-Unbiasedness）: モデル $\mu$ が確率標本 $s_B$ に依存せず、NPD 集合 $A$ のみで学習されるため、推定量は設計上不偏となります。これは GREG 推定量（モデルを標本データで学習し、残差を補正する）とは根本的に異なります。
• 任意のモデルの適用: 線形回帰に限らず、ランダムフォレスト、ニューラルネットワークなど、任意の機械学習モデルを $\mu$ として使用できます。NPD 集合 $A$ が十分に大きければ、過学習（Overfitting）のリスクを低減しつつ、複雑なモデルを適用可能です。
• 不偏な分散推定量: 設計に基づく不偏な分散推定量を導出しており、統計機関の生産サイクルに適合した安全な推定が可能です。
• 過学習への頑健性: モデルが不適切に適合（過学習）した場合でも、推定量自体は不偏であり、分散推定量がその増大を正しく捉えるため、結果の信頼性を評価できます。

3. 主要な貢献 (Key Contributions)

1. 理論的枠組みの構築: 非確率データと確率標本を統合し、設計不偏性を保ちながら任意の機械学習モデルを統合する新しい推定量（MADI）を提案しました。
2. 小標本・高次元問題への解決: 従来の GREG 推定量が直面する「小標本かつ多数の補助変数」による行列特異や不安定化の問題を、NPD 集合 $A$ でモデルを学習させることで回避しました。
3. 仮定の緩和: 「欠測がランダムである（MAR）」という強い仮定を必要とせず、選択バイアスが存在する状況でも有効な推定が可能です。

4. 結果 (Results)

スウェーデン統計局（Statistics Sweden）の所得・税務登録データ（2021 年）を用いたシミュレーション実験により、MADI の有効性を検証しました。

• シミュレーション 1（RMSE とバイアスの比較）:

  • 選択バイアス（MNAR）が存在する条件下で、MADI（特にランダムフォレストモデルを使用した場合：$SRS_B-MADI_{RF}$）は、従来の HT 推定量、GREG 推定量、および単純な DI 推定量と比較して、最小の RMSE（平均二乗誤差）を達成しました。
  • 小標本サイズ（例：$n=25$）においても、MADI はバイアスゼロを維持し、安定した推定を提供しました。一方、GREG 推定量は小標本では推定不能になるケースが多く見られました。
  • 信頼区間の被覆率（Coverage Probability）も 95% 目標に近接しており、分散推定量の精度も良好でした。

• シミュレーション 2（必要な標本サイズの比較）:

  • 変動係数（CV）を 1% に抑えるために必要な確率標本のサイズを比較しました。
  • 結果、MADI 戦略（$SRS_B-MADI_{RF}$）は、従来の HT や GREG 推定量に比べて、必要な標本サイズが劇的に減少しました（例：GREG で約 269 件、MADI では状況によっては数十件で達成）。
  • 極端な選択バイアス（例：高所得者層のみが NPD に含まれる場合）が存在するシナリオでも、MADI は従来の HT 推定量と同等かそれ以上の性能を示しました。

5. 意義と結論 (Significance)

本論文で提案された MADI サンプリング戦略は、統計機関が非確率データを公式統計に統合する際の重要なブレイクスルーとなります。

• コストと負担の削減: 確率標本のサイズを大幅に削減できるため、調査コストと回答者の負担を劇的に減らすことが可能です。削減されたリソースを、残った標本への回答率向上（無回答バイアスの低減）に充てることも期待されます。
• 実用性と柔軟性: 統計学者が親しみのある設計ベースの理論に基づいており、既存の統計生産プロセスへの導入が比較的容易です。また、機械学習モデルの柔軟な活用により、多様なデータソースに対応できます。
• 将来展望: 本手法は、NPD のサイズが十分に大きい場合に真価を発揮します。今後は、他のモデル（深層学習など）との組み合わせや、NPD 内の測定誤差への対応など、さらなる研究が期待されます。

総じて、MADI は「バイアスなし」と「分散低減」を両立させ、非確率データを活用した次世代の公式統計生産を可能にする堅牢な手法として位置づけられます。