Econometric Inference with Machine-Learned Proxies: Partial Identification via Data Combination

この論文は、機械学習で生成された代理変数を下流の計量経済モデルに直接使用することで生じる推定バイアスや推論の無効化の問題に対処するため、代理変数と目標変数の両方を観測する検証データセットと、代理変数のみを含む下流データセットの組み合わせを用いて、機械学習の性能に関する厳格な仮定を置かずに偏在特定と有効な統計的推論を可能にするフレームワークを提案しています。

要約

1. 問題：AI の「推測」をそのまま信じてはいけない

想像してください。あなたが「ある会社の政治的なリスク」や「大気汚染のレベル」といった、直接測りづらいものを調べるために、AI に頼ったとします。
AI は、新聞の文章や衛星写真などの複雑なデータを見て、「これは政治的にリスクが高い会社だ（スコア 80 点）」と推測します。

ここで研究者は、この「AI の推測スコア（80 点）」を、まるで「本当のリスク値（80 点）」であるかのように使って、経済モデルを計算します。

しかし、ここには大きな落とし穴があります。
AI の推測は完璧ではありません。

• 誤差がある： 本当はリスクが低いのに、AI が「高い」と言ってしまうことがあります。
• バイアスがある： AI が学習したデータに偏りがあると、推測値も歪んでしまいます。

この「不完全な推測値」をそのまま使うと、「本当は関係ないのに、ある」という間違った結論を出してしまったり、統計的な信頼性が失われたりします。これを「ナイーブ（単純）な置き換え」と呼び、論文ではこれが大きな問題だと指摘しています。

2. 解決策：2 つの「地図」を組み合わせる

この論文のすごいところは、**「AI の推測値を『本当の値』の代わりには使わず、2 つの異なるデータセットをつなぐ『架け橋』として使う」**という新しい視点を提供した点です。

研究者は通常、2 つのデータを持っています。

1. メインのデータ（下流）： 経済分析に使いたいデータ（例：株価、雇用データ）。ここには「AI の推測スコア」はありますが、「本当のリスク値」はありません。
2. 検証用のデータ（上流）： AI が学習に使ったデータの一部。ここには「AI の推測スコア」と「本当のリスク値」の両方が揃っています（ただし、メインのデータにあるような経済変数は入っていません）。

【比喩：料理の味見】

• メインのデータは、大勢の人を招待した「大宴会」です。料理（経済現象）は出ていますが、味見（本当の値）をするチャンスはありません。
• 検証データは、料理人が試作した「小さなサンプル」です。ここには「料理の見た目（AI 推測）」と「実際の味（本当の値）」の両方が記録されています。

従来の方法は、「サンプルの味見結果をそのまま宴会の味だ」と信じていましたが、それでは失敗します。
この論文の方法は、**「サンプルの味見結果を使って、料理人が『見た目』と『実際の味』の関係を学習し、その関係を宴会のデータに当てはめる」**というアプローチです。

3. 核心：「完全な一致」ではなく「確率的なつながり」

この論文の最大の特徴は、**「AI の精度が低くても、統計的に正しい結論が出せる」**ことです。

• 従来の考え方： 「AI が 99% 正確なら OK、90% ならダメ」というように、AI の性能に依存していました。
• この論文の考え方： 「AI がどんなに不正確でも、『AI のスコア』と『本当の値』の間の関係性が、検証データからわかれば OK」というものです。

【比喩：翻訳と原稿】

• AI の推測は、原稿を翻訳した「翻訳文」です。
• 検証データは、「原稿」と「翻訳文」の対照表です。

たとえ翻訳文が少し不自然でも（精度が低くても）、対照表があれば、「この翻訳文が来たら、元の原稿はこういう意味の可能性が高い」という**「確率の範囲」を特定できます。
この論文は、その「確率の範囲」を数学的に厳密に計算し、「パラメータはこの範囲内に必ずある」**という「部分同定（Partial Identification）」という結論を出します。

4. 技術的な工夫：「輸送問題」という魔法

どうやってこの「確率の範囲」を計算するのでしょうか？
ここで使われているのが**「最適輸送（Optimal Transport）」**という数学の概念です。

【比喩：荷物の積み替え】

• 検証データ（原稿と翻訳文の対照表）と、メインデータ（翻訳文だけ）を、「翻訳文」を共通の基準にして、無理やりつなぎ合わせようとする作業です。
• 「翻訳文が A なら、原稿は B か C のどちらかだ」というルールに従って、データを最も効率的に（コストを最小にして）つなぎ合わせます。
• この「最も効率的なつなぎ合わせ方」を計算することで、経済モデルのパラメータが取りうる「最小限の範囲（信頼区間）」が導き出されます。

さらに、この計算を高速化するために、**「サンプリング（抜き取り）」や「クロスフィッティング（データを半分に分けて交互に使う）」**というテクニックを使い、複雑な計算をシンプルで確実なものにしています。これにより、コンピュータの計算時間を大幅に短縮し、誰でも使える実用的なツールにしました。

5. まとめ：なぜこれが画期的なのか？

この論文は、経済学者やデータサイエンティストに以下のような自由を与えます。

1. AI の性能に縛られない： 「AI が 99% 正確でないと使えない」という制限がなくなります。どんなに複雑でブラックボックスな AI モデルでも、検証データさえあれば使えます。
2. 多様なデータ形式： AI の出力が「確率」でも「ランキング」でも「カテゴリ」でも構いません。形式が異なっても、この「架け橋」の考え方でつなげられます。
3. 安全な結論： 「AI の誤差を無視して楽観的な結論を出す」のではなく、「AI の誤差を考慮した上で、『パラメータはこの範囲内だ』と確実と言える」という、堅実な結論を出せます。

一言で言うと：
「AI の推測値を『正解』だと信じるのではなく、『正解との関係がわかるヒント』として使い、その関係性を数学的に厳密に計算することで、誤りを防ぎながら経済分析を行う新しい方法」です。

これは、AI が溢れる現代において、社会科学者が AI を安全に、かつ賢く使うための「新しいコンパス」を提供する論文だと言えます。

技術概要

論文要約：機械学習プロキシを用いた計量経済学的推論：データ結合による部分識別

タイトル: ECONOMETRIC INFERENCE WITH MACHINE-LEARNED PROXIES: PARTIAL IDENTIFICATION VIA DATA COMBINATION
著者: Lixiong Li (Johns Hopkins University)

1. 研究の背景と問題提起

近年、経済学や社会科学において、テキストや画像などの複雑で非構造化されたデータから潜在変数（Latent Target Variables）を推定するために機械学習（ML）アルゴリズムが広く利用されるようになっています。例えば、メディアの政治的バイアス、企業の政治的リスク、リモートワークの有無などがこれに該当します。

しかし、これらの ML によって生成された「プロキシ変数（$\hat{Z}$）」を、下流の計量経済モデルに単純に代入（Plug-in）して推論を行うことは、以下の理由から重大な問題を引き起こします。

1. 測定誤差と生成回帰変数の問題: $\hat{Z}$ は真の潜在変数 $Z$ ではなく、測定誤差を含みます。これを無視して推定を行うと、推定量にバイアスが生じ、統計的推論（仮説検定や信頼区間）が無効になります。
2. ML の複雑性: 現代の ML モデルは非常に複雑であり、$\hat{Z}$ の統計的性質（収束速度や一致性など）を解析的に特徴づけることが困難な場合が多いです。
3. 非古典的測定誤差: 非構造化データ $X$ は $Z$ だけでなく、観測される共変量 $W$ とも関連しているため、測定誤差 $Z - \hat{Z}$ は $Z$ や $W$ に依存し、内生性を持つ可能性があります（非古典的測定誤差）。

既存の手法は、測定誤差に関する構造的な仮定（条件付き独立性など）や、ML プロキシの漸近的性質に関する強い仮定を置いているか、あるいは $W, Z, \hat{Z}$ のすべてが観測される完全な検証サンプルを必要としており、実証研究の制約となっています。

2. 提案手法と方法論

本論文は、**「補助的な検証サンプル（Validation Sample）」**を利用した新しい部分識別（Partial Identification）の枠組みを提案します。

2.1 データの構造

研究者は以下の 2 つのデータセットにアクセスできると仮定します。

1. 下流サンプル（Downstream Sample）: 観測共変量 $W$、非構造化入力 $X$、および ML によって生成されたプロキシ $\hat{Z} = g(X)$ が含まれる。ただし、真の $Z$ は観測されない。
2. 検証サンプル（Validation Sample）: 真の潜在変数 $Z$ と、それに対応するプロキシ $\hat{Z}$（および $X$ から抽出された特徴 $S$）の対 $(Z, \hat{Z})$ が含まれる。ただし、下流の共変量 $W$ は含まれていない必要はない。

2.2 核心的なアイデア：プロキシの役割の転換

従来のアプローチでは、$\hat{Z}$ を $Z$ の「ノイズの多い代替変数」として扱っていましたが、本論文では**$\hat{Z}$ を 2 つのサンプルを結びつける「リンク変数（Linking Variable）」**として再定義します。

• 検証サンプルから $(Z, \hat{Z})$ の結合分布を学習します。
• 下流サンプルでは $\hat{Z}$ が観測されるため、検証サンプルで得られた $(Z|\hat{Z})$ の条件付き分布の情報を下流の分析に持ち込むことができます。
• このアプローチにより、ML の予測精度や漸近的性質に関する仮定を置かずに、推論の妥当性を保証できます。

2.3 識別戦略：無条件最適輸送（Unconditional Optimal Transport）

識別集合（Identified Set）を特徴づけるために、**最適輸送（Optimal Transport: OT）**理論を応用します。

• 条件付き OT の課題: 従来の手法（Fan et al., 2025 など）は $\hat{Z}$ ごとに条件付き OT 問題を解く必要があり、$\hat{Z}$ が連続変数や高次元の場合、計算的に困難です。
• 無条件 OT による解決: 本論文は、Li and Henry (2025) のアイデアを応用し、無条件の OT 問題として定式化します。
  • 下流サンプルの分布 $F(W, \hat{Z}, S)$ と、検証サンプルの分布 $G(Z, \hat{Z}, S)$ を利用します。
  • 一致条件（$\hat{Z} = \hat{Z}'$ など）を直接の結合制約ではなく、モーメント条件として導入することで、単一の無条件 OT 問題に帰着させます。
  • これにより、**鋭い（Sharp）**識別集合の characterization が可能となり、計算的に実行可能になります。

2.4 統計的推論：サンプル分割とクロスフィッティング

OT 問題は非標準的な漸近挙動を示すため、従来のブートストラップ法などは適用が困難です。本論文では以下の手順で推論を行います。

1. Kantorovich 双対性: OT 問題を双対形式に変換し、無限次元の関数空間を篩（Sieve）近似（基底関数の線形結合）で有限次元化します。
2. サンプル分割とクロスフィッティング: データを 2 つのフォールドに分割し、一方で双対関数の最適化を行い、他方で統計量を評価します。
3. 解析的臨界値: 再サンプリング（ブートストラップ等）を行わず、サンプル分割の性質を利用することで、統計量の漸近分布を標準正規分布の分位数に基づいて制御します。これにより、計算コストを抑えつつ、漸近的なサイズ制御（Size Control）を達成します。

3. 主要な貢献

1. 仮定の緩和: 既存研究が要求する測定誤差に関する構造的仮定（条件付き独立性など）や、ML 推定量の収束速度・一致性に関する仮定を不要にしました。
2. データ要件の柔軟性: 下流の共変量 $W$ を含む完全な検証サンプルを必要としません。$(Z, \hat{Z})$ の対さえあれば機能するため、実証研究で利用可能なデータ（例：ML モデルの学習時に残された検証データ）をそのまま活用できます。
3. 部分識別の妥当性: プロキシの精度が低い場合でも、識別集合は広くなりますが、推論は依然として有効（保守的）です。プロキシが高精度であれば、識別集合は狭くなり、点識別に近い結果が得られます。
4. 計算の実用性: 再サンプリングを不要とした、解析的臨界値に基づく推論手順を提案しました。
5. 一般化: この枠組みは、ML プロキシに限らず、一般的な「データ結合（Data Combination）」問題（Cross and Manski, 2002 等）にも適用可能です。

4. 数値実験結果

モンテカルロシミュレーションにより、提案手法の有効性が確認されました。

• サイズ制御（Size Control）: 提案されたクロスフィッティング検定は、様々なサンプルサイズや予測精度（ノイズレベル）において、名义的な有意水準（1%, 5%, 10%）を厳密に守ることが確認されました。一方、測定誤差を無視した単純な Plug-in 手法は、予測ノイズが存在する場合、過剰に棄却（Over-rejection）を起こし、推論が破綻することが示されました。
• 検出力と情報の豊かさ: サンプルサイズが増加するにつれて、信頼区間が狭まり、検出力が向上します。また、連続的なプロキシ（予測確率など）を使用し、適切な篩近似を行うことで、離散化されたプロキシよりも狭く、情報量の多い信頼区間が得られることが示されました。
• 層別化（Stratification）の効果: 予測精度がサブグループによって異なる場合、層別変数 $S$ を導入することで、条件付き分布をより正確に捉え、識別集合をさらに狭めることができることを示しました。

5. 意義と結論

本論文は、機械学習と計量経済学の統合において重要な進展をもたらしました。

• 実務家への示唆: 研究者は、ML モデルの理論的な保証（収束速度など）に縛られず、実証問題に最も適した予測モデルを選択して利用できます。ML の出力を「真の値の代理」ではなく、「データ結合の橋渡し」として扱うことで、より頑健な推論が可能になります。
• ML 開発者への示唆: 下流の経済分析を目的とする場合、予測誤差の最小化だけでなく、非構造化データに含まれる経済的に重要な情報をどの程度保持できるかが、予測モデルの良し悪しの基準となり得ます。
• 理論的貢献: 最適輸送、部分識別、クロスフィッティングを組み合わせることで、複雑な ML プロキシを含むモデルに対する、計算的に実行可能かつ理論的に正当な推論フレームワークを提供しました。

総じて、この研究は、非構造化データと ML を活用した現代の経済分析において、測定誤差を適切に扱い、信頼性の高い推論を行うための強力なツールを提供しています。