Causal Inference with Generative Artificial Intelligence: Application to Texts as Treatments

本論文は、大規模言語モデルを利用して処置を生成し、それらの内部表現を活用することで、非構造化テキストからより正確かつ効率的な因果効果推定を行う、Generative AI-Powered Inference (GPI) メソドロジーを提案するものであり、これにより、データから直接因果表現を学習する必要性を排除し、交絡やオーバーラップの違反といった一般的な課題を克服するものである。

要約

あなたは、ある物語の特定の詳細が人々の感情をどう変えるかを突き止めようとしている探偵だと想像してください。例えば、次のような疑問です。「軍務経験があることは、有権者が政治家に対して好感を持つ要因になるのか？」

問題は、現実世界の物語は非常に複雑で混沌としていることです。軍務経験を持つ政治家は、たまたま高齢であったり、教育水準が異なっていたり、あるいはより感情的なトーンで伝記を書いたりしているかもしれません。もし、単にランダムに2つの伝記を比較したとしても、有権者がその候補者を好んだ理由が「軍務経験」によるものなのか、それとも「教育水準」によるものなのかを判別することはできません。科学の世界では、このような厄介な余計な詳細を「交絡因子（コンファウンダー）」と呼びます。

従来、研究者たちはコンピュータを使ってテキストを「読み取り」、交絡因子を推測することでこの問題を解決しようとしてきました。しかし、これは汚れがどこにあるかを推測しながら窓を拭こうとするようなもので、時間がかかり、困難で、精度も低いものでした。

この論文では、**GPI（Generative-AI Powered Inference：生成AIを活用した推論）**と呼ばれる新しいツールを紹介しています。その仕組みを、簡単な比喩を用いて説明します。

魔法のコピー機（生成AI）

既存の物語をただ読むのではなく、研究者たちは「魔法のコピー機」（大規模言語モデル、またはLLM）を使って、自分たちのために物語を書かせます。

1. プロンプト： 研究者はマシンにこう指示します。「軍務経験がある政治家の伝記を書いてください」。次に、「軍務経験がない政治家の伝記を書いてください」と指示します。
2. 秘密の設計図： ここに超能力があります。AIが物語を書くとき、単に言葉を吐き出すだけでなく、自分が書いた内容を正確に表す隠れた内部的な「設計図」（数学的な表現）を作成します。
3. トリック： AIが物語を書いたため、研究者はこの完璧な隠れた設計図を手に入れることができます。AIが軍務経験に関する記述として何を入れたのか、そしてそれ以外の要素（教育やトーンなど）として何を入れたのかを、研究者は正確に把握できるのです。

「デコンファウンダー（交絡除去器）」（フィルター）

研究者たちは、この完璧な設計図を使って、デコンファウンダーと呼ばれる特別なフィルターを構築します。

• 従来の方法： 赤と青のマールブル（ビー玉）が接着剤でくっついている状態を、無理やり引き離そうとするようなものです。どうやって引き離すべきか、推測するしかありません。
• GPIの方法： AIが物語を書いたので、研究者には「取扱説明書」があります。設計図を見ることで、「よし、この設計図のこの部分は『軍務経験』という成分で、この別の部分は『教育』という成分だ」と言うことができます。数学的に、教育などの他の部分を壊すことなく、軍務経験の部分だけを分離できるのです。

これにより、「もし教育やトーンを全く同じに保ったまま、軍務経験の部分だけを変えたとしたら、有権者のスコアはどう変化するか？」という問いに答えることが可能になります。

なぜこれが優れているのか

この論文は、この手法が手回し計算機からスーパーコンピュータへとアップグレードするようなものであると主張しており、その理由は主に2つあります。

1. 正確性： テキストの意味を推測するのではなく、AIの真の内部設計図を使用するため、より明確な答えが得られます。テストにおいて、彼らの手法は既存の最高の手法よりも「ノイズ（誤差）」が少なく、より信頼性の高い結果を出しました。
2. スピード： 従来の方法は、パズルのピースを一つ一つ見て解こうとするようなものです。新しい手法は、箱に描かれた完成図を持っているようなもので、問題を約100倍速く解決します。

「テキスト再利用」のひねり

研究者たちは、面白いショートカットも見つけました。既存の伝記を取り上げ、AIに「この全く同じ物語を書き換えてください」と頼むと、AIはその古いテキストに対して完璧な設計図を作成します。つまり、ゼロから新しい物語を生成する必要はなく、古いデータを使用し、それをAIに読み込ませるだけで、同じ高品質な結果を得ることができるのです。

結論

この論文は、生成AIを単にテキストを「生成」するためだけでなく、テキストの「隠れた構造を理解する」ために使用することで、社会科学における複雑に絡み合った因果関係の糸をようやく解きほぐすことができると主張しています。

• 目的： 特定の事柄（例：軍務経験）が結果（例：有権者の好感度）に与える真の効果を測定すること。
• 問題： 他の要素（交絡因子）が混ざり込んでいること。
• 解決策： 生成AIを使ってテキストを生成または書き換え、その「秘密の設計図」を掴み、原因とノイズを完璧に分離すること。

研究者たちはこれを実際の有権者調査でテストし、確かに軍務経験があることは、候補者に対する好感度を高める要因であることを突き止めました。そして、以前よりもはるかに高い確信度とスピードで、そのことを証明できたのです。また、彼らは、AIが同様の精度で画像を生成できるのであれば、この論理は将来的に画像や動画にも応用できる可能性があるとも述べています。

技術概要

技術要約：生成人工知能を用いた因果推論：テキストを処置（トリートメント）として用いる応用

問題提起
本論文は、処置がテキストのような非構造的で高次元なオブジェクトである場合に、因果効果を推定するという課題に取り組んでいる。テキストを用いた従来の因果推論では、研究者は共変量（例：トーン、長さ、特定のトピック）を調整するために、データから低次元の表現を学習しなければならない。BERTの埋め込みやトピックモデルなどを用いる既存の手法は、これらの表現を処置テキストから直接学習しようと試みる。しかし、このプロセスは、特定の関心のある処置の特徴（例：軍務経験）を、それと相関する他の共変量から分離することに苦慮することが多く、その結果、推定値にバイアスが生じたり、オーバーラップ仮定が崩れたりする。さらに、データからこれらの表現を学習することは計算負荷が高く、特に交絡が強い場合には正確な因果推定が得られない可能性がある。

手法：GenAI駆動型推論（GPI）
著者らは、因果推論を強化するために、深層生成モデル、具体的には大規模言語モデル（LLM）を活用する「GenAI駆動型推論（GPI）」手法を提案している。核心となる革新性は、データから表現を学習するのではなく、LLMから生成されたテキストの「真の内部表現」を直接利用することにある。

1. 実験設計:

   • 研究者は、特定のプロンプトに基づいて処置オブジェクト（テキスト）を生成するためにLLMを使用する。あるいは、既存のテキストを「再利用」するために、LLMにそれを正確に再現するよう指示することもできる。
   • LLMは、出力が内部表現の決定論的な関数であることを保証するため、決定論的デコーディングモード（例：温度設定をゼロとした貪欲探索）で動作する必要がある。
   • 生成されたテキストの内部表現（$R_i$）は、LLMの隠れ層から直接抽出される。

2. 主要な仮定:

   • 分離可能性（仮定5）: 処置の特徴（$T$）と共変量（$U$）は分離可能でなければならない。具体的には、$T$は$U$の決定論的な関数であってはならず、$U$も$T$の決定論的な関数であってはならない。これは、共変量を変えることなく、処置の特徴に対して介入が可能であることを意味する。
   • 決定論的デコーディング（仮定6）: 生成モデルの出力は、その内部表現の決定論的な関数であり、これにより、処置オブジェクトはプロンプトを通じてのみこの表現に依存することを保証する。

3. 識別と推定:

   • 非パラメトリック識別: 分離可能性と決定論的デコーディングの仮定の下で、著者らは、共変量を要約するデコンファウンダー（脱交絡因子）関数 $f(R_i)$ が存在することを証明している。このデコンファウンダーは、条件付き独立性 $Y_i \perp R_i \mid T_i, f(R_i)$ を満たす、$R_i$ の低次元表現である。
   • 推定戦略: 著者らは、デコンファウンダーと条件付きアウトカム関数を同時に推定するために、TarNetに基づいたニューラルネットワーク・アーキテクチャを採用している。
   • ダブル機械学習（DML）: 漸近的に妥当な信頼区間を得るために、手法はDMLを適用する。極めて重要な点は、傾向スコアが、生の内部表現ではなく、推定されたデコンファウンダーの関数としてモデル化されていることである。これにより、傾向スコアが（処置の特徴が決定論的な関数となっている）高次元の内部表現に直接モデル化された場合に発生する、オーバーラップ仮定の違反を回避している。
   • 知覚された処置: 本手法は、回答者が処置の特徴を異なる形で知覚する場合でも、実際の処置の特徴が知覚された特徴の操作変数として機能する操作変数法を用いて拡張される。

主な貢献

• 真の内部表現の活用: データから因果的表現を学習する（例：BERTの埋め込み）従来の研究とは異なり、GPIはオープンソースのLLMから真のベクトル化された表現を直接抽出する。これにより、データから因果的表現を学習する必要がなくなり、推定の精度と計算効率の両方が向上する。
• 分離可能性の定式化: 論文では、「分離可能性」の仮定を、この文脈におけるノンパラメトリック識別のための必要条件として正式に確立し、これを「もつれ（disentanglement）」の概念およびオーバーラップ仮定に関連付けている。
• 診断ツール: 著者らは、傾向スコアの分布分析や独立支持スコア（IOSS）を含む、分離可能性の仮定の潜在的な違反を検出するための診断ツールを提案している。
• 効率的な推定: 内部表現と特定のニューラルネットワーク・アーキテクチャを使用することで、既存の因果的表現学習法に共通する「次元の呪い」やオーバーラップの違反を回避している。

結果
著者らは、候補者プロフィール実験（Fong and Grimmer, 2016）に基づくシミュレーション研究と、同一のデータセットを用いた実証的適用を通じて、GPIを評価している。

• シミュレーション研究:

  • 分離可能性の仮定の下で、GPI（新しいテキストの生成およびテキストの再利用の両方を使用）は、最先端の手法（BERTを用いたアウトカムモデルおよびBERTを用いたDML）と比較して、著しく**小さいバイアスと平方根平均二乗誤差（RMSE）**を示した。
  • GPIは、弱、中、強の各交絡シナリオにおいて、適切な95%信頼区間のカバー率を維持している。対照的に、BERTベースの手法は、強い交絡下で深刻なアンダーカバレッジ（被覆不足）または破綻に陥っている。
  • 計算効率: GPIは、BERTベースの推定器よりも10倍以上高速である。
  • テキストの再利用: 「テキストの再利用」アプローチ（既存のテキストを再生成する）は、内部表現の一貫性により、新しいテキストを生成する場合よりも低い分散（RMSE）を示した。
  • 仮定の違反: 分離可能性の仮定が違反された場合（すなわち、処置の特徴と共変量がもつれ合っている場合）、GPIを含むすべての手法の性能が悪化し、この仮定の重要性が浮き彫りになった。

• 実証的適用:

  • 候補者プロフィール実験に適用した結果、GPIは軍務経験が有権者の評価に与える正の統計的に有意な効果を推定した（ATE $\approx$ 4.85）。
  • 競合するBERTベースの手法は、相反する結果を示した。一方は負の有意な効果を示し、もう一方は不合理に大きな正の効果（ATE $\approx$ 45.7）を示したが、これはおそらくオーバーラップの違反によるものである。
  • GPIのIOSSは0.10であり、BERTベースの手法の0.41と比較して、より優れたサポートの重なりを示した。

意義と主張
本論文は、GenAIの能力を活用することで、非構造的な処置を伴う因果推論の妥当性を大幅に向上させると主張している。主な意義は以下の点にある：

1. LLMの真の内部表現を用いることで、処置の特徴を共変量から**分離（Disentangle）**できること。
2. データから因果的表現を学習する必要を回避し、それによって推定誤差と計算コストを削減できること。
3. 用いるべき（分離可能性という）条件を定式化し、GenAIを因果推論に用いるための理論的基盤を提供したこと。
4. 操作変数法を通じて、知覚された処置特徴への因果推論を拡張できること。

著者らは、焦点はテキストにあるものの、内部表現を効果的に管理できれば、本手法は画像や、さらには動画にも適用可能であると述べている。また、この手法は、内部表現へのアクセスと決定論的デコーディングを可能にするオープンソースのLLMの利用可能性に依存していることを強調している。