Causal Claims in Economics

1. 問題設定 (Problem)

経済学研究は、ワーキングペーパーの増加や生成 AI による執筆コストの低下により、生産量と消費量が劇的に拡大しています。しかし、学術コミュニケーションの核心単位は依然として「物語的な文章（ナラティブ）」であり、主張が異質な言語で散在しているため、大規模な文献の体系的な比較や統合が困難です。
特に、**「信頼性革命（Credibility Revolution）」以降、経済学では因果推論デザイン（差分の差分法、操作変数法など）を用いた実証研究が増加していますが、既存の手法は論文全体をメタデータ（分野や方法タグ）で分類するにとどまっており、「論文内のどの特定の関係性が、どの因果推論デザインによって支持されているか」**を微視的・構造的に定量化する手段が欠如していました。

2. 手法とデータ (Methodology & Data)

データセット

• 対象: NBER（国立経済研究局）と CEPR（経済政策研究センター）のワーキングペーパー 44,852 件（1980 年〜2023 年）。
• 前処理: PDF からテキストを抽出し、最初の 30 ページに焦点を当てて分析対象を限定（アブストラクト、導入、識別戦略、主要な実証結果が含まれるため）。重複排除（タイトルと年による正規化）を実施。

主張グラフの構築（Claim-Graph Construction）

各論文を、標準化された経済概念（ノード）とそれらの間の関係性（エッジ）からなる有向グラフ $G_p = (V_p, E_p)$ として表現します。

1. ノード（概念）: 論文内で言及される変数を、経済学標準の分類コードであるJEL コードにマッピングします。
2. エッジ（主張）: 著者が記述する「源（Source）」から「先（Sink）」への関係性を抽出します。
3. 証拠注釈（Evidence Annotation）: 各エッジに、その主張を支持する証拠のタイプを付与します。
   • 因果的エッジ: 差分の差分法（DiD）、操作変数法（IV）、ランダム化比較試験（RCT）、回帰不連続デザイン（RDD）、合成統制法など、標準的な因果推論デザインで支持されるもの。
   • 非因果的エッジ: 理論的推論、記述的証拠、相関分析、構造的推定（識別デザインなし）など。

LLM を活用した抽出ワークフロー

大規模言語モデル（LLM: GPT-4o-mini）を「オープンエンドな推論者」ではなく、「構造化された情報検索エンジン」として利用する多段階プロセスを採用しています。

• Stage 1（構造化要約）: 論文の最初の 30 ページから、研究質問、識別戦略、メタデータなどを抽出。3 回独立して実行。
• Stage 2（エッジ抽出）: Stage 1 の要約に基づき、概念間の関係性（エッジ）と証拠タイプを抽出。Stage 1 の各出力に対して 3 回実行（計 9 回の抽出パス）。
• Stage 3（概念標準化）: 抽出された自由テキストの変数を、JEL コードの記述と埋め込み（Embedding）の類似度（コサイン類似度）を用いてマッピング。
• エッジ集約（Edge-Overlap Aggregation）: 9 回の抽出パスで同一のエッジが何回出現したか（Edge-Overlap: EO）をカウント。
  • 基準値として EO ≥ 4 を採用（9 回中 4 回以上出現）。これにより、精度（Precision）と再現率（Recall）のトレードオフを調整し、頑健な主張グラフを構築。

バリデーション

• 反復安定性: 9 回の抽出パス間での安定性を確認。
• スニペット検証: 要約ではなく原文スニペットのみから抽出した結果との自己整合性チェック。
• 外部ベンチマーク: Brodeur et al. (2024) のデータセットや、専門家がラベル付けした「Plausibly Exogenous Galore」データセットと比較し、手法や分野の抽出精度を検証。

3. 主要な貢献 (Key Contributions)

1. 方法論的貢献:

   • 論文を「証拠注釈付き主張グラフ」としてスケーラブルに表現するフレームワークの確立。
   • LLM を構造化されたスキーマ下で制約付き検索エンジンとして活用し、ハルシネーションを抑制しつつ大規模な主張抽出を実現するパイプラインの提示。
   • 論文レベルのメトリクス（物語の複雑さ、新規性、概念の位置づけ）を、因果的・非因果的サブグラフに分解して測定可能な指標として定義。

2. 実証的貢献:

   • 経済学における「信頼性革命」が、論文レベルの「主張構造」においてどのように現れているかを定量化。
   • 編集者の選考（掲載）と学術的影響力（引用）が、因果的構造と非因果的構造に対して異なる評価基準を持っていることを実証。

4. 主要な結果 (Key Results)

(1) 因果的主張の急増

• 論文内のエッジのうち、因果推論デザインで支持される「因果的エッジ」の割合は、1990 年の**7.7%から 2020 年の31.7%**へと劇的に増加しました。
• 分野による偏りがあり、Health（医療）、Urban（都市）、Development（開発）、Behavioral（行動）分野では特に高い増加率を示しましたが、Macro（マクロ）や Finance（金融）でも増加傾向にあります。

(2) 因果的構造と出版・引用の関連性

• トップジャーナル掲載: 因果的エッジのボリュームを 2 倍にすると、トップ 5 誌への掲載確率が約 1.36 ポイント（相対的に約 12% 増）上昇します。また、**「因果的に特定された新規エッジ（Causal Novelty）」**の増加は、掲載確率をさらに 1.71 ポイント（約 15% 増）押し上げます。
• 非因果的構造: 逆に、非因果的なエッジの増加や非因果的な新規性は、トップ誌掲載確率に対して弱いか、負の相関を示します。
• 引用数: 因果的構造の複雑さや新規性は、長期的な引用数とも正の相関があります。

(3) 概念の位置づけと引用のジレンマ

• 編集選考 vs 広範な拡散: トップジャーナルへの掲載は「因果的深さ」や「因果的新規性」に強く依存しますが、引用数（拡散）は「概念的な位置づけ（Topic Centrality）」に強く依存します。
• 既存の中心的な概念（主流のトピック）にアンカーされた論文は、因果的構造が弱くても広く引用される傾向があります。これは、編集者の選考基準（因果的厳密性）と、学術コミュニティ全体での拡散メカニズム（トピックの親和性）の間に乖離があることを示唆しています。

(4) 物語の構造（アーキテクチャ）

• 因果的エッジを用いた「ファン・イン（多数の要因が少数の結果を説明）」または「ファン・アウト（少数の要因が多数の結果を説明）」の構造が、トップ誌掲載や引用に正の影響を与えます。特に、因果的デザインで支えられた多角的なメカニズム分析が評価されています。

5. 意義と将来展望 (Significance)

• 累積科学のインフラ: 本研究は、論文の内容を「クエリ可能、比較可能、集約可能」な単位（主張グラフ）に変換する基盤を構築しました。これは、経済学に限らず、他の学問分野における証拠の統合や、政策・メディアにおける研究主張の追跡に応用可能です。
• インセンティブの理解: 学術界が「因果的厳密性」と「トピックの流行」のどちらを重視しているかを可視化し、研究インセンティブの設計や評価基準の議論に寄与します。
• AI と科学の融合: LLM を単なる要約ツールではなく、構造化された科学知識の抽出エンジンとして活用する新しいパラダイムを示しました。

この論文は、経済学における「何が主張され、どのように裏付けられているか」を大規模かつ構造的に分析するための新たな標準的なアプローチを提供し、科学の質と影響を評価する未来のインフラの第一歩となっています。