Building an Atlas of Social Experiments to Link Studies, Reconcile Conflicts, and Bridge Gaps

技術的サマリー：EXATLAS – 社会実験の地図構築

問題定義
社会・行動科学は年間数千件の実験を生み出しているが、その知見はしばしば一貫した知識の地図として蓄積されない。Watts（2017）が指摘するように、この分野は「不整合性問題」に悩まされている：研究者は関連する現象を統合せずに調査し、競合する知見は審判なく併存し、理論がその関係を説明することなく孤立した研究が蓄積される。現在の文献編成は、表面的な類似性や浅い検索に依存しており、実験的景観の構成性を捉えることに失敗している。大規模言語モデル（LLM）に直接要約や結果の予測を促す手法は、文献内の矛盾を検出したり、一貫した知見を結びつけたり、真のギャップを特定したりするために必要な厳密な証拠的根拠を欠くことが多い。

方法論：EXATLAS フレームワーク
著者は、社会実験のアーカイブを、研究がリンクし、競合し、または架橋可能なギャップを残す構造化された「地図（アトラス）」へと変換するフレームワーク、EXATLAS を導入する。このフレームワークは、実験的景観が本質的に構成的であるという前提に基づいて動作する：つまり、単一の先行研究が完全に一致しなくても、対象となる知見は、先行研究の重み付き組み合わせから再構成可能である。

このフレームワークは主に 2 つの段階で進行する：

1. 表現と構成可能性の評価：

   • エンリッチメント： 実験は、処置（treatment）、結果（outcome）、文脈（context）、観測された効果（observed effect）を表すタプル $(T_i, O_i, Z_i, \tau_i)$ として符号化される。LLM（OpenAI o3）は、完全な論文からの文脈を用いて短い処置・結果の説明を補強し、意味的な精度を向上させる。
   • 埋め込み： 実験は、テキスト埋め込みを用いて共有された処置・結果空間にマッピングされる。表現 $x_i$ は、処置と結果の埋め込み、およびそれらの要素ごとの積を連結することで、結合関係を捉える。
   • 局所探索： 対象実験 $e_t$ に対して、EXATLAS は先行実験の局所的な候補集合 $C(t)$ を検索する。対象表現とソース表現の重み付き和との間のユークリッド距離を最小化する重み $\alpha_{tj}$ を見つけるために、制約付き最適化問題を解く。
   • 拒否メカニズム： 正規化された残差 $\rho_t$ が計算される。もし $\rho_t$ が閾値 $\lambda$ を超える場合、対象は非構成可能（ギャップ）とみなされる。もし $\rho_t \le \lambda$ なら、対象は構成可能である。この設計により、フレームワークは「拒否可能」となり、局所的な支援が不十分な場合に強制的な構成を行うことを防ぎます。

2. アトラスの編成（3 つの結果）：

   • リンク（一貫性）： 対象が構成可能であり、かつ構成された効果の方向が観測された方向と一致する場合、対象は一貫した先行証拠とリンクされる。
   • 調整（競合）： 対象が構成可能であるが、構成された方向が観測結果と一致しない場合、システムは理論的緊張を特定する。競合する証拠を LLM に提示し、その乖離を説明するメタ理論や調整変数の構造（例：隠れた $2 \times 2$ 交互作用）を提案させる。
   • 架橋（ギャップ）： 対象が非構成可能である場合、システムはギャップを特定する。LLM は対象が構成可能になるまでアーカイブに追加すべき「架橋実験」を反復的に提案し、証拠のギャップを埋めるための新たな研究方向を事実上示唆する。

主要な貢献

1. 拒否可能なフレームワーク： EXATLAS は、局所的な支援を欠く対象を明示的に拒否する実験証拠の構成手法を導入し、構成可能領域内での競合（クーン的な異常）と、新たなフロンティアを必要とするギャップ（ラカトス的な拡張）を区別する。
2. 理論的誤差限界： 著者は、処置効果表面の局所的な滑らかさを仮定して、構成に関する理論的誤差限界を提供する。誤差は、外挿誤差、局所モデルのバイアス（曲率）、および観測されていない残差変動に分解される。
3. 生成的失敗モード： このフレームワークは、その「失敗」（競合とギャップ）を生成的出力として扱う。競合は理論的調整の提案を触发し、ギャップは実行可能な架橋実験の設計を触发する。

実証結果

• 構成精度： 主要な経営学および心理学誌から収集された 360 件のアーカイブからなる保持用セット（72 件の実験）において、EXATLAS は 72 件の対象を局所的に支援されると認定した。これらの場合、予測された効果の方向は観測された方向と 98.61%（71/72）のケースで一致した。これは、直接 LLM による予測、最寄りの実験による RAG、および合成参加者シミュレーションを含むベースラインを大幅に上回る結果であった。
• 競合の調整： 13 の競合ケースに対する人間の評価において、専門家は EXATLAS によって生成された LLM による調整案が、人間の専門家と同じ広範な方向性を特定することが多い一方で、より明示的なメカニズムや調整変数の構造を提供していることを発見した。いくつかのケースでは、LLM は人間の専門家がアルゴリズムの支援なしには見逃していた隠れた構造的異常（例：雇用文献における年齢、創造性、競争に関わるクロスセル競合）を表面化させた。
• 架橋実験の質： 人間の評価者は、拒否メカニズムを無視する「強制構成」ベースラインに対して提案された架橋実験を評価した。実現可能性のスコアは同等であったが、EXATLAS の架橋提案は妥当性（$p=0.040$）と関連性（$p=0.031$）において有意に高く評価され、これらがより理論的に根拠があり、ソース文献とよりよく結びついていることを示した。

意義と主張
本論文は、社会実験のアーカイブが、現在の慣行が抽出するものよりも多くの潜在構造を含んでいると主張する。この構造を明示化することで、EXATLAS は単なる要約ツールではなく、将来の理論と実験を導く「地図」として機能する。

著者はその範囲において謙虚であり、LLM が人間の参加者に取って代わるものでもなければ、テキスト埋め込みによる構成が普遍的に正確であるとも主張していない。その代わり、彼らは実験アーカイブを構成的に読み解くことで、証拠がどこまで届き、どこで不足し、その限界がどのような意味のある研究方向を指し示すかについての較正された推定を可能にすると論じている。このフレームワークは、文献を孤立した研究の山ではなく、地図として扱うことで「不整合性問題」に対処するインフラを提供する。

限界
著者は、高い精度（98.6%）は局所的に支援された対象にのみ適用され、アーカイブを超えた外挿には一般化すべきではないと認めている。また、埋め込み空間が因果メカニズムを保持していることをテキストのみから証明することはできず、特徴幾何を検索および再構成の装置として扱う点に注意が必要である。さらに、調整モジュールは検証者ではなく生成器であり、基盤となるアーカイブは、何が出版され、コード化されるかに関するバイアスを継承している。