Nonstandard Errors in AI Agents

本研究は、同じデータと研究課題を与えられた最先端の AI コーディングエージェント間でも、分析手法の選択にばらつきが生じ「非標準誤差」が発生すること、そして単なる模倣を通じてのみ推定値の収束が達成されることを示しています。

要約

この論文は、**「AI 研究者に同じ仕事をさせたら、みんな同じ答えを出すのか？」**という素朴だが非常に重要な問いに答えたものです。

結論から言うと、**「いいえ、AI 同士でも答えはバラバラでした。しかも、そのバラつきは人間の研究者が抱える『迷い』とよく似ています」**というのがこの研究の核心です。

以下に、難しい専門用語を排し、日常の比喩を使って分かりやすく解説します。

---

🍳 料理のレシピ大会：AI 研究者の実験

想像してみてください。150 人の「AI 料理人（AI エージェント）」がいます。彼らはすべて同じ材料（ニューヨーク証券取引所の膨大な取引データ）と、同じお題（「市場の質は 2015 年から 2024 年にかけてどう変化したか？」）を与えられました。

彼らはそれぞれ独立して、以下の作業を行います。

1. データを分析する。
2. 統計的な計算をする。
3. 論文（レポート）を書く。

もし AI が完璧な機械なら、全員が「正解」である同じ料理（同じ結論）を出すはずです。しかし、現実はそうなりませんでした。

1. 答えはバラバラだった（「非標準誤差」とは何か）

AI たちが出した答えは、まるで**「同じ卵で卵焼きを作っても、人によって味や形が全く違う」**状態でした。

• 例： 「取引量」の変化を調べるお題で、ある AI は「ドル換算の金額」で計算し「増えた！」と結論を出しました。別の AI は「株の枚数」で計算し「減った！」と結論を出しました。
• 意味： 計算の「ものさし（指標）」の選び方一つで、結論が正反対になってしまうのです。これを論文では**「非標準誤差（NSE）」**と呼びます。これは人間が研究する際にも起こる「研究者の癖や選択によるバラつき」のことですが、AI にもこれが存在することが初めて証明されました。

2. AI にも「癖」がある（モデルごとのスタイル）

面白いことに、使った AI の種類によって、明確な「癖」がありました。

• Sonnet という AI： 「自動相関」という古いタイプの計算方法が大好き。
• Opus という AI： 「分散比」という別の計算方法を 100% 使う。

まるで、**「和食の職人は必ず出汁を使うが、フレンチのシェフは必ずバターを使う」**ような、それぞれのモデルに固有の「料理のスタイル」が存在したのです。これは AI が学習したデータに、特定の研究方法が偏って含まれていたためと考えられます。

3. 批評会では直らないが、お手本を見せると真似する

研究者たちは、3 つの段階で実験を行いました。

• 第 1 段階（独り占め）： 各自が分析。→ 答えはバラバラ。
• 第 2 段階（ピアレビュー）： AI 同士がお互いの論文を批評し合い、「ここがダメだ」とアドバイスする。
  • 結果： 答えはほとんど直りませんでした。
  • 理由： AI は「批判」を真に受けて修正するのではなく、それぞれが「じゃあ、こうしてみようか」と勝手に別の道を選んでしまい、バラつきは解消されませんでした。人間のように「なるほど、その指摘は私の研究には当てはまらないな」と判断する力がまだ弱かったのです。
• 第 3 段階（お手本の提示）： 「一番評価が高かった 5 人の AI の論文」を見せる。
  • 結果： 劇的に答えが揃いました。
  • 理由： AI は「上手い人の真似」をするのが得意です。評価の高い論文が「ドル換算」を使っていれば、他の AI も一斉に「ドル換算」に切り替えます。
  • しかし、落とし穴も： お手本が「枚数」を使っていたら、全員が「枚数」に切り替わります。つまり、「正しい答え」ではなく「流行りの答え」に揃ってしまっただけで、本質的な正解に近づいたわけではありません。

---

💡 この研究が教えてくれること

この実験から、私たちが学ぶべき重要な教訓が 3 つあります。

1. 「AI が出した答え」をそのまま信じてはいけない
   AI に「市場の質は良くなった」と言われても、それは「AI がたまたま選んだ計算方法」の結果に過ぎないかもしれません。別の AI なら「悪くなった」と言うかもしれません。一つの AI の結果だけを「正解」として政策や投資に使うのは危険です。

2. AI 同士で議論させても解決しない
   人間のように「議論して合意形成する」ことは、今の AI には難しいようです。AI 同士の批評会は、バラつきを減らす効果はほとんどありませんでした。

3. 「多様な視点」を意図的に使うべき
   研究者は、AI に「一つの答え」を求めず、**「多様な AI に同じことをさせて、その結果の幅（ばらつき）を見る」**べきです。これを「マルチバース分析（多宇宙分析）」と呼びます。

   • 「もしドル換算で計算したらどうなる？」「もし枚数で計算したらどうなる？」
   • この「もしも」の幅が大きいということは、**「この研究テーマ自体が、定義が曖昧で答えが定まっていない」**というサインです。

🎭 まとめ：AI は「鏡」のようなもの

この論文は、AI の失敗を指摘しているのではなく、**「AI は社会科学研究の『鏡』として機能している」**と説いています。

AI は人間のような「偏見」や「疲れ」を持っていません。それなのに、同じデータから同じように「迷い」や「バラつき」を生み出してしまう。それは、**「研究テーマそのものが、答えが一つに定まらないほど曖昧である」**ことを AI が忠実に反映しているからです。

AI は、私たちが「どの指標を使えばいいか迷っている」という事実を、数値として浮き彫りにしてくれる便利なツールなのです。これからは、AI に「正解」を求めず、「どの選択肢があり得るか」を探るための道具として使うべきでしょう。

技術概要

論文「Nonstandard Errors in AI Agents」の技術的サマリー

この論文は、最先端の AI コーディングエージェント（Claude Code）が、同一のデータと研究質問を与えられた場合、同じ実証結果を生成するかどうかを調査した研究です。著者らは、AI エージェント間にも人間研究者の間で知られている「非標準誤差（Nonstandard Errors: NSE）」が存在し、分析上の選択の違いによって結果が大きく変動することを示しました。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題設定 (Problem)

近年、AI エージェントはデータ収集、コーディング、統計推定、レポート作成までを含む実証研究の自動化に急速に導入されています（例：Autonomous Policy Evaluation プロジェクト）。しかし、**「異なる AI エージェントに同じデータと仮説を与えて分析させた場合、同じ結果が得られるのか？」**という根本的な疑問は未解決でした。

人間研究者の間では、「研究者の自由度（Researcher Degrees of Freedom）」による分析選択の違いが結果に大きなばらつき（NSE）を生むことが知られています（Silberzahn et al., 2018; Menkveld et al., 2024）。AI は人間のような個別的な訓練や制度的圧力を持たないため、単一の「最適解」に収束する可能性がありますが、言語モデルのサンプリングの確率性やタスクの未定義性により、同様に大きなばらつきが生じる可能性も指摘されています。

2. 実験手法 (Methodology)

著者らは、Menkveld et al. (2024) の人間研究者による大規模実験（#fincap）を AI 版として再現実験を行いました。

• エージェント構成:
  • 150 個の自律型 Claude Code エージェントを配置。
  • モデル：Sonnet 4.6 (100 個) と Opus 4.6 (50 個) の 2 種類を使用。
  • 完全自律：データ探索、コード作成・デバッグ、推定、レポート作成（2,000〜4,000 語）までを人間介入なしで実行。
• データ:
  • NYSE TAQ の SPY（SPDR S&P 500 ETF）のミリ秒単位取引・引用データ（2015〜2024 年、約 66GB、70 億行）。
• 仮説:
  • 市場の質に関する 6 つの仮説（市場効率性、クォート・スプレッド、実現スプレッド、取引量、インフラ volatility、価格インパクト）を検証。
  • 一部の仮説（H1, H4, H6）は抽象的な概念（例：「市場効率性」）であり、具体的な指標の定義をエージェントに委ねる「抽象仮説」です。
• 3 段階フィードバック・プロトコル:
  1. Stage 1 (独立分析): エージェントが独立して分析とレポートを作成。
  2. Stage 2 (ピアレビュー): 別の AI エージェントによる匿名の書面フィードバック（評価と批判）を受け、修正。
  3. Stage 3 (トップペーパー曝露): 評価が最も高かった 5 編のレポート（例示論文）を参照し、最終修正。

3. 主要な発見と結果 (Key Results)

A. AI における非標準誤差（NSE）の存在と規模

• 大きなばらつき: 150 個のエージェント間で、効果量の推定値に大きなばらつきが生じました。
  • 例：市場効率性（H1）の IQR（四分位範囲）は 2.43%/年（推定値は -0.74% から +1.7%）。
  • 例：取引量（H4）の IQR は 10.69%/年。これは、ドル建て取引量（+6%/年）と株数ベース取引量（-5%/年）という指標選択の違いに起因しています。
• 構造的な特徴:
  • AI の NSE は、推定パラダイム（回帰モデルの形式）の違いではなく、**「指標選択（Measure Choice）」**という離散的な分岐点に集中しています。
  • 人間研究者では一般的だった「相対変化（Period-over-period ratios）」の使用は、AI エージェントからは全く見られませんでした。

B. モデルファミリーごとの「実証スタイル」の安定性

• 異なるモデルファミリーは、ランダムなばらつきではなく、**体系的な方法論的選好（Empirical Styles）**を示しました。
  • Sonnet 4.6: 市場効率性には自己相関（Autocorrelation）を 87% の確率で選択し、レベル OLS を好む。
  • Opus 4.6: 市場効率性には分散比（Variance Ratio）を 100% の確率で選択し、対数 OLS を好む。
  • この選好はモデルの訓練に埋め込まれた安定したバイアスであることが示されました。

C. フィードバックの効果を巡る対照的な結果

• ピアレビュー（Stage 2）の効果は限定的:
  • ピアレビューによる書面フィードバックは、結果のばらつき（IQR）を減少させませんでした。
  • エージェントはフィードバックを受け入れて修正しますが、その変化が「無方向（Undirected）」であり、エージェント間で収束するどころか、個々のエージェントが異なる方向へ移動したため、全体としての分散は変わりませんでした。
• 例示論文の曝露（Stage 3）による劇的な収束:
  • トップペーパー（高評価レポート）を参照させることで、収束する指標ファミリー内での IQR が 80%〜99% 減少しました。
  • メカニズム:
    1. ファミリー内での推定値の収束: 同じ指標を使うエージェント間で推定値が一致する。
    2. 指標ファミリー間の移動: エージェントがトップペーパーの指標に合わせるために、自らの指標を完全に乗り換える（例：H1 で自己相関から分散比へ 71% が移行）。
  • 逆説的な結果: 一部の仮説（H1, H5）では、トップペーパーが新しい方法論的選択肢を導入したため、かえって分散が増加しました。また、H4（取引量）のように、トップペーパー間で指標が分裂している場合、エージェントは論理的根拠なく指標をランダムに乗り換える「無意味なシャッフル」を起こしました。

4. 主要な貢献 (Key Contributions)

1. AI における NSE の実証: 人間研究者を排除した環境でも、分析選択の違いによる不確実性（NSE）が存在し、かつ構造化されていることを初めて示しました。
2. AI 研究の信頼性への洞察: 単一の AI 生成結果は「真実」と見なすべきではなく、モデルファミリーや指標選択によって結論が逆転しうることを警告しました。
3. フィードバックメカニズムの解明: 人間研究者では機能するピアレビューが AI では機能せず、代わりに「模倣（Imitation）」による収束が起きるという、AI 特有の社会的学習メカニズムを明らかにしました。
4. 多宇宙分析（Multiverse Analysis）の提案: AI エージェントを「多宇宙分析」のツールとして活用し、研究デザインの事前登録（Pre-registration）段階で、研究質問の曖昧さ（不可避な NSE）を診断する手法を提案しました。

5. 意義と示唆 (Significance)

• 自動化された政策評価への警鐘: 自動政策評価（APE など）において、単一の AI 推定値を政策決定の根拠とするのは危険です。異なるモデルや指標選択が結果を左右するため、多様なシナリオ（多宇宙）を走査する必要があります。
• AI 支援研究のあり方: 研究者が AI をコーディング助手として使う際、デフォルト設定が方法論的バイアスを埋め込んでいることを認識する必要があります。再現性のためには、使用したモデルバージョンだけでなく、サンプリングのランダム性や選択された分岐点の報告が不可欠です。
• モデル開発への示唆: 研究用途の AI モデルにおいて、出力のばらつきを「誤差」として排除し、特定の「正解」に収束させる調整（RLHF など）は、研究の不確実性を隠蔽し、誤った確実性をもたらす可能性があります。むしろ、研究質問の曖昧さを反映する「学習された不確実性」として NSE を維持・可視化することが重要です。
• 人間研究者の NSE に対する下限値: AI エージェント（共通の訓練データとアーキテクチャを持つ）であっても NSE が生じる場合、人間研究者（個別的な訓練やインセンティブを持つ）の NSE は、少なくともこれ以上（下限値）であると推測できます。

結論

この研究は、AI エージェントが実証研究において「単一の真実」を生成するのではなく、人間と同様（あるいはそれ以上に構造的に）に分析選択の多様性によって結果が分岐することを示しました。AI を研究に活用する際には、単一の結果を信頼するのではなく、多様なアプローチを網羅する「多宇宙分析」を標準的なプラクティスとして取り入れることが不可欠です。