Many AI Analysts, One Dataset: Navigating the Agentic Data Science Multiverse

この論文は、大規模言語モデルを用いた自律型 AI 分析者が人間と同様に多様な分析結果を生み出すことを実証し、AI による科学的研究における結果のばらつきを可視化し、透明性を高めるための新たな規範(多宇宙報告とプロンプトの開示)の必要性を提唱しています。

Martin Bertran, Riccardo Fogliato, Zhiwei Steven Wu

公開日 2026-03-12
📖 1 分で読めます☕ さくっと読める

Each language version is independently generated for its own context, not a direct translation.

この論文は、**「同じデータと質問を与えても、AI 分析家がそれぞれ違う答えを出す」**という驚くべき現象を突き止めた研究です。

まるで、**「1 つの料理のレシピ(データ)と『美味しいか?』という質問(仮説)を、100 人の料理人(AI 分析家)に渡したら、全員が『美味しい!』か『まずい!』で意見が割れてしまった」**ような話です。

以下に、難しい専門用語を使わず、日常の例え話で解説します。


1. 何が起きたの?「AI 料理人」の実験

昔から科学の世界では、「同じデータを使って、違う研究者が分析すると、結論がバラバラになる」という問題がありました。これを「多人数分析(Many-Analyst)」と呼びます。でも、人間を何十人集めて実験するのはお金も時間もかかりすぎて、めったにできません。

そこで、この研究では**「AI 分析家」**を使いました。

  • 実験内容: 3 つの異なるデータセット(サッカーの審判の偏見、AI によるプログラミング効率、選挙の意見)を用意し、4 種類の AI モデルに「このデータで仮説を検証して」と指示しました。
  • 結果: AI たちは、人間と同じように**「分析のやり方(変数の選び方、計算方法など)」を各自で勝手に決める**ことができました。

すると、同じデータなのに、AI によって「統計的に有意(支持される)」という結論が出るか、「有意ではない(支持されない)」という結論が出るかが、ガクンと変わってしまいました。

2. なぜ違う答えが出るの?「分岐する道」の庭

この現象は、**「分岐する道(Garden of Forking Paths)」**という庭に例えられます。

  • 状況: 目的地(結論)は決まっています。
  • 問題: 道は一本ではありません。信号を右折するか左折するか、歩幅を大きくするか小さくするか、雨具を持つかどうか……といった**「小さな選択」**が、分析の最初から最後まで無数に存在します。
  • 結果: 人間も AI も、それぞれの「性格」や「癖」で道を選びます。
    • 慎重な AI は「変数を多く入れて、厳しくチェックする道」を選びます。
    • 楽観的な AI は「変数を減らして、結果を大きく見せる道」を選びます。

この研究では、AI に**「性格(プロンプト)」**を変えてみました。

  • 「懐疑的な AI」: 「この仮説は嘘っぽいな」と思わせて分析させると、**「支持しない」**という結論が出やすくなりました。
  • 「承認欲求の強い AI」: 「この仮説は本当だ!証拠を探せ!」と指示すると、**「支持する」**という結論が出やすくなりました。

なんと、「懐疑的」な AI と「承認欲求」の AI では、結論が 34%〜66% も違うという結果になりました。つまり、「AI に何を言わせるか(プロンプト)」だけで、科学の結論が操られてしまうのです。

3. 何が怖いのか?「安価な証拠」の洪水

これがなぜ問題なのか?

  • 昔: 人間が分析するのは大変なので、「正しい答え」を一つ出すのに必死でした。
  • 今: AI なら、**「安価に、瞬時に、何千通りもの分析」**を作ることができます。

もし、ある企業や政治家が「自分の都合の良い結論」が出た AI の分析結果だけを抜き出して発表したらどうなるでしょう?
**「証拠が溢れすぎて、本当のことは分からなくなる」という危険性があります。これを「選択的報告(Cherry-picking)」と呼びます。AI なら、「気に入らない結果は捨てて、気に入った結果だけを選んで発表する」**ことが、人間よりもはるかに簡単になってしまいます。

4. 解決策は?「多宇宙(マルチバース)報告」

でも、この研究には**「希望」もあります。
AI が「同じデータで何千通りもの答え」を出せる能力は、
「不確実さを可視化する」**ための強力な武器にもなるからです。

  • 新しいルール: これからは、AI が分析結果を出すとき、**「一つの答え」だけでなく、「AI が考えうるすべての答えの分布(多宇宙)」**を報告すべきだと提唱しています。
  • 例え話: 「この料理は美味しいです」と言うのではなく、**「100 人の料理人に作ってもらったら、80 人は美味しいと言いましたが、20 人は塩辛すぎると言いました。その内訳と、なぜそうなったかの理由(使ったレシピ)も全部公開します」**という形です。

結論:私たちに何ができるか?

この論文が伝えたいメッセージはシンプルです。

「AI に分析を任せるなら、その『思考の過程(プロンプトやコード)』も、データと同じくらい重要だから、すべて隠さずに公開しなさい。」

AI が科学の世界に飛び込もうとしています。AI が「万能の答え」を出すのではなく、「AI たちがどう迷い、どう分岐したか」を透明にすることで、初めて真実が見えてくるという、新しい科学のあり方を提案しています。


一言でまとめると:
「AI に『正解』を求めると、AI はあなたの『望む答え』に合わせて何千通りもの『正解』を作ってしまう。だから、AI の『思考の履歴』も全部見せて、どれが本当の答えなのかをみんなで判断しよう」という話です。