Position: AI for Science Should Treat Measurement-to-Dataset Pipelines as Inference Components

「AI for Science は、測定からデータセットへのパイプラインを推論コンポーネントとして扱うべきである」という論文の説明を、日常的な言葉と創造的な比喩を用いて翻訳したものです。

大きなアイデア：「凍結されたレンズ」の問題

暗い部屋で謎の物体を理解しようとしていると想像してください。物体を直接見ることはできません。ある特定のランプによって壁に投影されたその影しか見ることができないのです。

AI for Scienceにおいて、研究者たちはしばしば物体そのものを研究しているかのように振る舞います。しかし実際には、彼らが研究しているのは影なのです。

この論文は、脳画像、天文学、創薬など多くの科学分野において、科学者が使用するデータは「生の現実」ではないと主張しています。それは、現実を処理し、整備し、再構成したバージョンなのです。この処理は、ノイズの除去、欠落部分の補完、信号の変換など、長い一連の工程、すなわちパイプラインを通じて行われます。

現在、科学者たちは最終的なデータセットを、固定された客観的な事実であるかのように扱っています。「ここにデータがある、さあモデルを作ろう」と言うのです。著者たちはこれを**「凍結されたレンズ」**と呼びます。彼らはこれが誤りであると主張します。データを生成したパイプラインは、実際には科学的推論の巨大な一部であり、それを「凍結」して（無視して）しまうことは、結論がその影を投射する方法の選択に完全に依存しているという事実を隠蔽することになります。

---

これが失敗する 3 つの方法

著者たちは、この「凍結されたレンズ」が科学を失敗に導く 3 つの具体的な方法を特定しています。これらを 3 つの罠だと考えてください。

1. 隠されたメニュー（隠れた仮説空間）

比喩： 料理人が作ったハンバーガーを注文すると想像してください。あなたはハンバーガーが料理人が作ったものの「真実」だと考えます。しかし、料理人にはそのハンバーガーを作る 50 通りの異なる方法（異なるバンズ、異なる調理時間、異なるソース）のメニューがありました。レストランはあなたに 1 つの特定のバージョンしか提供せず、残りの 49 種類については何も伝えませんでした。
問題： 科学者がデータセットを公開する際、通常は生の測定値を処理する1 つの方法を選択します。彼らは、もしわずかに異なるフィルターや異なるクリーニング方法を選択していたら、「ハンバーガー」（データ）が全く異なって見えたかもしれないことを伝えません。
結果： AI モデルはその 1 つの特定のバージョンに基づいて予測することを学びます。それは普遍的な真理を発見したと考えていますが、実際にはその 1 つの特定のレシピの癖を暗記しているに過ぎません。「他の可能な現実のメニュー」は隠されたままです。

2. 壊れた地図（未認証の輸送可能性）

比喩： 晴れた日に完璧に描かれた都市の地図を持っていると想像してください。あなたはナビゲーションにこの地図を使います。しかし、雨が降り出し、街路が水浸しになります。この地図は水たまりを表示していません。なぜなら、晴れた日のために描かれただけだからです。あなたは雨の中で地図を使おうとして立ち往生し、自分の運転技術を責めます。
問題： パイプラインは、データが収集された実験室（「晴れた日」）では非常にうまく機能するかもしれません。しかし、その同じデータ処理方法を、異なる病院、異なる国、または異なる機械からのデータ（「雨の日」）に適用しようとすると、パイプラインは破綻したり、データを奇妙な方法で歪めたりする可能性があります。
結果： 科学者たちは、いつデータ処理方法が機能しなくなるのかを知らないことが多いのです。AI モデルが新しいデータで失敗したとき、AI が悪いのか、それともその新しい環境に対して「地図」（パイプライン）が単に無効だったのか、私たちは区別できません。

3. 専門家の大群（管理されていない多様性）

比喩： 100 人の専門家からなる陪審員が、同じ犯罪現場の写真を眺めていると想像してください。彼らはすべて事実について合意していますが、すべてがわずかに異なる拡大鏡を使用しています。90 人が容疑者の有罪を結論付け、10 人が無罪を結論付けます。ニュースは「専門家たちは容疑者の有罪を述べている」と報じ、異議を唱えた 10 人を無視します。
問題： 科学において、データを処理する「正当な」方法はしばしば多数存在します。ノイズを除去する正当な方法は 5 つあります。1 つを選べば 1 つの結果が得られ、別のものを選べば異なる結果が得られます。
結果： 科学者たちはしばしば、最も「クール」で、または最も有意な結果を与える 1 つの方法を選び、99 通りの他の正当な方法が異なる答えを与えたであろうという事実を無視します。彼らは、単一の選択を絶対的な真理として扱い、「100 の方法を試したが、答えは少し揺らいでいる」と認めることをしません。

---

「EEG オーディット」：現実のチェック

これが単なる理論ではないことを証明するために、著者たちはうつ病に関連する脳データ（EEG）で大規模な実験を行いました。

• 設定： 彼らは生の脳波データを245,376通りの異なる処理パイプラインの組み合わせに通しました。（あらゆる可能なフィルター、クリーニングツール、測定ルールの組み合わせを試すことを想像してください）。
• 目標： 彼らは特定のシグナルを探していました。それは、うつ病患者と健康な人々の間の脳活動の違いです。
• 衝撃的な結果：
  • 245,000 以上のパイプラインの多くが「有意な」違いを見つけました。
  • しかし、それらの違いが異なるグループ（異なるデータセット）の人々において維持されるかどうかを確認したところ、245,376 個のパイプラインのうちたった 1 つだけが生き残りました。
  • 生存率は**0.0004%**です。

これが意味すること： この分野で科学者が「発見」を見つけたほとんどすべての場合、それは偶然にも彼らが選んでしまった特定のパイプラインによるものだった可能性が高いのです。「真実」はあまりにも脆弱で、処理ルールをわずかに変更するだけで、その発見は消えてしまいました。

---

解決策：「計算可能な観測フレームワーク」

著者たちは、科学を止めるべきだと言っているのではありません。彼らが言っているのは、データを扱う方法を変える必要があるということです。

現在のやり方：

1. 生データ $\rightarrow$ [ブラックボックス・パイプライン] $\rightarrow$ 「クリーンなデータ」 $\rightarrow$ AI モデル。
2. 「クリーンなデータ」が真実であるかのように振る舞う。

提案されるやり方：

1. 生データ $\rightarrow$ 変数としてのパイプライン $\rightarrow$ AI モデル。
2. パイプラインを科学的仮説として扱う。「この結論は、パイプラインを変えたとしても維持されるか？」と問う。

彼らは以下のようなシステムを構築することを提案しています。

• パイプラインは「実行可能なオブジェクト」である： 「方法 A を使用した」という PDF レポートではなく、方法 A のコード（およびそのすべての可能なバリエーション）を、実行、テスト、変更可能なデジタルオブジェクトとして保存する。
• 安定性が目標である： 最もよく予測するモデルを探すのではなく、どの正当なパイプラインを使用しても同じ答えを与えるモデルを探す。
• 不確実性は共有される： 100 のパイプラインが 100 の異なる答えを与える場合、その不確実性を報告する。それを隠さない。

まとめ

この論文は、AI for Science において、現実を測定するために使用されるツールは、測定そのものと同じくらい重要であると主張しています。ツール（パイプライン）を無視することで、科学者たちはしばしば不安定な土台の上に AI モデルを構築しています。彼らは、処理されたデータを固定された事実として扱うのをやめ、科学的実験の変数として扱うべきです。