When Does AI for PDEs Yield Scientific Evidence?

現代科学の広大な風景の中で、研究者が物理世界を理解するための強力な新しいツールが登場した。それは、自然を支配する方程式に人工知能を適用することである。これらの方程式は、偏微分方程式として知られ、水の流れや空気の動きから、熱や電気の挙動に至るまで、あらゆる事象を記述するために用いられる数学的言語である。数十年にわたり、科学者たちはこれらの方程式を解くために伝統的なコンピュータ・シミュレーションに頼ってきたが、近年、AIモデルは、驚異的な速度と精度でこれらの物理的挙動を予測することを学習できることを示している。これらのAIモデルを評価する標準的な方法は、単純かつ直接的なものであった。すなわち、「AIの予測が既知の正解にいかに一致しているか」である。数値が一致していれば、そのモデルは優れていると見なされる。このアプローチは急速な進歩を促し、出力と真実との差異を最小限に抑えるモデルを構築する競争を生み出してきた。

しかし、極めて重要な問いが、これまでほとんど問われることなく残されてきた。それは、「高度に正確な数値を生成するモデルは、科学者が真の発見を行うために必要とする種類の『証拠』を実際に提供できるのか？」という問いである。現実の世界において、研究者が求めているのは単なる数値ではない。彼らは、「この氷棚は予想よりも早く溶けている」あるいは「この流体はこれらの条件下で不安定になる」といった、特定の主張を裏付けるための証拠を求めているのである。あるモデルは全体としては非常に正確かもしれないが、その特定の主張にとって重要な細部を見逃しているかもしれない。あるいは、結論を完全に変えてしまうような形で、わずかに外れているかもしれない。これまで、科学界は「高い精度は自動的に強力な証拠を意味する」と仮定してきた。新しい研究は、この仮定に異議を唱え、成功を測定するために用いるツールが、科学的発見という仕事に対して誤ったAIモデルを選ばせている可能性があることを示唆している。

南華理工大学のWenshuo Wang氏率いる研究チームは、AIモデルを評価するための新しい方法を構築することで、このアイデアを検証することに着手した。彼らは単に「あなたの答えは正解にどれくらい近いですか？」と問うのではなく、「あなたの答えはこの特定の科学的主張を裏付けるのに十分な証拠を提供していますか？」と問うたのである。これを行うために、彼らは物理学におけるAIの既存の広く用いられている2つのベンチマーク（システムの経時的な進化を予測するものと、データから隠れた物理特性を特定するもの）を取り上げ、そこに新しい評価レイヤーを追加した。彼らは同じAIモデルを用い、同じデータを与え、同じ問題を解かせた。しかし今回は、従来の精度スコアに加えて、モデルの出力が特定の定義された科学的主張を支持できるかどうかについても検証を行った。

ある気象予報士が、国のすべての都市の気温を完璧に予測できるが、特定の沿岸の町に嵐が来るという予測には失敗するという状況を想像してみてほしい。もし気温の平均誤差だけを見ているならば、その予報士は素晴らしいものに見えるだろう。しかし、目的がその町に嵐の警告を発することであるならば、その予報士は失敗していることになる。研究者たちは、物理学におけるAIモデルでも同様のことが起こることを発見した。純粋な数値的精度において最も高いランク付けを受けたモデルは、科学的主張を裏付ける証拠を提供する点で最も高いランク付けを受けたモデルとは、しばしば異なるものであることを彼らは発見したのだ。実際、これら2つの目標は、しばく異なる勝者を指し示すのである。

この結論に達するために、チームは現在使用されている最も先進的で人気のあるモデルを含む、多種多様なAIモデルを調査した。彼らは、浅い河川における水の流れのシミュレーションから、地下の岩層の隠れた特性の推論に至るまでのタスクに対して、これらのモデルをテストした。各タスクにおいて、彼らは「地域の平均水位が一定の範囲内に留まるか」、あるいは「特定の岩石が圧力下でどのように振る舞うか」といった具体的な科学的主張を定義した。そして、各モデルについて、予測が真の答えにどれほど近いかと、その予測および推定される不確実性が、主張を裏付けるのに十分な強さを持っているかの2点を測定した。

結果は衝撃的であった。主要な比較のほぼすべてにおいて、誤差を最小化することにおいて「最良」であったモデルは、科学的主張を裏付けることに「最良」であったモデルとは異なっていた。その差は小さいこともあったが、しばしば重大なものであった。研究者たちは、数値的に正確なモデルであっても、誤差が間違った方向に発生したり、あるいはモデルの不確実性が高すぎて代替の可能性を排除できなかったりする場合、その主張を裏付けることに失敗し得ることを発見した。逆に、全体的な誤差がやや大きいモデルであっても、その誤差が重要な領域において十分に小さければ、主張に対して強力な証拠を提供できる場合がある。

研究はさらに、なぜこのような不一致が起こるのかを説明した。精度と証拠の関係は、3つの鍵となる要因に依存している。それは、真の値が主張の境界にどれほど近いか、モデルの誤差がどこで発生するか、そしてモデルの不確実性の幅がどの程度か、という点である。真の値が主張の境界線上にある場合、たとえ微小な誤差であっても、結論を「支持」から「否定」へと覆してしまう。モデルが間違った方向に誤差を生じさせる場合、全体の誤差が小さかったとしても、主張を損なう可能性がある。そして、モデルの不確実性が高すぎる場合、モデルの平均的な予測がいかに正確であろうとも、決定的な証明を提供することはできない。

この発見は、科学コミュニティがAIを開発し利用する方法に対して、深い示唆を与えている。長年、研究者たちは、精度を高めることが自然に優れた科学的洞察につながると想定して、モデルを最適化してきた。本研究は、この仮定に欠陥があることを示唆している。精度のみに焦点を当てることで、コミュニティは、データの再現には優れているが、発見に必要な特定の証拠を提供する能力には乏しいモデルを、図らずも選好してしまっている可能性がある。著者は、これらのツールの評価方法を変える必要があると主張している。単一の精度スコアを見るのではなく、AIモデルが科学者が試みている特定の主張を実際にサポートできるかどうかを評価しなければならないのである。

研究者たちは単に問題を指摘しただけでなく、その解決策を測定するためのフレームワークを構築した。彼らは、科学的主張への支持を、数値的精度とは別の独立した目標として扱う新しい評価システムを作成した。彼らがこのシステムを、南極の氷棚の流動や多孔質岩石中の流体の移動を含む現実世界のシナリオでテストしたところ、意図通りに機能することが確認された。このシステムは、数値的な精度が同程度であったとしても、強力な証拠を提供するモデルとそうでないモデルを明確に区別することができた。

この研究は、科学において、目標とは単に「正しい」ことではなく、「重要な意味において正しい」ことであるという重要な教訓を提示している。統計的に正確であっても科学的に役に立たないモデルは、失われた機会である。AIが科学研究に統合されるにつれ、それらのモデルを判断する方法も進化しなければならない。私たちは、構築するツールが単に数値を推測するのが得意なだけでなく、人間の理解を前進させるための確固たる信頼できる証拠を提供できるものであることを保証する必要がある。研究は、精度と証拠を同一視することをやめ、両者を別々に測定し、未来のAIモデルが真に科学的発見という目的に適したものとなるようにすべきである、と結論づけている。