EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards

科学者が地球の仕組みを理解しようとする際、起きていることの完璧で単一な全体像を手にすることは滅多にありません。その代わりに、彼らは多くの異なる情報源から一つの物語を組み立てなければなりません。例えば、地元の観測所からの気象報告、宇宙から撮影された衛星画像、政府機関による洪水の要約、そして過去の気候データの再解析などです。これらの情報源はそれぞれ真実の一部を語っていますが、それらはしばしば異なる言語を用い、異なる領域をカバーし、異なる時期に出来事を記録しています。地球科学における本当の課題は、単にこれらの報告を読むことではなく、どれとどれを組み合わせるべきか、どのように公平に比較するか、そしてそれらが災害や変化する気候について一貫した物語を伝えているかどうかを見極めることです。もし科学者が誤ったデータを選んだり、タイミングを混同したりすれば、ある危険に関する結論全体が誤ったものとなり、コミュニティが危険に対して備えたり対応したりする方法に深刻な影響を及ぼす可能性があります。

「EarthVerse」と呼ばれる新しい研究は、困難な問いを投げかけています。人工知能システムは、このような科学的な探偵業務を自律的に行うことができるのでしょうか？研究者たちは、コンピュータのエージェントが本物の科学者のように振る舞えるかどうかを確認するための大規模なテストを構築しました。彼らは、熱波から地震に至るまで、199件の実世界の災害や異常気象に基づいた405件の具体的な調査を作成しました。各調査は、生データ、地図、報告書を含む約34個の異なるファイルからなるパッケージです。コンピュータエージェントには、「熱波の深刻度を判定する」といった科学的な問いが与えられましたが、どのファイルを見るべきかは指示されませんでした。彼らはパッケージ全体を探索し、正しい記録を見つけ出し、データが時間的・空間的に一致しているかを確認し、必要な計算を行い、そして見つけた証拠によって十分に裏付けられた最終的な回答を書き上げなければなりませんでした。

結果は、これらのシステムが単純なテストでできることと、複雑で現実世界のシナリオで実行できることの間に、大きな隔たりがあることを明らかにしました。25種類の異なるAIシステムをテストしたところ、最も優れたものは、個々の小さな事実については約85パーセント正解することができました。それらはしばしば正しい数値を見つけ出し、数学的な計算を正しく行うことができました。しかし、調査全体が完全かつ信頼できるものかどうかを研究者が確認すると、成功率は劇的に低下しました。調査が十分に信頼できるレベルで完了していたのは、わずか約35パーセントでした。これは、最も高度なシステムであっても、推論の連鎖のどこかで決定的なミスを犯していることが多いことを意味します。例えば、正しい気温の記録は見つけたものの、誤った時間枠を使用してしまったり、統計量を正しく計算したものの、そのデータが互換性のあるソースから来たものかどうかを確認し損ねたりといったことです。

この研究は、問題が知識の不足や計算能力の欠如ではないことを示しました。システムは事実を知っており、数値を計算することもできました。失敗は、どの証拠を信頼すべきか、そしてどのようにしてパズルのピースをすべて整合させるべきかを判断しなければならない時に起こりました。研究者がAIシステムに対し、正しいファイルを直接指し示すことで手助けを与えると、その性能は大幅に向上しました。これは、主なボトルネックが情報の理解ではなく、正しい情報を見つけ出すことにあることを証明しています。また、単にAIに長く考えさせたり、より深く考えさせたりしても、間違ったデータを見続けている場合には効果がないことも分かりました。システムには、考えを変え、戻ってより良い情報源を探し、新しい証拠に基づいて結論を更新する能力が必要なのです。

この研究は、人工知能が「答えが既に提供されている場合に質問に答える」ことには非常に長けてきている一方で、「証拠の基盤そのものを構築する」というより困難なタスクには依然として苦戦していることを示唆しています。単一の欠落したデータが災害への理解を変えてしまう可能性がある地球科学の世界において、この隔たりは極めて重要です。研究は、AIが科学分野において真に信頼されるためには、自らが主張するあらゆる内容と、それを裏付ける特定の証拠との間に一貫したつながりを維持し、最初のデータポイントから最終的な結論に至るまで、物語全体が整合していることを保証できなければならないと結論付けています。