Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery
Science Edge Evaluation (SEE) ベンチマークは、現在のマルチモーダル大規模言語モデルが、現実世界の科学的発見における実験データから根拠に基づいた洞察を確実に導き出すことに苦慮していることを明らかにしており、既知の概念を説明することと、新規かつ正当化された科学的推論を生成することとの間の決定的な隔たりを浮き彫りにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代の研究所において、発見とはめったに突然の閃きによってもたらされるものではない。それは、証拠を積み上げていく、ゆっくりとした、かつ慎重なプロセスである。科学者は、分子に跳ね返る光のスペクトル、細胞の顕微鏡画像、あるいは温度変化のグラフを見つめ、「これらの静かな信号は、実際には何を意味しているのか」と問いかける。その答えは、科学者が何を期待しているか、あるいは他の実験で何を見たかではなく、データが示していることに厳格に基づかなければならない。この「証拠に固執する」という規律こそが、信頼できる科学の基盤である。今日、大規模言語モデルとして知られる強力なコンピュータプログラムが、この作業を支援することを期待されている。これらのシステムは、膨大な科学論文のライブラリを読み解き、複雑な理論を容易に議論することができる。しかし、決定的な疑問が残っている。果たして彼らは、生の、混沌とした実験結果を見て、正しく、かつデータが許容する範囲内に厳密に限定された結論を導き出すことができるのだろうか。
「Science Edge Evaluation」と題された新しい研究は、この問いに直接取り組んでいる。アリババグループ、清華大学、およびその他の機関の研究者たちは、人工知能システムが真の意味で科学的発見のパートナーとして機能できるかどうかを検証するための、厳格なテストを作成した。彼らは、化学、生物学、材料科学における実際の発表された研究から抽出された1,000以上の問題からなるベンチマーク「SEE」を構築した。単にモデルが事実を知っているか、あるいは教科書的な問題を解けるかを問う従来のテストとは異なり、このベンチマークは、ゲル画像、スペクトル曲線、顕微鏡写真など、人間の科学者が目にするものと同じ視覚的証拠を、付随するテキストとともにモデルに提示する。その目的は、モデルがこれらの画像を解釈し、推測や事実の捏造を行うことなく、提供された証拠の境界内に留まった結論に到達できるかどうかを確認することであった。
この評価の結果は、非常に厳しいものであった。研究者たちは、汎用システムと科学向けに特別に訓練されたシステムの両方を含む、18種類の高度なモデルをテストした。最も優れた性能を示したモデルでさえ、正解率はわずか48.7パーセントにとどまった。50パーセントの壁を突破したモデルは一つもなかった。この低いスコアは、現在の人工知能が、実際の研究所で求められる微妙なニュアンスを含む推論を扱うには、まだ信頼性に欠けていることを示唆している。おそらくより驚くべきことに、科学向けに設計されたモデルは、汎用モデルを凌駕することはなかった。実際、平均すると汎用モデルの方がわずかに優れていた。この発見は、コンピュータに単により多くの科学的事実を詰め込んだり、専門的なテキストで訓練したりするだけでは不十分であることを示している。欠けているのは知識ではなく、目の前にある特定の証拠に基づいた慎重な推論能力である。
また、本研究では、背景情報を検索するためのウェブ検索機能や、画像を数学的に分析するためのコードインタープリタなど、モデルを支援するためのツールを与えた場合に何が起こるかも調査した。これらのツールを与えることは効果があり、最高精度は52.7パーセントまで上昇した。しかし、その改善はわずかなものであり、モデルは依然として重大な誤りを犯していた。研究者たちは、ツールはより多くの情報を提供できるものの、核心的な問題は解決していないことを発見した。つまり、モデルは依然としてその情報を正しく扱うことに苦慮していたのである。モデルは、十分な証拠が得られた時点で止まることができず、新しいデータと古い仮定を組み合わせることで、誤った結論へと導かれることが多かった。ツールはモデルが見る範囲を広げたが、見たものの限界内で考える方法を教えることはできなかったのである。
研究者たちがモデルの失敗の具体的な様態を分析したところ、明確なパターンが現れた。エラーは「知覚」と「推論」の二つのカテゴリーに分類された。知覚の面では、モデルはグラフやスペクトルから正確な数値を読み取るための精度を欠いていることが多かった。彼らは一般的なパターンを認識することには長けているが、測定機器としての役割を果たすには不十分であった。推論の面では、モデルはしばしば事前の知識を実際の視覚的証拠よりも優先させてしまった。もし画像に何か異常な点があったとしても、モデルはしばしばその奇妙な詳細を無視し、代わりに自身の訓練データに基づいて「見るはずのもの」を描写してしまうのである。彼らはまた、部分的な結果を過度に外挿し、データが支持していないような、広範で決定的な結論へと飛躍してしまう傾向があった。
最も示唆に富む実験の一つは、画像を完全に取り除き、テキストのみに基づいて回答させるというものであった。真に知的なシステムであれば、視覚的証拠なしには回答できないことを認識すべきである。しかし、モデルはほとんどの場合、テキストのみに基づいて推測し、無理に回答しようとした。彼らが情報の欠落を特定できたのは、わずか4.6パーセントのケースのみであった。この挙動は「ハルシネーション（幻覚）」として知られ、科学においては、誤った自信を生み出すため非常に危険である。モデルは、必要な証拠が欠けていることを認めるよりも、答えを捏造することを厭わなかったのである。
本研究は、現在の人工知能と真の科学的発見との間の溝は、より多くのデータやよりスマートなツールによるものではないと結論づけている。その溝は、「証拠を管理する能力」にある。真の科学的発見には、一連の観察事項を見つめ、それらの観察事項が正確に何を証明しているのかを理解し、そこで思考を止めることができるシステムが必要である。それは、「データが示しているのはここまでである」と言い、空白を推測で埋めようとする衝力を抑える規律を必要とする。人工知能が、「既知であること」と「単に可能性があること」を確実に区別できるようになるまで、それは新しい発見のためのパートナーではなく、確立された概念を説明するためのツールに留まり続けるだろう。進むべき道は、モデルをより大きく、より知識豊富にすることではなく、証拠に縛られた厳格な論理的推論を教え込むことである、と研究者たちは示唆している。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。