When Literature Data Mislead Artificial Intelligence in Materials Discovery

科学者が一つの材料をテストするために、何年もラボで試行錯誤する必要がなくなる世界を想像してみてください。その代わりに、コンピューターに何百万もの研究論文をスキャンさせ、最適な数値を見つけ出し、電池や太陽電池に最適な新しい物質を予測させるのです。これが、材料科学における人工知能の約束です。もしコンピューターがこれまでに発表されたあらゆる実験を読み取ることができれば、物質がどのように振る舞うかという隠れた規則を学習し、将来のエネルギーニーズに最適な材料を設計できるはずだという考えです。しかし、このビジョンは、古い論文に書かれた数値が、書かれている通りに正確であるという、脆い仮定に基づいています。もし科学者が、ある材料が特定の強度で電気を通すと書けば、コンピューターはその数値が真実であり、明確であり、すぐに利用可能であると想定します。

東北大学と東京大学の研究チームは、この仮定が危険なほど間違っていることを突き止めました。彼らは、次世代電池の内部でイオンの移動を可能にする特殊な材料である、固体電解質に関するデータの報告方法を詳しく調査しました。彼らの調査によビューによれば、科学文献から抽出された数値は、単にわずかにずれているだけでなく、根本的に誤解を招くものであることが明らかになりました。問題は、元の科学者がミスをしたことではなく、彼らの結果の報告方法がしばしば曖昧であることにあります。ある数値は本文中では正しいものの、グラフでは間違っていたり、単位が混同されているために値が100倍変わってしまったりすることがあります。人工知能システムがこれらの数値を収集してモデルを構築する際、それらは知らず知らずのうちに歪んだ現実から学習しており、曖昧な記述を確定した事実として扱ってしまうのです。

研究者たちは、科学論文を完成した物語としてではなく、生のデータソースとして扱うことから始めました。彼らは、固体材料の中をどれほど容易に電気が流れるかの尺度である「イオン伝導率」に焦点を当てました。この値は、ある材料が電池として十分な性能を持っているかを判断するために極めて重要です。理想的な世界では、研究者がこの値を測定して書き留め、次の人がそれを読み取り、そのまま正確に使用することになります。しかし現実には、ラボのノートからコンピューターのデータベースに至るまでの道のりは、隠れた罠に満ちています。チームは、人工知能の学習に使用されるキュレーション済みデータベースへと、元の論文から抽出された数千の値を追跡しました。その過程では、元の著者が何を意図していたのかを推測する作業が頻繁に行われており、その推測がしばしば間違っていることが判明しました。

チームが見つけた一般的な問題の一つは、本文と図との不一致でした。科学者は本文の中で、ある材料が室温で特定の伝導率を持つと書いているかもしれませんが、同じ論文内の実際のグラフを見ると、その温度におけるデータポイントは異なる物語を語っていることがあります。本文中の数値は、プロットされたものよりもわずかに高かったり低かったりする場合があります。人間の読者にとって、これは些細なタイポや丸め誤差のように見えるかもしれません。しかし、すべての数値を精密な事実として扱うコンピューターにとって、これは衝突を生みます。コンピューターはどちらの数値を信頼すべきか判断できません。これが何百もの論文で起こると、データベースは表面上は正しく見えるものの、実際には信頼できない矛盾した情報で埋め尽くされてしまいます。

グラフのラベル付けも、混乱の大きな原因となっていました。科学論文では、伝導率が温度によってどのように変化するかを示すために複雑なチャートがよく使われます。これらのチャートには通常、特定のラベルが付いた軸がありますが、時にはラベルが曖昧であったり、完全に欠落していたりすることもあります。研究者が、生の伝導率を示しているのか、あるいはその値の数学的な変換値を示しているのかを明確にせずに、値をプロットしてしまうことがあります。この明確さがなければ、同じグラフを読んでいる二人であっても、全く異なる二つの数値を抽出することになりかねません。チームは、軸の解釈の仕方によって、同じデータポイントが非常に高い伝導率として読めることもあれば、非常に低いものとして読めることもあることを示しました。これらの違いはランダムなエラーではなく、パターンに従った構造的な間違いであり、そのためコンピューターが間違いとして検知するのが非常に困難なのです。

最も危険なエラーは、測定単位に関するものでした。科学において、伝導率はセンチメートルあたり、あるいはメートルあたりの値など、さまざまな単位で報告されることがあります。単位の違い一つで、値は100倍変わります。研究者たちは、論文ではある単位で値が明確に述べられているにもかかわらず、グラフやその後のデータベースへの登録では別の単位として扱われているケースを発見しました。なぜなら、それらの数値が物理的に可能な範囲内に収まっており、もっともらしく見えたため、エラーが見逃されてしまったからです。コンピューターがデータを読み取る際、間違った数値を真実として受け入れてしまいます。チームが調査した特定の事例では、解釈の誤りによって100倍もの誤差が生じていました。このたった一つの間違いが、一度データベースに入力されると、他の研究者や機械学習モデルによってコピーされ、再利用され、科学的記録の中にウイルスのように広がっていくのです。

チームは、ゲル系および無機固体電解質に関する膨大な論文コレクションを分析しました。その結果、ゲル電解質では本文と図の不一致が一般的であり、調査した論文の約10パーセントで見られました。無機材料については、問題はさらに多様であり、単位の不一致が最も頻繁な問題でした。16件の無機物の事例において、研究者たちは25件の個別の報告の曖昧さを特定しました。これは、単一の論文の中に複数の種類のエラーが含まれ得ることを意味しています。データは、これらが単なる不注意による孤立した事例ではなく、科学的結果の伝達方法における構造的な問題であることを示していました。専門家でさえ、仮定なしにはデータを正しく解釈することに苦慮しており、この問題が現在の出版制度に深く根ざしていることを示唆しています。

研究者たちは、これは単に司書やデータベース管理者の問題ではなく、科学における人工知能の未来に対する危機であると主張しています。機械学習モデルは、与えられたデータの質に依存します。もし学習データが隠れた曖昧さや単位の誤りで満たされているならば、モデルは間違ったパターンを学習してしまいます。優れた材料であるはずのものを使い物にならないと予測したり、逆に画期的な候補を見逃したりする可能性があります。チームは、これらのエラーが「構造化されたラベルノイズ」として機能することを発見しました。ランダムな間違いとは異なり、これらのエラーは一貫しており系統的であるため、コンピューターの学習を特定の方向に偏らせる可能性があります。その結果、自信に満ちているように見えて、実際には根本的に欠陥のあるモデルが生まれてしまうのです。

これを解決するために、著者らは科学者が研究結果を報告するための新しい基準を提案しています。彼らは、研究者が現在欠落している詳細事項について、より明示的にならなければならないと提言しています。すべてのグラフは、何がプロットされているのか、そして何の単位であるのかを明確に示さなければなりません。値が測定された温度は、「室温」のような記述ではなく、正確であるべきです。また、著者はその数値が直接測定されたものか、あるいは曲線から計算されたものかを明確にする必要があります。これらは些細で退屈な細部のように思えるかもしれませんが、研究者たちは、これらこそが信頼できる科学の基礎であると強調しています。これらがなければ、データはコンピューターや他の科学者によって安全に再利用されることはできません。

本研究は、科学データの信頼性は、アルゴリズムやコンピューター自体と同じくらい重要なインフラの問題であると結論付けています。科学が、機械が新材料の発見を助ける未来へと進むにつれ、人間による実験の記録は、真の意味で「マシンリーダブル（機械可読）」にされなければなりません。これは単に数値があるということではなく、その数値が曖昧ではなく、追跡可能であり、一貫していることを意味します。研究者たちは、データの質を向上させることは、単なる編集作業ではなく、次世代の科学的発見のための前提条件であると強調しています。入力が不完全であれば、たとえ人工知能がいかに賢くなろうとも、出力は不完全なものになるのです。前進するための道筋は、報告の明確さが発見そのものと同等に価値を持つという文化的な転換を必要としており、それによって科学のデジタルな未来が強固な基礎の上に築かれることを確実にするのです。