BOOM: Benchmarking Out-Of-distribution Molecular Property Predictions of Machine Learning Models
本論文は、分子特性予測における分布外（OOD）汎化を体系的に評価するための、初の化学的知見に基づいたオープンソースのベンチマークであるBOOMを紹介し、現在の機械学習モデルが訓練データの範囲を超えて外挿することに苦慮していることを明らかにし、堅牢なOOD性能を実現するための新たなアプローチの必要性を強調するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
新しい医薬品や材料の発見に向けた探求は、しばしばシンプルで、かつ困難な問いから始まります。それは、「何十億もの可能な化学構造のうち、実際に機能するのはどれか？」という問いです。何十年もの間、科学者たちは試行錯誤に頼ってきましたが、新たな人工知能の波は、分子が実際に構築される前に、その挙動を予測することで、このプロセスを加速させることを約束しています。これらのコンピュータモデルは、既知の化学物質の膨大なライブラリを用いて学習し、分子の形状と、水への溶けやすさや燃焼時に放出されるエネルギー量といった特性を結びつけるパターンを認識することを学びます。こうしたモデルが、全く新しい未知の分子に対しても、その挙像を正確に推測できるようになれば、研究者がコンピュータ画面上で化学の未来を設計できるようになることが期待されています。
しかし、そこには重大な落とし穴があります。ほとんどのAIモデルは、教えられたデータ内のパターンを認識することには長けていますが、学習ライブラリにあるものとは真に異なる分子の特性を予測させようとすると、しばしば躓いてしまいます。機械学習の世界では、これは「アウト・オブ・ディストリビューション（分布外）」問題として知られています。これは、練習問題の答えを暗記している学生と、未知の予想外の問題を実際に解くことができる学生の違いのようなものです。もしモデルが学習データを超えて汎化できないのであれば、それは既知のことを確認するためのツールであって、未知なるものを発見するためのツールにはなり得ません。この限界は、次世代の創薬や材料科学における大きなボトルネックとなっています。そこでの目標は、現在の可能性の境界を押し広げるような分子を見つけ出すことだからです。
ローレンス・リバモア国立研究所とビンガムトン大学の研究チームは、「BOOM」と呼ばれる新しいベンチマークを用いて、この問題に正面から取り組みました。彼らは、モデルが馴染みのあるデータに対してどれほど優れた性能を発揮するかをテストするのではなく、これらの人工知能システムが「未知のもの」を扱えるかどうかを確認するために、厳格な一連のテストを設計しました。彼らは、小さな有機化合物から特定の電子特性を持つ複雑な構造に至るまで、数千の分子を含む10種類のデータセットを集めました。各データセットについて、彼らは分子を、トレーニングセット、馴染みのある分子の標準的なテストセット、そして特別な「アウト・オブ・ディストリビューション」テストセットの3つのグループに注意深く分類しました。この特別なグループは、極端な特性（トレーニングデータには滅多に現れない、非常に高い、あるいは非常に低い値）を持つ分子で構成されていました。研究者たちは、15種類の機械学習モデルを試練にかけ、それらの極端な分子の特性を予測させました。
結果は、厳しいものでした。現代の人工知能の目覚ましい能力にもかかわらず、この研究では、すべてのタスクにおいてこれらの極端な分子の特性を一貫して予測できるモデルは存在しないことが判明しました。最も優れた性能を示すモデルでさえ、これら困難な未知のケースにおいては、馴染みのあるデータに対するエラーの3倍もの誤差を生じさせました。研究者たちは共通の失敗パターンを観察しました。モデルは似た分子をグループ化することには長けているものの、未知の領域へと予測を拡張することには失敗していたのです。見たことのある範囲の外側にある値を推測する代わりに、モデルは予測値を圧縮し、極端な値を平均値へと引き戻す傾向がありました。この挙動は、モデルが標準的なデータにはうまく機能するショートカットを学習しているものの、科学的発見に求められる真の新規性に直面すると崩壊してしまうことを示唆しています。
チームはなぜモデルが苦戦しているのかを調査し、いくつかの一般的な修正戦略をテストしました。彼らは、数十億の分子を含む大規模なデータセットでモデルを事前学習させる手法（言語モデルに革命をもたらした手法）が役立つかどうかを検証しました。驚くべきことに、この事前学習はモデルを馴染みのあるデータに対してはより良くしましたが、極端な値を予測する能力を向上させることはありませんでした。実際、一部のモデルにおいては、事前学習によってアウト・オブ・ディストリビューションの性能が悪化することさえありました。また、単にトレーニングセットにデータを追加することが役立つかどうかもテストしました。少数の極端な例を含めることで、一部の特性については性能が向上しましたが、それが普遍的な解決策にはなりませんでした。この研究は、現在のモデルの構築方法、特にテキストベースの分子表現への依存が、分子を支配する深い物理法則を理解する能力を根本的に制限している可能性があることを示唆しています。
最も啓発的な発見の一つは、データの表現形式がモデルのサイズよりも重要であるということでした。原子とその位置に関する三次元的な幾何学的情報を使用するモデルは、化学名をシーケンスとして書き出したような線形テキスト文字列に依存するモデルよりも、大幅に優れた性能を示しました。空間の物理的な対称性を尊重する三次元モデルは、極端なケースに対してもはるかに優れた汎化性能を示すことができました。これは明確な進むべき道を示しています。すなわち、化学の新しい発見を実現できるAIを構築するためには、モデルが単なるテキストによる記述のパターンではなく、原子がどのように動き、相互作用するかという物理的な現実に根ざしている必要があるということです。研究者たちは、困難なタスクにおいて強力な性能を達成するには、より大規模で多様なデータセットと、分子の電子構造を明示的に理解するモデルの組み合わせが必要になるだろうと結論付けました。
BOOMベンチマークは、この分野に対する現実的な再確認（リアリティ・チェック）として機能しており、現在の世代の化学AIは強力ではあるものの、信頼して未知の領域を航行できる段階にはまだ達していないことを示しています。この研究は、問題が解決不可能であると主張しているのではなく、既存のモデルをスケールアップしたり標準的な事前学習技術を用いたりするだけでは不十分であることを明確にしています。むしろ、次世代の化学機械学習におけるフロンティアは、システムの設計方法の転換を必要としていることを強調しています。この特定の弱点をテストするための標準化された方法を提供することで、研究者たちは、過去を記憶することに長けたモデルではなく、真に未来を想像できるモデルの構築へとコミュニティを導くことを目指しています。次世代の救命薬や高度な材料の発見への道は、この「汎化」という特定のパズルを解くことにかかっているのかもしれません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。