Transformers Discover Molecular Structure Without Graph Priors
本論文は、グラフベースの物理的事前知識なしで訓練された汎用トランスフォーマーモデルが、データのみから主要な分子構造や相互作用パターンを自律的に発見できることを示しており、その精度は物理学に基づいたアーキテクチャに匹敵するものであり、こうした帰納バイアスは厳密に必要不可欠なものではなく学習可能である可能性を示唆している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
科学者たちは、原子がどのように結合して分子を形成するかから、材料がストレス下でどのように反応するかに至るまで、物理的な世界がどのように機能するかを理解するために、長らくコンピュータ・シミュレーションに頼ってきました。伝統的に、これらのシミュレーションは、既知の物理法則を直接ソフトウェアに手作業でコーディングすることによって構築されます。この手法は結果が理にかなっていることを保証しますが、しばしば低速で高コストになります。近年、事前のルールに従う代わりに、データからパターンを見つけ出す機械学習を用いた異なる手法が登場しました。このデータ駆動型のアプローチは、言語や画像認識の分野に革命をもたらしましたが、物理学への応用については慎重な姿勢が取られてきました。多くの専門家は、幾何学や力のルールをコンピュータに明示的に教えなければ、コンピュータは原子の複雑なダンスを理解できずに失敗すると信じていました。支配的な見解は、信頼できる結果を生み出すためには、機械学習モデルには原子がどのように相互作用するかという組み込みのマップが必要であるというものでした。
カリフォルニア大学バークレー校およびローレンス・バークレー国立研究所の研究チームは、この仮定の限界をテストすることを目的としました。彼らは根本的な問いを投げかけました。もし強力なコンピュータ・モデルに分子に関する膨大なデータを与え、物理学に関するいかなる事前プログラムされたルールも使用することを禁じた場合、そのモデルは自力で物理的な世界の仕組みを見つけ出すことができるのだろうか？ ということです。答えを見つけるために、彼らは「Transformer」として知られる一種の人工知能を、膨大な分子構造のデータセットを用いて訓練しました。OMol25と呼ばれるこのデータセットには、さまざまな構成で配置された原子の数百万もの例と、それぞれの配置に伴うエネルギーおよび力が含まれています。決定的なことに、研究者たちはモデルに対して、原子がどのように振る舞うべきかについての特別な指示を与えず、原子を特定の幾何学的な順序で見るよう強制することもありませんでした。彼らは単に生の座標を入力し、モデルに学習させたのです。
結果は驚くべきものでした。物理学の知識を全く持たずにスタートしたモデルは、科学者が数十年にわたって手作業でエンコードしようとしてきたまさにそのパターンを、自律的に発見したのです。モデルはデータを処理する過程で、原子間の距離に基づいて、原子間の関係に割り当てる重要性のレベルを変えることを学習しました。学習の初期段階において、モデルは近接する原子に強く集中し、距離が増すにつれてその注意力を急激に低下させました。この挙動は、静電反発などの物理的な力が短距離で急速に弱まる様子を反映していました。モデルがより深く、より複雑になるにつれ、モデルはより長距離の相互作用を含むように焦点を移し、最終的には古典物理学における距離に応じたエネルギーの減衰パターンと一致する法則を学習しました。驚くべきことに、モデルは原子の環境を理解するために、どの程度の距離まで見る必要があるかという自然な限界、すなわち人間が従来のモデルのために手動で選択してきた値と完璧に一致するカットオフ距離までも解明したのです。
研究者たちはまた、モデルのアプローチが硬直したものではないことも観察しました。周囲の空間の密度に基づいて、原子の周囲をどの程度見るかという固定されたルールを使用する代わりに、モデルは自身の挙動を適応させました。原子が密集している混雑した領域では、モデルは直近の隣接原子に集中しました。原子が孤立している疎な領域では、遠方のパートナーを含めるように焦点を広げました。この柔軟性により、モデルは硬直した事前プログラムされたシステムよりも効果的に、異なる分子環境を扱うことができました。さらに、モデルは化学元素を周期表を反映するように整理する方法を学習し、貴ガスをまとめ、金属を化学的なファミリーごとに並べることを、周期表が何であるかを教えられることなく成し遂げました。
これらの発見が特定のデータセットによる偶然の産物ではないことを確認するため、チームはモデルのスケールアップ能力をテストしました。彼らは、データの量とモデルのサイズを大きくするにつれて、パフォーマンスが予測可能かつ一貫した形で向上することを発見しました。この挙動は「スケーリング則」として知られ、強力な機械学習システムの典型的な特徴であり、モデルの物理学に対する理解が本物であり堅牢であることを示唆しています。水分子のエネルギーを予測するよう求められたテストにおいて、モデルは高度な物理シミュレーションおよび現実世界の実験測定値の両方に一致する結果を出しました。さらに驚くべきことに、非常に大規模なバージョンのモデルを訓練した際、モデルは物理法則がアーキテクチャに組み込まれるよう明示的に設計された特化型モデルと同等の精度を達成しました。
これらの知見は、人間が設計したルールと学習された知識の境界が、これまで考えられていたよりも流動的であることを示唆しています。この研究は、十分なデータがあれば、汎用的な機械学習モデルが物理的な相互作用の基本原理を自力で発見できることを示しています。これは、人間が設計したモデルが時代遅れになることを意味するのではなく、むしろ、汎用的なアーキテクチャが科学的モデリングの強力な出発点になり得ることを示唆しています。データによって構造を明らかにすることに頼ることで、科学者は、予測が困難であったり、事前に書き記すことが困難であったりする柔軟な解決策を見つけ出せる可能性があります。この研究は、コンピュータが単に指示に従う計算機ではなく、データの中から宇宙のルールを見つけ出すことができる学習者となる、科学的発見の新しい道を切り開いています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。