A Large Scale Investigation of Scaling Limits in Chemical Language Models
3万件以上の実験を用いたこの大規模な研究は、化学言語モデルのスケーリングが事前学習損失と化学的構文の理解を向上させる一方で、これらの利点が目的指向の分子設計における比例的な改善にはつながらないことを明らかにしており、最先端のNovoMolGenスイートの導入にもかかわらず、表現学習とダウンストリームの有用性との間の決定的な乖離を浮き彫りにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代科学の広大な風景の中で、単にコンピュータモデルを大きくし、より多くのデータを投入すれば、必然的にそれはより賢くなるという信念が強まっています。「スケーリング」として知られるこの概念は、言語の理解に変革をもたらしました。これにより、機械は膨大な人間の文章から学習することで、エッセイを書き、テキストを翻訳し、会話を行うことが可能になりました。科学者たちは最近、この同じ論理を化学に応用し、「化学言語モデル」を構築しました。これらは、コンピュータが文章を読み取る方法を学ぶのと同様に、分子を表す文字の列を読み書きするように訓練された人工知能システムです。これらの化学モデルをより大きくし、より多くの分子で訓練することで、新しい薬をゼロから設計したり、病気を治したり治療したりできる斬新な化合物を見つけ出したりすることが自然にできるようになる、というのが期待されてきました。
しかし、最近の大規模な調査は、この単純明快な仮定に異議を唱えています。研究者たちは、言語学習を支配するルールが、化学設計という複雑な世界にも適用されるかどうかをテストすることに乗り出しました。彼らは非常に小さなものから極めて大きなものまで一連のモデルを構築し、数十億の分子を用いて訓練を行い、性能がどのように変化するかを観察しました。IIT MadrasやMila（ケベックAI研究所）を含む機関のチームによって行われたこの研究は、驚くべき乖離を明らかにしました。モデルが成長するにつれて、化学の基本的な文法を理解する能力は確かに向上しましたが、この向上が、特定の有用な薬を設計するという課題において、より良い結果へと結びつくことはありませんでした。実際、研究者たちは、難しい薬物探索の任務において、比較的小さなモデルが巨大なモデルと同等の性能を発揮することを発見しました。これは、単にコンピュータを大きくすることが、創薬の鍵を解き明かすための手段ではないことを示唆しています。
研究者たちはまず、これら化学モデルの3万種類以上の異なるバージョンを訓練することから始めました。彼らはモデルのサイズを50万パラメータから10億パラメータまで変化させ、異なる種類の分子データを与え、化学構造を表現する様々な手法を用いてテストを行いました。一つの重要な発見は、モデルが大きくなり、より多くのデータを見るにつれて、化学的な文字列の「次の部分」を予測する精度が向上したことでした。これは、言語を学ぶ子供が、最終的に文章の中の次の単語を推測するのが上手くなっていく過程に似ています。モデルは化学の構文（シンタックス）を理解することに長け、どの原子の組み合わせが有効な分子を形成し、どれが形成しないのかを知るようになりました。この化学構造に対する内部的な理解は、最大のモデルにおいても向上し続け、コンピュータが化学の「語彙」と「文法」を正常に記憶していることを示唆していました。
しかし、モデルを実際の薬物設計という目標にテストしたとき、物語は劇的に変わりました。彼らは、特定の疾患ターゲットに結合する分子や、望ましい化学的特性を備えた新しい分子を生成するようモデルに求めましたが、これは試行錯誤を伴う複雑なループのプロセスです。ここで、サイズの恩恵は消失しました。目標指向の分子を設計する際のモデルの性能は、モデルのサイズが約500万パラメータに達した時点で頭打ち（プラトー）となりました。モデルのサイズを10億パラメータまで、つまり200倍に増やしても、設計できる薬の質にほとんど改善は見られませんでした。500万パラメータを持つモデルは、創薬のための新たな候補を見つけるという作業において、巨大な10億パラメータのモデルと同等の性能を示したのです。
この結果は、現在のモデルの訓練方法、すなわち化学的な文字列の次の文字を予測することに焦点を当てた手法が、コンピュータに化学のルールは教えるものの、それらの分子が生物学的システムとどのように相互作用するかという、より深い意味までは教えていないことを示唆しています。モデルは化学の言語を流暢に話すことはできましたが、その言語を使って特定の問題を解決する方法までは学んでいなかったのです。研究者たちは、大きなモデルは有効な分子を生成できる一方で、医学に必要な特定の高品質な分子を見つけ出す能力において、有意に優れたものにはならないことを発見しました。この研究は、ボトルネックとなっているのはモデルのサイズやデータの量ではなく、モデルの訓練方法や、モデルに最適化を求める目的（オブジェクティブ）の設定にあることを示しています。
この発見がもたらす意味は、人工知能の未来にとって極めて重要です。それは、創薬への道が、より巨大なコンピュータモデルを構築することにあるのではなく、今あるモデルをより賢い方法で訓練することにある可能性を示唆しています。研究者たちは、単にコンピュータに次の化学記号を予測させるのではなく、タンパク質とどのように相互作用するか、あるいは人体内でどのように振る舞うかといった、分子の機能的な特性を理解させる必要があると提案しています。表面的なパターンだけでなく、こうしたより深い化学的な意味に焦点を当てることで、科学者たちは次世代の救命薬を設計するための、より効率的で効果的なツールを作り出すことができるかもしれません。この研究は、複雑な化学の世界においては「大きいことは必ずしも善ではない」こと、そして真の知性には膨大なパターンの記憶以上のものが必要であることを、私たちに思い出させてくれます。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。