Measuring trainable degrees of freedom in materials graph neural networks: a random-subspace intrinsic dimension analysis

より優れた材料を設計するという探求において、科学者たちは強力な新しいツール、すなわち物質の目に見えない構造を「見る」ことができる人工知能へと目を向けています。グラフニューラルネットワークとして知られるこれらのシステムは、材料を単なる固体の塊としてではなく、原子が結合によってつながったマップとして扱います。それはまるで、駅が原子であり、線路が化学的なつながりである地下鉄の路線図のようなものです。これらのマップを研究することで、コンピュータは材料がどのように振る舞うか――電気が通じるのか、どれほど押しつぶされにくいのか、あるいはどのように振動するのか――を予測することを学習します。長年、これらAIモデルの一つが優れているかどうかを判断する唯一の方法は、その最終スコア、つまり予測値が実験室での実測値にいかに近いかを見ることでした。誤差が小さければ、そのモデルは成功したとみなされてきました。しかし、この一つの数字は、極めて重要な謎を隠しています。それは、モデルが実際にどのように答えを導き出したのか、あるいは、そこに到達するためにモデル自身の「脳の力」をどれほど必要としたのかを教えてはくれないのです。

キング・アブドラ科学技術大学の研究チームは、カーテンの裏側を覗き込もうと決めました。彼らは単に最終的な結果を知るだけでなく、モデルがそこに到達するまでに辿った経路を理解したいと考えたのです。テストを受けている学生を想像してみてください。二人の学生が共にA判定を取ったとき、私たちは二人とも同じくらい賢いと思い込みます。しかし、もし一人の学生が教科書のあらゆる事実を丸暗記しなければそのAに届かなかった一方で、もう一人の学生はいくつかの核心的な概念を理解するだけで済んだとしたらどうでしょうか。前者の学生は脆弱です。もし教科書から数ページが取り除かれたら、その学生は失敗するでしょう。後者の学生は強靭です。もっと小さな本であっても、合格することができます。研究者たちは、現在の材料科学におけるAIモデルが、しばしば前者の学生のように扱われていることに気づきました。私たちは彼らが正解を得ることは知っていますが、彼らが膨大で複雑な接続の網に依存しているのか、それとももっと単純な思考で問題を解決できるのかを知りません。これを知るために、彼らは学習能力を意図的に制限することによって、これらのモデルをテストする新しい方法を開発しました。

チームは、材料の特性を予測するために用いられる3つの一般的なAIモデルを取り上げ、利用可能な「思考空間」のごく一部だけを使用して学習するように強制しました。通常、これらのモデルには、予測を改善するために回すことができる何十万もの調整可能なノブがあります。研究者たちは、これらのノブの大部分を固定し、モデルがごく少数のランダムに選ばれたノブだけを調整できるようにしました。彼らは非常に小さな選択肢、つまり利用可能な全スペースのほんのわずかな破片からスタートし、モデルがどのように性能を発揮するかを観察しました。そして、モデルに自由を与えてより多くのノブを徐々に解放していき、全容量にアクセスできるようになるまで続けました。これらの自由を取り戻すにつれてモデルの性能がどのように向上するかを測定することで、研究者たちは各タスクに対する「リカバリー曲線」を描くことができました。この曲線は、隠された真実を明らかにしました。すなわち、ある材料の特性は学習が容易で、非常に少ない精神的努力しか必要としない一方で、他の特性は極めて困難であり、モデルの全能力を要求するという事実です。

結果は、材料が驚くほど異なる振る舞いを見せることを示しました。金属が磁性を持つかどうかを予測することや、バルクの剛性を計算することは、比較的単純であることが判明しました。これらのモデルは、利用可能な調整パラメータのわずか5〜10パーセントしか使用を許可されていない状態でも、ほぼ完璧な精度を回復することができました。それはあたかも、これらのタスクが小さく集中した一連のルールによって解決できるかのようでした。しかし、材料を形成するために必要なエネルギーや、電子のバンドギャップの大きさを予測することは、はるかに困難でした。これらのタスクは、AIモデルの具体的な設計に強く依存していました。ALIGNNと呼ばれるモデルは、形成エネルギーの問題を容量の15パーセントだけで解決できましたが、他の2つのモデルは、同じレベルの精度に達するためにパラメータの半分を解放する必要がありました。このことは、モデルがどのように構築されているかが特定のタスクにおいて深く関わっていること、そしてモデルの最終スコアだけではその効率性の全容を語ることはできないことを示唆していました。

最も衝撃的な発見は、材料の振動として知られるフォノン予測の研究から得られました。このタスクは、学習の自由度の制限に対して最も敏感でした。研究者がモデルのパラメータをロックしていくにつれ、モデルの性能は一般的に著しく低下しました。しかし、その挙動はアーキテクチャによって異なっていました。DimeNet++というモデルは、絶対的な精度においてはALIGNLよりも劣っていたものの、次元のスイープ（掃引）の過程において、平均的な性能低下がより緩やかでした。この対照的な結果は、一つのトレードオフを浮き彫りにしました。すなわち、最小の最終誤差を持つモデルが、必ずしも学習の自由が制限されたときに最も性能が落ちにくいモデルであるとは限らないということです。これは、振動の予測には、モデルのパラメータ全体にわたる高度に調整された協力体制が必要であることを示しています。それは、いくつかの巧妙なトリックで解決できるようなタスクではありません。それは、モデルの全貌に遮るもののないアクセスを要求するのです。さらに、研究者たちは、この感度がモデルが学習に使用したデータの量によって変化することも発見しました。バンドギャップの予測において、データを増やすことは、むしろモデルにとってタスクを難しくさせ、同じ精度を達成するためにより大きな割合のパラメータを必要とさせました。これは、データがより複雑になるにつれて、モデルは新しい情報を扱うためにより多くの内部機構を解禁する必要があることを示唆しています。

この研究はまた、これらのモデルがどのようにスケールアップするかという一般的な仮定にも疑問を投げかけました。研究者がモデルのサイズを大きくして拡張した際、問題を解決するために必要なパラメータの絶対数は、モデルのサイズに直接比例して増加することを発見しました。12倍の大きさを持つモデルは、その潜在能力を発揮するために、およそ12倍の数の調整可能なノブを必要としました。これは、単にモデルを大きくすることが自動的に効率性を高めるわけではなく、単に利用できるリソースのプールを広げるだけであることを意味します。問題を解決するために必要なモデルの「割合」はほぼ一定でしたが、必要な「脳の力」の総量は増加しました。この発見は、タスクの複雑さが、材料自体の固定された特性ではなく、モデルがどのように構築されているかに結びついていることを示唆しています。

結局のところ、この研究は科学における人工知能を理解するための新しいレンズを提供しています。それは、テストにおける高スコアが、モデルの質の唯一の尺度ではないことを示しています。利用可能なリソースのほぼすべてを使用して高スコアに到達するモデルは、ごくわずかな容量で同じスコアに到達するモデルとは根本的に異なります。前者は脆弱であり、新しい、あるいは少し異なるデータに直面したときに苦戦する可能性がありますが、後者は強靭で効率的です。材料の特性を学習するためにどれほどの自由が必要かをマッピングすることで、科学者は今や、適切な道具を選び、より良いデータセットを設計し、彼らがシミュレートしようとしている物理世界の真の複雑さを理解することができるのです。最終スコアはモデルが「何ができるか」を教えてくれますが、この新しい手法はモデルが「どのように行うか」を教えてくれ、学習そのものの隠された構造を明らかにしているのです。