The Illusion of Chemical Continuity Limits Machine Learning Generalization

ロボットに天気を予測させる方法を教えていると考えてみましょう。もし、100万年分の気象データを与えれば、ロボットはいつか、明日空がどうなるかを正確に伝える完璧な公式を学習するはずだと考えるかもしれません。これは「マテリアルズ・インフォマティクス」という分野の夢であり、そこでは科学者が膨大な量のデータと強力なコンピュータの脳（機械学習）を用いて、新しい材料がどのように振る舞うかを予測します。この大きなアイデア、すなわち「スケーリング仮説」とは、化学の世界は滑らかで連続的な丘のようなものであるという考えです。もしある地点での丘の形を知っていれば、十分なデータポイントを見ることによって、他のあらゆる場所の形を推測できるはずだというものです。これは、分子を構築するのにどれだけのエネルギーが必要かを予測するといった事柄については、見事に機能します。しかし、「バンドギャップ」と呼ばれる特定の特性に関しては、ロボットは壁に突き当たります。バンドギャップとは、本質的に、その材料が導体、絶縁体、あるいは半導体（スマートフォンに入っているシリコンのようなもの）であるかを決定する魔法のスイッチです。たとえどれほど多くのデータを入力しても、彼らの予測はしばしば大きく外れ、時には0.4から0.5電子ボルト（eV）もの誤差が生じます。可視光の範囲はおよそ1 eVであるため、この誤差は非常に巨大です。それは、ラジオのチューニングをしようとして、聴きたい曲の代わりにノイズを聞いているようなものです。

この論文は、なぜロボットがこの特定のタスクにおいて失敗するのかを調査しています。著者たち（トロント大学およびその他の機関の研究チーム）は、問題はロボットの知能が足りないことでも、十分なデータを見ていないことでもないと主張しています。むしろ、彼らは、バンドギャップに対してロボットが登ろうとしている「滑らかな丘」は実際には存在しないのではないかと示唆しています。彼らは、化学的空間が実際にはバラバラの島々が連なる「砕かれたモザイク」のようなものであることを見出しました。研究者が異なる種類の結晶構造（例えばロックソルト構造とジンクブレンド構造）でモデルを訓練しようとしたところ、データを増やしても解決するどころか、むしろ予測が悪化しました。彼らは、電子と原子の根本的な性質が、単純な数学では平滑化できない鋭く突然のジャンプを生み出していることを発見しました。論文は、これを解決するためには、単に問題を解決するためにデータを投げ込むのではなく、それらのジャンプを支配する実際の量子力学のルール（ハミルトニアン）をロボットに教える必要があると示唆しています。

滑らかな丘という幻想

長い間、科学者たちは化学の世界は巨大で連続的な景観であると信じてきました。ある地点の高さを知っていれば、数歩先の高さも簡単に推測できる、滑らかで起伏のある丘を想像してみてください。この「スケーリング仮説」と呼ばれる考え方は、現代のマテリアル探索の基礎となっています。もし、膨大なデータポイント（数百万の結晶構造とその特性）さえ集めれば、人工知能（AI）モデルは、未知の新しい材料がどのように振る舞うかを、その隣接するデータを見るだけで完璧に学習できるはずだという信念がありました。

この戦略は、いくつかの特性については大きな成功を収めてきました。例えば、「生成エネルギー」（材料をゼロから構築するのに必要なエネルギー）の予測は、滑らかで舗装された道を歩くようなものです。AIモデルは、最も複雑な物理シミュレーションの結果と一致するほどの、ほぼ完璧な精度でこれを行うことができます。しかし、バンドギャップの予測となると、AIはレンガの壁にぶつかります。バンドギャップは、材料が光や電気とどのように相互作用するかを決定する極めて重要な特性です。それは、電気を遮断する材料（絶縁体）、電気を自由に流す材料（金属）、そしてオン・オフを切り替えられる材料（半導体）の違いを生むものです。

10年間にわたる試行錯誤と膨大なデータセットの投入にもかかわらず、バンドギャップ予測の誤差は、0.4から0.5 eV付近で頑固に高いままです。これを実感するために言えば、私たちの目に見える色の全範囲はわずか1 eV程度です。0.5 eVの誤差があれば、AIは透明なはずの材料を不透明だと予測したり、青いはずのものが赤く光ると予測したりすることになります。この論文が問いかけているのはシンプルです。なぜAIは、他のすべてのことにはこれほど優れているのに、この一つの特定のタスクにおいてこれほどひどく失敗するのでしょうか？

砕かれたモザイク

本論文の著者たちは、丘が滑らかであるという仮定を捨て、顕微鏡で地面を観察することに決めました。彼らは、二元系半導体（2つの元素からなる材料）の包括的なデータセットと最先端のAIモデルを使用して、その景観をマッピングしました。そこで彼らが見つけたものは衝撃的でした。バンドギャップの景観は、決して滑らかな丘などではありませんでした。それは、バラバラの島々の集合体だったのです。

想像してみてください。あなたがロボットに「岩」と「羽毛」の違いを認識させようとしているとします。もし、100万個の岩と100万個の羽毛を見せれば、ロボットはパターンを学習します。しかし、もし突然「岩と羽毛のハイブリッド」を見せたらどうなるでしょうか？もしロボットが純粋な岩と純粋な羽毛しか見たことがなければ、混乱してしまうかもしれません。著者たちは、異なる結晶構造（原子の配列方法）が、まさにこれらの異なる島のようなものであることを見出しました。彼らは、「ジンクブレンド」のような特定の構造で訓練されたモデルが、たとえ化学成分が同じであっても、「ロックソルト」のような別のタイプの構造の特性を予測しようとすると、惨めな失敗をすることを突き止めました。

実際、異なる構造からのデータを追加しても、状況は改善されず、むしろ悪化しました。これは「負の学習（negative learning）」と呼ばれます。それは、代数、幾何学、微積分を一つのレッスンの中でルールを説明せずに混ぜ合わせて、学生に数学の問題を解かせようとするようなものです。学生は混乱し、すべてを間違え始めます。論文は、異なる結晶構造からのデータを混ぜ合わせると、AIはそれらを平均化しようとし、結果として誰にとっても間違った予測を生み出すことを示しています。「潜在空間（latent space）」（AIの脳内にある内部マップ）を見ると、これらの構造は完全に分離した、重なり合わない領域を占めていることが分かります。それらを繋ぐ滑らかな経路は存在しません。

量子の崖

なぜ景観はこれほどまでに壊れているのでしょうか？論文はその原因を、電子の根本的な性質に求めています。量子世界では、電子は特定の、離散的な「軌道（オービタル）」（梯子の段のようなもの）に存在します。二つの段の中間の位置に立つことはできません。材料の成分をわずかに変化させると、これらの電子のエネルギーレベルは滑らかに変化するのではなく、ジャンプします。

著者たちは、一つの元素を別の元素へとゆっくりと変化させるシミュレーション（「アルケミカル・インターポレーション」と呼ばれるプロセス）を行いました。彼らは、材料の全エネルギーとバンドギャップの関係に何が起こるかを観察しました。全エネルギーは、原子がシフトするにつれて緩やかに変化する、滑らかなスライドのように振る舞いました。しかし、バンドギャップはどうだったでしょうか？それは「崖」のように振る舞いました。電子数がほんの少し変わっただけで、バンドギャップは突然崩壊するか、あるいは全く異なる値へと跳ね上がりました。これは、電子が新しい、明確なエネルギーレベルへと再編成される必要があり、この再編成がデータの鋭い「カスプ（尖点）」や断絶を生み出すためです。

これらの鋭いジャンプがあるため、周期表（すべての元素のチャート）はバンドギャップにとって滑らかな勾配ではありません。それは、孤立したドメインの集合体です。論文は、たとえ元素の単一のグループ（ハロゲン化物やカルコゲニドなど）の中であっても、その傾向は乱雑で予測不可能であることを示しています。例えば、ナトリウム（Na）化合物では、相手となる元素を変えるにつれてバンドギャップが滑らかに減少するかもしれませんが、マグネシウム（Mg）化合物では全く異なる挙動を示し、パターンを完全に破壊することがあります。パターンを見つけることに依存しているAIにとって、掴みどころとなるものは何もないのです。

連続性の錯覚

この論文の核心的な議論は、「ビッグデータ」のアプローチが限界に達したということです。主流の考え方は、十分なデータを集めれば、AIはいずれ物理学を理解するというものでした。しかし、著者らは、量子的な不連続性の問題を、統計的な連続性の問題で解決することはできないと主張しています。AIは、実際には互いに接続されていない、異なる島の上にある点に対して、滑らかな線を引こうとしているのです。どれほど多くの点を追加しても、島同士が触れ合っていない限り、その線は常に間違ったものになります。

論文は、問題が単なるデータの不足やモデルの複雑さの欠如によるものであるという考えを明確に否定しています。彼らは、最も高度なモデル（coGNやCGCNNなど）を使用し、大規模なデータセットで訓練することで、これをテストしました。結果は同じでした。エラーの底（error floor）は依然として高いままでした。また、問題が結晶構造の複雑さにあるという考えも否定しました。なぜなら、タスクを簡略化して「ガンマ点（エネルギーマップ上の特定の点）」のみを見るようにしても、エラーは解消されなかったからです。

著者らは、解決策はデータの収集ではなく、「問いを変えること」であると示唆しています。バンドギャップ（これは、ギザギザで不連続な特性です）を直接予測させるのではなく、そのバンドギャップを生み出す基礎となる物理学を予測させるべきだと考えています。彼らは、AIに、バンドギャップを直接予測させるのではなく、その背後にある「ハミルトニアン（量子系の数学的記述）」を直接学習させる必要があると提案しています。もしAIが、電子がどのように相互作用するかという滑らかで連続的なルールを学習できれば、そのルールからギザギザのバンドギャップを計算することができるのです。それは、毎日の天気予報を丸暗記しようとするのと、天気を実際に引き起こしている熱力学の法則を学ぶことの違いに似ています。

結論：新たな道筋

この論文は、材料科学の分野に対する「現実的な再確認（reality check）」として機能しています。電子的な特性（バンドギャップなど）に関して、あらゆる材料のあらゆる特性を予測できる普遍的なデータ駆動型モデルという夢は、欠陥があることを示唆しています。「化学的連続性の錯覚」は、まさにその名の通り、錯覚なのです。量子世界は離散的であり、それを滑らかで連続的な景観として扱う現在の手法は、根本的に適合していません。

著者らは、まだこの問題を解決したと主張しているわけではありません。代わりに、彼らは境界条件を特定しました。すなわち、原子座標に対する単純な回帰では、固有値現象の本質的な不連続性を解決できないということです。彼らは、将来の分野の鍵は、機械学習により量子力学を深く統合することにあると示唆しています。おそらく、AIに最終的な特性を予測させるのではなく、連続的なハミルトニアン行列要素を予測させるという方法です。それを行うまで、AIはどれほど多くのデータを投げ込んだとしても、量子世界の鋭くギザギザしたエッジに苦しみ続けることになるでしょう。論文は明確なメッセージで締めくくられています。私たちは、崖を滑らかにしようとするのをやめ、その崖をどのように登るかを学ぶ必要があるのです。