Scaling Laws and Symmetry, Evidence from Neural Force Fields

本論文は、高次表現を備えた共変アーキテクチャを通じてタスクの対称性を組み込むことが、原子間ポテンシャルのスケーリング則を著しく改善することを示しており、基本的な帰納的バイアスはモデルがスケーリングに伴って発見するに任せるのではなく、明示的に設計されるべきであることを示唆している。

要約

分子内の原子がどのように動き、相互作用するかを予測する方法をロボットに教えようとしていると想像してください。これは、複雑なレゴ構造がどのように組み合わさっているかを子供に教えるのに少し似ています。ロボットには、2 種類の異なる説明書を与えることができます。

1. 「盲目」の説明書: ロボットにレゴ構造の何百万枚もの写真を示し、「ルールを自分で見つけ出せ」と言うだけです。ロボットは、構造全体を回転させても物理法則が変わらないという事実を含め、すべてをゼロから学習しなければなりません。
2. 「対称性」の説明書: ロボットに、「ねえ、覚えておいて、この構造を回転させても同じ構造のままだよ。ひっくり返してもルールは変わらない」と明確に伝える説明書を与えます。物理法則（対称性）をロボットの脳に直接組み込むのです。

長らく、多くの研究者は**「盲目」アプローチ**を信じていました。ロボットに十分なデータと十分な計算能力（「大きな脳」）を与えれば、いずれ対称性のルールを自力で見つけ出すだろうと考えたのです。ルールを明示的に教える必要はなく、単純で柔軟なモデルが最終的に追いつくだろうと信じていました。

この論文は言います。「実は違う。『対称性』の説明書の方がはるかに優れており、規模が大きくなるほどその差は広がっていく」

以下は、彼らの発見をシンプルな比喩を用いて解説したものです。

1. レース：速度対効率

研究者たちは、原子の力を予測する学習速度を比較するため、異なる種類のロボット脳（アーキテクチャ）を走らせました。

• 「盲目」ロボット（制約なし）: これらは柔軟ですが非効率的です。回転した分子が同じ分子であるという事実を、見るたびに「再学習」しなければなりません。
• 「対称性」ロボット（等変性）: これらは回転や並進のルールが組み込まれています。基本的な物理法則を再学習するエネルギーを無駄にしません。

発見: ロボットが小さいうちは、差はあまり大きくありませんでした。しかし、研究者がロボットを巨大化（データと計算能力のスケールアップ）させると、「対称性」ロボットは単に先行するだけでなく、劇的に引き離しました。「盲目」ロボットは、データを追加してもあまり改善しない壁にぶつかりましたが、「対称性」ロボットはますます賢くなり続けました。

2. 対称性の「次数」が重要

すべての「対称性」ロボットが同じわけではありません。平らな硬貨のような単純な回転しか理解できないものもあれば、回転する地球儀のような複雑な 3 次元回転を理解するものもあります。

• 低次対称性: 基本的なルールを理解します。
• 高次対称性: 3 次元空間における形状の相互作用に関する、非常に複雑で詳細なルールを理解します。

発見: ロボットに組み込まれる対称性のルールが複雑であるほど、学習は速くなりました。「高次」対称性を持つロボットはあまりにも速く学習したため、その差は「盲目」ロボットとの間で峡谷のようになりました。これは、アルファベットを知っている学生と、すでにその言語の文法と語彙を知っている学生を比較するようなものです。本が厚くなるにつれて、2 人目の学生は 1 人目の学生を遥かに置き去りにします。

3. 「苦い教訓」対現実

AI には「苦い教訓（The Bitter Lesson）」と呼ばれる有名な考え方があり、それは、対称性のような人間の知識を AI にハードコードしようとするのをやめ、AI が生データから学習させるべきだと示唆しています。なぜなら、それが安価でスケーリングしやすいからです。

• この論文の主張: 原子と分子の世界において、「苦い教訓」は誤りです。モデルに対称性を自力で発見させようとするのは、学生に重力を再発見させるようなものです。不可能ではありませんが、信じられないほど非効率です。学生がそれを理解する頃には、重力を教えられた学生はすでに飛んでいます。

4. 「ジャスト・ミート」のバランス

この論文はまた、資金（計算能力）を最も効率的に使う方法も検討しました。

• 古い方法: おそらく、より大きな脳（より多くのパラメータ）を買うか、より多くの教科書（より多くのデータ）を手に入れるべきでしょう。
• 新しい発見: 実際には、両方を同時に購入する必要があります。データを 2 倍にするなら、モデルのサイズも 2 倍にするべきです。この「並行スケーリング」はすべての種類のロボットにとって最善ですが、「対称性」ロボットは、その組み合わせられたパワーをより効率的に利用します。

5. 損失関数での「不正」はどうなのか？

一部の研究者は、「盲目」ロボットをだまそうと、対称性に関する間違いに対してペナルティスコアを加える試みを行いました（例：「回転した分子が異なると言ったら、悪い評価だ」）。

• 発見: これはうまくいきませんでした。学生に「ルールを忘れるな」と言うだけで、実際にルールを教えないようなものです。ロボットは依然としてパターンを学習するために苦労しなければなりませんでした。最初からルールをロボットの脳に組み込む方がはるかに優れています。

結論

分子を理解する超スマートな AI を構築したいのであれば、単純で柔軟なモデルに単にデータを投げつけ、物理法則を自分で見つけ出してくれることを期待してはいけません。物理法則をモデルの設計に直接組み込みなさい。

規模を巨大化させるにつれて、宇宙の基本的な対称性（回転、並進）を尊重するモデルは、単に少し優れているだけでなく、ゼロからこれらのルールを学習しようとするモデルよりも指数関数的に強力になります。「対称性」アプローチは、学習曲線の性質そのものを変え、タスクを容易にし、結果をより良いものに変えます。

技術概要

問題定義
本論文は、原子系量子力学的性質（特にポテンシャルエネルギーと原子力）を予測するように設計された深層学習モデルであるニューラルネットワーク間ポテンシャル（NNIPs）のスケーリング挙動を取り扱っている。自然言語やビジョン分野の最近の文献では、スケーリング則（性能とデータ/パラメータ/計算量との間のべき乗則関係）は largely 構造に依存せず、モデルがスケーリングに伴って対称性のような必要な帰納的バイアスを自ら学習できることを示唆しているが、この見解は幾何学的ドメインでは争われている。著者らは、明示的な構造的等変性（回転対称性と置換対称性の強制）が NNIPs のスケーリング則において明確な利点を提供するか、あるいは十分な計算量が与えられれば、より単純な非等変モデルが同等の性能を達成できるかどうかを調査する。

手法
著者らは、OpenMol 中性分子データセット（約 3400 万のトレーニングサンプル、約 9.2 × 10⁸ トークン）を用いて包括的な実証研究を実施した。対称性制約の程度が異なる 4 つの異なるアーキテクチャファミリーを比較する：

1. 制約なし MPNN：対称性制約なしに幾何学的特徴（相対位置）を処理する素のメッセージパッシングニューラルネットワーク。
2. 不変スカラー（GemNet-OC）：不変特徴（距離、角度、二面角）を使用するが、エッジベースのメッセージパッシングを介して等変関数を近似する；4 体、テンソル次数 $\ell=0$ のアーキテクチャとして分類される。
3. デカルトベクトル（EGNN）：ベクトルチャネル（テンソル次数 $\ell=1$）を使用する $E(n)$-等変 GNN。
4. 高次球面テンソル（eSEN）：回転群のより高次の既約表現（$\ell \ge 2$）を利用する等変ネットワークで、テンソル積を疎化するためにフレーム整列を採用する。

本研究は、理論的なスケーリング則の文献と整合させるため単一エポック学習 regime を採用し、学習率スケジューリングのアーティファクトを軽減するためにスケジューラなしの AdamW オプティマイザを使用する。スケーリング則は以下の 3 つの指標に対してフィットされる：

• 計算量：理論上の FLOPs（$C$）とウォールクロックトレーニング時間（GPU 時間、$H$）。
• データ：トレーニングトークンの数（$D$）。
• パラメータ：モデルサイズ（$N$）。

著者らはまた、対称性損失正則化（非等変モデルにおける等変性からの逸脱にペナルティを課す）、データ拡張を伴うマルチエポック学習、およびテスト時のグループ平均化の影響も調査する。

主な貢献

1. アーキテクチャ依存のスケーリング指数：本論文は、スケーリング指数がアーキテクチャ間で一定ではないことを実証する。「等変性の度合い」が増すにつれて（制約なしから低次へ、そして高次へ）、データ（$\beta$）およびパラメータ（$\alpha$）のべき乗則指数が著しく増加する。
2. 優位な等変モデルのスケーリング：特に高次テンソル表現を持つ等変アーキテクチャ（eSEN など）は、より急峻なスケーリング曲線を示す。これは、計算量とデータがスケーリングするにつれて等変モデルと非等変モデルの性能差が拡大することを意味し、モデルが後から単に「学習」して対称性を獲得できるという考えと矛盾する。
3. 計算量最適配分：本研究は、計算量最適のトレーニングにおいては、モデルサイズ（$N$）とデータセットサイズ（$D$）がすべてのアーキテクチャにおいて並行してスケーリングすべき（$N \propto D$）ことを発見した。これは言語モデルにおける Chinchilla スケーリングの発見と一致する。ただし、比例定数と結果としての損失減少は、アーキテクチャの対称性バイアスに基づいて異なる。
4. 対称性損失の非効率性：制約なしモデルにおいて損失項（正則化）を通じて対称性を強制しても、等変性をアーキテクチャに組み込むことによるスケーリング上の利点は得られない。これはデータ効率をわずかに向上させるが、ネイティブの等変モデルのスケーリング指数には達しない。
5. マルチエポックとデータ拡張の知見：低データ・マルチエポック設定では、過学習を防ぎべき乗則スケーリングを回復させるために、制約なしモデルにはデータ拡張が必要である。しかし、拡張を行っても、制約なしモデルは等変モデルのスケーリング指数には達しない。

結果

• スケーリング則：検証損失はべき乗則 $L \propto C^{-\gamma}$ に従う。指数 $\gamma$ はアーキテクチャの複雑さとともに増加する：
  • 制約なし MPNN：$\gamma \approx 0.14$
  • EGNN：$\gamma \approx 0.17$
  • GemNet-OC：$\gamma \approx 0.25$
  • eSEN（高次）：$\gamma \approx 0.40$
• データおよびパラメータスケーリング：
  • データスケーリング指数（$\beta$）は、制約なしの 0.31 から eSEN の 0.75 の範囲にある。
  • パラメータスケーリング指数（$\alpha$）は、制約なしの 0.28 から eSEN の 0.82 の範囲にある。
• 対称性損失：制約なしモデルに対称性損失項を追加すると、データ指数（$\beta$）はわずかに増加するが、パラメータ指数（$\alpha$）は減少し、制約なしのベースラインと比較して計算量最適フロンティアの傾きにおける正味の上昇は生じない。
• 深さ：等変モデルでは、最適なネットワークの深さは回転表現の次数とともに増加するのに対し、制約なしモデルはより高い深さで過平滑化の被害を受ける。

意義と主張
本論文は、帰納的バイアスをデータから学習すべきであるとする「苦い教訓」仮説とは対照的に、幾何学的タスクにおけるスケーリングには明示的な構造的対称性が不可欠であると論じる。著者らは、対称性は単なるデータ削減技術ではなく、タスクの本質的な難易度とそのスケーリング則を根本的に変えるものであると主張する。

主な意義は、高次等変表現がより良いスケーリング指数をもたらすという発見にある。これは、大規模 NNIPs においては、単純な非等変モデルをスケーリングアップするよりも、対称性を意識した複雑なアーキテクチャ（eSEN など）に投資する方が効果的であることを示唆する。著者らは、対称性のような基本的な帰納的バイアスは、モデルが発見するに任せるのではなく、アーキテクチャに符号化されるべきであり、それ自体がスケーリング軌道を変えるものであると結論づける。

本論文はその範囲に関して控えめであり、単一エポック学習への焦点、使用された特定データセット（中性分子）、および他の最近の研究で使用されているノイズ除去事前学習戦略の除外などの限界を指摘している。また、対称性がなぜスケーリング指数を変えるのかを説明する将来の理論的作業を呼びかけ、これらの研究をより多様な分子タイプやマルチエポック regime に拡張することを提案している。