技術概要：ニューラルコンパイラ

1. 問題定義

科学機械学習（SciML）は、既知の物理法則と未知のコンポーネントとの間に根本的な緊張関係に直面している。研究者はしばしば方程式の記号的な形式（例えば、振り子の運動の構造や熱拡散 PDE の構造）を保有しているが、特定のパラメータや補正項をデータから学習しなければならない。この知識を統合する現在の手法は不満足である：

• 構造の破棄： 純粋なニューラルネットワーク（MLP、Neural ODE）は既知の物理を無視して、データから完全な写像を学習する。これは過剰なパラメータを必要とし、外挿に失敗し、解釈不可能な重みを生み出す。
• ソフト制約： 物理情報ニューラルネットワーク（PINN）は、物理を正則化損失としてエンコードする。これは優雅ではあるが、この「ソフト」制約は、データ損失を減少させる場合、モデルが物理法則に違反することを許容し、しばしばパラメータの回復の悪化や壊滅的な外挿の失敗をもたらす。
• 手書きコーディング： 方程式を直接 PyTorch の nn.Module インスタンスとして記述することは、正確な計算を保証するが、新しい方程式ごとに手動での再実装を必要とし、エラーが発生しやすく、体系的な構成可能性（方程式の連鎖には、すべての組み合わせごとに新しいコードが必要）に欠ける。

2. 手法：ニューラルコンパイラ

著者は、Scheme 構文を持つ第一階の算術式言語で記述されたプログラムを、凍結された微分可能な PyTorch モジュール（nn.Module）に変換するシステム、「ニューラルコンパイラ」を提案する。

ソース言語

入力言語は、4 つのカテゴリーにわたる 51 のプリミティブ操作をサポートする：

• スカラー算術： 標準的な数学、三角関数、指数関数、および論理。
• ベクトル演算： 構築、インデックス付け、ドット積/クロス積、ノルム。
• 行列演算： 構築、乗算、逆行列、行列式。
• 制御フロー： let バインディング、末尾再帰ループ（反復ループに最適化）、および一般の再帰。

コンパイルパイプライン

コンパイラは、150 マイクロ秒未満でソースコードを 4 つの段階を通じて変換する：

1. パース： S 式を抽象構文木（AST）に変換する。
2. ANF 変換： AST を A-Normal 形に変換し、複合式を let バインディングに平坦化して、バインディングと計算ノードの間の 1 対 1 の対応を作成する。
3. 末尾呼び出し最適化： 効率化のために末尾再帰関数を反復ループに変換する。
4. グラフ構築： 命令ディスパッチ機構を使用してトポロジカル順序でノードを評価する PyTorch モジュールである DirectModule を生成する。このモジュールは凍結されている（コンパイルされたロジック自体に学習可能なパラメータはない）が、記号定数として露出された学習可能なパラメータをサポートする。

ハイブリッドアーキテクチャパターン

このシステムは、3 つの統合パターンをサポートする：

1. 既知の構造、未知のパラメータ： 方程式全体がコンパイルされ、特定定数が勾配ベースの学習のための nn.Parameter として露出される。
2. 既知の項＋学習された補正： コンパイルされたモジュールが既知の物理項を処理し、学習可能な MLP が残差補正を学習する。
3. 構成パイプライン： 複数のコンパイルされたモジュールが連鎖して、複雑なパイプラインを形成する。

3. 理論的保証

本論文は、コンパイラの性質に関する形式的な証明を提供する：

• コンパイルの正しさ（定理 2）： コンパイルされたモジュールは、その安全な領域において、ソースプログラムと数値的に同一（浮動小数点精度）の出力を生成する。
• 勾配の正確性（定理 3）： コンパイルされたモジュールを通じた Autograd は、プログラムの真の導関数を導き出す。
• コンパイルコンポーネントの正確性（定理 5）： ハイブリッドモデルにおいて、コンパイルされたコンポーネントは、トレーニング分布の外側であっても、その安全な領域でゼロ近似誤差に寄与する。すべての誤差は、学習されたコンポーネントからのみ生じる。
• 構成誤差の上限（命題 6）： コンパイルされたモジュールの連鎖は、任意の深さでゼロ誤差を維持する。対照的に、ニューラル近似は、下流のリプシッツ定数に基づいて誤差を乗法的に蓄積する。

4. 実験結果

このシステムは、4 つのベースライン（手書きの PyTorch、PINN、Neural ODE、純粋な MLP）に対して、6 つのドメインで評価された。

主要な発見

• 数値的同一性： コンパイルされたモデルは、すべての実験において手書きの PyTorch 実装と数値的に同一の結果を生成した（MSE の差は機械精度レベル）。これは、コンパイラによるオーバーヘッドがゼロであることを確認した。
• パラメータ回復：
  • ファインマン方程式： コンパイルされたモデル（1〜3 パラメータ）は、15 の方程式のうち 13 件で、1% 未満の誤差で物理定数を回復した。PINN（8,500 以上のパラメータ）は、7〜93% の誤差を示した。
  • 熱方程式（PDE）： コンパイルされたモデルは、熱拡散率を 0.00% の誤差で回復した。PINN は 92.7% の誤差を示した。
  • ロトカ・ヴォルテラおよび振り子： コンパイルされたモデルは、速度定数および物理パラメータを 1.1% 未満の誤差で回復したが、PINN は正確に回復できず、壊滅的な外挿の失敗を示した。
• 外挿： ハード制約されたコンパイルされたモデルは、5 倍の外挿範囲に対して完全に一般化した。ソフト制約された PINN および純粋な MLP は、ダイナミクスを維持できず、または著しく発散した。
• 構成的一般化： コンパイルされたモジュールの連鎖は、深さ 6 まででゼロ誤差を維持した。ニューラル連鎖は、誤差増幅により、4 倍の外挿で最大 $5.9 \times 10^9$ の誤差を蓄積した。
• ベクトル力学： コンパイラは、3D ベクトル演算（ノルム、スケーリング）を高精度で処理し、重力定数を 0.02% の誤差で回復した。

計算コスト

• コンパイルは一回限りのコスト（150 マイクロ秒未満）である。
• ハイブリッドモデルのトレーニングオーバーヘッドは、命令ディスパッチにより純粋な MLP よりも 2.5〜3.8 倍遅いだが、これは精度とパラメータ効率の大幅な向上（例えば、振り子方程式では 4,000 倍少ないパラメータ）によって相殺される。

5. 意義と主張

本論文は、ニューラルコンパイラを、単一の方程式の数値精度を向上させる手法（手書きコーディングが同等の結果をもたらすため）ではなく、体系的な構成可能性およびプログラム的なモデル生成のためのツールとして位置づけている。

• ハード制約対ソフト制約： 主な貢献は、パラメータ回復および外挿において、ハード制約（正確なコンパイル）が、特に超越関数および PDE 問題において、ソフト制約（PINN）を大幅に上回ることを実証することである。
• 構成可能性： コンパイラにより、科学者は新しいコードを書くのではなく、文字列を変更することで方程式を連鎖させることができる。これにより、再実装なしで再構成可能な物理モジュールのライブラリの作成が可能になる。
• LLM インターフェース： 入力が文字列であるため、コンパイラは自然言語モデル（LLM）の自然なターゲットとなる。著者は、LLM が自然言語の物理記述をコンパイル可能なプログラムに変換する未来を提案しており、これにより「自己アーキテクチャ」する科学モデルが可能になり、コンパイルを通じて新しい正確な計算能力を獲得する。

著者は、コンパイラが記号的知識と微分可能な学習の間のギャップを埋め、科学機械学習における現在のニューラル近似に対する厳密で、正確で、構成可能な代替手段を提供すると結論づけている。