Mechanism-oriented tendency-integration operator networks for PDE foundation models

技術要約：PDE基盤モデルのためのメカニズム指向型傾向統合オペレーターネットワーク

問題提起
偏微分方程式（PDE）基盤モデルは、単一の学習済みモデルに複数の方程式ファミリーを統合することで、多様な物理系への汎化を目指している。近年のアーキテクチャ、特にTransformerベースのものは効果的にスケールアップしてきたが、その予測が基礎となる物理的メカニズムの表現に由来するものなのか、あるいは単に状態進化のパターンを学習したものなのかは明らかになっていない。既存のアプローチは、物理学的な構造（保存則や時間展開など）を組み込んではいるものの、輸送、拡散、反応、波の伝播といった個別の物理的メカニズムに対して明示的な計算上の役割を割り当ててはいない。その結果、単一のネットワークが複数のPDEファミリーにわたって学習される際、どのメカニズムが活性化しているのか、それらがどのように相互作用するのか、そしてレジーム間でその重要性がどのように変化するのかといった区別が、共有された表現の中に暗黙的に含まれてしまう。この明示的な組織化の欠如は、解釈性を妨げ、強固な汎化に必要な物理的な接地性を制限する可能性がある。

手法：MOTIONアーキテクチャ
著者は、汎用的な共有状態遷移バックボーンではなく、明示的な物理メカニズムに基づいて計算を構成するPDE基盤モデルであるMOTION（Mechanism-Oriented Tendency-Integration Operator Network）を提案する。このアーキテクチャは、3つの明確なステージで構成される。

1. 知覚（Perception）: 次元に依存しないTransformerエンコーダが、様々なファミリーおよび空間次元（2D/3D）からの観測された物理状態（スナップショット $u_0$）を、共通の潜在空間 $z(x, 0)$ へと写像する。固定されたモデル容量を異なる次元間で維持するため、エンコーダは学習中にランダムな点サンプリングを用い、固定された潜在格子へと集約を行う。
2. メカニズム動力学（Mechanism Dynamics）: 潜在変数の時間発展は、メカニズム固有の傾向の和へと分解される。
   $$\partial_t z = W = \sum_{k} H^{(k)}(z)$$
   ここで、$H^{(k)}$ は「メカニズムヘッド」を表す。本アーキテクチャは20個のヘッドを採用している。すなわち、すべてのファミリーで活性化する1つの状態ヘッド（$H^{(0)}$）と、方程式ファミリーのメタデータによって条件付きでゲート制御される19個の追加ヘッドである。これらのヘッドは、以下の記述された物理演算子または特徴量に対応している。
   • 微分形式: 拡散（$\nabla^2$）、移流（$-u \cdot \nabla$）、アップウィンド輸送、平均曲率、および波・ラプラシアン。
   • 結合メカニズム: 密度結合（逆密度効果）、重力勾配、および非線形反応。
   • 非局所的相互作用: スペクトル非局所性（$\nabla^{-2}$ クラスのフーリエ空間フィルタリング）、およびドメイン平均ブロードキャスト。
   • 学習可能なコンポーネント: 潜在状態として直接利用できない量を含むメカニズムについては、固定された物理方程式内において、必要なパラメータが学習可能なパラメータ化として導入される。
3. 解の合成（Solution Synthesis）: 潜在的なレートパネル $W$ は、ニューラル軌道オペレータを用いて連続的な軌跡 $\hat{u}(x, t)$ へと変換される。積分は、時間におけるルジャンドル反導関数基底と固定された空間基底関数を用いて閉形式で行われる。点ごとのデコーダ $D$ は、積分されたレートを物理空間へと写像し、構成上、初期条件を厳密に強制する（$D(0, x) = 0$）。

主な貢献

• 明示的なメカニズム組織化: 本研究は、クロスPDE予測が基礎となる物理的メカニズムの明示的な表現を通じて構成されるアーキテクチャを提案している。方程式およびレジーム固有のメカニズムへの依存度は、学習されたゲーティングと重み付けを通じて、学習を通じて顕在化する。
• メカニズム分解による解釈性: 本モデルは、特定のメカニズムヘッドを抑制することで、予測精度への寄与を測定する「ノックアウト」実験を可能にする。これにより、方程式ファミリーや物理レジームを横断したメカニズムの明確な役割が明らかになる。
• 物理的等価性テスト: 著者は、物理的整合性を評価するためのテストを導入し、回転や反射などの変換下での対称性の違反（等変性欠陥）を予測誤差に対して測定する。彼らは、モデルの予測が同一の状態に対する物理的に等価な記述間において一貫していることを実証している。
• 対称平均化: 物理的等価性を活用することで、著者らは、テスト時の拡張（テスト時オーグメンテーション）として物理的に等価な表現のアンサンブル平均をとることで、追加学習なしに残留誤差を低減できることを示している。

結果
モデルは、9つの支配系（Navier–Stokes、圧縮性オイラー、Allen–Cahn、および波の方程式を含む）にわたる19の方程式ファミリーについて、2Dおよび3Dの両方で評価された。

• メカニズムの特化: ノックアウト実験により、強いファミリー固有の依存関係が明らかになった。例えば、非圧縮性ファミリーは主に移流と拡散を利用したが、圧縮性オイラーファミリーは密度結合に大きく依存していた。メカニズムの重要性は物理レジームによって変化した。例えば、3D圧縮性乱流において、低マッハ数では平均曲率/拡散への依存が見られたが、高マッハ数および乱流強制下では方向勾配への依存へとシフトした。
• スペクトルおよび空間的シグネチャ: 特定のヘッドを抑制すると、明確な失敗が生じた。アップウィンド輸送を取り除くと、スペクトルエネルギーは保持されるものの空間的な整合性（位相コヒーレンス）が崩れた一方で、方向勾配を取り除くと、配置は保持されるもののバンドエネルギーが減少した。これは、異なるヘッドが解の異なる物理的側面を捉えていることを裏付けている。
• 汎化性能: 同様のコーパス、パラメータ数、および予算で学習されたマルチファミリーソルバー（BCATおよびPROSE-FD）と比較して、MOTIONは6つのNavier–Stokesファミリーのうち5つにおいて、より低い誤差を達成した。特に低露出レジームにおいて、大幅に少ないサンプルビューで同等の誤差領域に到達した。
• 初期値問題への転移: 下流の転移タスク（アウトオブディストリプションの反応動力学および定常楕円問題を含む）において、MOTIONはPoseidon-Bを上回った。特筆すべきは、MOTIONが双安定反応の飽和挙動をより正確に再現し、ポアソン問題における解の向きを保持したことである。
• 物理的等価性: MOTIONは、ベースラインと比較して有意に低い等変性欠陥を示した。BCATのようなベースラインは、予測誤差よりも数桁大きい欠陥を示し（これにより対称平均化において壊滅的な失敗を招く）、一方でMOTIONの欠陥は、その固有の予測誤差のスケール内に留まった。その結果、対称平均化はMOTIONの精度を向上させた（例：非圧縮性流体タスクにおいて誤差を37.3%減少させた）が、ベースラインに対しては性能を低下させることが多かった。

意義と主張
本論文は、明示的なメカニズムレベルの組織化が、PDE基盤モデルにとって強力な帰納バイアスとして機能すると主張している。記述された計算構造（メカニズムの語彙）と学習された内容（ゲーティングと重み付け）を分離することで、このアーキテクチャは、クロスPDE計算を物理的に検査可能なものにしている。研究結果は、転移可能な構造はドメイン知識に基づいた記述された演算を通じて符号化されるべきであり、タスク固有の振る舞いはそれらの学習された合成を通じて現れるべきであることを示唆している。このアプローチは、予測が正確であるだけでなく、物理系を支配する対称性とメカニズムと一致することを保証する、物理的に接地された汎化の基礎を提供する。著者は、これを「ブラックボックス」としてのニューラルオペレータが、透明でメカニズムが解明されたフレームワークへと置き換わる、解釈可能な科学的機械学習への一歩として位置づけている。