技術要約：不均一な軌跡からのニューラル演算子発見

問題設定

物理科学において、軌跡データは共通の支配則を共有しながらも、観測不可能なシステム固有の要因（例：物理パラメータ、幾何学的形状、境界条件）によって異なるシステムから頻繁に収集される。多くの実験的またはレガシーなシミュレーションデータセットでは、これらの識別要因は記録されていないか、測定不能である。その結果、データは、変動を駆動する変数のラベルが明示されていない、複数の基礎となる構成から生成された不均一な軌跡で構成されることになる。

中心となる課題は、これらのラベルなしの軌跡から、システムの共通のダイナミクスと、特定のシステムインスタンス間の差異の両方を捉える予測モデルを学習することである。既存のアプローチには以下の限界がある：

• 記号回帰 (Symbolic Regression): 原始的なライブラリに制約され、高次元の時空間ダイナミクスに対して計算コストが高い。
• パラメトリック・ニューラル演算子 (PNO): 明示的なファクター入力が必要であるが、本設定ではそれらは利用できない。
• 自己回帰型ニューラル演算子 (ANO): 過去の状態ウィンドウに条件付けられるため、高次元で構造化されていない表現を招き、ロールアウト誤差が蓄積し、システム固有の変動を特定できない。
• 潜在条件付きモデル (Latent-Conditioned Models): 表現力、スケーラビリティ、または解釈可能性のいずれかを犠牲にするか、あるいは高価なメタ学習の適応に依存する。

手法：ニューラル演算子発見 (Neural Operator Discovery, NOD)

著者らは、ニューラル演算子発見 (NOD) を、パラメータの教師なしで、不均一な軌跡から共有の解演算子とシステム固有の変動を学習する問題として定式化している。提案されたフレームワークである NODnet は、以下の2つのコンポーネントからなる因子化された実現を採用している：

1. 軌跡エンコーダ ($f_\phi$): システムインスタンスからの過去の状態ウィンドウ（条件付け軌跡）を、低次元の潜在表現 $c$ に写像する。
2. 状態進化演算子 ($g_\theta$): 初期状態と潜在表現 $c$ に基づいて将来の状態を予測する、条件付きニューラル演算子。

潜在表現が、軌跡の過渡的な特徴ではなく、支配的な要因を捉えることを確実にするために、NODnet は以下の3つの主要なメカニズムを統合している：

1. 因子化された予測 (Factorized Prediction)

将来の状態を過去の状態ウィンドウから直接予測する（ANOのように）のではなく、モデルはプロセスを因子化する：
$$c = f_\phi(x'_{0:s}), \quad \hat{x}_{t+1} = g_\theta(x_t; c)$$
エンコーダは、条件付け軌跡から潜在変数 $c$ を推論し、デコーダは同じシステムインスタンスの別の軌跡の進化を予測する。

2. 軌跡デカップリング・サンプリング (Trajectory-Decoupled Sampling, TDS)

潜在表現が初期条件固有の情報をエンコードしてしまうのを防ぐため、エンコーダとデコーダは、同じシステムインスタンスから生成された異なる初期条件を持つ軌跡を用いて訓練される。

• エンコーダは、条件付け軌跡 $x'_{0:s}$ から $c$ を推論する。
• デコーダは、同一システム内の別個の軌跡 $x_{t:t+1}$ の進化を予測する。
  この制約により、エンコーダは、過渡的な特徴を抑制し、軌跡横断的な不変量（支配的な要因）のみを保持するように促される。

3. 次元の選択 (Dimension Selection)

潜在次元 $d$ は、システムインスタンス間の差異を説明するのに十分な最小の値として選択される。これは以下の2段階の手順を通じて行われる：

• ステージ 1: $d$ を増加させても、ランダムなシードの変動を超えて訓練損失に有意な改善が見られなくなる候補次元を特定する。
• ステージ 2: $(d+1)$ のモデルが、追加のファクターに整合した構造を潜在空間に生成しない（インスタンスごとの潜在平均の主成分分析によって評価）最小の候補として、最終的な次元 $d^*$ を選択する。

主な貢献

• NODの定式化: 支配的なファクターのラベルなしで、共有演算子とシステム固有の変動を学習するための新しい問題定式化。
• 因子化された潜在条件付け: 軌跡のエンコーディングと状態の進化をデカップリングし、低次元で解釈可能な潜在空間を可能にする新しいアーキテクチャ。
• 軌跡デカップリング・サンプリング: 条件付け軌跡と予測軌跡を異なる初期条件のペアにすることで、システムレベルの不変量の抽出を強制する訓練戦略。
• データ駆動型の次元計測: 事前の知識なしに、システム変動の固有次元を自動的に決定する体系的な手順。

結果

本手法は、3つの偏微分方程式（PDE）ファミリーと、補足情報における4つの追加のケーススタディで検証された：

1. Burgers' 方程式 (粘性の変化):

   • 結果: モデルは、単一の変動因子（粘性 $\nu$）に対応する潜在次元 $d^*=1$ を正しく特定した。
   • 性能: 正確な長期予測を実現し、古典的な数値計算手法がしばつかることが多い特異な領域（無粘性極限 $\nu=0$）への外挿にも成功した。学習された潜在空間は、粘性との滑らかで単調な対応関係を示した。
   • 比較: 自己回帰型のベースライン（ANO）や単一システムベースライン（SNO）を、特にANOが顕著なドリフトを蓄積する長期ロールアウトにおいて上回った。

2. 円柱流後流 (非構造格子):

   • 結果: システムが粘性と流入速度の両方によってパラメータ化されているにもかかわらず、$d^*=1$ を特定した。これは、テストされたレイノルズ数領域におけるダイナミクスが、単一の無次元数（$Re$）によって支配されているためである。
   • 性能: 疎な教師あり学習（わずか16個の軌跡で訓練）の下での堅牢性と、未知の粘性および流入速度への汎化性能を示した。
   • 物理的一貫性: 自己回帰型のベースラインが周波数ドリフトや非物理的な抗力を示すのに対し、正しい抗力係数とストルーハル数を回収した。

3. FitzHugh–Nagumo 反応拡散系:

   • 結果: 2つの独立した支配因子（$k, \beta$）に一致する $d^*=2$ を正しく特定した。
   • 汎化: ワンショット推論（単一の軌跡から $c$ を推論）とゼロショット推論（学習された潜在空間から $c$ を直接サンプリング）の両方を実証した。潜在空間は、真のパラメータ空間に沿った滑らかで近似的に可逆な構造へと整理され、訓練範囲を超えた外挿を可能にした。
   • 教師ありの幾何学: 階層的なデコーダ（複数の時間ホライゾンを監視する）が、単一ステップの自己回帰デコーダと比較して、より構造化された潜在表現と安定したロールアウトをもたらすことを示した。

意義と主張

本論文は、明示的なファクターの教師なしで、演算子学習のための解釈可能なパラダイムを確立している。著者らは以下を主張している：

• 識別可能性 (Identifiability): 学習された潜在空間は、パラメータのラベルなしであるにもかかわらず、真のファクター空間と滑らかで近似的に可逆な構造（微分同相写像）を持ち、一貫して基礎となる支配因子と一致する。
• 汎化 (Generalization): 本手法は、未知のシステムインスタンス（無粘性極限などの未経験の領域へのゼロショット外挿を含む）への汎化をサポートする。
• 効率性 (Efficiency): 潜在次元を最小限のサイズに制限することで、高次元の潜在空間でエラー蓄積を招く「構造的な余裕（structural slack）」を回避する。
• 補完性 (Complementarity): NODは、閉形式の式を復元することが困難な複雑で高次元のシステムに対する、記号回帰のスケール可能な代替案であり、また、観測されていないパラメータを持つシステムに対する、より構造化された自己回帰型基盤モデルの代替案となる。

著者らは、現在の焦点が連続的に変化する低次元のユークリッド空間における因子にあること、シミュレーション生成データを使用していること、および離散的なシステムクラス、分岐ダイナミクス、実験ノイズへの堅牢性に関するさらなる調査の必要性を含む、限界についても述べている。