技術要約：関数的アテンション：ペアワイズのアフィニティから関数的対応関係へ

1. 問題提起

本論文は、オペレーター学習（operator learning）、すなわち無限次元の関数空間間の写像（$O: \mathcal{F} \to \mathcal{G}$）を学習するという課題に取り組んでいる。このパラダイムは、偏微分方程式（PDE）の求解、物理シミュレーション、幾何学的プロセッシングなどのアプリケーションにおいて極めて重要である。

トランスフォーマー型アーキテクチャは多くの領域で最先端（SOTA）の結果を達成しているが、連続的な場（field）を離散的なトークンとして扱う場合、オペレーター学習への適用において主に3つの制限に直面する：

1. 計算のスケーラビリティ： 標準的なスケールド・ドットプロダクト・アテンションは、トークン数（サンプル数）に対して二次的な計算量（$O(n^2)$）を必要とし、スケーラビリティを阻害する。
2. 構造的無知： トークン単位のアテンションは、サンプルを独立した点として扱い、データに内在するグローバルな関数構造や幾何学的・物理的な関係性を無視してしまう。
3. 解像度依存性： 離散的なトークンの対応関係に依存する手法は、異なる離散化の間で一貫性を維持するための原理的な方法を欠いていることが多く、異なる解像度への汎化能力を制限する。

既存のニューラルオペレーター（例：Fourier Neural Operators）は、固定された関数基底（フーリエ基底やラプラシアン固有基底など）を利用しており、これらは効率的ではあるものの、複雑で非定型な幾何形状にはスケールしない可能性のある帰納バイアスを持つ。

2. 手法：関数的アテンション（FUNCATTN）

著者らは、アテンションを離散的なトークン間のペアワイズなアフィニティ（親和性）としてではなく、**適応的な基底間の関数的対応関係（functional correspondence）**として再解釈する、関数的アテンション（Functional Attention）を提案する。このアプローチは、形状間の対応関係を関数空間上で作用する線形演算子として表現する、幾何学的プロセッシングの関数写像（functional maps）フレームワークに着想を得ている。

コアアーキテクチャ

本手法は、標準的なソフトマックスベースのアフィニティ行列を、スペクトル空間における最小二乗回帰を通じて学習された構造化された線形演算子に置き換える。プロセスは以下の通りである：

1. 適応的基底の学習： 固定された基底の代わりに、データ依存的な基底関数を学習する。入力 $X$ が与えられたとき、基底行列 $\Phi$（クエリ用）および $\Psi$（キー/バリュー用）は、線形層とそれに続くソフトマックス操作によって推定される：
   $$B = \text{Softmax}(\text{Linear}(X))$$
   これらの学習された基底は、入力の固有の構造（意味的、幾何学的、または物理的）に適応する、一般化された区分定数（P0）要素として機能する。

2. スペクトル投影： クエリ（$Q$）、キー（$K$）、バリュー（$V$）は、学習された基底（疑似逆行列または転置を介して）を用いてスペクトル領域に投影される：
   $$\tilde{Q} = \Phi^\dagger Q, \quad \tilde{K} = \Psi^\dagger K, \quad \tilde{V} = \Psi^\dagger V$$

3. 最適線形輸送： 密な $n \times n$ アテンション行列を計算する代わりに、キー空間をクエリ空間へと写像するコンパクトな $k \times k$ の演算子 $C$（ここで $k \ll n$）を求める。これは、チホノフ正則化付きの最小二乗問題として定式化される：
   $$\min_C \| \tilde{Q} - C\tilde{K} \|_F^2 + \lambda \|C\|_F^2$$
   閉形式の解は以下の通りである：
   $$C^* = \tilde{Q}\tilde{K}^\top (\tilde{K}\tilde{K}^\top + \lambda I_k)^{-1}$$

4. 再構成： 出力は、演算子 $C$ をバリューのスペクトル係数に適用し、空間領域へと逆変換することによって再構成される：
   $$\text{FUNCATTN}(Q, K, V) = \Phi C \tilde{V}$$

理論的特性

本論文は、関数的アテンション層が入力関数に対して局所リプシッツ連続性を満たすことを証明している。正則化パラメータ $\lambda$ はリプシッツ定数の上限を制御し、数値的な安定性を確保し、退化した解を防ぐ。

3. 主な貢献

1. 新しいアテンション・パラダイム： 著者らは、標準的なアテンションの定式化と関数写像フレームワークとの間の原理的なつながりを確立し、アテンションをトークン単位のアフィニティ行列ではなく、学習された関数空間間の線形演算子として再定義した。
2. 解像度に依存しない表現： 学習されたスペクトル空間内でコンパクトな演算子を用いることで、本手法は解像度に依存しない表現を実現し、グローバルな依存関係を明示的に捉える。
3. 多用途な実装（FUNCATTN）： 提案されたアーキテクチャは、PDE求解、3Dセグメンテーション、回帰を含む多様なタスクにおいて、タスク固有のアーキテクチャ変更を必要とせずに効果的であることが示されている。
4. 理論的分析： 本研究は、層のリプシッツ連続性の理論的証明を提供し、演算子の学習プロセスを安定させるための正則化の役割を定式化した。

4. 実験結果

著者らは、いくつかのベンチマークにおいて、強力なベースライン（FNO、Geo-FNO、Galerkin Transformer、Transolver、および標準的なTransformerを含む）に対してFUNCATTNを評価した：

• 少ショット回帰： 疎な観測（例：4点）を伴う正弦波回帰において、FUNCATTNは標準的なアテンションやTransolverを大幅に上回り、誤差を最大3桁低減させた。学習された基底における構造的事前分布を活用することで、優れたサンプル効率を示している。
• PDE求解： 流体力学（Darcy、Navier-Stokes、Airfoil、Pipe）および固体力学（Elasticity、Plasticity）にわたる6つのベンチマークにおいて、FUNCATTNは6つのデータセットのうち5つでSOTA性能を達成し、相対 $L_2$ 損失においてTransolverを6%から26.3%上回った。
• 3Dセグメンテーション： RNAポイントクラウドデータセットにおいて、FUNCATTNは最高精度のセグメンテーション（89.0%）を達成し、PointNet++、DiffusionNet、およびTransolverを凌駕した。著者らは、線形求解が符号付きアテンション重みを生成できることが、明示的なコントラスティブ能力を提供しているためであるとしている。
• 分布外（OOD）汎化： 未知のレイノルズ数および迎角を伴う翼型設計タスクにおいて、FUNCATTNは堅牢な汎化を示し、最も近い競合モデルと比較して相対誤差を8.8%から9.5%減少させた。
• 複雑な幾何形状： 三角領域と鋭い切り欠き（特異な特徴）を持つ2D Darcy流のタスクにおいて、FUNCATTNは0.64%の相対 $L_2$ 誤差を達成し、非長方形領域で苦戦する格子ベースのスペクトル法（例：dgFNO+）を上回った。
• ゼロショット超解像： モデルは、ファインチューニングなしで、粗い格子（2048点）での学習から細かい格子（8192点）でのテストへと効果的に汎化し、離散化不変性を示した。

5. 意義と主張

本論文は、関数的アテンションが、オペレーター学習のためのアテンションメカニズムの設計における根本的な転換を提供するものであると主張している。ペアワイズのアフィニティから関数的対応関係へと移行することで、本手法は以下を実現する：

• 複雑性と解像度の分離： 計算コストはトークン数（$n$）ではなく、基底関数の数（$k$）に依存するため、高解像度の場の効率的な処理が可能になる。
• 固有の構造の捕捉： 学習された適応的基底により、固定された基底やトークン単位のアテンションが見逃す幾何学的・物理的構造を捉えることができる。
• 堅牢性の向上： 本手法は、異なる離散化、不規則なメッシュ、およびドメインシフト（OOD）に対して強い堅牢性を示し、データ解像度や幾何形状が変化する科学計算やエンジニアリング用途に適している。

著者らは、この関数的な視点が、構造を認識し、解像度に依存せず、オペレーター学習タスクの無限次元の性質に自然に適応したアテンションメカニズムを設計するための新たな道を切り開くと結論づけている。また、現在の基底投影の単純さと、近似保証に関するさらなる理論的分析の必要性についても認めている。