技術的概要：疎性オートエンコーダ神経演算子（SAE-NOs）

1. 問題定義

標準的な疎性オートエンコーダ（SAE）は、活性化に対する疎性を強制することでニューラルネットワーク内の潜在概念を解明することを目的とし、機械的解釈可能性の主要なツールとなっている。しかし、既存の定式化（SAE-MLP と呼ばれる）は、データをスカラー活性化された概念の疎な線形結合としてモデル化する**線形表現仮説（LRH）**に依存している。このアプローチは、以下の 3 つの決定的な限界を課す：

1. スカラー活性化：概念は単一のスカラー値で表現され、存在と強度のみを符号化するが、入力ドメイン全体にわたって概念がどのように、あるいはどこで表現されるかを捉え損なう。
2. 固定された離散化：概念は入力と同じユークリッド空間内のベクトルとしてパラメータ化され、表現が特定の解像度やグリッドに縛られる。これにより、異なる離散化や解像度への一般化が妨げられる。
3. 帰納的バイアス：空間的に構造化されたデータ（例：画像、物理場）の場合、標準的な SAE は概念を全球的に均一な寄与に強制し、局所的またはドメイン依存の構造を表現する能力を制限する。畳み込み SAE（SAE-CNN）は局所性を導入するが、固定された受容野と解像度に依然として縛られている。

本論文は、ベクトル値から関数パラメータ化へ移行することが、特に空間的または時間的構造をスケールにわたって示すデータに対して、構造化された概念表現をモデル化するために必要であると主張する。

2. 手法：SAE-NOs と SAE-FNOs

著者は、概念をベクトルではなく関数としてパラメータ化する枠組みである**疎性オートエンコーダ神経演算子（SAE-NOs）を導入する。これは具体的には疎性オートエンコーダフーリエ神経演算子（SAE-FNOs）**として実装される。

関数表現仮説（FRH）

著者は、関数空間 $\mathcal{X}$ 内のデータ $x$ が、線形演算子 $G_{D^*}$ を通じて関数空間 $\mathcal{Z}$ 内の疎な表現 $z$ によって説明できるとする**関数表現仮説（FRH）**を定式化する：
$$x = G_{D^*}(z)$$
標準的な SAE では $z$ がスカラーのベクトルであるのに対し、ここでは $z$ は関数空間からのサンプルであり、「辞書」$D$ は演算子である。

結合疎性メカニズム

SAE-FNO は、どの概念が活性化しているかだけでなく、どのように、そしてどこで活性化しているかを符号化するために、二重の疎性構造を導入する：

1. 概念疎性（グループ疎性）：活性化している概念（グループ）の小さな部分集合を選択する。
2. ドメイン疎性（グループ内疎性）：各活性化概念の機能マップ内の活性化パターンを制約する。これにより、概念の表現の空間的場所が決定される。

数学的に、概念 $c$ に対して、活性化は機能マップ $v_c$ である。概念疎性は $v_c$ の $\ell_2$ ノルムに基づいて $c$ を選択し、ドメイン疎性は $v_c$ 内で要素ごとの疎性を適用する。

フーリエパラメータ化

SAE-FNO は、概念をフーリエ領域での積分演算子としてパラメータ化する。デコーダは入力を以下のように再構成する：
$$\hat{x} = \mathcal{F}^{-1} \left( \sum_{c=1}^p W_c \cdot (\mathcal{F} z_c) \right)$$
ここで、$W_c$ は学習可能なフーリエ係数（カーネル）であり、$z_c$ は疎な機能マップである。この定式化は、疎な畳み込み表現への帰納的バイアスを誘発する。

リフティング

この枠組みは、概念学習前に入力を高次元空間にマッピングする線形演算子 $L$ であるリフティングを取り入れ、その後元の空間へ射影 $P$ する。理論的に、著者はリフティングが前処置器として機能し、更新方向を再スケーリングして最適化を加速し、辞書の復元を改善することを示す。

3. 主要な貢献

1. SAE-NO 枠組み：関数空間で動作する新しいクラスの疎性オートエンコーダの導入により、解像度不変な表現を可能にする。
2. 関数疎性符号化：スカラー活性化を機能マップ表現に置き換え、概念の表現力（概念疎性によって制御）と構造的局所性（ドメイン疎性によって制御）を分離する。
3. 理論的特徴付け：
   • リフティングが前処置器として機能し、収束を加速することを証明。
   • 特定の条件（直交リフティング、結合射影）の下では、リフティングされた SAE-NO が標準的な SAE-NO に還元され、アーキテクチャの同等性が保証されることを実証。
   • 疎な畳み込み生成モデルの下で SAE-FNO が概念を復元することを示すトレーニングダイナミクスの特徴付け。
4. 創発的な時間的一貫性：SAE-FNO が明示的な時間的制約、シーケンスレベルのトレーニング、または時間的メモリを必要とすることなく、空間的活性化をシフトさせることで、変換されたパターン（例：移動する数字）間で概念を自然に再利用することを示す。

4. 実験結果

著者は、合成データ、MNIST、CIFAR-10、ImageNet において、SAE-FNO を SAE-MLP および SAE-CNN と比較評価した。

• 概念復元：既知の真の畳み込み辞書を持つ合成データにおいて、SAE-FNO は潜在的な概念を成功裡に復元し、特に大きな初期化誤差の下で SAE-CNN を上回る。
• 疎性全体での安定性：SAE-FNO は、疎性レベル（$k$）が変化しても、その構造的特性（Hoyer スコアで測定）が安定したままの概念を学習する。対照的に、SAE-MLP の概念は $k$ が増加するにつれて劇的に変化し、構造を失う。
• 効率性と表現力：SAE-FNO は、より少ない活性化概念でより高い再構成精度（$R^2$）を達成する。概念使用のより鋭い減衰を示し、SAE-MLP の平坦な分布と比較して、構造化された概念のより効率的な再利用を示唆する。
• 離散化全体での一般化：特定の解像度（例：28x28）でトレーニングされた SAE-FNO は、再構成誤差の増加を最小限に抑えながら、より高い解像度（例：56x56、112x112）へ一般化する。標準的な SAE はトレーニング離散化を超えて一般化できず、再構成誤差が急激に増加する。
• 頑健性：SAE-FNO は、SAE-MLP に比べて高周波ノイズ摂動およびスペクトルシフト下でより大きな安定性を示す。
• 相関する概念：直交する特徴に向かう傾向がある SAE-MLP と異なり、SAE-FNO はより広範な相関する概念を学習する。これは、関数パラメータ化が概念がどこで表現されるかを異ならせることを可能にし、干渉を軽減するためである。

5. 意義と主張

本論文は、ベクトル値から関数パラメータ化への移行が、疎性オートエンコーダの能力を根本的に拡張すると主張する。「概念の存在」を超えて「構造化された概念表現」をモデル化することにより、SAE-FNO は以下を提供する：

• 解像度不変性：トレーニング中に未見の解像度のデータで動作する能力。
• 構造的安定性：変化する疎性レベルおよびドメインサイズ全体で一貫性を保つ概念。
• 効率的な表現：空間ドメイン全体で概念を再利用することで、より少ない実効概念でデータ集団を表現するメカニズム。

著者は、FNO パラメータ化が疎化メカニズムと直交していることに留意しつつ、SAE-NO を特定のアーキテクチャではなく、一般的な関数枠組みとして位置づける。彼らは結論として、関数パラメータ化が構造化ドメインの表現を学習する上で中心的であり、機械的解釈可能性において概念がどのようにパラメータ化されるかが重要であると強調する。

認められた限界：
本論文は、フーリエ演算および機能マップ表現により、SAE-FNO は計算コストおよびメモリコストが高くなることを指摘している。さらに、滑らかで低周波のパターンへのスペクトルバイアスは、ベクトルベースの SAE が依然として好ましい可能性のある、非常に不規則で不連続、または表形式のデータには適さない可能性がある。実証的研究はビジョンデータセットに焦点を当てており、神経演算子基盤モデルおよび科学機械学習への応用は将来の方向性として残されている。