Parameter-Level Attribution of Symmetry in Trained Networks Though Parameter-Wise Functional Sensitivity

技術的要約：学習済みネットワークにおける対称性のパラメータレベルの帰属

問題提起
本論文は、パラメータ化された関数族の研究における根本的な問いに取り組んでいる。すなわち、ニューラルネットワークが既知の対称性を持つ関数を学習した場合、その対称性をネットワークのパラメータ化を通じて「持ち上げる（lifting）」ことができるか、という問いである。具体的には、パラメータ空間における運動が、関数空間における群作用を実現し得るかを調査している。グローバルなリフティング（パラメータ多様体全体における滑らかな作用）は常に存在するとは限らないが、本論文では**無限小リフティング問題（infinitational lifting problem）**に焦点を当てている。これは、関数の対称性の軌道に対する接空間が、ネットワークの実現写像の微分による像の中に存在するかどうかを判定するものである。この条件が満たされる場合、ネットワークはパラメータの更新を通じて、局所的に対称性の方向に沿って移動することができる。

手法
著者らは、**関数的感度（functional sensitivity）**に基づくフレームワークを導入している。これは、個々のパラメータに対するネットワーク出力の局所的な応答として定義される。

• 関数的感度: パラメータ $\theta$ でパラメータ化されたネットワーク $f_\theta$ について、第 $i$ パラメータの点ごとの関数的感度は $S^*_i(x; \theta) = \frac{\partial f_\theta}{\partial \theta_i}(x)$ である。集約された感度 $S_i(\theta)$ は、プローブ分布におけるこれらの感度の平方根平均（root-mean-square）である。
• 微分リフティング基準: 著者らは、実現写像 $\Phi: \Theta \to \mathcal{B}$（ここで $\mathcal{B}$ は関数の空間）を用いてリフティング問題を定式化している。微分 $J_\theta = d\Phi_\theta$ は、パラメータの速度を関数空間の変化へと写像する。$J_\theta$ の列は、関数的感度に相当する。対称性の生成子 $\xi$ をリフトするための必要条件は、誘導された関数空間の方向 $\eta_\xi$ が $J_\theta$ の像（すなわち $\text{Im}(J_\theta)$）に含まれていることである。
• 最小二乗近似による緩和: 正確なリフティングが過剰パラメータ化された、あるいは不完全な学習が行われたネットワークではしばしば不可能であるため、著者らは最適な局所パラメータ方向を見つけるための最小二乗法アプローチを提案している。これにより、2つの異なる方向が得られる：
  1. 対称性軌道方向 ($c^\star$): 対称性の軌道に沿って動くことを近似する、最小ノルムのパラメータ方向（$\eta_\xi$）。残差は、現在のパラメータ化ではアクセスできない対称性方向の成分を測定する。
  2. 等変性欠陥方向 ($b^\star$): 関数を等変部分空間へと移動させる（「等変性欠陥」$\delta_\theta = f_\theta - P_E f_\theta$ を減少させる）最小ノルムのパラメータ方向。
• 帰属（Attribution）: これらの最小二乗解の係数は、対称性の生成子のパラメータごとの帰属を提供し、どの特定の重みやバイアスが対称性、あるいはその欠如に寄与しているかを特定する。

主要な貢献

1. 関数的感度フレームワーク: 著者らは、個々のパラメータを学習された写像の局所的な変化に関連付ける、パラメータレベルの微分フレームワークを定義した。これにより、焦点は（Maitiらによる先行研究のような）パラメータ空間における統計的な相関から、学習された写像の局所的な微分幾何学へと移行している。
2. 対称性生成子の投影: 彼らは、無限小の対称性生成物をパラメータ接空間に投影する方法を開発し、パラメータごとの帰属と、等変性の診断手法を導出した。
3. 実証的検証: 著者らは、計算された局所的なパラメータ方向が、予測された関数空間における有限の変化を誘発するかどうかを、2つの設定で実証的に比較した。
   • アニュラス（環状）分類器: 内円と外環を区別するように学習されたMLPをテストした。研究では、「解決型（Resolved）」の軌跡（各ステップでヤコビアンと方向を再計算する）と、「固定型（Fixed）」の軌跡（初期化時に計算された方向を使用する）を比較した。
     • 解決型軌跡: 対称性方向へのフロー（$c^\star$）は、等変部分空間からの距離を維持しながら、関数を回転対称性の軌道に沿ってうまく移動させた。等変性方向へのフロー（$b^\star$）は、非不変成分（等変性欠陥）をうまく減少させた。
     • 固定型軌跡: 方向を固定すると、学習後に予測された軌道から大幅に逸脱した。これは、有限の軌跡に対しては方向を再計算する必要があることを強調している。
   • ハミルトニアンニューラルネットワーク: メキシカンハット・ポテンシャルで学習された適応型シンプレクティック回帰ニューラルネットワーク（ASRNN）を用い、同様の結果を観察した。方向を再計算することで、ネットワークはポテンシャルを効果的に回転させる（対称性フロー）、あるいは学習されたポテンシャルをより「等変に」する（等変性フロー）ことが可能となった。固定された方向は初期段階では成功したが、時間の経過とともにドリフトが蓄積した。
   • アーキテクチャへの依存性: 特筆すべきは、これらの結果が、アーキテクチャが明示的に対称性を強制していないハミルトニアンネットワークにおいても成立したことであり、本手法が標準的なアーキテクチャにおける対称性の符号化を特定できることを示した。

意義と主張
本論文は、関数的感度が、学習された写像における対称性をエンコードしている特定のパラメータを特定するための厳密なツールを提供すると主張している。問題をリフティング・タスクとして定式化することにより、著者らは、点ごとの一次リフティングのための必要十分条件を確立している。その意義は、以下の能力にある：

• 学習済みネットワークの「等変性欠陥」を診断すること。
• 対称性軌道に沿って動くことと、等変部分空間に向かって動くことに対応する、パラメータ空間における直交する方向を特定すること。
• 局所的なリフティングは信頼できるが、グローバルなリフティングには、固定された方向は有限の軌跡において軌道を追跡できないため、これらの方向の継続的な再計算が必要であることを示すこと。

本研究は、学習中の対称性を強制することを主張しているのではなく、むしろ、学習済みネットワークのパラメータ空間において対称性がどのように表現されているかを理解するための、事後的な診断および帰属手法を提供している。