Drawback of Enforcing Equivariance and its Compensation via the Lens of Expressive Power

技術的サマリー：等変性の強制に伴う欠点と、表現力という観点からの補償

問題定義
等変性ニューラルネットワーク（ENNs）は、点群処理からグラフニューラルネットワークに至るまで、内在的なデータ対称性を活用するための支配的なアプローチとなっており、強力な性能を達成しています。これらのネットワークは通常、アーキテクチャ設計（層別等変性ネットワーク、LENs）または最適化制約（一般等変性ネットワーク、GENs）のいずれかを通じて等変性を強制します。等変性が汎化とサンプル効率に関して有する利点はよく文書化されていますが、表現力に関するトレードオフは理論的に未だ十分に探求されていません。具体的には、仮説空間を等変性モデルに制限することが、同じサイズの一般ネットワーク（GNs）と比較して、ターゲット関数を近似するネットワークの能力を本質的に低下させるかどうか、また、各層で等変性を強制すること（LENs）が、大域的等変性（GENs）よりも厳格な制限を課すかどうかは不明です。

手法
本論文は、2 層の ReLU ネットワークに焦点を当ててこのトレードオフを調査します。著者らは、ネットワークの内部構造の幾何学的分析を採用し、特に境界超平面（区分的線形関数の傾きが変化する場所）とチャネルベクトル（活性化の境界を定義する重みベクトル）を検証します。

1. 幾何学的特徴付け：著者らは境界超平面を定義し、GEN においてこれらの超平面の集合は群表現に関して対称でなければならないことを証明します。LENs については、より厳格な条件を導き出します。すなわち、チャネルベクトル自体が群作用の下で対称な集合を形成しなければならないという条件です。
2. 構成的反例：制限を実証するために、著者らは $\mathbb{R}^2$ 上の特定の不変ターゲット関数を構築し、固定されたニューロン数（具体的には 1 ニューロン設定と 3 ニューロン設定）の下での GNs、GENs、および LENs の近似能力を分析します。
3. 補償分析：モデルサイズ（ニューロン数）の増加が表現力の損失を補償できるかどうかを調査します。これには、より小さな GNs や GENs の関数を再現する特定の LEN アーキテクチャを構築し、結果として得られる仮説空間の次元性を分析することが含まれます。

主要な貢献と結果

• 表現力の欠如：本論文は、モデルサイズを固定した場合、等変性を厳格に強制することが表現力を厳密に低下させることを証明します。

  • GNs と GENs の比較：特定の不変ターゲット関数に対して、1 ニューロンの GN は非ゼロの誤差で関数を近似できますが、1 ニューロンの GEN はゼロ関数のみであり、結果として期待損失が厳密に高くなります。
  • GENs と LENs の比較：GN または GEN によって 3 ニューロンで完全に表現される必要があるターゲット関数に対して、LEN は少なくとも6 ニューロンを必要とします。これは、LENs におけるチャネルベクトルに対する対称性制約が、層別等変性を満たすために、ネットワークに平行なベクトル（例えば $\alpha$ と $-\alpha$）を別々のチャネルとして含めることを強制するためであり、特定の対称性に対して必要な容量を実質的に倍増させるからです。

• モデル拡大による補償：著者らは、表現力の損失がモデルサイズの拡大によって完全に補償され得ることを証明します。

  • 上限：彼らは、GEN を対称群のサイズ $|G|$ 倍に拡大して LEN にすることで、その LEN が GEN によって表現可能な任意の不変関数を表現可能であることを示します。
  • より tight な上限：さらなる分析により、不変関数に対して、LEN は同じ関数集合を表現するために GEN のモデルサイズの最大2 倍しか必要としないことが示されました。これは、チャネルベクトルをその軌道ごとにグループ化し、可能な場合は結合させる LEN を構築することで達成されます。

• 削減された仮説の複雑性：驚くべき発見として、拡大された LEN はより多くのニューロン（より大きなモデルサイズ）を持ちますが、同等の表現力を持つ GNs に比べて低次元の仮説空間を持つことが示されました。

  • 構築された例において、特定の関数を表現する 6 ニューロンの LEN のパラメータ空間は $\mathbb{R}^5$ ですが、同じ関数を表現する 3 ニューロンの GN のパラメータ空間は $\mathbb{R}^9$ です。
  • この次元性の削減は、等変性の構造的制約がパラメータを特定の部分空間に収容させるためであり、ニューロン数の増加にもかかわらず、独立して学習可能なパラメータの数を減少させることに起因します。

意義と主張
本論文は、層別等変性ニューラルネットワークの表現力に関する初めての深掘りされた理論的検討を提供すると主張しています。その主な意義は以下の点にあります：

1. 欠点の特定：特に層レベルでの等変性制約が、モデルサイズを調整しない場合、モデルの関数近似能力を本質的に制限し得ることを明示的に実証すること。
2. 補償の定量化：失われた表現力を回復するために必要なモデルサイズの拡大に関する形式的な上限（具体的には $|G|$ 倍または 2 倍という係数）を提供すること。
3. 汎化の調和：モデルサイズの増加という「コスト」は、仮説空間の次元性の削減によって相殺されると論じること。これは、適切にサイズ設定された LENs が、帰納的バイアスだけでなく、同等の近似能力を維持しつつ低次元のパラメータ空間で動作するため、標準的な GNs よりも優れた汎化性を提供し得ることを示唆しています。

著者らは結論として、固定サイズにおける等変性の強制は生来の表現力において欠点を持つが、これは管理可能なトレードオフであると述べています。モデルを適切にスケーリングすることで、LENs は近似能力と、仮説の複雑性の削減を通じた改善された汎化可能性のバランスを取る競争力のある解決策となります。