Stimulus symmetries can confound representational similarity analyses

技術的サマリー：刺激対称性が表現類似性分析を混乱させる可能性

問題定義
表現類似性分析（RSA）および表現類似行列（RSM）や中心カーネルアライメント（CKA）などの関連指標は、生物学的および人工的ネットワーク間での神経コードを比較するために広く用いられています。これらの比較における基本的な仮定は、機能的に同等な表現（すなわち、同じタスクを実行するか、同じ情報を符号化する表現）は、類似した要約統計量をもたらすべきであるというものです。最近の研究では、ネットワーク層内の重みのグローバルな回転など、後続の層によって補償可能な「内在的」対称性に対処してきましたが、「刺激対称性」（回転や並進などの外部データ対称性）がこれらの分析にどのように影響するかに関する体系的な理解は欠如しています。

特定された核心的な問題は、刺激対称性が、表現空間内の単純な直交変換（回転）とは無関係な、複数の機能的に同等な神経表現を生成し得るという点です。その結果、これらの異なる構成は、質的に異なる RSM を生み出す可能性があります。これにより、「ゲージ依存性」が生じます。つまり、RSM が任意の機能的に無関係なパラメータ（ゲージ）に基づいて変動し、研究者が機能的に同等なコードを異なったものと誤って結論づける可能性があります。

手法
著者らは、この現象を実証するために、理論的定式化、分析的な玩具モデル、および合成データと実世界データの両方に対する実証的シミュレーションの組み合わせを用いています。

1. 理論的定式化: 本論文は、コンパクト群 $G$ を介して潜在空間 $Z$ に作用するデータ対称性の概念を定式化します。「ゲージ変換」を、復号精度を変化させずに符号化関数に作用する $G$ の作用として定義します。著者らは、RSM がゲージ不変であるためには、符号化が対称群の直交線形表現でなければならないこと（すなわち、ゲージ変換が表現空間上でグローバルな回転として作用しなければならないこと）を証明しています。また、一般的な非線形コードでは、この条件が満たされないことを示しています。
2. 玩具モデル分析: 局所受容野（RF）を持つニューロンが 1 次元のリング（$S^1$）をタイル状に配置する単純化されたモデルを構築しました。このタイル配置のグローバルな向きは、ゲージ変数 $\phi$ によって定義されます。著者らはこの設定における RSM を解析的に導出し、非対角要素が $\phi$ に依存することを示しました。これにより、刺激の完全な再構成がなされているにもかかわらず、RSM が変動します。
3. パラメータ感度: 本研究では、ニューロン数、RF のチューニング幅、振幅ノイズなどの要因が RSM 変動の大きさにどのように影響するかを調査しました。ニューロン数 $n$ とチューニング幅の関数として変動 $\Delta$ の閉形式式を導出し、変動が密なタイル配置の極限においてのみ $O(n^{-2})$ として減衰することを示しました。
4. 学習ダイナミクス: ReLU 活性化関数を持つオートエンコーダに対する確率的勾配降下法（SGD）を用いて、学習シナリオをシミュレーションしました。著者らは、SGD が多くのニューロンが整列する「崩壊」解をもたらす可能性があり、これによりネットワークが実質的に疎なタイル配置（例：円に対して 4 個のニューロン）に還元され、高レベルの RSM 変動を維持することを示しました。また、エネルギー正則化（L1 罰則）がゲージを固定することなく疎性を誘発することも示しました。
5. 高次元および実データ: この枠組みを高次元球面多様体（$S^{d-1}$）に拡張し、ゲージ群の次元に対応する構造化された RSM 変動のクラスターを予測しました。最後に、Kuzushiji-MNIST データセットの回転画像でオートエンコーダを学習させ、事前学習済みビジョンモデル（ResNet-18、ConvNeXt、DINOv2）を分析することで、画像データにおける潜在的な回転対称性が、現実的な設定において体系的な RSM のドリフトとゲージ依存性を引き起こすことを示しました。

主要な貢献と結果

• RSM のゲージ依存性: 本論文は、非線形神経コードにおいて、刺激対称性によって関連付けられた機能的に同等な表現は、一般的に直交変換によって関連付けられないことを確立しています。したがって、それらの RSM は異なり、標準的な類似性指標が仮定する不変性を侵害します。
• ドリフトする表現: 著者らは、安定したタスク性能（例：低い再構成損失）であっても、ゲージの任意の選択により、表現が時間経過や異なる学習実行間で「ドリフト」し得ることを示しています。このドリフトは、RSM の体系的な変化として現れ、再構成誤差ではなく推定されたゲージ角度と相関します。
• 疎性と変動: ニューロン数を増やすと変動が抑制されるという直感に反し、著者らは SGD ノイズや L1 正則化による学習誘発型の疎性が、大規模ネットワークであっても高い RSM 変動を維持し得ることを発見しました。
• 高次元における構造化された変動: 高次元対称多様体の場合、RSM 変動はランダムなノイズではなく、非対角要素が連続対称群の基礎を反映して一緒に変動するグループにクラスタリングする構造化されたパターンに従います。
• 実証的検証: 回転画像データを用いた実験において、学習済みネットワークの推定ゲージ角度は、RSM の非対角要素（ピアソンの $r = 0.76$）および異なる実行間の類似性（ゲージの差が増加するにつれて CKA 類似度が低下し、$r = -0.91$）を強く予測しますが、再構成損失はゲージと相関しません。

意義と主張
本論文は、刺激対称性が存在する場合、RSM ベースの指標を用いて非線形神経コードを比較することにおける決定的な限界を浮き彫りにしていると主張しています。具体的には：

• 誤解のリスク: 研究者は、解空間内で異なる「ゲージ」を占有しているという理由だけで、機能的に同等な表現を異なったものと誤って識別する可能性があります。
• ドリフトのメカニズム: この研究は、脳と人工ネットワークの両方で観察される「表現ドリフト」のメカニズムを提供します。これは、内部対称性に基づく以前の説明とは異なり、ここでは外因的な刺激対称性と、一意の好ましい基底の欠如によってドリフトが駆動されます。
• 現在の指標の限界: CKA や RSM などの標準的な指標は、ネットワークが明示的に共変性を持つように制約されていない限り（ほとんどの標準的なネットワークはそうではありません）、データ対称性に対して不変ではありません。
• 将来の方向性: 著者らは、対称性の存在下で表現を確実に比較するためには、特定の刺激対称性に対して不変な新しい指標が必要であると提案しています。そのような手法には、刺激分布の知識や内在的データ多様体上のプルバック指標の使用が必要になる可能性が高いと指摘していますが、強い事前分布なしにゲージ不変性を考慮することは依然として未解決の課題であると認めています。

本論文は控えめに結論付けており、多様体タイル配置コードが扱いやすいテストケースとして機能したが、この現象の他の非線形コードへの一般化が期待されると述べています。なぜなら、ほとんどの表現は直交共変性を持つように制約されていないからです。