Why Does Robustness Reduce Superposition?

技術的要約：なぜ堅牢性は重ね合わせを減少させるのか？

問題提起
正確なモデルを欺く不可視の摂動である「敵対的例（adversarial examples）」の存在は、依然として未解決の研究課題である。Ilyasら（2019）は、モデルが「非堅牢な特徴量（cleanデータ上では予測に寄与するが、摂動に対して脆弱なパターン）」に依存していることを示したが、この説明はそれらの特徴量の内部表現については説明していなかった。近年の研究（Gorton & Lewis, 2025）は、敵対的な脆弱性と重ね合わせ（superposition）（次元数よりも多くの特徴量を表現の中に詰め込む現象）を結びつけ、敵対的訓練が重ね合わせを減少させることを経験的に示した。しかし、Gorton & Lewis (2025) は、なぜ摂動に対する訓練がモデルに選択される特徴量の数を減少させるのかという、メカニズム的な説明を提供していなかった。本論文は、この欠落しているメカニズム的説明を提供することを目的とする。

手法
著者は、$n=20$の隠れ次元と$m=100$の入力特徴量からなる線形オートエンコーダ（Elhage et al., 2022; Gorton & Lewis, 2025）を用いた簡略化されたトイモデルの設定を用いている。モデルは、平均二乗誤差（MSE）損失の下で、疎な入力 $x$ を再構成するように訓練される。

1. 訓練レジーム: 本研究では、2つの訓練プロトコルを比較する：
   • 標準的訓練（Standard Training）: クリーンなデータに対する損失を最小化する。
   • 敵対的訓練（Adversarial Training）: クリーンな例と敵対的な例の混合に対する加重損失 $L_{adv} = \alpha L(x) + (1-\alpha) L(x_{adv})$ を最小化する。ここで $x_{adv}$ は、1ステップの$\ell_2$勾配攻撃によって生成される。
2. スパース性スイープ: 特徴量の密度が重ね合わせに与える影響を分離するため、一連のスパース性閾値（$S \in \{0.78, 0.80, 0.88, 0.90\}$）にわたって実験を行う。
3. 指標:
   • 重ね合わせ ($\Phi$): 次元あたりの重みの二乗フロベニウスノルム（$\|W\|_F^2 / n$）として測定。
   • 表現力 ($P$): 総二乗フロベニウスノルム（$\|W\|_F^2$）。
   • 特徴量の脱落（Feature Dropping）: 重みの列ノルム $\|W_{:,i}\|_2$ が閾値 $\tau = 0.01$ を下回る場合、その特徴量を「脱落した」と分類する。
   • 干渉（Interference）: グラム行列 $G = WW^\top$ の非対角要素を用いて計算され、特徴方向間の非直交性の度合いを測定する。
4. 合成グラウンドトゥルース: 脱落した特徴量と堅牢性の関係を明示的にテストするため、著者は、Ilyasら（2019）およびLi & Li (2025) の分類に基づき、特徴量が事前にラベル付けされた（堅牢な特徴量：高振幅 $a_r=6.0$、非堅牢な特徴量：低振幅 $a_{nr}=0.2$）合成データセットを構築する。

主な貢献と結果

1. 敵対的訓練による特徴量数の減少:
   本研究は、敵対的に訓練されたモデルが、スパース性スイープ全体を通じて、標準的に訓練されたモデルよりも一貫して低い重ね合わせと表現力を示すことを確認した。この減少は、敵対的に訓練されたモデルが、標準的なモデルよりも大幅に多くの特徴量を脱落させているという事実に起因している。

2. 脱落した特徴量の幾何学的コスト:
   敵対的に訓練されたモデルによって脱落した特徴量は、ランダムなものではない。それらは最も「コストの高い」干渉幾何学を持つ特徴量である。

   • 脱落した特徴量は、保持された特徴量と比較して、平均総干渉が高い（または干渉が負に大きくない）。
   • 保持された特徴量は、干渉値 $\approx -1$ の近くにクラスター化しており、これは特徴間の相互活性化や偽の再構成を最小限に抑える対蹠方向（antipodal directions）に対応している。
   • このことは、敵対的訓練が、有害な干渉を引き起こす特徴量を排除し、直交性（または反直交性）を最大化する構成を優先するようにモデルを強制していることを示唆している。

3. 非堅牢な特徴量への直接的なリンク:
   既知のグラウンドトゥルース分割を持つ合成データセットを用いることで、著者は精密な対応関係を示した。すなわち、敵対的に訓練されたモデルによって脱落した特徴量は、データ生成プロセスで定義された非堅牢な特徴量の集合と一致する。

   • 標準的なモデルがすべての特徴量を保持しているスパース性レベルであっても、敵対的に訓練されたモデルは一貫して非堅牢な特徴量の全集合（$|N|=70$）を脱落させる。
   • この挙動はスパース性レベルに依存しないため、モデルが敵対的目的関数を最小化するために、非堅像な特徴量を明示的にターゲットにしていることが示唆される。

メカニズム的説明
本論文は、重ね合わせの減少を説明する因果鎖を提案している：

1. 敵対的訓練による非堅牢な特徴量の放棄: 非堅牢な特徴量は摂動に対して非常に敏感であり、攻撃下でその値が反転するため、再構成損失（$L_{adv}$）を直接的に増大させる。
2. 表現すべき総特徴量の減少: 敵対的損失を最小化するために、モデルはこれらの高コストな非堅牢な特徴量を完全に破棄することを学習する。
3. 重ね合わせの減少: 同一の固定次元空間において表現すべき特徴量の総数が減少するため、次元あたりの特徴量の密度が低下し、結果として重ね合わせが減少する。

意義と限界
本論文は、なぜ敵対的訓練が重ね合わせを減少させるのかについて、初の経験的かつメカニズム的な説明を提供したと主張しており、Ilyasら（2019）の特徴量分類とGorton & Lewis (2025) によって観察された表現幾何学の間の溝を埋めるものである。これらの知見は、堅牢性が単に重みを調整することによってではなく、非堅牢で干渉を引き起こしやすい成分を排除するために、特徴セットを根本的に削減することによって達成されることを示唆している。

著者は、これらの結果が再構成損失を最適化するトイモデルの設定に制約されていることを述べている。メカニズム的解釈可能性ツール（例：Sparse Autoencoders）を用いて実世界のモデルでこの理論を検証することが、次の必要なステップであると特定している。本論文は、敵対的堅牢性の広範な問題を解決することを主張するのではなく、むしろ、堅牢な訓練がもたらす内部表現の結果を明確にすることを目的としている。