The Importance of Phase in Neural Representations: An Internal Oppenheim-Lim Test of Image Classifiers

技術要約：ニューラル表現における位相の重要性

問題提起
自然画像は、そのフーリエ表現において根本的な非対称性を示している。すなわち、位相スペクトルはエッジ、輪郭、空間配置（アイデンティティ）を符号化する一方で、振幅スペクトルは内容に依存しないエネルギープロファイル（コンテンツに無関係な特性）を符号化している。OppenheimとLim（1981）による古典的な研究は、位相のみから画像を再構成すると認識可能な結果が得られる一方で、振幅のみでは得られないことを示した。現代の画像分類器は、明示的なフーリエ制約なしにピクセルに対してエンドツーエンドで訓練されているが、こうした位相と振幅の非対称性が、それらの潜在表現の中に回収されているかどうかは不明なままである。先行研究では、データ拡張やドメイン適応において、位相と振幅をそれぞれ「コンテンツ」と「スタイル」として扱ってきたが、これらの手法は厳密にピクセル空間内で動作している。本論文は、訓練された画像分類器が内部的に「位相のような成分」にクラスのアイデンティティを符号化しているのか、そしてこの符号化が最終的な予測に対して因果的であるのかを問うものである。

手法
著者らは、訓練済みニューラルネットワークの隠れ層に適用される因果的介入フレームワークへと、Oppenheim–Limの実験を適応させた。コアとなる手順は以下の通りである：

1. キメラの構築： 異なるクラスの2つの画像（AとB）に対し、特定の層 $\ell$ における「キメラ」隠れ状態を構築する。この状態は、画像Aの振幅（$|h_A|$）を保持しつつ、画像Bの位相のような成分（$\phi(h_B)$）を採用する。
2. 位相の定義： 「位相」の定義は、アーキテクチャの表現空間に応じて適応する：
   • 複素ストリーム： 複素数値ネットワーク（PRISM2D）の場合、位相はチャネルごとの複素角（$h/|h|$）である。
   • 実数特徴マップ： 実数値ネットワークの場合、位相は空間グリッド上の2次元フーリエ変換（空間スペクトル位相）を通じて定義される。
   • 実数スカラー： 標準的な実数活性化関数の場合、位相は「符号（$\text{sign}(h)$）」へと退化し、あらゆるアーキテクチャに共通するユニバーサルなプローブとして機能する。
3. 介入： 構築されたキメラ状態をネットワークに注入し、フォワードパスを完了させる。予測を記録することで、モデルが「振幅のドナー（画像A）」に従うか、「位相／符号のドナー（画像B）」に従うかを判定する。
4. 評価対象モデル： 汎用性をテストするため、4つのアーキテクチャを対象とする：
   • PRISM2D： 位相保存型の活性化関数を持つ複素数値モデル。
   • GFNet-Ti： フーリエ領域でフィルタリングを行う実数値スペクトルモデル。
   • ViT-B/16： 標準的なVision Transformer。
   • ResNet-50： 標準的な畳み込みニューラルネットワーク。
5. コントロール（対照実験）： 些細な説明（例：深さによって振幅が情報を持たなくなる等）を排除するため、以下のコントロールを用いる：
   • 振幅置換： すべての画像固有の振幅をバッチ平均の振幅に置き換える。
   • 位相破壊： 振幅を維持したまま位相をランダム化する。
   • DC成分のみの入れ替え： 空間構造からグローバルな平均（DC項）を分離する。
   • 幾何学的チェック： キメラが単にドナーの状態を再構成していないことを確認するため、キメラとドナー間のコサイン類似度を測定する。

主な結果

1. 位相／符号の支配性： 全ての4つのアーキテクチャにおいて、読み出し時までに予測は位相（または符号）のドナーに従う。
   • ViT-B/16： 最初のブロックですでに符号ベースのアイデンティティ・コードにコミットしており、最終層までに約91%の確率で位相に従う。
   • PRISM2D & GFNet： 前半から中盤の深さにかけて位相への依存性を構築し、約75〜76%に達する。
   • ResNet-50： 最初はパターンが崩れているように見える（ReLUによって符号情報が除去されるため、ReLU後の符号入れ替えは効果がない）。しかし、残差ブロックの最終ReLUの「前」で介入を行うと、後半のブロックにおいて強い潜在的な符号コード（約88%）が明らかになる。これはViTと同様の傾向である。
2. 振幅の不変性： すべての画像固有の振幅情報を削除（バッチ平均の振幅に置換）しても、スペクトルモデルやViTの精度はベースライン付近に留まる。逆に、位相を破壊すると精度はほぼチャンスレベルまで崩壊する。
3. メカニズムの違い：
   • ViT はアイデンティティ・コードを早期に表現し、それを維持する。
   • スペクトルモデル は、アイデンティティを早期に位相へと集約する。
   • ResNet は、初期層における分散した空間構造から、最終的なプーリングで読み取り可能なチャネルコード（具体的にはDC項）へとアイデンティティを輸送する。「CNNとアテンションモデルにおけるテクスチャ・形状のギャップ」は、位相と振幅の二分法としてではなく、位相／符号コードが「いつ」「どの基底において」表現されるかの違いとして再定義される。

意義と主張
本論文は、多様な画像分類器がいかにして位相／符号主導のアイデンティティ・コードへと収束するかについて、統一的かつ読み出しを考慮した説明を提供すると主張している。

• 因果的証拠： データ拡張を用いた従来の学習に基づく研究とは異なり、本研究は、ネットワーク内の位相／符号操作を通じてアイデンティティを画像間で「移植」できることを示すことで、因果関係を確立した。
• テクスチャ・形状ギャップの再定義： テクスチャに偏ったCNNと形状に整合したアテンションモデルの行動的な違いは、アイデンティティ・コードのタイミングと幾何学によって説明される。CNN（ResNetなど）は、整流（ReLU）の背後に符号コードを隠し、最終的なプーリング層まで振幅に信号を依存するが、アテンションやスペクトルモデルはより早期に位相／符号へとコミットする。
• 幾何学的解釈： これらの知見は、線形分類器が特徴ベクトルの「長さ（振幅）」ではなく「角度（位相／符号）」を読み取っていることを示唆している。これは、ニューラルネットワークにおける周期的な表現や角度表現に関するメカニスティック・インタープリタビリティ（機械論的解釈可能性）の他の知見とも一致する。

限界
著者らは、範囲が視覚モデルに限定されていることを述べている。移植手法自体はモダリティに依存しないものであるが、最も明快なテストは画像においてである。また、ImageNet-100で訓練されたモデル（PRISM2D, GFNet）とImageNet-1kの重みを使用したモデル（ViT, ResNet）との間には訓練スケールの差があるが、著者らはモデル内の深さの傾向は依然として有効であると主張している。「位相」の定義はアーキテクチャによって異なる（複素角、スペクトル位相、あるいはスカラー符号）が、これらは単一の統一された量ではなく、関連するコードのファミリーを代表している。