Gauge Freedom and Metric Dependence in Neural Representation Spaces

この論文は、ニューラルネットワークの表現空間における線形変換によるゲージ自由度を明らかにし、これによりモデルの出力は不変ながらコサイン類似度などの一般的な類似度指標が座標系に依存して不安定になることを示し、表現分析においてはゲージ不変な量や明示的な標準座標系への焦点の必要性を提唱しています。

要約

この論文は、**「AI が頭の中で考えている『意味』は、実は見方（座標）によって大きく変わってしまう」**という、驚くべき事実を突き止めたものです。

専門用語を使わず、日常の例え話を使って解説しましょう。

1. 核心となるアイデア：「地図とコンパスの罠」

AI（ニューラルネットワーク）は、入力された情報（画像や言葉など）を、高次元の「ベクトル（矢印）」という形に変換して処理しています。研究者たちは、このベクトル同士がどれだけ似ているかを測るために、**「コサイン類似度（角度の近さ）」**というものをよく使います。「角度が近い＝意味が似ている」と考えるわけです。

しかし、この論文は**「その角度は、あなたが持っている『コンパス』や『地図の縮尺』によって、実は自由に書き換えられてしまう」**と指摘しています。

例え話：「料理の味」と「調味料の入れ方」

Imagine you have a delicious soup (the AI's final answer).

• AI の機能（予測）： 美味しいスープを作る。
• 隠れ層（表現）： スープを作る過程で使われる「材料の配合リスト」。

ここで、ある料理人が「塩を 1 倍、胡椒を 2 倍」の配合リストを出しました。
別の料理人が「塩を 2 倍、胡椒を 4 倍」の配合リストを出したとします。

• 結果： どちらのレシピも、最終的に同じ味のスープが作れます（AI の予測は変わらない）。
• 問題点： しかし、この 2 つのレシピを「数字の大きさ」や「比率」だけで比較すると、**「全く違うレシピだ！」**と誤解してしまいます。

AI の世界では、この「塩と胡椒の比率を変える（線形変換）」操作が、AI の中身を変えることなく、隠れ層の数字（座標）を勝手に書き換えてしまうのです。これを論文では**「ゲージ自由度（Gauge Freedom）」**と呼んでいます。

2. 何が起きるのか？「コサイン類似度」の嘘

多くの研究者は、「ベクトルの角度（コサイン類似度）」を見て、「この 2 つの言葉は意味が近い」と判断します。でも、この論文の実験では以下のようなことが起こりました。

• 実験： AI の内部で、数字の書き換え（変換）を施し、その分だけ最後の計算を補正して、「答え（予測）」を全く同じにした。
• 結果：
  • AI の答えは 100% 変わらない。
  • しかし、「ベクトル同士の角度」は大きく変わってしまった。
  • 「一番近い言葉（近隣検索）」が、変換前と変換後で3 割も変わってしまった。

**「意味は同じなのに、似ているかどうかの判断基準（角度）が、見る人（座標系）によってバラバラになる」**というのが、この論文が示した衝撃的な事実です。

3. 具体的な例え：「歪んだ鏡」

AI の内部表現を、**「歪んだ鏡」**に例えてみましょう。

• 元の状態： 鏡に映った自分の顔（AI の表現）を見ている。
• ゲージ変換： 鏡を「横に引き伸ばす」または「縦に圧縮する」操作をする。
• 結果：
  • 鏡の中のあなたは、「誰か」であること（意味）は変わらない。
  • でも、「鼻と口の距離」や「顔の角度」は大きく歪んで見える。

これまで、研究者たちはこの「歪んだ鏡」に映った角度をそのまま信じて、「この顔はあの顔に似ている」と分析していました。でも、鏡の歪み方（座標の選び方）を変えれば、似ているはずの顔が遠く見えたり、似ていないはずの顔が近づいて見えたりするのです。

4. 解決策：「白くする（Whitening）」という魔法

では、どうすれば正しい分析ができるのでしょうか？論文は 2 つの提案をしています。

1. 変換に強い指標を使う：
   角度や距離に依存しない、より本質的な比較方法（SVCCA や CKA といった手法）を使う。
2. 「標準化された鏡」を使う：
   鏡の歪みを元に戻す魔法をかけます。これを**「ホワイトニング（Whitening）」**と呼びます。
   • 具体的には、AI の内部データが偏っている方向（例えば、ある特徴だけが極端に大きい）を均一に整え、**「どの方向も平等に見える状態」**にします。
   • これにより、誰が見ても同じ角度が見える「共通の基準（標準的な座標系）」が作られます。

5. まとめ：なぜこれが重要なのか？

これまでの AI 研究では、「ベクトル同士の角度」を見て「意味の類似性」を語ることが当たり前でした。しかし、この論文は**「その角度は、AI の設計図（座標）の選び方次第で、いくらでも書き換えられてしまう」**と警告しています。

• これまでの常識： 「角度が近い＝意味が近い」。
• 新しい視点： 「角度は、見る人（座標）によって変わる。だから、角度だけで『意味』を語るのは危険だ」。

結論：
AI の「思考」を理解しようとするとき、私たちは**「鏡の歪み（座標の選び方）」を無視してはいけません**。
「答え（予測）」が変わらないなら、その内部の数字の並び方は自由に変えられてしまいます。したがって、AI の意味を理解するには、**「歪みをなくした標準的な鏡（ホワイトニング）」を通して見るか、「歪みに影響されない本質的な指標」**を使う必要があります。

これは、AI の「思考の地図」を描く際、「どのコンパスを使うか」を明確にしないと、地図そのものが嘘になってしまうという、非常に重要な教訓を与えてくれます。

技術概要

論文要約：神経表現空間におけるゲージ自由度と計量依存性

タイトル: Gauge Freedom and Metric Dependence in Neural Representation Spaces
著者: Jericho Cain (Portland Community College)
日付: 2026 年 3 月 10 日

1. 背景と問題提起

現代のニューラルネットワークは、入力を高次元のベクトル表現（埋め込み、隠れ状態、潜在変数など）に変換して動作します。これらの表現空間の幾何学的構造を分析することは、モデルの解釈性や機能理解において一般的に行われています。特に、コサイン類似度（Cosine Similarity）やユークリッド距離を用いた類似性評価、主成分分析、クラスタリングなどが広く用いられています。

しかし、本論文は以下の重要な仮定に疑問を投げかけています。

• 問題点: 表現ベクトルの座標は、内在的な幾何学的意味を持つと仮定されがちですが、実際には一意に定義されていません。
• 核心: 隠れ表現 $h(x)$ に可逆な線形変換 $D$ を適用し、下流の重み $W$ を $W D^{-1}$ に調整すれば、ネットワーク全体の入力 - 出力関数 $Wh(x)$ は変化しません。
• 結論: 表現空間は、一般線形群 $GL(d)$ の作用に対して定義される「ゲージ自由度（Gauge Freedom）」を持っています。したがって、座標系に依存する幾何学的量（コサイン類似度など）は、モデルの機能が変わらないにもかかわらず、変換によって大きく変化し得ます。

2. 手法と理論的枠組み

2.1 ゲージ自由度の定式化

論文は、表現空間を $GL(d)$ によるゲージ対称性を持つベクトル空間として再定義します。

• ゲージ変換: 隠れ表現 $h(x)$ を $\tilde{h}(x) = Dh(x)$ と変換し、下流重みを $\tilde{W} = WD^{-1}$ とする。
• 不変性: $\tilde{W}\tilde{h}(x) = Wh(x)$ となり、ネットワークの予測機能は完全に保存されます。
• 計量依存性: この変換により、内積空間の計量構造が変化します。コサイン類似度は、変換後の空間では $G = D^\top D$ という新しい計量テンソル下で定義されるため、元の座標系での値とは異なります。

2.2 標準的なゲージ（ホワイトニング）

論文では、表現分布の異方性（Anisotropy）を除去する「ホワイトニング」を、計量構造を固定する標準的なゲージ（Canonical Gauge）として提案しています。

• 共分散行列 $\Sigma$ に対して $D = \Sigma^{-1/2}$ を適用することで、変換後の表現分布の共分散を単位行列にします。
• これにより、コサイン類似度は「単位共分散を持つ空間における角度類似度」として解釈可能になり、座標選択に依存しない比較の基準となります。

2.3 特徴方向と部分空間

• 特徴の重なり（Superposition）: 特徴ベクトルの幾何学的関係（直交性など）もゲージ選択に依存します。
• ネットワーク間比較: 異なるネットワーク間の表現を比較する際、CCA（Canonical Correlation Analysis）や CKA（Centered Kernel Alignment）などの手法は、座標の実現に依存しない部分空間や類似構造を比較しようとする試みであり、ゲージ不変な観測量の近似と解釈できます。

3. 実験結果

著者は、MLP（多層パーセプトロン）と CNN（畳み込みニューラルネットワーク）を用いた制御実験を行い、ゲージ変換がモデル機能は維持しつつ、幾何学的構造をどのように歪めるかを実証しました。

3.1 実験設定

• 学習済みのモデルの隠れ層表現に可逆線形変換 $h' = Dh$ を適用。
• 最終層の分類器を $W' = WD^{-1}$ に修正して予測を保存。
• 変換の強さを条件数 $\kappa = \sigma_{max}(D) / \sigma_{min}(D)$ で制御。

3.2 主要な発見

1. 機能的不変性: 変換前後で予測精度やロジットの差は数値誤差の範囲内（$10^{-5}$ 程度）で完全に一致しました。
2. コサイン類似度の劇的変化:
   • Digits データセット: 平均コサイン類似度の変化は $0.13$ 程度でした。
   • CIFAR-10: 平均変化は $0.05$ 程度でしたが、依然として有意なシフトが見られました。
   • 条件数の影響: 条件数 $\kappa$ が増大するにつれて、コサイン類似度の歪みは増大しました（$\kappa=20$ で平均変化 $\approx 0.08$）。
3. 最近傍構造の不安定性:
   • コサイン類似度に基づく最近傍検索（k=10）において、変換前後で約 28%（Digits）から 37%（CIFAR-10, $\kappa=20$）の nearest neighbor が入れ替わりました。
   • モデルの予測が全く同じであるにもかかわらず、表現空間内の「近さ」の構造が大幅に書き換えられました。
4. ホワイトニングの効果: 共分散行列を単位行列にすることで、表現分布の二次元的な異方性を除去し、一貫した計量基準を提供することが確認されました。

4. 主要な貢献

1. 理論的枠組みの提示: 神経表現空間を「ゲージ自由度を持つ幾何学的対象」として再定義し、コサイン類似度などの一般的な指標が「ゲージ依存量（Gauge-dependent quantity）」であることを明確にしました。
2. 既存現象の統一的理解:
   • 埋め込み空間におけるコサイン類似度の不安定性。
   • 表現空間の異方性（Anisotropy）の問題。
   • SVCCA や CKA などの比較手法がなぜ有効なのか（ゲージ不変性を追求しているため）。
     これらを単一のゲージ理論の観点から説明しました。
3. 実証的証拠: 予測を一切変えずに、表現の幾何学（類似度、最近傍関係）を意図的に歪める実験を行い、既存の分析手法が座標選択に敏感であることを示しました。

5. 意義と示唆

• 解釈性の再考: コサイン類似度やユークリッド距離に基づく分析結果は、絶対的な真理ではなく、特定の座標系（ゲージ）に依存した結果である可能性があります。
• 分析手法の改善:
  • 線形変換に対して不変な量（部分空間比較など）の使用。
  • 明示的に標準的な座標系（例：ホワイトニング）を定義して分析を行うこと。
• 将来の展望: 本研究は制御された変換に焦点を当てていますが、Transformer や残差接続、正規化層を含む大規模モデルにおいて、実用的な「ゲージ」がどのように選択・決定されるか、および非線形な類似度タスクへの影響は今後の課題です。

結論: ニューラル表現の幾何学を分析する際、モデルの機能そのものと、その表現を実現する座標系の選択を明確に区別する必要があります。ゲージ自由度を意識することは、表現構造のよりクリーンで堅牢な解釈につながります。