💬 NLP

A Gauge Theory of Superposition: Toward a Sheaf-Theoretic Atlas of Neural Representations

この論文は、大規模言語モデルにおける超位置現象を、単一のグローバル辞書ではなく局所的な意味チャートの層（シーフ）理論的アトラスとして定式化し、局所ジャミング、代理せん断、非自明なホロノミーという 3 つの解釈可能性への障壁を同定し、Llama-3.2-3B などのモデルを用いてこれらの理論的枠組みと測定可能な境界を実証的に検証したものである。

原著者： Hossein Javidnia

公開日 2026-03-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hossein Javidnia

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「巨大な AI（大規模言語モデル）が、なぜ一度に複数の意味を同時に理解できるのか、そしてなぜその理解が文脈によって揺らぐのか」**という謎を解き明かすための新しい地図の描き方を提案しています。

従来の考え方は、「AI の頭の中には、世界を説明するたった一つの完璧な辞書がある」というものでした。しかし、この論文はそれを否定し、**「AI の頭の中は、複数の小さな地図（アトラス）が貼り合わされた、複雑な世界」**だと説いています。

以下に、難しい数式を一切使わず、日常の比喩を使って解説します。

1. 従来の考え方 vs 新しい考え方

古い考え方（単一の辞書）：
AI の脳内には「世界地図」が一枚だけあり、どの場所に行っても同じルールで説明できると考えられていました。
新しい考え方（地図の集まり＝アトラス）：
AI の脳内は、**「東京の地図」「ニューヨークの地図」「料理の地図」**など、文脈ごとに異なる「小さな地図（チャート）」の集まりです。
- 日常会話の時は「日常地図」を使います。
- プログラミングの時は「コード地図」を使います。
- これらの地図は、それぞれ独自のルール（特徴）を持っていますが、「境界線」でつなげようとしたとき、ズレや矛盾が生じることがあります。

この論文は、その**「ズレ」や「矛盾」を数値で測る新しい道具**を開発しました。

2. 3 つの「地図のトラブル」

AI が文脈によって意味を混同してしまう（超位置重なり：Superposition）現象を、この新しい地図の視点で見ると、3 つの異なる「トラブル」に分類できます。

① 渋滞（Jamming / ローカル・ジャミング）

比喩： 小さな公園（地図の一枚）に、収容人数以上の人が押し寄せている状態。
説明： 一つの文脈（例えば「プログラミング」）の中で、AI が扱おうとしている概念が多すぎて、脳の容量（帯域幅）を超えてしまいます。
結果： 概念同士がぶつかり合い、意味が曖昧になったり、誤って解釈されたりします。「混雑による事故」です。

② 地図のズレ（Proxy Shearing / プロキシ・シアリング）

比喩： 「東京地図」と「大阪地図」を貼り合わせようとしたとき、「東京の『駅』」と「大阪の『駅』」が、実は同じ場所を指していないことに気づく瞬間。
説明： 異なる文脈（例えば「日常会話」と「法律用語」）の間を移動する際、AI が「同じ言葉」を指し示すつもりでも、実はその意味や位置が微妙にズレてしまっている状態です。
結果： 文脈が変わると、同じ言葉が突然違う意味を持ってしまう「翻訳ミス」のような現象が起きます。

③ 輪っかの矛盾（Holonomy / ホロノミー）

比喩： 地球儀を一周して出発点に戻ってきたとき、「北」の方向が、出発したときと微妙に違っていたという現象。
説明： AI が「A→B→C→A」というルートをたどって文脈を移動したとき、最終的に元の場所に戻っても、元の意味と完全に一致しないことがあります。
結果： 「文脈を一周すると、意味が少し変わってしまう」という、AI 特有の「道順依存」の現象です。これは、AI の理解が「一貫した世界」ではなく、複雑に絡み合った「曲がった空間」であることを示しています。

3. この研究のすごいところ

著者は、Llama 3.2 という最新の AI モデルを使って、この「3 つのトラブル」が実際に起きていることを証明しました。

数値化できる： 「どれくらい混雑しているか」「どれくらい地図がズレているか」「どれくらいループすると意味が変わるか」を、すべて数字で測れるようにしました。
再現性がある： 異なる AI モデル（Qwen や Gemma など）や、異なる層（脳の深さ）でも、同じような現象が観測されました。
ランダムな地図では起きない： 学習された「意味のある地図」を使わず、ランダムな地図を使ってみると、これらのトラブルは消えてしまいます。つまり、**「これは AI が学習した本質的な構造である」**ことが証明されました。

4. なぜこれが重要なのか？

これまでは、「AI がなぜ間違うのか？」というと、「たまたまバグがあるから」や「データが足りないから」という漠然とした理由で片付けられがちでした。

しかし、この研究は**「AI の理解は、最初から『一枚の完璧な地図』にはなり得ない」**と示しています。

文脈が変われば、地図も変わる。
地図同士を繋ぐと、必ず「ズレ」や「矛盾」が生まれる。

これは、AI の「ブラックボックス」を、**「複数の地図が貼り合わされた、少し歪んだ世界」**として理解できることを意味します。これにより、AI がいつ、なぜ、どのような文脈で誤解を生むのかを、より正確に予測し、安全に使えるようになる可能性があります。

まとめ

この論文は、**「AI の頭の中は、一枚の地図ではなく、複数の地図がぎゅっと詰め込まれたアルバムのようなもの」だと教えてくれます。そして、そのアルバムをひっくり返すたびに、ページとページのつなぎ目に「渋滞」「ズレ」「ループの矛盾」**という 3 つのトラブルが潜んでいることを、新しい数学的な道具で発見し、可視化しました。

これは、AI の「なぜ？」という謎を解くための、非常に実用的で新しい「地図の描き方」なのです。

1. 問題設定：従来の解釈可能性の限界

従来のメカニスト的解釈可能性（Mechanistic Interpretability）は、モデルの特定の層が単一のグローバルな特徴辞書によって一貫して記述できると仮定する傾向がありました。しかし、近年の研究（Elhage et al., 2022; Bricken et al., 2023 など）は、モデルが環境次元よりも多い特徴を「重ね合わせ」して表現しており、文脈によって特徴の同一性が変化し、干渉（interference）が生じることを示しています。

この論文は、**「グローバルな解釈可能性がなぜ失敗するのか」**という問いに対し、それを「局所的な整合性はあるが、全体として結合できない（glue できない）ことによる構造的な障害」として捉え直します。

2. 手法：ゲージ理論と層（Sheaf）理論に基づくアトラス

著者は、文脈をクラスタリングし、各クラスタに局所特徴空間を割り当てる**「層化された文脈複体（Stratified Context Complex）」**を構築します。

局所チャート（Local Charts）: 各文脈クラスタに対して、PCA 基底やスパースコーディング辞書などの局所特徴空間を定義します。
部分輸送（Partial Transports）: 隣接するチャート間の遷移を、線形写像（輸送）としてモデル化します。
情報幾何学とフィッシャー計量: 各チャート内で、モデルの次トークン負対数尤度に基づき、フィッシャー情報行列（または Gauss-Newton 行列）を計算し、どの特徴相互作用が予測的に重要かを重み付けします。
ゲージ構造とホロノミー: 輸送の整合性をゲージ理論の観点から分析します。ループを一周した際の輸送の不一致（ホロノミー）を計算可能にするための**「スパンニングツリーゲージ」**を構築します。

3. 主要な貢献と理論的結果

この枠組みは、グローバルな解釈可能性の失敗を以下の3 つの幾何学的障害に分解し、それぞれについて理論的証明と実証的検証を行っています。

(O1) 局所的ジャミング（Local Jamming）

定義: 局所チャート内のアクティブな特徴の負荷が、フィッシャー帯域幅（有効ランク）を超えている状態。
結果 C: 重要な原子（consequential atoms）のサブセットに対して、干渉エネルギーの**非自明な下限（certified lower bound）**を証明しました。これは、特定のチャートにおいて干渉が避けられないことを数学的に保証します。

(O2) プロキシせん断（Proxy Shearing）

定義: 幾何学的に導出された輸送と、固定された対応関係プロキシ（Procrustes 法など）との間の不一致。
結果 B: せん断スコア（ $D_{shear}$ ）が、実際のデータ転送ミスマッチエネルギーの下限となることを証明しました。つまり、大きなせん断は、固定された対応関係では避けられない誤差を意味します。

(O3) 非自明なホロノミー（Nontrivial Holonomy）

定義: 文脈グラフ上のループを一周した際、輸送が恒等写像に戻らない現象（経路依存性）。
結果 A: スパンニングツリーゲージ定理を証明しました。これにより、スパンニングツリー上でゲージを固定した後、残る「コード（chord）」の誤差が、その基本ループのホロノミーに等しくなることが示されました。これにより、ホロノミーは抽象的なループ統計量ではなく、計算可能でゲージ不変な量として実用的に評価可能になりました。

4. 実験結果

Llama 3.2 3B Instruct をベースラインとし、WikiText-103、C4、The Stack などのデータセットで実験を行いました。

結果 A（ゲージ恒等式）: スパンニングツリー上の残差が数値的にゼロになり、コード残差がホロノミーと一致することを確認しました。
結果 B（せん断の検証）: せん断スコアと実際の転送ミスマッチエネルギーの間に強い正の相関があり、理論的下限が実データで満たされていることを確認しました。
結果 C（認証された干渉）: 多数のランダムシードとハイパーパラメータ設定において、干渉の下限がゼロより大きく（非自明）、違反がゼロであることを確認しました。
結果 D（安定性）: ブートストラップ法やサンプルサイズ変化による評価で、 $D_{shear}$ や $D_{hol}$ が安定しており、特に条件付き（well-conditioned）なサブシステムで収束することが示されました。

さらに、Appendix には以下の拡張実験が含まれています：

モデル一般化: Qwen 2.5 や Gemma 2 などの異なるモデルファミリーでも同様の結果が得られること。
層ごとの変化: モデルの深さ（レイヤー）によってホロノミーやせん断が非単調に変化すること。
ロバスト性: ランダム基底のヌルコントロール、グラフ構築パラメータ、正則化パラメータの変更に対して結果が頑健であることを確認。

5. 意義とインパクト

方法論的転換: 解釈可能性を「グローバル辞書の発見」から「局所から全体への構成問題（アトラス構築）」へと転換させました。
定量的診断: 文脈依存性を定性的な注記ではなく、**「ジャミング（過負荷）」「せん断（チャート間の不一致）」「ホロノミー（経路依存性）」**という 3 つの計算可能で検証可能な指標に分解しました。
再現性と普遍性: 単一のモデルチェックポイントや設定に依存せず、異なるモデルやレイヤー、データセットで構造的な性質として観測されることを実証しました。

結論

この論文は、LLM の内部表現における重ね合わせと干渉を、微分幾何学とトポロジー（ゲージ理論・層理論）の枠組みで厳密に定式化し、グローバルな解釈可能性がなぜ、そしてどのように失敗するかを定量的に診断する新しい手法を提供しています。これは、モデルの安全性評価や、より頑健な解釈可能性ツールの開発に向けた重要な基盤となります。