🤖 machine learning

Trajectory Geometry of Transformer Representations Across Layers

本論文は、トランスフォーマーの表現を層を横断する離散的な軌跡として特徴付ける、プローブを用いない幾何学的メカニズム解釈性の枠組みを導入し、曲率、収束、および分岐がいかにして多様なモデルファミリーにわたる計算複雑性、意味的類似性、および曖昧性を符号化しているかを明らかにする、普遍的な三相ダイナミクスを提示する。

原著者： Vishal Pandey, Gopal Singh

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Vishal Pandey, Gopal Singh

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

Transformer AI（チャットボットを動かしているようなもの）を、テキストを答えへと魔法のように変えるブラックボックスとしてではなく、広大で目に見えない風景の中を歩くハイカーとして想像してみてください。

この論文は、そのハイカーを観察するための新しい方法を提案しています。多くの研究者が行っているように、一歩ごとに立ち止まって「今、具体的にどの単語を考えているのですか？」と問いかけるのではなく、著者たちはハイカーがトレイルの始点から終点まで辿る経路全体をマッピングすることに決めました。彼らはこの経路を「軌跡（trajectory）」と呼んでいます。

彼らが発見した、その経路の形状についての知見を、簡単な比喩を用いて説明します。

1. 「磁石」の効果（意味的収束）

比喩： 「犬」に関する3つの異なる文章（3つの異なる色のボールを表す）を、漏斗（じょうご）の中に落としたと想像してください。上部では、それらは互いに離れています。しかし、落ちていくにつれて、中央に向かって引き寄せられ、底の方で一つの固まった塊になります。
発見： 研究者たちは、AIが似た意味を持つ文章を処理する際、内部の「経路」は最初は離れた場所にありますが、ネットワークの中盤から後半にかけて、中心にある同じ地点へと徐々に曲線を描いて集まっていくことを発見しました。彼らはこれらの地点を「アトラクター（引き込み点）」と呼んでいます。まるでAIには、思考が深まるにつれて似たアイデアを引き寄せる「磁石」が組み込まれているかのようです。

2. 「曲がりくねった道」対「直線」（曲率）

比喩： 2人のドライバーを想像してください。

ドライバーAは、単に車の色を変えているだけです（例：「猫」対「犬」）。彼は完璧に真っ直ぐで退屈な道を走ります。
ドライバーBは、複雑なパズルや数学の問題を解いています。彼は急カーブを曲がり、激しくハンドルを切り、曲がりくねった道を進まなければなりません。
発見： 論文によると、「曲がりくねった道（高い曲率）」は、AIが高度な推論や類推を行っているときに発生します。「直線（低い曲率）」は、AIが表面的な言葉の変化を行っているときに起こります。経路の「曲がり具合」は、AIがいかに深く考えているかを直接示す指標となります。

3. 「分かれ道」（曖昧さの解消）

比喩： ハイカーが分かれ道に立っているところを想像してください。最初は、どちらに進むべきか分からず、ただ分かれ道の根元に立っています。数歩進むうちに、ハイカーはゆっくりと左の道へと決心を変えていき、「左の道」と「右の道」の距離はどんどん広がっていき、最終的には数マイルも離れた場所になります。
発見： AIが二つの意味を持つ単語（例：川の「堤防（bank）」と、お金の「銀行（bank）」）に遭遇したとき、二つの可能性は全く同じ地点からスタートします。しかし、AIが文章を処理していくにつれて、経路は分岐していきます。ネットワークの20〜25%ほど経過したところで、経路は明確に分離し始め、最後までには完全に別々のものになります。AIは瞬時に決断を下すのではなく、経路を移動しながらゆっくりと一つの意味へとコミットしていくのです。

4. 旅の3つのステージ（3フェーズ構造）

比例： この旅はランダムではありません。どのAIモデルを使用しても、常に3つの明確な章で構成されています。

第1章：地図（エンコーディング）： ハイカーは地形を見て、自分がどこにいるのかを把握します。経路は素早く方向を変えます。
第2章：トレッキング（精緻化）： ハイカーは森の中を着実に歩みます。ここで「磁石」の効果や、難問における「曲がりくねった道」が発生します。経路は安定していますが、重要な処理が行われています。
第3章：目的地（出力準備）： ハイカーはゴールが見え、足を止める準備をするために歩幅を調整します。経路は、最終的な答えを出すための準備として、最後にもう一度方向を変えます。

これが真実であると、どうやって証明したのか

著者たちは単に推測したわけではありません。彼らは、存在しないものを見ているのではないことを確認するために、「対照実験」を行いました。

もしレイヤーの順序を入れ替えた場合（本の章をシャッフルするように）、パターンは消失しました。
もし訓練されていないランダムな重みを持つモデル（地図を持たないハイカーのようなもの）を使用した場合、パターンは消えました。
もし単語にランダムに意味を割り当てた場合、「磁石」の効果は失われました。

結論

この論文は、AIの「経路の幾何学（ジオメトリ）」を見ることで、AIがどのように考えているかを理解できると主張しています。私たちは、ステップごとに立ち止まってAIに何を考えているのかを尋ねる必要はありません。代わりに、その経路の形を見るだけでよいのです。

直線＝簡単なタスク
曲がりくねった道 ＝高度な思考
集まる経路 ＝似たアイデアの結合
分かれる経路 ＝意味の選択

これは、追加のツールを導入したり、AIに説明を求めたりすることなく、知能の「流れ」を観察することを可能にする、新しいレンズなのです。

技術要約：Transformerの表現における層間の軌跡幾何学

問題提起

現在のTransformerモデルのメカニスティック・インタープリタビリティ（機械論的解釈可能性）は、主に2つの領域で運用されている。一つは特定の計算回路（例：インダクション・ヘッド、MLP層）を追跡する手法であり、もう一つは、事前定義された言語的特徴に対して層ごとの埋め込みをプロービングする手法である。両方のパラダイムは、ネットワークの層を独立したスナップショットとして扱っており、ネットワークの深さに対して表現がどのように進化するかという連続的な幾何学的構造を軽視している。本論文は、単に静的な時点において「何を」エンコードしているかではなく、Transformerの表現が層を越えて「どのように」進化するかという未解決の問題に取り組むものである。

手法

著者らは、Transformerのフォワードパスを、高次元表現多様体（ $\mathbb{R}^d$ ）における離散的な集団軌跡として再定義する。計算神経科学における集団軌跡分析に着想を得て、本研究では投影によるアーティファクトを避けるために、次元削減を行わず、全アンビエント空間（本来の空間）で完全に計算を行う。

コア・フレームワーク

軌跡の抽出: 入力シーケンスに対し、すべての層 $l$ （入力埋め込み $h^{(0)}$ から最終出力 $h^{(L)}$ まで）から隠れ状態を抽出する。シーケンスレベルの表現は、パディングを除いたトークンの平均プーリングによって取得される。
幾何学的指標: $\mathbb{R}^d$ $R^{d}$ 内で直接定義される5つの指標：
- 軌跡長 ( $L$ ): 層を越えた全ユークリッド変位。
- 曲率 ( $\kappa$ ): 連続する変位ベクトルの回転角。平均曲率 ( $\bar{\kappa}$ ) は非線形性を測定する。
- 意味的収束指数 (CI): 無関係なプロンプトと比較した、意味的に関連するプロンプトの圧縮度（ $D_{between} - D_{within}$ ）。
- 層間コサイン類似度 (SIM): 隣接する層間の角度類似度を用い、フェーズ遷移を検出する。
- 表現の安定性: 表層形式の抽象化を測定するため、プロンプトとその語彙的摂動との類似度を測定する。
実験設計:
- モデル: 3つのデコーダーのみのファミリー（GPT-2 Small, TinyLlama-1.1B, Qwen2.5-1.5B）。
- プロンプト: 5つのカテゴリ（意味的カテゴリ、語彙的変異、類推推論、多段階推論、曖昧な概念）にわたる150個の意味的に制御されたプロンプト。
- コントロール（対照実験）: 学習された計算と幾何学的アーティファクトを区別するため、4つの厳格なコントロール（ランダムラベル、ランダム埋め込み、層の順序シャッフル、複数の投影手法）を実施。

主要な貢献

本論文は、プローブを必要とせず、モデルに依存しない「軌跡幾何学的フレームワーク」を導入する。著者らは、分類器や微調整を必要とせずに表現のダイナミクスを特徴付ける5つの高次元指標を定義した。また、あらゆる因果的言語モデルに対してこの分析を可能にするオープンソースのパイプラインを公開する。

主要な結果

3つのアーキテクチャすべてにおいて、コントロール実験によって検証された結果、以下の4つの主要な知見が得られた。

アトラクター・ベイスンへの意味的収束: 意味的に関連するプロンプトは、中間から後半の層にかけて統計的に有意な収束を示す。収束指数は、初期層のほぼゼロに近い状態から、後半の層で 0.41–0.58 というピーク値へと急激に上昇する（ $p < 0.001$ ）。この効果はランダムラベルのコントロール下では消失するため、学習された意味によって駆動されるアトラクターのようなダイナミクスであることが示唆される。
複雑さの読み出しとしての曲率: 推論および類推タスクは、語彙的変異よりも有意に高い平均曲率を持つ軌跡を生み出す。
- 推論（多段階/類推）: 0.71–0.83 rad。
- 語彙的変異: 0.27–0.31 rad。
- この差はモデル間で一貫しており（ $p < 0.001$ ）、平均曲率が計算の複雑さをエンコードしていることを示唆している。曲率のピークは「計算的変曲ゾーン」（ネットワークの深さの約20–45%）で発生し、これは既知のインダクション・ヘッドやMLPのリトリーバル層と一致する。
分岐による曖昧さの解消: 曖昧なトークン（例：異なる文脈における "bank"）は、測定可能な軌跡の分岐を示す。異なる文脈の表現は、レイヤー0ではほぼ同一であるが、層が進むにつれて徐々に分離し、最終層までに 5.6倍の分離比 に達する。この分岐の開始は、全アーキテクチャ共通で ネットワークの深さの約20–25% であり、即時的な解決ではなく、漸進的な曖昧さ解消のためのユニバーサルなスケジュールが存在することを示している。
普遍的な3フェーズ計算構造: 層間のコサイン類似度は、すべてのモデルにおいて一貫した3フェーズ構造を明らかにする：
- フェーズI（エンコーディング）: 急激な表現の変化（低い類似度）。
- フェーズII（精緻化）: 安定した類似度。意味的収束および高い曲率と一致する。
- フェーズIII（出力準備）: 表現が出力語彙へと再調整される際の、類似度の二次的な低下。
  この構造はランダム埋め込みのコントロール下で崩壊するため、これが訓練された計算の産物であることが確認される。

意義と主張

本論文は、Transformerのフォワードパスは任意の状態のシーケンスではなく、幾何学的に構造化されたフロー であると主張する。本研究の意義は以下の点にある：

プローブフリーの解釈可能性: 特徴を事前に指定したり分類器を訓練したりすることなく、モデルの挙能を分析するレンズを提供すること。
動的システムへの架け橋: 計算神経科学の概念（多様体、アトラクター、曲率）をディープラーニングに結びつけ、表現がどのように進化するかについての統一的な視点を提供すること。
実用的な洞察: 曖昧さの解消やステアリング（制御）のための介入は、任意の層ではなく、特定の軌跡フェーズ（例：分岐の開始前）を対象にすべきであることを示唆している。
普遍性: スケール、アーキテクチャ、訓練コーパスが異なるモデル間でもこれらの幾何学的パターンが一貫していることは、軌跡の幾何学が言語自体の構造によって駆動されている可能性を示唆している。

著者らは因果関係については慎重な姿勢を保っており、幾何学的構造は意味的・計算的特性と相関しているものの、本論文は相関関係を確立したものであり、因果関係を証明したものではないと述べている。彼らは、アクティベーション・パッチングによる因果的検証が次のステップであると特定している。