🤖 machine learning

Geometric and Behavioral Stratification in Transformer Residual Streams

本論文は、予測方向が、高次元計算を、狭く構造化された予測近接インターフェースと広大でスケール依存的な補完部分へと幾何学的かつ行動的に層別化する、トランスフォーマーの残差ストリームにおける特権的かつ内容定義されたアンカーであることを特定し、線形読み出しがいかに複雑な内部表現と共存しているかを明らかにしている。

原著者： Nelson Guda

公開日 2026-08-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Nelson Guda

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で超知能的なロボットの脳がどのように機能しているのかを理解しようとしていると想像してみてください。この脳は、「トランスフォーマー」と呼ばれるテクノロジーによって構築されています。これは、今日私たちが使っている多くのAIチャットボットや執筆ツールの背後にあるエンジンです。これらのロボットは人間のように考えるのではなく、高次元の「残差ストリーム（residual stream）」を通じて情報を処理します。このストリームを、ロボットの層を流れる数字の巨大で渦巻く川だと考えてください。各ステップごとに、ロボットはこの川に新しい情報を追加し、そして最後に、次にどの言葉を発するかを決定しなければなりません。

長い間、科学者たちは、もしロボットをより大きくすれば（パラメータを増やしたり、川を幅広にしたりすれば）、その言葉の決定方法は同じように、より大きく、より複雑になるのだと考えてきました。彼らは、ロボットの「意思決定」部分が、新しいスペースを埋めるように拡大すると想定していました。しかし、この新しい研究は異なる問いを投げかけています。もしロボットが、意思決定のチャンネルを狭く固定したまま、余ったスペースを全く別の目的で使用しているとしたらどうでしょうか？著者は、この川の地理をマッピングすることで、どこで「真の」思考が行われ、どこでロボットが単にメモを保管しているのかを知ろうとしています。彼らは、ロボットの内部マップがランダムに構成されているのか、それとも隠された特別なルールに従っているのかを知りたいと考えています。

論文の大きな発見：「予測アンカー」

この研究において、ネルソン・グダ（Nelson Guda）とその同僚たちは、70億パラメータの小さなものから1200億パラメータの巨大なものまで、18種類の異なるAIモデルを調査しました。彼らは、これらのモデルが内部の「川」のデータをどのように整理しているのかを調べたいと考えました。その結果、モデルはただランダムに漂っているのではなく、非常に特定の、動的なターゲットを中心に整理されていることを発見しました。それが「予測方向（prediction direction）」です。

想像してみてください。ロボットは文章の中の次の単語を推測しようとしています。そのロボットの頭の中には「ターゲット」があります。それは、その単語を指し示す脳内の特定の方向です。研究者たちは、ロボットがこのターゲットを特別なアンカー（錨）として扱っていることを見出しました。モデル内のすべてのことは、このアンカーを基準にして測定されるのです。

「狭いドア」対「巨大な倉庫」

最も驚くべき発見は、次にどの単語かを実際に決定する脳の部分が信じられないほど小さく、モデルがどれほど大きくなってもそのサイズが変わらないということです。著者はこれを「予測インターフェース（prediction interface）」と呼んでいます。

比喩： 巨大な多層階の倉庫（モデルの脳）を想像してください。その倉庫の中には、外の世界（次の単語）へと通じる、非常に小さく狭いドア（予測インターフェース）があります。
発見： 倉庫が家のサイズであっても、都市のサイズであっても、そのドアのサイズは全く変わりません。研究者たちは、この「ドア」が全脳空間のわずか4〜10次元（脳の全空間のごく一部）しか使用していないことを発見しました。
脳の残り： 脳の残りの部分――「予測遠位補完（prediction-distal complement）」――は巨大です。モデルが大きくなるにつれて、この倉庫はどんどん大きくなりますが、ドアは大きくなりません。余ったスペースは、ドアを広くするために使われるのではなく、ドアの周囲に巨大な保管エリアを構築するために使われるのです。

なぜこれが重要なのか：「信号 vs ノイズ」のゲーム

なぜロボットはこれほど小さなドアを維持するのでしょうか？論文は、信号をクリアに保つためであると示唆しています。もしドアが広く乱雑であれば、巨大な倉庫からのノイズがすべて決定事項に混ざり合ってしまうでしょう。ドアを狭く、倉庫を巨大に保つことで、ロボットは倉庫の中で複雑な計算を行うことができますが、選択を行う際には、その小さなドアを通してクリーンで明確な「信号」だけを通すことができるのです。

研究者たちは、この「倉庫」（補完部分）が実際には多くの重労働を行っていることを発見しました。たとえドアから遠く離れていても、もし倉庫内のデータの方向性をいじってしまうと、ロボットの出力は即座に狂ってしまいます。しかし、もし倉庫内のデータを（方向を変えずに）単に小さくしただけであれば、ロボットは問題ありません。これは、ロボットがデータの大きさではなく、「どこを指しているか」を重視していることを示唆しています。

「アンチ・クランピング（反集積）」の謎

ここで、研究者が発見した奇妙な展開があります。彼らが、ロボットが異なるプロンプトのグループ（例えば、数学に関する質問と歴史に関する質問）をどのようにグループ化しているかを調べたとき、彼らは「倉庫」が乱雑で無秩序であることを予想していました。しかし、代わりに彼らは、倉庫が予想とは正反対のことをしているという奇妙な事実を発見しました。

ドア（予測インターフェース）： この部分は、異なるプロンプトのグループを区別することに非常に長けています。数学の質問を歴史の質問から遠ざけます。
倉庫（補完部分）： この部分は「非識別的（anti-discriminatory）」です。実際には、同じグループのプロンプト同士をさらに遠ざけ、異なるグループのプロンプト同士をより近づける働きをします。

パーティーのようなものを想像してください。「ドア」は、IDをチェックしてVIPと一般客を分けるドアマンです。「倉庫」はダンスフロアです。ダンスフロアでは、VIPたちは混沌とした円を描いて踊っているかもしれませんが、一般客は一箇所に固まっているかもしれません。倉庫は、たとえ「ドア」が見ているものが異なっていても、最終的な結果（次の単語）が依然として意味を成すように、特別な種類のバランス調整を行っているようです。

「タスク・フレーム」対「ストーリーライン」

研究者たちはまた、脳の異なる部分を「かき混ぜた」場合に何が起こるかをテストしました。彼らは、ロボットの振る舞いにおける明確な階層構造を発見しました。

「スタンス（姿勢）」レイヤー（ドアに最も近い部分）： もし決定ドアに最も近い脳の部分をいじると、ロボットは直ちに自分が何をすべきだったのかを忘れてしまいます。物語を書くのをやめて文法の助言を始めたり、親切なアシスタントから気難しい批評家に切り替わったりします。会話の「フレーム（枠組み）」が瞬時に変わります。
「トラジェクトリー（軌跡）」レイヤー（もう少し外側）： 次のレイヤーをいじると、ロボットは同じフレーム（親切なアシスタントであること）を維持しますが、物語の「内容」が変わります。犬の話をしている代わりに猫の話をし始めるかもしれませんが、依然として物語を紡いでいます。
「ダイナミック（動的）」レイヤー（動いている部分）： 研究者たちはまた、巨大な倉庫には「静的な」部分（恒久的な足場のようなもの）と、「動的な」部分（毎秒更新される動的な封筒のようなもの）があることも発見しました。もし動的な部分を凍結させて更新させないようにすると、ロボットは即座にクラッシュします。テキストを生成し続けるためには、絶え間ない更新が必要なのです。

これが将来に何を意味するか

この論文は、AIモデルがより大きく、より賢くなるにつれて、意思決定において「幅広く」なっているのではないことを示唆しています。むしろ、その固定された小さなドアの周囲にある巨大な倉庫の中に、より複雑な計算を詰め込むのが上手くなっているのです。

これは、モデルを評価する方法を根本的に変える可能性があります。もし私たちが（ドアから出てくる）最終的な答えだけを見ているのであれば、モデルが倉庫の中で実際に行っていることの99%を見逃している可能性があります。モデルはその巨大で隠された空間の中で信じられないほど複雑な推論を行っているかもしれませんが、ドアがあまりに狭いため、私たちはそれを見ることができません。著者は、AIを真に理解するためには、ドアを見るのではなく、倉庫の中を見る必要があると示唆しています。

要約すると、この論文は、これらの巨大なAIの脳が、小さな、変化しない門を持つ要塞のように構成されていることを明らかにしています。魔法は、門の背後にある広大で隠された中庭で起きています。そこでは本当の作業が行われており、門自体は、最終的なメッセージがクリーンで明確に出力されることを保証しているだけなのです。

技術要約：Transformer残差ストリームにおける幾何学的および行動的層化

問題提起

近年の研究により、学習済みTransformerモデルは「特権基底（privileged bases）」、すなわち残差ストリームの他の部分とは統計的性質が異なる特定の座標軸を形成していることが確立されている。しかし、これらの特権的な方向の機能的な役割や幾何学的な性質は依然として不明なままである。先行研究では、これらの軸が異常な座標セットであることを特定したが、それらが具体的にどの方向を選択し、どのように高次元計算を組織化しているのかについては説明していなかった。

本論文は、現在の予測トークンのアンエンベディング（unembedding）ベクトルである**予測方向（prediction direction）**が、残差ストリームの幾何学と挙動を組織化する、コンテンツ定義の特権的なアンカーとして機能しているのではないかという問いに取り組む。

手法

著者は、あらゆる層における残師ストリームの状態（ $h$ ）を、現在の予測方向（ $\hat{u}$ ）への近接度に基づいて4つの厳密に直交する成分に分割する座標系、**PDSF（Prediction-anchored Decomposition of Subspace Features：予測アンカーによる部分空間特徴の分解）**を導入する：

P (Predictive / 予測的): 正規化された現在のargmaxトークンのアンエンディングベクトル $\hat{u}$ への $h$ のランク1射影。
D (Discriminative / 判別的): $P$ を除去した後の残差における上位 $k$ 個のPCA方向。
S (Situational / 状況的): $P$ と $D$ の両方を除去した後の残差における上位 $k$ 個のPCA方向。
F (Framework/Complement / フレームワーク・補完): 直交する残りの部分であり、残差ストリームの次元の大部分を代表するもの。

$P + D + S$ の結合領域を**予測インターフェース（prediction interface）と呼び、 $F$ は予測遠位補完（prediction-distal complement）**と呼ぶ。

実験設定:

テストベッド: 7Bから120Bパラメータに及ぶ6つのアーキテクチャファミリー（Llama, Gemma, Mistral, Mixtral, Qwen, GPT-OSS）にわたる18のTransformerモデル（ベースモデルおよび指示チューニング済みモデルの両方を含む）。
プロンプトセット: 異なるバリエーションを調査するために設計された3つの構造化セット：
- SpecA: 固定された回答を持つが、表面的な形式が異なる制約付きプロンプト（224個）。
- SpecB: 開放的な物語の継続（80個）。
- Diverse: 8つの言語レジーム（物語、コード、数学など）にわたる多様なプロンプト（84個）。
介入: 単一パスの摂動、持続的な回転スクランブリング（深さ約70%で適用されるハール測度による回転）、および振幅減衰を含む標的を絞った介入を用い、因果的役割をテストする。

主な貢献と結果

1. スケール不変な予測インターフェース

予測に近接した部分空間（ $D$ および $S$ ）の実効的な次元数は、低く、かつスケール不変である。

制約付きプロンプトにおいて、 $D$ の実効ランクは、隠れ次元（ $d_{model}$ が 2,880 から 8,192 まで）に関わらず、すべてのモデルで一貫して一桁（平均 $\approx 4$ ）である。
インターフェースの次元数は、モデルの幅ではなく、プロンプトの意味的な複雑さによって決定される。
指示チューニングは、インターフェースの内部組織化を鋭敏にする（判別性を高め、言い換えへの感受性を低下させる）が、インターフェースを広げることはない。
結論: スケーリングは、予測インターフェースではなく、予測遠位補完（ $F$ ）のサイズを増大させる。

2. 幾何学的層化：直交性と多様体複雑性

直交性: 予測方向は、残差ストリームの主分散軸に対してほぼ直交している（平均角度 $\approx 84^\circ$ – $86^\circ$ ）。高分散方向は、読み出し軸から離れた位置に配置されている。
多様体複雑性の勾配: 予測近接軸に沿って、多様体の複雑性に急峻な勾配が存在する。
- 予測近接（ $D$ ）: 高度に折り畳まれた、構造化された幾何学（高い情報密度）。
- 予測遠位（ $F$ ）: 平坦で均一な幾何学。
- この勾配は、標準的な分散順序のPCAコントロールと比較して、特に言語的に不均質なプロンプトにおいて、予測方向に対する測定において著しく急峻である。

3. 補完における反判別性

グループ間の判別が予測方向からの距離とともに減衰するという予想に反し、補完（ $F$ ）は**反判別性（anti-discrimination）**を示す。

同一の意味グループに属するプロンプトは、 $F$ 空間において、異なるグループのプロンプトよりも系統的に「遠く」配置される。
これは、 $F$ が、同様の読み出し結果を実現するために、予測近接状態の変動を補償するプロンプト固有の構成を保持していることを示唆している。

4. 方向が大きさよりも重要（薄い殻仮説）

本論文は、「残差ストリームの変動は、大きさではなく方向によって駆動される」という「薄い殻（thin-shell）」仮説を検証する。

補完（ $F$ ）の方向を回転によって破壊すると、即座に深刻な出力の分岐が生じる。
$F$ の大きさを（方向を維持したまま）減少させる（減衰させる）ことは、出力にほとんど影響を与えない。
これにより、補完が読み出しとは弱いアライメントしか持たないにもかかわらず、計算に不可欠な方向的基質として機能していることが確認された。

5. 行動的層化

持続的な回転介入により、予測近接軸に沿った行動的階層が明らかになった：

部分空間 $D$ (即時フレーミング): 破壊されると、即座に分岐し（平均初発分岐トークン $\approx 1.2$ ）、頻繁にタスクフレームのシフト（例：回答からメタコメントへの変化）を引き起こす。
部分空間 $S$ および $F$ -topK (軌跡): 破壊されると、遅延した分岐を引き起こし（ $S$ で平均初発分岐トークン $\approx 5.6$ 、 $F$ -topK で $\approx 6.5$ ）、保存されたタスクフレーム内での内容置換を引き起こす。
これは、 $D$ が応答の初期フレーミングを制御し、 $S$ および $F$ の高分散部分がその後の軌跡を制御していることを示している。

6. 補完の静的/動的分割

補完 $F$ はさらに、時間的ダイナミクスによって整理されている：

$F$ は、静的スキャフォールド（静的足場）（時間的平均）と、動的エンベロープ（動的包絡線）（トークンごとの更新）に分離される。
動的エンベロープは因果的に負荷を担う（causally load-bearing）：「古い（1ステップ遅れた）」 $F$ を注入すると、最初のトークンまでに普遍的な出力の分岐が発生する。
動的エンベロープの方向を回転させると、致命的な失敗が発生する（失敗率 92.3%）。これは、 $D$ や $S$ を回転させた際の再方向付けとは異なる現象である。

意義と主張

本論文は、予測方向が、以前に記述された座標ベースの軸とは異なる、残差ストリームの幾何学を組織化する、コンテンツ定義の特権的なアンカーであることを確立したと主張している。

アーキテクチャ上の制約: これらの知見は、線形読み出しが「信号対雑音比」の制約を課しており、モデルに、予測に関連する構造を狭いスケール不変なインターフェースに隔離させ、一方で（それに対し）直交する方向に計算基質（ $F$ ）を拡張させることを示唆している。
評価の盲点: 補完（大部分の残差ストリーム）が読み出しと弱くアライメントされているため、出力ベースの評価指標（ロジット、次トークン精度）は、モデルがスケールする際に内部で起きている計算や構造的変化を過小評価している可能性が高い。
解釈可能性: 幾何学的層化は特徴レベルの解釈可能性のための枠組みを提供し、タスクフレーミングは $D$ に、軌跡と状態維持は $S$ および $F$ に存在することを示唆している。
幾何学 vs 分散: 本論文は、幾何学的組織化が単に分散構造の影ではないことを主張する。予測方向へのアンカリングは、分散ベースの分析だけでは捉えきれない組織化の原理（ $F$ の反判別性や行動的階層など）を明らかにする。

著者は、Transformerの残差ストリームは、拡散した高次元の活性化としてではなく、固定された予測インターフェースが、動的に維持される因果的に負荷を担う基質の中に埋め込まれた、層化された幾何学として理解されるべきであると結論付けている。