🤖 machine learning

Geometric Evolution Maps: Extracting Stable Concept Probes from Transformer Residual Streams

本論文は、トランスフォーマーの残差ストリームにおける概念の方向性軌跡を追跡して表現が収束する安定した「ハンドオフ層」を特定し、多様なアーキテクチャにわたって従来の固定層またはピークスコア手法よりも信頼性の高い概念プローブを抽出する手法である幾何学的進化マップ（GEMs）を導入する。

原著者： James Henry

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： James Henry

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

トランスフォーマー型 AI モデルを、生きたアイデアが最下層から入り、層を一段ずつ処理されて最終的に最上層で完成品となる巨大な多階層工場として想像してみてください。

長らく、AI が何を考えているか（「怒り」や「真実」、「危険」などを理解しているかどうか）を理解しようとしてきた研究者たちは、単純なルールに従っていました。「最も上の階層だけを見ればよい」というものです。彼らは、アイデアが最終層に到達する頃には、完全に形成され安定していると考えていました。

しかし、この論文はそのルールが誤っていることを主張しています。それは、最終的に盛り付けられた料理だけを見てレシピを理解しようとし、その前に各階層で食材が全く異なる方法で刻まれ、混ぜられ、加熱され、かき混ぜられていたという事実を無視することに似ています。

以下に、この論文が発見し提案した内容を簡潔にまとめます。

1. 問題：アイデアは独楽のように回転する

著者らは、AI が概念（「皮肉」や「脅威」など）について「考える」際、そのアイデアを内部メモリで表現する方法が、工場の上層へ移動するにつれて激しく回転することを発見しました。

比喩: 人々が人間のピラミッドを作ろうとしている様子を想像してください。最下層では、彼らは互いの手を掴んで円を描くように回転し、バランスを見つけようとしています。彼らはあちこちに散らばっています。
データ: 論文はこの「回転」を測定しました。ほとんどの場合、組み立てプロセスの開始時点でのアイデアの方向は、最終的な到達地点とは（北を指すか南を指すかのように）ほぼ完全に異なっていました。
誤り: アイデアが工場の途中でまだ回転している間に、そのアイデアを「プローブ（検出）」しようとすると、間違った方向を向いているのを捉えてしまう可能性があります。AI が「危険」について考えていると思い込むかもしれませんが、実際には単に、最終的に「危険」について考えるために部品を整理しているだけかもしれません。

2. 解決策：「ハンドオフ」層

著者らは、どの階層を見るべきか推測するのではなく、アイデアが上層へ移動する過程を追跡し、回転が止まって固定される正確な瞬間を見つける新しい手法、幾何学的進化マップ（Geometric Evolution Maps: GEMs） を導入しました。

比喩: リレー競争を想像してください。走者（層）はバトン（概念）を互いに受け渡します。しばらくの間、バトンは揺れ動き、不器用に受け渡されます。しかし、ある特定の瞬間、つまりハンドオフの瞬間に、走者はついにバトンを掴み、グリップを安定させ、一直線に走り出します。
発見: この論文は、この「安定したグリップ」が特定の階層で起こり、彼らがハンドオフ層と呼ぶことを発見しました。アイデアがこの層を通過すると、回転が止まり、最上層に至るまで安定した状態を保ちます。
結果: AI が何を考えているかを知りたい場合、（漂っている可能性のある）最も上の階層や、（まだ回転している）中間の階層を見るべきではありません。アイデアが最終的な安定した形に落ち着く、まさにハンドオフ層を見るべきです。

3. 理論の検証

研究者らは、この理論を 23 種類の異なる AI モデル（小型から超大型まで）と 17 種類の異なる概念（「皮肉」、「緊急性」、「欺瞞」など）でテストしました。

比較: 彼らは、新しい「ハンドオフ」手法を、アイデアが最も明確に聞こえる（ただしまだ回転している可能性のある）階層を見る従来の「ピーク」手法と比較しました。
結果: ハンドオフ手法は、68% の場合で優れていました。多くの場合、その精度は著しく高かったです。
注意点: これはより大規模なモデルで最もよく機能します。非常に小規模なモデルでは、「回転」があまりに混沌としているか、あるいは工場が短すぎるため、アイデアが最上層に到達する前に十分に落ち着く時間がありません。

4. 異なる工場タイプのための特別ルール

この論文は、異なるタイプの AI 工場は異なる振る舞いをすることを指摘しました。

標準工場（MHA）: これらはほぼ常に、アイデアが落ち着く明確な「ハンドオフ」層を持っています。新しい手法はここで非常に効果的に機能します。
グループ化工場（GQA）: これらはより複雑な内部構造を持っています。これらはより早く落ち着いたり、異なる振る舞いをしたりすることがあるため、「ハンドオフ」手法の優位性は低下しますが、依然として有用です。
「最上部付近」ルール: 時には、アイデアが非常に遅く、ほぼ最上層に達するまで落ち着かないことがあります。そこでアイデアをチェックしようとすると、最終的な「パッケージング」段階（話す準備）と誤って混同してしまう可能性があります。著者らは、この稀なケースに対処するための特別ルールを作成し、パッケージングプロセスによって混乱しないようにしました。

5. これは何を意味し、何を意味しないか

証明されたこと: この論文は、AI の概念は静的なものではなく、安定する前に移動し回転する動的なプロセスであることを証明しています。それらを理解するには、動きが止まる瞬間を見つける必要があります。
主張していないこと: この論文は、これが AI をより安全にする、あるいは AI の行動を完全に制御できるようになるとは主張していません。単に、AI の思考が実際に安定している場所を見るためのより良い「顕微鏡」を提供するだけです。
一つの失敗: この論文は、特定の小さなモデル（gpt2）がルールを破ったことを認めています。この小さな工場では、「ハンドオフ」が最上部に非常に近いため、手法がパッケージングプロセスによって混乱しました。これは既知の限界であり、一般的な理論の欠陥ではありません。

まとめ

AI の脳を川として考えてください。それまで研究されていた方法は、川が海に流れ込む終点を見て、水が静まっていると仮定するものでした。しかし、この論文は、「いいえ、水は下流全体でかき混ぜられ、回転しています」と言います。

幾何学的進化マップは、川を下るセンサーのようであり、水が渦を巻くのをやめてまっすぐに流れ出す正確な瞬間を待ちます。その静かな場所（ハンドオフ層）を見つけると、スナップショットを撮影します。このスナップショットは、最上部や最下部で撮影されたどのスナップショットよりも、AI が実際に何を考えているかをより明確かつ正確に捉えたものです。

技術的概要：幾何学的進化マップ（GEMs）

問題提起

トランスフォーマーの残差ストリームから抽出された線形プローブは、抽出された特定の層の信頼性に依存するのみである。現在の文献は、層の選択に対して 3 つの単純なヒューリスティックに依存している：最終層をプローブする、分離スコアのピークを持つ層をプローブする、または固定された中盤から後半の層をプローブする。

本論文は、これらのアプローチが根本的な構造的現実を考慮していないと主張する。すなわち、トランスフォーマーの残差ストリームにおける概念表現は静的ではないということである。それらは徐々に出現し、概念割り当て領域（CAZ）内の組み立て段階中に著しい方向回転を受け、主要な CAZ 後の特徴的な「ハンドオフ層」に到達して初めて安定した方向に落ち着く。CAZ の内部で発生する分離ピーク、あるいは CAZ の入口でプローブすることは、まだ安定していない方向を抽出することになり、信頼性の低い概念プローブにつながる。

方法論：幾何学的進化マップ（GEMs）

本論文は、概念の完全な方向軌跡を残差ストリーム活性化を通じて追跡し、概念方向が安定化する正確な層を特定するための手法である**幾何学的進化マップ（GEMs）**を導入する。

核心的な定義

概念方向（ $u^{(l)}$ ）: 各層 $l$ において、支配的な概念方向は、正負の対照ペアの平均残差ストリーム活性化の差（平均の差）を $L_2$ 正規化したものとして定義される。
角速度（ $\omega^{(l)}$ ）: 方向変化の率は $\omega^{(l)} = 1 - |u^{(l)} \cdot u^{(l-1)}|$ として計算される。高い速度は活発な回転を示し、低い速度は安定性を示す。
概念割り当て領域（CAZ）: 概念が主要な分離イベントを経る層の範囲であり、フィッシャー正規化された分離スコアを通じて検出される。
ハンドオフ層（ $L_H$ ）: 実用的には、CAZ の終了直後に角速度が閾値（ $\epsilon = 0.05$ ）未満に低下する最初の層として定義される。これが概念方向が「ロックイン」する層である。
定着プローブ: 抽出されるプローブは、ハンドオフ層における単位ベクトル $u^{(L_H)}$ である。

適応的幅の規則

アブレーションによるプローブ評価において、本論文は適応的幅の規則（ $w$ ）を導入する。デフォルトでは、 $L_H$ から開始する 3 つの連続する層をアブレーションする。しかし、最終層に近いハンドオフ（ $L_H/N > 0.85$ ）の場合、3 層をアブレーションすることはアンエンコーディング準備領域にまで及ぶリスクがあり、信号を希薄化させる。これらのケースでは、規則は $w=1$ と設定し、収束点で正確に方向を抽出する。

主要な貢献

GEM の形式化: ハンドオフ層を計算し、定着した概念方向を抽出するための実行可能な手法。
回転の実証的検証: 組み立て中に概念方向が著しく回転することを実証した。391 の概念×モデルペア（23 モデル、17 概念）において、CAZ 内の平均エントリー・エクス・コサイン（EEC）は0.233であり、93.9% のペアで EEC < 0.5 となった。これは、CAZ の入口または分離ピークでのプローブが、最終的な定着状態と直交する方向を捉えていることを確認するものである。
ハンドオフプローブの優位性: GEM によって抽出されたプローブは、68.5%（268/391）の試行でピーク層プローブと同等以上の精度を有し、66.2%（259/391）で厳密に優れている。モデルごとの割合に対するウィルコクソンの符号付き順位和検定は有意性を確認した（ $p=0.010$ ; gpt2 を除く場合 $p=0.0036$ ）。
アーキテクチャ固有の知見:
- MHA と GQA: MHA モデルは 78.3% の試行でハンドオフ層を支持するのに対し、GQA モデルは 47.1% のみである。
- スケール: GEM 構造は 70M モデルにも存在するが、プローブの品質は 5 億パラメータ超の範囲で著しく向上する。
方向特異性制御: 特定の概念方向のアブレーションは、ランダム方向のアブレーション（45.6% 対 0.24%）よりも中央値で377 倍高い分離抑制率を示し、この効果が単なる深さではなく、概念方向そのものによって運ばれていることを確認した。
深さ整合制御: 相対的な深さが同じ非定着層と比較する対照実験により、定着基準が分離抑制に追加で**+32.5 パーセントポイント**貢献することを確認し、抽出の深さのみが駆動要因であることを排除した。
構造的失敗モード:
- gpt2: 12 層モデルにおけるアンエンコーディングへの近接性により、ハンドオフ層でのアブレーションが病的に分離を増加させる真の失敗モードとして特定された。
- OPT-6.7b: より小さなコーパス（41% の改善）では当初失敗として現れたが、 $N=250$ で 76% の改善を達成し、初期の発見がコーパスサイズに依存していたことを示した。

結果と観察

ハンドオフの深さ: ほとんどの概念はモデル深さの最終 15〜30% で定着する。安全性関連および認識論的概念（例：threat_severity, certainty）は最も深くハンドオフし（平均相対深さ $\ge$ 0.86）、構文概念（例：specificity, plurality）はより早期にハンドオフする。
リレー構造: pythia-6.9b に対するマルチノードアブレーション実験は、概念がしばしば因果的リレーとして存在することを明らかにした。最も深い GEM ノードが最も因果的に集中した介入点である一方、浅いノードは因果的に上流にある（15 のマルチノード概念のうち 9 つで交差破壊が観察された）。
適応的幅の有効性: 最終層に近い規則（ $w=1$ ）は、トリガーされたケースの 75.9%（60/79）でプローブの品質を向上させ、それらのケースで平均 +7.44 パーセントポイントの獲得をもたらした。

意義と主張

本論文は、GEM がこの研究プログラムにおける CAZ 検証および PRH 論文の基盤となる抽出手法を提供すると主張している。その主な意義は以下の点にある：

プローブ抽出の修正: ハンドオフ層における「定着した」方向が、分離ピークで見られる一時的な方向に優れ、概念の幾何学的に正確な表現であることを確立すること。
組み立てダイナミクスのマッピング: 概念の「回転」を可視化・定量化する手法を提供し、概念が静的ではなく、安定化する前に動的な組み立てプロセスを経ることを明らかにすること。
因果的特徴付け: GEM が介入のための因果的リレーにおける最もアクセスしやすい点を特定することを示すこと（ただし、概念符号化の全体像、すなわち分散している部分全体を捉えることを主張するものではない）。

本論文はその範囲に関して控えめである：概念符号化の完全なメカニズム（例えば、アテンション対 MLP サブレイヤーの具体的な寄与）を説明するものではなく、またすべての概念情報を捉えるものでもなく、信号が十分に大きく分離・テスト可能な分布の「ピーク」のみを捉えることを主張する。行動アブレーション（下流の出力変化を測定するもの）は設計されているが、大規模にはまだ実行されていないことを明示的に注記している。