🤖 machine learning

Relational Rank Geometry in Transformers: Detecting and Steering Hidden-State Relation Frames

本論文は、トランスフォーマーの隠れ状態における高次関係構造がプルッカー符号エントロピーによって検出可能であり、関係フレーム幾何学に対する標的介入によって効果的に制御可能であることを示し、それによって規模の異なるラマモデル全体で正しい行動出力を回復できることを実証する。

原著者： Mazen Kobrosly

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mazen Kobrosly

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（チャットボットを動かしているようなもの）を、大規模で賑やかな都市だと想像してみてください。この都市の内部では、「隠れ状態」と呼ばれる通りを介して情報が流れ動いています。多くの研究者は、個々の建物（ニューロン）、単一の信号機（アテンションヘッド）、あるいは特定の道路（方向）を研究することで、この都市を見てきました。彼らは、「この特定の建物は何をするのか？」と問いかけています。

この論文が問うているのは、異なる問いです：「複数の建物の間の『関係性』は、全体としてどのような姿をしているのか？」

著者のマゼン・コブロスリは、モデルが複雑な関係性（例えば「A は B に対して、C は D に対してである」といった関係）を理解する際、単にいくつかのランダムな場所が点灯するわけではないと提案しています。代わりに、関与するトークン（単語）は、モデルの内部空間において、特定の硬質な幾何学的形状を形成します。論文はこの現象を**「関係フレーム（Relation Frame）」**と呼んでいます。

以下に、この論文の発見を簡単なアナロジーを用いて解説します。

1. 「大工の水準器」（形状の検出）

これらの形状を見つけるために、著者は**プ吕ケル符号エントロピー（Plücker Sign Entropy）**と呼ばれるツールを発明しました。

アナロジー: 3 次元空間に浮かぶ 3 本の棒のセットを持っていると想像してください。これらを組み合わせてピラミッドを作ることができます。棒の順序を入れ替えると、ピラミッドは上下逆さまになったり、内側から外側へ裏返ったりします。この「反転」は、**向き（オリエント）**の変化です（左の手と右の手のような違い）。
テスト: 著者は、関連するはずの単語のグループ（例えば、特定の論理パズルを構成する 3 つの単語）と、単に混ぜ合わされた無意味な単語のグループを比較しました。
発見: モデルが正しい関連する単語を処理すると、それらは非常に一貫性があり予測可能な幾何学的な向き（完璧に組み立てられたピラミッドのような）に配置されます。一方、単語が混ぜ合わされている場合、それらは一貫した形状を持たない、散らかった棒の山のように見えます。
結果: この「幾何学的なシグネチャ」は、異なるサイズの Llama モデル（80 億、700 億、4050 億パラメータ）で見つかりました。モデルが大きいほど、この形状はより明確で一貫していました。

2. 「魔法のグリッド」（実験）

この形状が実際にモデルに正しい思考を引き起こすことを証明するために、著者は**エッジ・グリッド・アッセイ（Edge-Grid Assay）**と呼ばれるゲームを作成しました。

アナロジー: 8 行 8 列の表計算ソフトを想像してください。
- クリーン状態: 「YES」のマークが完璧な対角線を描きます（1 行目は 1 列目、2 行目は 2 列目、など）。モデルはこれを正しく「対角パターン」として識別します。
- 破損状態: 「YES」のマークが混ぜ合わされ、複数の行が同じ列を指すように配置されます。モデルはこれを正しく「重複パターン」として識別します。
介入: 著者は、モデルが混乱している「破損」状態を取り出し、それを「誘導」しようと試みました。モデルを単に少し揺さぶるのではなく、それらの単語を表す内部の「データ雲」を物理的に再形成しようとしました。

3. 「粘土の彫刻」（モデルの誘導）

著者は、内部データをさまざまな方法で移動させることで、「破損」したモデルを修正しようと試みました。データを粘土の塊だと考えてください。

試行 A: 重心の移動（重心のみ）: 彼らは、粘土の塊全体を「クリーン」な答えの方向に押し動かすことだけを試みました。
- 結果: 失敗。 モデルは混乱したままでした。重心を移動させても論理は修正されませんでした。
試行 B: ノイズの追加: 彼らはデータにランダムなノイズ（雑音）を加えました。
- 結果: 失敗。 モデルは混乱したままでした。
試行 C: 塊の再形成（形状のみ）: 彼らは塊を同じ場所に留めたまま、再形成して「クリーン」な答えの幾何学形状に一致させました。粘土をねじったり曲げたりして、それが「クリーン」な彫刻と全く同じに見えるまで調整しました。
- 結果: 成功！ モデルは突然、正しい答えを出すようになりました。

重要な洞察: 重要だったのはデータがどこにあったか（位置）ではなく、データが自分自身に対してどのように配置されていたか（形状）でした。モデルが正しく機能するためには、関係性の特定の幾何学的な「骨格」が必要なのです。

4. 「設計図の転送」（クロスプロンプトでの成功）

著者は、この「クリーンな形状」が普遍的な解決策かどうかをテストしました。

彼らは、ある特定のパズルからの「クリーンな形状」を取り出し、構造は同じだが単語が異なる別のパズルに適用しました。
結果: 成功しました！モデルは新しいパズルを解きました。
注意点: これは、「クリーンな形状」が正しく解かれた例から来ている場合に限って機能しました。もし破損した例から「クリーンな形状」を転送しようとすれば、それは失敗しました。これは、モデルが単に特定の単語を暗記しているのではなく、「正しさ」のためのポータブルな幾何学的形式を学習していることを証明しています。

主張のまとめ

この論文が主張するのは、以下の 3 つの具体的な点のみです。

検出: プルケル符号エントロピーと呼ばれる数学的ツールを用いることで、モデルが関係性を特定の幾何学的形状（関係フレーム）として表現していることを検出できます。
介入: 単語を変更するのではなく、関係性の内部幾何学的「雲」を正しい例に一致するように外科的に再形成することで、モデルの推論エラーを修正できます。
特異性: これは、データの位置や大きさだけでなく、データの形状に起因して機能します。モデルは、正しい答えを得るために、この特定の幾何学的配置に依存しています。

この論文が主張していないこと:

AI の「魂」を発見したとは主張していません。
あらゆる種類の質問にこれが機能するとは主張していません（特定の論理グリッドでテストされました）。
モデルがこれらの形状を構築する完全な回路をマッピングしたとは主張していません（形状そのもののみを調べ、それを構築する「機械」については見ていません）。

要約すれば、この論文は、大規模 AI の「ブラックボックス」の内部において、関係性には明確で測定可能な 3 次元の形状が存在し、その形状を修正できれば AI の答えも修正できることを示しています。

技術的概要：トランスフォーマーにおける関係的ランク幾何学

問題提起

現在の機械的解釈可能性は、個々のニューロン、アテンションヘッド、疎な特徴、または残差ストリーム内の線形方向など、局所的または低次の対象に大きく焦点を当てています。局所的特徴に対しては有効ですが、これらのツールには根本的な欠落があります。すなわち、複数のトークン間の関係の幾何学を統一的な対象として十分に記述できていないという点です。最近の文献は、概念が曲がった多様体を形成する可能性を示唆しており、関係的バインディングは最先端モデルにとって体系的な困難のままです。本論文は、モデルが複数のトークン間の関係を表現する際、その関係自体が、参加するトークン組の隠れ状態構成として定義される固有の幾何学的対象、すなわち関係フレームを構成すると仮定します。核心的な問題は、これらのフレームが測定可能でランク索引付きの向き構造を有するかどうか、そしてこの構造がモデルの振る舞いを誘導するために標的とできるかどうかを決定することです。

手法

1. 診断：プルッケル符号エントロピー

関係の幾何学を検出するため、本論文はプルッケル座標（行列式小行列）から導出された診断統計量であるプルッケル符号エントロピーを導入します。

射影: 隠れ状態を、ガウス射影行列を用いて固定された低次元部分空間（次元 $p=64$ ）に射影します。
向きの測定: $k$ 個のトークンの組に対して、トップ- $k$ 左特異トークン埋め込みの選択された行小行列の行列式の符号を計算します。この符号は、スケールを捨象しつつ、組の向き（右手系か左手系か）を記録します。
エントロピー計算: これらの符号のエントロピーを、真の関係トークン組、スキャンブルされたトークン組（同じトークンだがバインディングが破損）、およびランダムな対照群の集合に対して計算します。符号エントロピーが低いほど、一貫した向きシグネチャを示します。
ランク仮説: 本論文は、 $r$ 引数の関係が、プルッケルランク $k=r$ において最も強い向きの一貫性（最低のエントロピー）を示すと仮定します。この診断は、期待されるランク $k=r$ におけるエントロピーのギャップを他の許容されるランクと比較することで、「対角マージン」を測定します。

2. 介入：エッジグリッド清浄/汚染アッセイ

これらのフレームが実行可能かどうかをテストするため、本論文は YES/NO マーカーを備えた $8 \times 8$ の行/列トークングリッドを用いたエッジグリッドアッセイを採用します。

設定: プロンプトは、同じ行/列の足場と語彙を共有しますが、YES/NO 関係マップ（清浄：一貫したアイデンティティマップ；汚染：重複ターゲットマップ）が異なります。これにより、関係状態が変化しつつ表面構造は固定された制御された環境が作成されます。
誘導経路: 研究では、特定の YES/NO マーカートークン位置（レイヤー 5）で隠れ状態をパッチし、「汚染」された関係マーカーの雲を「清浄」な雲へと移動させます。いくつかの介入ファミリーがテストされます。
- 形状ベース: 重心を固定したまま、マーカーの相対配置（中心化された形状）を置換します。
- 重心ベース: 平均ベクトルのみを移動させます。
- 部分空間ベース: 雲が張るグラスマン部分空間を移動させます。
- 対照: 等ノイズノイズ、ランダム回転、および誤ったサイトへのパッチ。
読み取り: 回復は、読み取りレイヤー（70B/405B の場合レイヤー 35）における 2 つの指標で測定されます。
1. 行動的回復: 清浄な答えへの回答ログオッズのシフト。
2. 残差幾何学的回復: 行/列トークンの外積から構築された残差関係ブレードベクトルが、清浄な幾何学へとシフトすること。
3. 結合回復: 行動と幾何学が経路に沿って共に移動することを保証する指標。

主要な貢献

ランク索引付き診断アッセイ: 本論文は、制御された $r$ 引数の関係トークン組が、Llama ファミリーの 8B、70B、および 405B モデル全体において、期待されるプルッケルランク $k=r$ でより強い向き符号の一貫性を示すことを実証します。このシグナルは 405B モデルで最も均一であり、マルチテンプレート監査全体にわたって持続し、表面レベルのアーティファクトと区別されます。
能力ゲート付きエッジグリッドアッセイ: 関係マーカーの幾何学を周囲のプロンプト足場から分離し、タスク構造を変更することなく関係状態に対して正確な介入を可能にする、新しい実験デザイン。
関係フレームのための介入的証拠: 本研究は、有能なモデル（70B および 405B）において、関係マーカーの雲の形状（具体的には順序付けられた清浄状態の幾何学）を誘導することが、清浄な答えの行動と残差関係幾何学の両方を回復させることを示しています。重要なのは、重心のみの移動や等ノイズノイズがこのような回復を生み出さないことであり、平均や摂動の大きさではなく、構造化された形状が因果的に有効な対象であることを示しています。

結果

検出: モデルサイズ全体にわたり、真の関係トークン組は、期待されるランク（引数のみの場合 $k=r$ 、述語＋引数の場合 $k=r+1$ ）で正の対角マージンを示します。405B モデルは、すべてのテストされた構成要素と次数（ $r=3$ から $6$）にわたって一貫した正のマージンを示しますが、8B と 70B は構造化されているものの構成要素固有の変動を示します。
誘導: 70B と 405B では、滑らかな関係フレーム経路（線形マーカー、形状のみ、グラスマン形状）が、行動と残差幾何学の両方の終点回復をほぼ完全に達成します。
- 形状対重心: 形状のみの介入は、完全な重心＋形状の介入とほぼ同等に行動を回復しますが、重心のみの移動は無視できる回復（ $\approx 0.002$ ）しか生み出しません。
- サイト/順序対照: 清浄な形状の順序を並べ替えるか、反射させることは回復を廃止し、順序付けられた幾何学が不可欠であることを確認させます。清浄な形状のプロンプト間転移は成功しますが、汚染された形状の転移や、誤ったサイトへの清浄なデルタの適用は失敗します。
- プルッケル読み取り: 成功した介入は、清浄な状態に向かってエッジマーカーのプルッケル読み取り（行列式符号構造）も回復させ、研究の診断部分と介入部分を橋渡しします。
限界: 8B モデルは能力の境界として特定されます。誘導の主張を固定するベースラインの行動的能力を欠いていますが、幾何学的な動きは観察されます。プロンプト間転移の結果は、プロンプトバンクで使用されたアイデンティティマップ清浄状態に固有であり、任意の関係内容への転移をまだ証明していません。

意義と主張

本論文は、関係プロービングから関係フレーム介入への状態レベルの橋渡しを確立すると主張します。関係的ランク幾何学は、行列式符号統計を通じて検出可能であり、関係依存の行動を回復する隠れ状態介入を通じて標的と可能であると論じています。

その意義は、孤立した特徴や線形方向から、トークンの隠れ状態の有限かつ順序付けられた構成へと分析単位をシフトさせる点にあります。結果は、高次関係に対してモデルが、構造化された形状が正しい行動の主要な駆動力である幾何学的対象（関係フレーム）を利用することを示唆しています。これは、回路レベルまたは特徴レベルの対象とは区別されるが補完的な、具体的で関係レベルの取っ手を提供します。本論文は、完全な上流/下流回路を局所化したと主張するものではなく、関係的行動を媒介する測定可能かつ誘導可能な状態対象を特定したと明確に述べています。