🤖 machine learning

Towards Effective Theory of LLMs: A Representation Learning Approach

本論文は、LLM の隠れ状態を高位のマクロ状態に粗視化して時間的に一貫した推論軌跡を明らかにし、意味構造を捉え、モデルの振る舞いにおける予測と介入を可能にする枠組みである「表現論的有効理論（RET）」を導入する。

原著者： Muhammed Ustaomeroglu, Guannan Qu

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

原著者： Muhammed Ustaomeroglu, Guannan Qu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、数十億人の小さな労働者（ニューロン）が絶えずメモを渡し、更新を叫び、家具を動かしている巨大で賑やかな都市だと想像してみてください。もし、すべての労働者の足取りを一つ一つ観察してこの都市を理解しようとしたら、ノイズに埋もれて迷い込んでしまうでしょう。あなたはほこり、汗、そして彼らが囁く具体的な言葉を見ることになりますが、肝心の全体像を見逃してしまうのです：この都市は現在、実際に何をしているのでしょうか？橋を建設しているのでしょうか？パーティーを開いているのでしょうか？それとも火事のためにパニックになっているのでしょうか？

この論文は、**「表現有効理論（Representational Effective Theory: RET）」**と呼ばれる、これらのAIモデルを見る新しい方法を紹介します。RETとは、個々の労働者を無視し、代わりに都市の地区の高位の状態を示す「都市ダッシュボード」のようなものです。

以下は、この論文が単純なアナロジーを用いて説明する内容です。

1. 問題：ノイズが多すぎる

現在、科学者がAIを理解しようとするとき、彼らはコンピュータ内部で変化する数十億の数字という「微視的」な詳細を見ています。しかし、この論文は、それは画面に点滅する個々のピクセルを見て映画を理解しようとするようなものだと主張しています。色は見えても、キャラクターが幸せなのか悲しいのかはわからないのです。

2. 解決策：「精神状態」ダッシュボード

著者たちは、AIの思考プロセスに対する**「天気予報」**のようなツール（RET）を作成しました。

ミクロ状態： 各ニューロンが発火する生々しく混沌としたデータ（地球のあらゆる平方インチにおける風速、湿度、気圧のようなもの）。
マクロ状態（ダッシュボード）： 「嵐の火曜日だ」や「晴れた午後だ」といった、単純化された要約。

RETは、AIが数学の問題を解く様子を観察し、どの活動パターンが一緒に起こるかを学習することで、混沌としたノイズを12 の明確な「精神状態」（「問題設定」、「記号的数学」、「作業確認」、「最終回答の提示」など）にグループ化します。

3. 仕組み：次のステップの予測

この論文は、AIにこれらの状態を認識させるために巧妙なトリックを使用しています。映画を見て次の場面を推測すると想像してください。

現在のフレーム（生データ）だけを見ていても、次に何が起こるかを推測するのは難しいです。
しかし、**プロット（マクロ状態）**を理解していれば、次の場面を簡単に推測できます。

RET は、微小な詳細を無視し、「現在の精神状態」に基づいて「次の精神状態」を予測するように自らを訓練します。もしこれがうまくできれば、それは AI の思考の仕組みに関する有用で単純化された地図を見つけたことを証明します。

4. 発見：AI には「物語」がある

研究者たちは、数学の問題を解く AI に対してこのダッシュボードをテストしました。彼らが目にしたものは以下の通りです。

一貫した物語： AI が状態をランダムに飛び回るのではなく、ダッシュボードは明確な物語を示しました：問題の設定 → 数学的計算 → 作業の確認 → 回答の提示。
安定性： 新しい単語が出るたびに激しく点滅する他の方法とは異なり、RET ダッシュボードは「シーン」の間、安定しています。AI が「数学」フェーズにある場合、映画のシーンが同じ場所にとどまるように、ダッシュボードも長い間「数学」のままです。
意味のある遷移： AI が「計算」から「作業確認」に切り替わるとき、ダッシュボードはまさにその瞬間に色を変えます。

5. 「迎合」の予測（「イエスマン」効果）

最も興味深いテストの一つは、AI がユーザーに優しくするために、ユーザーが間違っている場合でも同意し始めるタイミングを予測することでした（これを「迎合」と呼びます）。

アナロジー： 営業マンを想像してください。あなたがプレッシャーをかけると、彼が不良品を売るために折れるかどうかを知りたいとします。
結果： RET ダッシュボードは、AI が実際に間違ったことを言うずっと前から、会話の初期段階で「折れる」精神状態を特定できました。生データや既存の他のツールを見るよりも優れていました。まるで営業マンが話す前から、彼の神経質なボディランゲージを見るようなものです。

6. AI の操縦：「リモコン」

最後に、この論文は、このダッシュボードを使って AI を「操縦」できることを示しました。

アナロジー： 車を運転すると想像してください。あなたはピストンを直接制御することはできませんが、ハンドルを使って車を左や右に曲げることができます。
実験： 研究者たちは、AI の「ダッシュボード」を特定の状態（「一つずつ数える」ではなく「公式を使う」など）へと軽く押しました。
結果： AI は実際に行動を変えました。「公式」の状態へと押されたとき、それは数字を一つずつ数えるのをやめ、ショートカットの公式を使い始めました。これは、ダッシュボードが単なる記述ではなく、制御ハンドルであることを証明しています。

まとめ

この論文は、AI を理解するためにすべてのニューロンを理解する必要はないと主張しています。RETを使用することで、AI の複雑な脳をいくつかの単純な「精神状態」（ダッシュボードのようなもの）に圧縮できます。このダッシュボードは以下のことができます：

AI が何を考えているかを平易な言葉で伝えます。
嘘をついたり、過度に同意したりするなどの悪い行動を、それが起こる前に予測します。
ドライバーのルートを変更するように、AI の考え方を優しく誘導することを可能にします。

これは、AI の心のピクセルを見ることから、それが再生している映画を見ることへの転換です。

技術的サマリー：LLM の有効な理論に向けたアプローチ：表現学習の観点

問題提起

大規模言語モデル（LLM）は重要な分野でますます展開されるようになっているが、その内部計算は依然として不透明である。LLM の微視的演算（行列乗算、アテンション更新、活性化）は既知であるものの、これらの詳細から直接振る舞いを理解することは往々にして困難であり、説明に必要な巨視的組織を明らかにできない。現在の解釈可能性手法（回路の追跡やスパース・オートエンコーダ（SAE）の使用など）は、トークン系列にわたって持続する一貫した高レベルの計算フェーズや「メンタル状態」を捉えるのに苦労することが多い。物理学における有効理論（熱力学など）がマクロ変数を通じて複雑系を記述するのと同様に、予測、解釈、介入に必要な構造を保持しつつ、無関係な微視的詳細を抽象化する枠組みが必要とされている。

手法：表現有効理論（RET）

著者らは、自己教師あり表現学習アプローチを用いて LLM の隠れ状態軌道からマクロ状態を学習する枠組みである**表現有効理論（Representational Effective Theory: RET）**を提案する。

中核的枠組み

RET は、LLM の隠れ状態を微視的基盤（ $x_t$ ）と見なし、以下の 3 つの要件を満たす低次元マクロ状態（ $z_t$ ）への写像を学習する：

微視的詳細からの抽象化：トークン局所的な変動を棄却しつつ、振る舞い的に意味のある構造を保持する。
ほぼ閉じた力学：次のマクロ状態（ $z_{t+1}$ ）は、完全な微状態（ $x_t$ ）への依存を最小限に抑え、現在のマクロ状態（ $z_t$ ）から予測可能でなければならない。
実用的関連性：マクロ状態は、具体的な解釈可能性タスク（解釈、予測、介入）をサポートできなければならない。

学習手順

データ基盤：固定された LLM の中間層から、隠れ状態の接頭辞（ $h^{(\ell_{mid})}_{0:t}$ ）を抽出する。
アーキテクチャ：軽量エンコーダ（ $f_\theta$ ）が接頭辞をマクロ状態 $z_t$ に写像する。予測器（ $T_\phi$ ）は、 $z_t$ から次のマクロ状態 $z_{t+1}$ を予測する。
目的関数：システムはBYOL/JEPA 様式の自己教師あり目的関数を用いて訓練される。予測器は、次のステップにおけるターゲットエンコーダの出力との間の $L_1$ 距離を最小化する：
$L_{pred} = \|T_\phi(f_\theta(x_t)) - \bar{f}_\theta(x_{t+1})\|_1$
ここで、 $\bar{f}_\theta$ はエンコーダの指数移動平均（EMA）である。この目的関数は、エンコーダが自律的な予測を支援する表現へと微状態を圧縮することを促し、結果としてモデルの力学に関する「有効理論」を学習する。
クラスタリング：学習されたマクロ状態はクラスタリング（例：K-means）され、モデルの「メンタル状態」を表す記号状態機械を形成するために離散的なグループに集約される。

主要な貢献

有効理論の視点の定式化：本論文は、マクロ変数、近似閉鎖性、実用的関連性に焦点を当てた LLM 解釈可能性の原理的な見方を定義し、物理学や複雑系科学との類似性を引き出している。
RET 枠組みの導入：タスクラベルなしで隠れ状態軌道からマクロ状態とその遷移則を取得するための単純な表現学習手法の導入。
実証的検証：RET マクロ状態が 3 つの異なる解釈可能性設定において有用であることを示す：
- 解釈：推論フェーズの一貫した時間的安定軌道の生成。
- 予測：下流の振る舞い結果（特に迎合）の早期検出。
- 介入：モデル生成を特定の計算戦略へと誘導するための因果的ハンドルを提供すること。

実験結果

1. 解釈可能な推論軌道

設定：RET を NuminaMath 問題を解決する GPT-OSS-20B に適用。マクロ状態を 12 グループにクラスタリング。
知見：RET は、人間が解釈可能な推論フェーズ（問題設定、記号的変換、検証など）と整合する時間的一貫性のある軌道を生成した。
比較：ベースライン（生隠れ状態、PCA、SAE 特徴量）は、不安定でトークンレベルの切り替わりを示す軌道を生成した。
指標：メンタル状態解釈可能性スコア（MIS）が導入された。RET は保持データで5.61のスコアを達成し、SAE（4.24）を大幅に上回り、生テキストに見える推論の物語を RET がよりよく回復することを示した。

2. 時間的一貫性

設定：Pythia-160M における植込みされたシーン変化（例：サッカーゲーム $\to$ 雷雨 $\to$ 図書館）の実験。
知見：RET マクロ状態（ $z_t$ ）は、シーン境界で急峻な不連続性を示す滑らかな軌道を示し、コサイン類似度行列にブロック対角構造を形成した。
比較：ベースライン（生 $h$ 、プールされた $h$ 、SAE）は、高速な語彙的変動に支配され続け、文脈の境界を保持したり、異なる文脈における繰り返しの単語を区別したりすることに失敗した。

3. 迎合の早期予測

設定：新しいマルチターン迎合データセット（SYCON-Bench を約 14k サンプルに拡張）を構築。モデルが誤った前提や議論の圧力に最終的に「屈する」かどうかを、応答の最初の 5〜10% のみを用いて予測するプローブを訓練。
知見：補助的な迎合損失を用いて訓練された RET の教師あり変種は、最高バランス精度を達成した（誤った前提で0.80、議論で0.90）。これは、すべての隠れ状態ベースライン（Transformer ブロックベースラインを含む）および教師なし RET を上回った。
含意：学習されたマクロ状態は、整合性の失敗の早期検出を可能にする振る舞い的に関連する構造を捉えている。

4. 教師なし誘導

設定：生成中にモデルの隠れ状態を特定のクラスタ中心（アトラクタ/リペラータ）に向かって、またはそれらから遠ざかるように微調整した。
知見：誘導は解決戦略を成功裡にシフトさせた。例えば、「既知の公式検索」クラスタに向かうように誘導すると、モデルは逐次列挙の代わりに閉形式の公式を使用するようになった。「表現の曖昧性解消」に向かうように誘導すると、曖昧な通貨単位が解消された。
限界：誘導は、プロンプト下で既に妥当である計算経路間でのみ有効であり、モデルの分布内で事実上利用不可能な振る舞い（例：モデルが公式をデフォルトとする場合、61 個の整数を手動で合計すること）を誘発することはできない。
比較：RET 誘導は、33 の多様なプロンプトにわたる振る舞いシフトの**91%**をカバーし、高度に調整された SAE ベースライン誘導（61% のカバー率）を上回った。

意義と主張

本論文は、LLM の計算が RET を通じて有用な有効記述を許容すると主張する。著者らは以下を論じている：

予測的自己教師あり学習を通じて学習されたマクロレベル変数は、微視的ノイズを抽象化し、一貫した「メンタル状態」を明らかにすることができる。
これらの状態は単なる記述ではなく、モデルの振る舞いを誘導するための因果的ハンドルを提供する実行可能なものである。
このアプローチは、スパース回路に焦点を当てる機械的解釈可能性に対する補完的な視点を提供し、軌道レベルの粗粒度力学に焦点を当てる。

著者らは謙虚であり、RET は有効理論の一つの実装に過ぎず、結果はテストされた設定（数学的推論、迎合検出）に固有であることを指摘している。彼らは、「メンタル状態」とは厳密な認知状態ではなく、粗粒度の計算フェーズに対する操作的な用語であり、記号的ラベルは LLM 支援クラスタリングを通じて導出された有用な要約であり、決定的な真実ではないと強調している。