📊 statistics

Task Vector Geometry Underlies Dual Modes of Task Inference in Transformers

本論文は、トランスフォーマーがタスク推論に際して異なる幾何学的メカニズムを利用することを示しており、分布内認識は学習されたタスクベクトルの凸結合に依存する一方、分布外適応はほぼ直交する部分空間における外挿学習を通じて現れることを明らかにする。

原著者： Hao Yan, Haolin Yang, Yiqiao Zhong

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hao Yan, Haolin Yang, Yiqiao Zhong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（あなたと話しているような AI）を、忙しいキッチンで働く熟練のシェフに例えてみましょう。このシェフは、客が直前に注文した内容（「コンテキスト」）に基づいて、客がどのような料理を求めているかを判断する、2 つの明確な方法を持っています。

この論文は、シェフの脳（モデル内部の数学）が、これら 2 つの異なる状況にどのように対処するかを調査しています。研究者たちは、小さな AI モデルという「シェフの簡易版」を作成し、制御された実験室で訓練することで、その「心」の中で何が起こっているかを正確に理解しました。

以下に、彼らの発見を単純なアナロジーを用いて解説します。

思考の 2 つのモード

この論文は、AI が状況に応じて 2 つの全く異なる「思考のギア」を使用することを発見しました。

「記憶の小道」ギア（分布内：In-Distribution）
- シナリオ: 客が、シェフが過去に千回も調理したことがある料理を注文する（例：「スパイシーなパスタを作って」）。
- 仕組み: シェフは深く考える必要はありません。単に心の書類棚から「スパイシーなパスタ」という特定のフォルダを取り出し、レシピに従うだけです。
- 数学的説明: 研究者たちはこれを**ベイズ的タスク検索（Bayesian Task Retrieval）**と呼びます。AI は会話のヒントを見て、これが既知のタスクである確率を計算し、正しい答えを得るために「記憶ベクトル」（材料を混ぜるようなもの）を混合します。これは、ミキシングボードのフェーダーを滑らせて、正しい記憶をブレンドするようなものです。
「発明家」ギア（分布外：Out-of-Distribution）
- シナリオ: 客が、シェフがこれまで見たこともないものを注文する（例：「青という色のような味で、鐘のような音がする料理を作って」）。
- 仕組み: ファイルが存在しないため、シェフはファイルを取り出すことはできません。代わりに、リクエスト自体の「パターン」を眺める必要があります。言葉の構造とリクエストの論理を分析し、その場で解決策を考案します。
- 数学的説明: 研究者たちはこれを**外挿的タスク学習（Extrapolative Task Learning）と呼びます。重要なのは、AI がこれを行う際、同じ「書類棚」（記憶ベクトル）を使用しないことです。代わりに、記憶部分とほぼ垂直（90 度の角度）**にある、脳の全く異なる部分に切り替わります。

大きな発見：2 つの別々の部屋

最も興奮すべき発見は、これら 2 つのギアが単に連続して起こるだけでなく、AI の内部に2 つの異なる幾何学的空間を占有しているという点です。

記憶の部屋: AI がタスクを思い出すとき、その内部の思考は、既知のタスクベクトルで満たされた特定の「部屋」（部分空間）の中に留まります。
革新の部屋: AI が新しいタスクを解き明かす必要があるとき、その思考は最初の部屋とほぼ直角にある別の部屋へと飛び移ります。

アナロジー: AI の脳を巨大な倉庫だと想像してください。

タスクが既知の場合、ロボットは通路 A（タスク部分空間）を歩き、既製の箱を手に取ります。
タスクが新しい場合、ロボットは通路 A を見ません。即座に 90 度向きを変え、通路 B（直交部分空間）を歩き、原材料から何か新しいものを構築します。

この論文は、ロボットに「記憶の通路」を使って新しい問題を解決させようとすると失敗することを証明しています。成功するためには、必ず「革新の通路」に切り替えなければなりません。

どのように証明したか

研究者たちは単に推測したわけではありません。「偏ったサイコロを振る」や「作り言葉の次の単語を予測する」など、正確なルールが分かっている「偽のデータ」を用いて実験を行いました。

「操縦」テスト: 彼らは、AI の内部思考を「記憶の通路」の方向へ手動でそっと押す（ナッジする）と、入力内容が一致していなくても、AI が突然特定のタスクを思い出し始めたような振る舞いをするのを発見しました。これにより、「記憶の通路」が検索を制御していることが証明されました。
「新しいタスク」テスト: AI に新しい、未見のタスクを与えたとき、その内部思考が自然と「革新の通路」（垂直な空間）へと漂うことが分かりました。もしその通路を塞ぐと、AI は新しいタスクを学習できなくなります。

「非マルコフ的」なひねり（例外）

この論文は、ルールがトリッキーなシナリオ（最初の開き括弧を覚えておいて、最後の閉じ括弧を閉じる必要があるような、複雑な括弧マッチングゲームなど）もテストしました。この場合、AI は状況を単純な「記憶ベクトル」に要約することができませんでした。それは、全体の履歴を心に留めておく必要がありました。これは、「記憶の通路」がタスクを単純に要約できる場合のみ機能することを示しました。タスクが要約するには複雑すぎる場合、AI の脳は混乱し、この 2 つの整然とした部屋のどちらにも綺麗には収まりません。

まとめ

要約すると、この論文は AI が一般的に「賢くなる」だけではないことを説明しています。AI には特定の幾何学的構造があります。

以前に見たものには記憶の小道があり、既知の概念を混合します。
見たことのないものには垂直な革新の小道があり、そこで新しい論理を構築します。
新しく未見のタスクを処理する能力は、完全に AI がその 2 番目の垂直な小道へ切り替える能力に依存しています。

この論文は結論として、AI の内部数学の「形状」（幾何学）が、古いものを記憶できるか、新しいものを学習できるかを直接決定していると述べています。

技術的サマリー：トランスフォーマーにおけるタスク推論の二重モードはタスクベクトル幾何学に根ざす

問題定義

大規模言語モデル（LLM）は、タスク推論において二つの明確なモードを示す：ベイズ的タスク検索（訓練中に観測されたタスクを認識・検索する）と外挿的タスク学習（未知の分布外（OOD）タスクに適応する）である。近年の解釈可能性研究は、モデルの挙動を誘導する隠れ状態空間内の方向である「タスクベクトル」を特定してきたが、これらの内部表現と外部の一般化行動を結びつける理論的基盤は欠如している。具体的には、既存の研究は以下の点を厳密に説明できていない：

訓練データ分布がタスクベクトルの幾何学をどのように形成するか。
どのような特定の幾何学的構造がOOD一般化を可能にするか。
経験則的かつモデル固有の抽出法に依存せず、内部表現が統計的構造とモデル挙動の間の橋渡しをどのように仲介するか。

手法

著者らは、これらのギャップを埋めるため、慎重に制御された合成潜在タスク系列分布上で、ゼロから小さなデコーダ専用トランスフォーマーを訓練する。この「グレーボックス」アプローチにより、自然言語での事前学習に伴う交絡因子から解放された、隠れ状態の原理的な数学的記述が可能となる。

実験設定

3 つの合成実験（E1–E3）が用いられ、系列は観測されない潜在変数 $z$ （タスク）から生成される：

E1（偏ったサイコロ）: 潜在変数はディリクレ事前分布からサンプリングされた確率ベクトルであり、トークンは i.i.d. にサンプリングされる。
E2（コンテキスト内線形回帰）: 潜在変数はガウス事前分布からサンプリングされた重みベクトルであり、系列は入力 - 出力対からなる。
E3（マルコフ連鎖の混合）: 潜在変数はディリクレ事前分布からサンプリングされた遷移行列であり、系列はマルコフ連鎖である。

第 4 の実験（E4、植え付けられた Dyck 言語）は、提案された枠組みの限界をテストするための非マルコフ的な対照例として機能する。

理論的枠組み

本論文は、特定のタスクに対する隠れ状態と大域平均との極限差をタスクベクトル $\theta_k$ として定義する。また、成功したタスク検索を特徴づける 4 つの幾何学的性質（P0–P3）を確立する：

P0（安定性）: 隠れ状態は、潜在タスクと現在のトークンの決定論的関数となる。
P1（分離）: 隠れ状態は、タスクベクトルとトークン符号化に付加的に分解される（線形表現仮説）。
P2（補間）: 有限のコンテキストにおいて、隠れ状態はタスクベクトルの凸結合となる。
P3（整列）: これら凸結合の係数は、タスクに関するベイズ事後分布を近似する。

著者らはこれを**外挿的タスク学習（M2）**と比較し、OOD 推論にはタスクベクトル部分空間の外側にある表現が必要であるという仮説を立てる。

主要な貢献と結果

1. 表現幾何学と一般化の統合

本論文は、ベイズ的タスク検索が内部的には学習されたタスクベクトルの凸結合を通じて実装されていることを示す、厳密な数学的枠組みを提供する。

証拠: 実験 E1–E3 において、モデルの隠れ状態は性質 P0–P3 を満たす。タスクベクトル混合の係数（ $\beta_{t,k}$ ）は、コンテキストが蓄積するにつれて、真のベイズ事後分布（ $\alpha_{t,k}$ ）を密接に追跡する。
因果的検証: タスクベクトル部分空間への介入（隠れ状態をタスク単体における特定の点に誘導すること）は、モデルの出力を対応する混合予測に一致させることに成功し、タスクベクトルが分布内（ID）タスクの推論を因果的に制御していることを確認した。

2. ほぼ直交する部分空間を通じた二重推論モードの発見

本論文は、OOD タスクに対する外挿的タスク学習（M2）が、ID タスクベクトル部分空間とほぼ直交する部分空間で動作することを示す。

メカニズム: タスクの多様性が増加する（いくつかの「主要」タスクと多くの「minor」タスクの混合で訓練することにより）、モデルはタスクベクトル検索のみに依存することから、独立した計算経路を利用する状態へと遷移する。
幾何学的証拠: タスク多様性が低い場合、OOD 隠れ状態は ID タスク部分空間 onto 強く射影される。多様性が増加すると、OOD 表現は直交性へと漂流し（射影 $R^2 \to 0$ ）、直交する方向へ変化する。
因果的検証: 介入により「二重分離」が確認された：
- タスクベクトル部分空間を抑制すると、ID 性能は壊滅するが、OOD 性能はほぼそのまま残る。
- 直交部分空間（minor タスクの最適化を通じて特定された）を抑制すると、OOD 性能は破壊されるが、ID 性能はベースライン付近に留まる。
理論的基盤: 定理 2 は、OOD 表現とタスク部分空間との距離の下限を提供し、OOD 予測マップの内在次元がタスクベクトル部分空間の次元を超えている場合、モデルは正確に一般化するためにその部分空間外の表現を利用しなければならないことを示している。

3. 枠組みの限界（非マルコフ的ケース）

1 次マルコフ性（コンパクトな要約に必要な性質）が欠如しているデータである植え付けられた Dyck 言語実験（E4）において、モデルは性質 P0 を満たさない。コンテキストを低次元の要約に圧縮する代わりに、モデルは隠れ状態に完全な接頭辞履歴を保持する。これは、提案された幾何学的枠組みが、十分統計量を可能にするデータ生成過程に依存していることを浮き彫りにする。

意義と主張

本論文は、トランスフォーマーが二重の推論モードを実装する方法について、初めて厳密かつ数学的に根拠のある記述を提供すると主張する：

ID 推論: タスクベクトル部分空間内でのベイズ的タスク検索によって支配され、モデルは記憶されたタスク間で補間を行う。
OOD 推論: ほぼ直交する部分空間内での外挿的タスク学習によって支配され、これは特定のタスク識別子ではなく、コンテキスト統計量（例：経験的ユニグラム、リッジ解、ビッグラム）を符号化する。

著者らは、タスクベクトル幾何学、訓練分布、および一般化行動は密接に関連していると論じる。具体的には、タスク多様性の増加がモデルに一般化を処理するための直交部分空間の開発を強制し、検索モードと学習モードの共存を説明する。この研究は、「線形表現仮説」が ID タスクには妥当だが、OOD 一般化を説明するには（直交部分空間による）拡張が必要であることを示唆している。

本論文は謙虚さを保ち、その分析は特定のマルコフ的性質を持つ合成データに依存しており、自然言語における OOD 一般化の完全な機械的説明は依然として未解決の課題であると指摘している。また、内部表現幾何学と外部一般化能力の間のギャップを埋めるための基礎的な一歩として位置づけている。