💬 NLP

Linear Representations of Hierarchical Concepts in Language Models

本論文は、言語モデルが階層的な概念（例：日本 $\subset$ 東アジア $\subset$ アジア）を、ドメイン固有の低次元部分空間内で解釈可能な線形表現として符号化しており、その表現構造がドメインを超えて高い類似性を示すことを実証しています。

原著者： Masaki Sakata, Benjamin Heinzerling, Takumi Ito, Sho Yokoi, Kentaro Inui

公開日 2026-04-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Masaki Sakata, Benjamin Heinzerling, Takumi Ito, Sho Yokoi, Kentaro Inui

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🧠 核心となる発見：AI の脳内は「整理された棚」だった

私たちが「大阪は日本の一部」「日本はアジアの一部」というように、物事を**「小さいもの ⊂ 大きいもの」**という階層で理解しているように、AI もその内部で同じような整理を行っています。

この論文では、その整理の仕方を**「線形（リニア）な変換」**という魔法の道具を使って分析しました。

1. 魔法の「変換メガネ」で見る AI の思考

これまでの研究では、AI が「大阪」と入力されたとき、その次の言葉として「日本」を予測する仕組みはわかっていましたが、**「なぜそのように予測するのか？その思考の過程はどうなっているのか？」**までは詳しくわかっていませんでした。

この研究では、**「変換メガネ（線形変換）」**という新しいレンズを AI の思考の途中（中間層）に当ててみました。

仕組み: 「大阪」という概念の思考パターンに、このメガネをかけると、自動的に「日本」という親の概念のパターンに直線的に変換されることを発見しました。
意味: AI は複雑な計算で「大阪→日本」を導き出しているのではなく、「大阪」の思考ベクトルを、単純な「足し算・引き算」のような操作で「日本」に変えることができるほど、整理されていることがわかりました。

2. 「150〜250 次元」の小さな部屋に隠された秘密

AI の頭の中は膨大な情報（数千次元）で溢れていますが、この「階層構造（親子関係）」の情報は、実は**非常に小さな部屋（150〜250 次元の空間）**にギュッと詰め込まれていました。

例え: 巨大な図書館（AI の脳）の、たった一つの小さな書棚（低次元部分）に、すべての「親子関係」のルールが書かれた辞書が置かれているようなものです。

3. 「分野ごとの専用棚」と「共通のルール」

ここが最も面白い発見です。

分野ごとの違い: 「場所（国や都市）」の階層を扱うときと、「生物（動物）」の階層を扱うときでは、AI が使う**「思考の部屋（部分空間）」は異なります**。
- 例: 「東京」の話をしているときは「場所用部屋」を使い、「猫」の話をしているときは「生物用部屋」を使います。
共通のルール: しかし、**「部屋は違っても、部屋の中の『棚の並び方』は驚くほど似ている」**ことがわかりました。
- 例: 「場所用部屋」でも「生物用部屋」でも、「子供（大阪）→ 親（日本）」という関係性は、同じような「棚の並び順」で整理されています。

4. 実験：思考を「書き換える」ことができる

研究者たちは、この発見を使って**「AI の思考を意図的に書き換える」**実験を行いました。

実験: 「パリは〇〇の一部です」という文で、AI の思考に「フランス」の要素を引いて、「ドイツ」の要素を足しました。
結果: AI の予測が「フランス」から**「ドイツ」に瞬時に変化**しました。
意味: AI が階層構造を単なる「統計的な確率」で覚えているだけでなく、「思考の根幹（原因）」として実際に使っていることが証明されました。

🌟 まとめ：AI は「論理的な整理上手」だった

この論文が伝えていることは、以下の 3 点に集約されます。

AI は階層を理解している: AI は「大阪 ⊂ 日本 ⊂ アジア」といった親子関係を、単なる言葉の並びではなく、**数学的に明確な「直線的なルール」**として頭の中に持っています。
整理は効率的: そのルールは、膨大な記憶の海の中でも、小さな特定のエリアに集中して整理されています。
ルールは普遍的: 場所の話でも、動物の話でも、「親子関係を整理する仕組み（棚の並び方）」は共通しています。

一言で言うと：
「AI の頭の中は、無秩序なデータの山ではなく、『場所』や『生物』ごとに専用の棚を用意しつつも、すべての棚で『親子関係』を整理する『共通のルール』が厳密に守られている、驚くほど整然とした図書館だった」ということがわかったのです。

この発見は、AI がなぜ賢いのかを理解するだけでなく、AI の思考を人間がより深くコントロールしたり、説明したりする（「AI の透明性」を高める）ための重要な第一歩となります。

論文サマリー：言語モデルにおける階層的概念の線形表現

1. 研究の背景と課題

大規模言語モデル（LM）が内部表現において概念の幾何学的構造（色、空間、時間など）をどのように符号化しているかという問いは、理論的・実用的に重要である。近年の研究では、概念の階層関係（例：「日本」 $\subset$ 「東アジア」 $\subset$ 「アジア」）も、特にアンエンベディング層において幾何学的に表現されていることが示唆されている（Park et al., 2025）。

しかし、既存の研究には以下の限界があった：

層の制限: 既存の研究は主にアンエンベディング層（最終層）の静的な表現に限定されており、LM が情報を処理する中間層の動的な計算プロセスを捉えていない。
トークンの制限: 既存手法は単一トークンの概念に限定されており、複数トークンで構成される実体（例：「Babe Ruth」 $\subset$ 「野球選手」）や、より多様な概念集合の階層関係を扱えない。

本研究は、これらのギャップを埋め、LM の中間層において多様なエンティティ中心の概念がどのように階層的に符号化されているかを解明することを目的としている。

2. 提案手法：Linear Hierarchical Encoding (LHE)

本研究では、階層関係の分析のための新しいフレームワーク**Linear Hierarchical Encoding (LHE)**を提案する。これは、Linear Relational Concepts (LRC) の枠組みを階層構造に拡張したものである。

手法の概要

データ構築: 場所、人物、組織、生物、研究トピックの 5 つのドメインからなる、複数トークンを含む概念階層データセットを構築する。
線形変換の学習:
- 階層の深さ（depth）とドメインごとに固有の線形変換を学習する。
- 具体的には、ある深さ $d$ の子ノード（例：「大阪」）の中間層表現から、親ノード（例：「日本」）の表現へマッピングする線形関数 $R_r(s) = W_r s + b_r$ を学習する。
- ここで、 $r$ は階層的遷移（例：PART-OF）と深さを示すラベルである。
概念ベクトルの抽出:
- 学習した線形変換の擬似逆行列を用いて、親概念に対する「概念ベクトル（方向）」 $v_{r,c}$ を定義する。
- このベクトルは、子ノード表現空間における親概念 $c$ のプロトタイプ方向として機能する。

3. 実験設定

モデル: Llama 3.2 3B, Llama 3.1 8B, Qwen3 8B, Qwen3 14B の 4 つのデコーダ専用モデルを使用。
評価指標:
- Accuracy: 内部表現から線形変換を用いて、子ノードがどの親ノードに属するかを予測する精度。
- Causality: 学習された概念ベクトルを隠れ状態に追加・減算（介入）することで、モデルの次トークン予測を意図した方向に変化させられるか（因果的寄与）を測定。
データ: 5 つのドメイン（Location, Research Topic, Persons, Organizations, Organisms）を使用。モデルが few-shot 設定で正解する事例のみをフィルタリングして使用。

4. 主要な結果

4.1 階層関係の線形復元可能性

LHE の有効性: 比較対象（SVM、入力平均化）に対して、LHE はすべてのドメインで高い Accuracy と Causality を達成した。
モデル間比較: 4 つのモデルすべてにおいて、中間層から階層関係が線形的に復元可能であり、介入によって予測を制御できることが確認された。ただし、モデルによって性能にばらつきがあり（例：Qwen3 14B は Accuracy は高いが Causality が低い場合がある）、表現が線形符号化されている度合いはモデル依存であることが示唆された。

4.2 階層情報の符号化特性

本研究は、階層情報がどのように符号化されているかについて、以下の 3 つの重要な性質を明らかにした。

低次元部分空間への符号化:
- 階層情報は、隠れ状態の次元（3000〜5000 次元）に対して、非常に低次元の部分空間（約 150〜250 次元）に集中して符号化されている。
- 擬似逆行列のランクを掃引した実験により、この次元数付近で Accuracy と Causality が最大化されることが確認された。
ドメイン固有性（Domain-Specificity）:
- 階層情報を符号化する部分空間はドメインに依存する。あるドメイン（例：場所）で学習した線形変換を別のドメイン（例：人物）に適用すると、Accuracy はある程度維持されるが、Causality は劇的に低下する。
- これは、予測に影響を与える「介入可能な特徴」がドメインごとに異なる部分空間に局在していることを意味する。
ドメインを超えた構造の類似性:
- 部分空間はドメイン固有であるにもかかわらず、階層表現の構造自体はドメイン間で非常に類似している。
- PCA 可視化により、ベクトルがサブツリー（例：アジア、アフリカ）ごとにクラスタリングされ、さらにその内部で深さ（depth）に応じて分離していることが確認された。
- 位相データ解析（TDA）を用いた永続ホモロジーの比較により、階層ドメイン間の表現構造の距離は、非階層データセットとの距離に比べて有意に小さく、構造が共通していることが定量的に示された。

5. 結論と意義

本研究は、言語モデルが概念の階層関係を、**「解釈可能性の高い線形表現」**として符号化していることを実証した。

理論的意義: LM の内部表現が、単なる相関ではなく、因果的に操作可能な線形構造として階層を保持していることを示し、LM の「思考の幾何学」に関する理解を深めた。
技術的意義: 複数トークンや中間層を扱える LHE フレームワークを提案し、既存の単一層・単一トークンに限定された分析手法の限界を克服した。
知見: 階層情報は低次元かつドメイン固有の部分空間に存在するが、その幾何学的構造はドメインを超えて普遍的であるという「ドメイン固有の符号化空間におけるドメイン一般の構造」という二重の性質が明らかになった。

今後の課題として、トレーニング中の階層表現のダイナミクスや、コンテキスト内（in-context）での階層表現の modulation について調査することが挙げられている。