論文「Model Internal Sleuthing: Finding Lexical Identity and Inflectional Features in Modern Language Models」の技術的サマリー

この論文は、現代の大規模言語モデル（LLM）が、**語彙的アイデンティティ（Lexical Identity）と屈折的特徴（Inflectional Features）**を内部でどのように符号化・表現しているかを体系的に調査した研究です。従来のBERTやGPT-2などの初期モデルに焦点を当てた研究から一歩進め、アーキテクチャ、規模、トレーニング regimes が多岐にわたる25の現代モデル（BERT Base から Qwen2.5-7B、Llama-3.1 8B など）と、6 つの多様な言語（英語、中国語、ドイツ語、フランス語、ロシア語、トルコ語）を対象に分析を行いました。

以下に、問題設定、手法、主要な貢献、結果、および意義を詳細にまとめます。

---

1. 問題設定 (Problem)

大規模トランスフォーマーベースの言語モデルは現代の NLP を支配していますが、それらが言語情報をどのように内部表現しているかについての理解は、主に初期モデル（BERT, GPT-2）の研究に依存しています。しかし、現在のモデルは以下の点で劇的に変化しています。

• アーキテクチャ: エンコーダのみ、デコーダのみ、エンコーダ - デコーダ。
• 事前学習目的: マスク言語モデル vs 因果言語モデル。
• データ量: 数十億トークンから数兆トークンへ。
• ポストトレーニング: インストラクションチューニングなど。

これらの変化の中で、**「語彙的アイデンティティ（単語の辞書的意味/原形）」と「屈折的特徴（時制、数、格などの文法情報）」**が、モデルのどの層で、どのように表現され、モデルの規模やアーキテクチャによってどう変化するのかは未解明でした。

2. 手法 (Methodology)

著者らは、モデルの各層から抽出した隠れ状態（Hidden States）を用いた**プロービング（Probing）**手法を採用しました。

2.1 データセットとモデル

• 言語: 6 言語（英語、中国語、ドイツ語、フランス語、ロシア語、トルコ語）。Universal Dependencies コーパスを使用。
• モデル: 25 種類の事前学習済みトランスフォーマーモデル。パラメータ数は 1 億から 80 億、アーキテクチャは多様。

2.2 プローブ設計

各層の残差ストリーム（Residual Stream）の活性化値に対して、以下の 2 つのタスクを予測する分類器を訓練しました。

1. 語彙的アイデンティティ（Lexeme）: 単語の原形（例：walked $\to$ walk）を予測。
2. 屈折的特徴（Inflection）: 文法特徴（例：過去形、複数形）を予測。

分類器の種類:

• 線形回帰プローブ: 情報が線形に分離可能か測定。
• 非線形 MLP プローブ: 非線形な決定境界を探索し、線形仮定を緩和。

2.3 評価指標

• Selectivity（選択性）: 実際の言語タスクの精度から、ランダムなラベルに対する精度（コントロールタスク）を差し引いた値。真の言語情報の抽出度を測定。
• 線形分離ギャップ（Linear Separability Gap）: 非線形プローブと線形プローブの選択性の差。正の値は非線形構造の必要性、負の値は線形プローブの方が過学習（表面相関）を避けており、より本質的な構造を捉えている可能性を示唆。
• 有効次元（Effective Dimensionality）: PCA を用いて、各層の表現が占める実効的な次元数を測定。
• ステアリング（Steering）: 活性化ベクトルに差分ベクトルを加えることで、モデルの出力（屈折特徴）を意図的に操作できるか検証。

3. 主要な貢献と発見 (Key Contributions & Results)

3.1 表現の深さによる明確な分岐

モデルの深さ（層）によって、2 つの言語情報の扱い方が明確に異なります。

• 語彙的アイデンティティ: 初期層では高い精度で線形にアクセス可能ですが、深層に行くほど線形アクセス性が低下し、非線形な表現へと変化する傾向が見られました。特にエンコーダモデルでは顕著でした。
• 屈折的特徴: 初期層から深層まで、すべての層で高い線形アクセス性を維持し、安定して読み取れました。

3.2 言語類型による差異

• 6 言語全体で上記の傾向は確認されましたが、トルコ語（膠着語で形態が複雑）では、語彙的アイデンティティの精度が深層で最も急激に低下しました。
• 屈折情報の線形アクセス性は、ロシア語やドイツ語で特に高く、安定していました。

3.3 表現幾何学と次元圧縮

• 次元圧縮の現象: GPT-2、Qwen2.5、Pythia などの一部のモデルでは、中間層で**急激な次元圧縮（Mid-layer Collapse）**が発生し、少数の PCA 成分で分散の大部分を説明できる状態になりました。
• アウトレイヤー（Outlier）活性化: この次元圧縮は、中間層で異常に大きな値を持つアウトレイヤー次元（Outlier dimensions）の出現と相関していました。
• ステアリングへの影響: 急激な次元圧縮がある層では、ステアリング（活性化操作）の効果が低下する傾向が見られましたが、プローブの精度自体は高く保たれていました。

3.4 残差ストリーム vs アテンションヘッド

• 言語情報は**残差ストリーム（Residual Stream）**に強く保持されており、アテンションヘッドの出力よりも高い精度でプローブ可能でした。
• 特に語彙的アイデンティティは、中間層においてアテンション出力ではほとんど検出不能になる一方、残差ストリームでは高い精度を維持しました。これは、アテンションが文脈の集約に、残差ストリームがトークンレベルの形態・語彙情報の保持に特化している可能性を示唆します。

3.5 事前学習中のダイナミクス

• 屈折情報: 学習の初期段階ですでに高い精度に達し、その後は安定して維持されます。
• 語彙的アイデンティティ: 学習初期には高い精度を示しますが、学習が進むにつれて（特に深層で）精度が低下する傾向があります。これは、モデルが表面的な語彙識別から、文脈に依存した抽象的な表現へと移行していることを示唆しています。

3.6 ステアリングの実験

• 屈折特徴（例：単数形 $\leftrightarrow$ 複数形）は、少数の方向ベクトル（ステアリングベクトル）によって制御可能であり、モデルの深さ全体で高い制御性を示しました。
• 例外として、DeBERTa-v3-Large はモデル深さの 75% 付近でステアリング効果が急激に低下しました。

4. 結論と意義 (Significance)

この研究は、現代のトランスフォーマーモデルが、「形態統語的特徴（Inflectional features）」を層全体にわたって線形かつ安定したサブスペースに保持し、一方で**「語彙的アイデンティティ」を文脈化されたコンパクトな予測表現へと変換・再編成**しているという一貫したパターンを明らかにしました。

主な意義:

1. 現代モデルの理解の深化: 初期モデル（BERT 等）で見られた階層的構造（下層は形態、上層は意味）という単純な図式が、現代の多様なモデルアーキテクチャにおいても、屈折情報の「線形安定性」と語彙情報の「非線形化・文脈依存化」という形で再確認・拡張されました。
2. モデル設計への示唆: 屈折情報が線形に分離可能で制御しやすいサブスペースに存在することは、モデルの内部制御（Steering）や解釈可能性（Interpretability）の観点で重要であることを示しています。
3. トレーニングダイナミクス: 学習の初期に文法構造が確立され、その後は語彙情報が抽象化されるというプロセスは、人間の言語習得における文法と語彙の記憶コストの違い（Mollica & Piantadosi, 2019）と類似しており、言語モデルの学習メカニズムに関する洞察を提供します。

総じて、この論文は、モデルの規模やアーキテクチャがどう変化しても、トランスフォーマーが核心的な形態論的性質をどのように内部表現するかという「不変の原理」を解明しようとする重要な試みです。