On the Geometric Structure of Layer Updates in Deep Language Models

この論文は、深層言語モデルにおける層ごとの更新が、支配的なトークン単位の成分と幾何学的に区別される残差成分に分解され、機能的に重要な計算が後者に集中していることを示す新しい幾何学的分析枠組みを提案しています。

要約

この論文は、深層学習（AI）の「脳」がどのように情報を処理しているかを、**「地図の書き換え」**という新しい視点から解き明かした面白い研究です。

従来の研究は「AI の中間層に何が隠されているか（例えば、猫の画像かどうか）」を調べることに焦点を当てていましたが、この論文は**「1 つの層から次の層へ、情報が『どう変化』しているか」**という動きそのものに注目しました。

以下に、難しい数式を使わず、日常の例え話を使って解説します。

---

🏗️ 核心となるアイデア：2 つの「変化」に分ける

AI が文章を処理する際、単語ごとの表現（ベクトル）は層を上がるごとに少しずつ変わっていきます。著者たちは、この変化を以下の 2 つに分けて考えました。

1. メインの動き（トークン単位の更新）：
   • 例え話： 街中の**「個々の家」**が、自分たちの事情に合わせて少しだけ色を変えたり、家具を移動させたりすること。
   • どの家（単語）も、他の家と相談せず、自分だけで決めたルールに従って変化します。これは「局所的で、予測しやすい変化」です。
2. 残りの動き（リジューアル）：
   • 例え話： 街全体で**「新しい道路が引かれたり、地区全体のリフォームが行われたり」**すること。
   • これは個々の家の都合ではなく、街全体（文脈や他の単語）との関係性によって生じる、予測しにくい「本質的な変化」です。

🔍 発見された驚きの事実

この研究では、AI の内部を詳しく観察して、以下の 3 つの重要な発見をしました。

1. 変化の 9 割以上は「家のリフォーム」で説明できる

AI の層から層への変化を見ると、その大部分（約 90% 以上）は、上記の「1 つの家のリフォーム（トークン単位の更新）」でほぼ完璧に説明できてしまいました。

• イメージ： 街の景色が変わったように見えても、実は個々の家が少し色を変えただけで、街の構造自体はほとんど変わっていないような状態です。

2. 「残りの変化」こそが AI の「知性」の正体

しかし、残りのわずかな部分（リジューアル）は、単なる「誤差」や「ノイズ」ではありませんでした。

• 発見： この「残りの変化」は、メインの動きとは全く異なる方向に進んでいました。
• 重要性： この「残りの変化」が大きい場所ほど、AI の最終的な答え（出力）が大きく変わることがわかりました。
  • つまり、「AI が本当に考えていること（文脈の理解や推論）」は、この予測しにくい『残りの変化』の中に集中しているのです。

3. 方向性がバラバラ

メインの動きは「北東」へ進むのに対し、残りの変化は「南西」や「真上」など、全く異なる方向へ進んでいました。これは、AI が単に情報を整理しているだけでなく、「新しい意味」を生み出すための特別なプロセスが働いていることを示しています。

🧩 なぜこれが重要なのか？（日常への応用）

この研究は、AI を理解するための新しい「メガネ」を提供してくれます。

• 従来の視点： 「AI の頭の中を覗いて、何が見えているかを探す」（探偵が証拠を探すようなもの）。
• この論文の視点： 「AI の頭の中で、何が『動いている』かを見る」（工事中の建物の「どの部分が本質的に作り直されているか」を見るようなもの）。

「残りの変化（リジューアル）」を見つけることは、AI がどこで最も重要な判断を下しているかを特定するヒントになります。
例えば、AI が嘘をついているのか、それとも正しい推論をしているのかを判断する際、この「予測しにくい変化」がどこで起きているかを分析することで、AI の思考プロセスをより深く理解できるようになるかもしれません。

📝 まとめ

この論文は、**「AI の層ごとの変化は、単なる『家の色替え』のような単純な作業と、街全体を変えるような『本質的な再構築』の 2 つに分けられる」**と示しました。

そして、**「AI が本当に『考えている』のは、この予測しにくい『再構築』の部分にある」**という、とてもシンプルで強力な結論にたどり着いています。

これは、複雑な AI の仕組みを、**「日常の動き」と「本質的な変化」**という 2 つの視点で整理する、非常にわかりやすい新しいアプローチと言えます。

技術概要

論文要約：深層言語モデルにおける層更新の幾何学的構造

1. 研究の背景と問題設定

深層言語モデル（LLM）は、層を通過するにつれてトークン表現を変換しますが、この「変換の構造」自体が十分に理解されていません。既存の研究は、中間表現に「どのような情報」が符号化されているか（プロービングや Logit Lens 等）や、特定の回路レベルの因果的介入に焦点を当ててきました。しかし、**「ある層の表現から次の層の表現へ、どのように変化（変換）しているか」**という動的な構造を直接特徴づけるアプローチは不足していました。

本研究は、表現間の「変化そのものの幾何学的構造」を分析し、層ごとの更新がどのような数学的・機能的な性質を持っているかを解明することを目的としています。

2. 手法：層更新の構造化分解

著者は、層ごとの遷移を以下の 2 つの成分に分解する新しい枠組みを提案しています。

$$h_{l+1} = T(h_l) + r(h_l)$$

ここで、$h_l$ は層 $l$ の隠れ表現、$T$ はトークンごとの変換（Tokenwise Transformation）、$r$ は**残差（Residual）**です。

• トークンごとの変換 ($T$):
  • 各トークン表現 $x_i$ に対して独立に作用する、入力条件付きの局所的な線形マップ（または浅い非線形マップ）として定義されます。
  • 具体的には、$T(x_i) = A(x_i)x_i$ のように、入力 $x_i$ に依存してパラメータが変化する行列 $A$ を用います。
  • この関数クラスは「トークン間の相互作用（アテンション等）を含まない」ように制限されています。
• 残差 ($r$):
  • 上記の制限されたトークンごとの関数クラスでは説明できない、残りの成分です。
  • 単なるノイズではなく、トークンごとの変換では捉えきれない構造的な情報（トークン間の相互作用や非局所的な計算）を含んでいると解釈されます。

実装と評価:

• 表現空間内の k-NN（k 近傍）を用いて局所的に $T$ をフィットさせ、近似誤差を最小化します。
• 幾何学的評価: 完全な更新ベクトル、トークンごとの更新ベクトル、残差ベクトル間の「コサイン類似度」や「角度」を測定します。
• 機能的評価: 元の遷移を $T(h_l)$ に置き換えた際（介入実験）、モデルの出力分布がどのように変化するか（KL 発散）を測定し、近似誤差と出力変化の相関を調べます。

3. 主要な結果

Transformer 系モデル（Pythia, DistilGPT2）と状態空間モデル（Mamba）を含む多様なアーキテクチャで実験が行われました。

• 幾何学的な分離:
  • 完全な更新は、トークンごとの成分とほぼ完全に一致しており（コサイン類似度が 1 に近く、角度偏差が小さい）、支配的な更新方向を形成しています。
  • 一方、残差はトークンごとの更新方向とは大きくずれており（角度偏差が大きい）、支配的な部分空間への射影が著しく低いことが示されました。これは、残差が単なる小さな補正ではなく、幾何学的に独立した成分であることを意味します。
• 機能的な重要性:
  • トークンごとのモデルによる近似誤差と、モデルの**出力変化（摂動）**の間には、強い正の相関（スピアマン相関係数 0.7〜0.95）が観察されました。
  • 特に、残差が大きい（＝トークンごとの近似が失敗する）遷移ほど、モデルの出力に大きな影響を与えます。
  • したがって、機能的に重要な計算は、幾何学的に区別された「残差成分」に集中していると言えます。
• アーキテクチャと層による傾向:
  • 小規模なモデル（DistilGPT2 など）では対角行列による近似が有効ですが、大規模モデル（Pythia など）では低ランク線形マップがより適しています。
  • Mamba などのアテンションを持たないモデルでも同様の分解パターンが見られ、この構造はアテンション固有のものではなく、学習された表現ダイナミクスに内在する性質であることが示唆されました。
  • 中間層では残差の大きさが大きく、トークンごとの近似が主要な変換を捉えきれない領域（レジーム）が存在することがわかりました。

4. 主な貢献

1. 層更新の関数分解の導入: 深層言語モデルの層更新を、「支配的なトークンごとの成分」と「制限された関数クラスで定義された残差」に分解する枠組みを提案しました。
2. 幾何学的分離の発見: 完全な更新がトークンごとの成分と強く整合する一方、残差は幾何学的に明確に分離されていることを実証しました。
3. 機能への影響の証明: トークンごとの近似誤差が出力摂動と強く相関することを示し、残差がモデルの振る舞いの変化に不釣り合いに重要であることを明らかにしました。
4. アーキテクチャ非依存の視点: Transformer と状態空間モデルの両方でこの現象が観測され、現代のシーケンスモデルにおける計算の組織化に関する新しい視点を提供しました。

5. 意義と結論

本研究は、深層言語モデルの層間変換が、**「構造化されたパラメータ再設定（トークンごとの更新）」と「機能的に重要な計算（幾何学的に独立した残差）」**という 2 つのモードで構成されていることを示唆しています。

• 解釈可能性への示唆: 従来の「表現に何が含まれているか」を見るアプローチに加え、「表現がどのように変化するか」の幾何学的構造を分析することで、モデルの挙動をより深く理解できる可能性があります。
• 残差の重要性: 残差は単なるノイズではなく、モデルの出力変化を引き起こす機能的に重要な計算が集中している場所として捉えられます。
• 将来の展望: この枠組みはアーキテクチャに依存しないため、モデルの内部構造を解析する汎用的なツールとして機能し、特に「残差構造の内部をさらに解明する」ことへの道を開きます。

要約すれば、LLM の層間変換の大部分は局所的なトークンごとの操作で説明可能ですが、モデルの振る舞いを決定づける重要な計算は、幾何学的に独立した「残差」の中に潜んでいるという、新しい幾何学的・機能的な視点を提供する論文です。