論文「UNDERSTANDING THE EMERGENCE OF SEEMINGLY USELESS FEATURES IN NEXT-TOKEN PREDICTORS」の技術的サマリー

この論文は、次トークン予測（Next-Token Prediction: NTP）で訓練されたトランスフォーマーモデルにおいて、**「一見すると次のトークンの予測に不要に見える抽象的な特徴（Seemingly Useless Features）」がどのようにして学習されるのかを解明することを目的としています。従来の機械的解釈性研究が「学習された特徴が最終的なアルゴリズム内でどのような役割を果たすか（目的論的視点）」に焦点を当てていたのに対し、本論文は「訓練中の勾配信号がどのように特徴の発現を駆動するか（発展的視点）」**に注目し、新しい分析枠組みを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

大規模言語モデル（LLM）は通常、次トークン予測（NTP）の目的関数で訓練されます。直感的には、モデルは「次のトークンを予測するために必要な情報」のみを隠れ状態（Hidden Representations）に保持すべきです。しかし、実際にはトランスフォーマーは以下のような、直近のトークン予測には直接的に不要に見える特徴を学習することが知られています。

• 抽象的な特徴の再構成（例：文の構文構造、ボードゲームの盤面状態）
• 世界モデルの形成（データ生成プロセスの高次構造の推論）
• 先読み（Look-ahead）（数トークン先の予測）

なぜ NTP 目的関数を持つモデルが、直接的な予測に役立たない特徴を学習するのか、その勾配信号の起源を特定する研究はこれまで不足していました。

2. 提案手法：情報フローの分解と勾配成分の追跡

著者は、因果的マスク付きトランスフォーマーの情報フロー構造に基づき、特徴の学習を駆動する勾配信号を3 つのメカニズムに分解して定義しました。

3 つの学習メカニズム

1. 直接学習 (Direct Learning):
   • 位置 $i$ での残差ストリーム $r_i$ が、直後のトークン $x_{i+1}$ の予測損失に直接寄与する経路。
   • 最も直感的な学習信号であり、NTP に有用な特徴の主な源です。
2. プリキャッシング (Pre-caching):
   • 位置 $i$ の情報が、将来の位置 $j (j > i+1)$ での予測損失に影響を与える経路。
   • 将来のトークンを予測するために必要な情報を、現在のトークンで「先取りして」保持する現象です。
   • 注意機構（Attention）を通じて、将来の損失勾配が現在の位置に伝播することで発生します。
3. 回路共有 (Circuit Sharing):
   • 位置 $i$ の残差ストリームを経由しない経路から生じる勾配信号。
   • トランスフォーマーの重みは全位置で共有（タイド）されているため、ある位置 $j$ で有用な特徴を学習する勾配が、位置 $i$ のパラメータ更新にも影響を与えます。
   • これにより、位置 $i$ において NTP に不要な特徴であっても、他の位置での有用性を通じて学習されます。

勾配成分の影響度推定手法

特定の線形特徴 $w$ が、上記の 3 つの勾配成分のどれによってどの程度学習されたかを定量化する手法を提案しました。

• 特徴ミスマッチ (Feature Mismatch): 中間チェックポイント $\theta_t$ と最終モデル $\theta^*$ における特徴の投影値の差を定義。
• 影響度 (Influence): 各勾配成分（直接、プリキャッシュ、共有）が、このミスマッチを縮小させる方向にパラメータをどれだけ押し動かしたかを微分計算により算出。
• アブレーション実験: 「マイオピック（myopic）」訓練（将来の損失勾配を遮断）や「m-アンタイド（m-untied）」訓練（位置ごとのパラメータを分離）を行い、各メカニズムの役割を実証的に検証します。

3. 主要な実験結果

3.1 小規模トランスフォーマーでの検証

• トイタスク（Majority/Conditioned Majority）:
  • プリキャッシングと回路共有を遮断したモデル（マイオピックかつアンタイド）は、入力段階で「NTP に不要な特徴」を学習できませんでした。
  • これらのメカニズムを復元すると、特徴の線形性が回復しました。特に「Conditioned Majority」のような複雑な回路（インダクションヘッドなど）にはプリキャッシングが必須であることが示されました。
• OthelloGPT（ボードゲーム）:
  • OthelloGPT の「世界モデル」は、次の手（NTP 有用）に影響しない盤面のマス（NTP 不要）の表現も学習していることが確認されました。
  • 分析により、NTP 不要なマスの特徴は「直接勾配」ではなく、「プリキャッシング」と「回路共有」の勾配によって学習されていることが統計的に証明されました。これが、OthelloGPT の世界モデルが「脆弱（fragile）」である理由（直接勾配による強化が弱い）を説明します。
• 小規模言語モデル（TinyStories）:
  • 構文（POS タグ、依存関係）: プリキャッシングがなくても学習可能（直接勾配で十分）。
  • 文脈的な位置情報: プリキャッシングの影響が強く、複雑な文書構造の理解にはプリキャッシングが不可欠であることが示されました。

3.2 大規模言語モデル（Gemma 2）への適用

再学習が困難なため、最終チェックポイントに対する介入実験（Intervention）とスパーサオートエンコーダー（SAE）を用いて分析しました。

• Q(w) スコアの定義: 介入による「直近トークン予測への影響」と「将来トークン予測への影響」の比率を定義し、特徴が「プリキャッシング度」が高いか低かを判定。
• 形式推論との相関:
  • Q(w) が極端に高い特徴（プリキャッシング度が高い）は、コード、プログラミング構文、数学的記述など、形式推論（Formal Reasoning）に関連する特徴である傾向が強く見られました。
  • 逆に、Q(w) が低い特徴は一般的な自然言語の文脈に多く見られました。
• 先読み（Look-ahead）との関係:
  • 従来の仮説（プリキャッシングが先読みの主因である）とは異なり、先読み能力に寄与する特徴は、むしろ直接学習（Direct）された特徴の方が強いことが判明しました。
  • プリキャッシングされた特徴は、将来のトークン予測そのものよりも、形式構造の維持や文脈の整合性維持に寄与している可能性が示唆されました。

4. 主要な貢献

1. 理論的説明の提供: NTP 訓練されたトランスフォーマーが、直近の予測に不要な複雑な特徴を学習するメカニズム（プリキャッシングと回路共有）を理論的に説明しました。
2. 勾配成分の追跡手法: 特定の発現した特徴が、訓練中のどの勾配成分（直接、プリキャッシュ、共有）によって形成されたかを定量化する新しい手法を提案しました。
3. 新たな知見の発見:
   • OthelloGPT の世界モデルの脆弱性の原因解明。
   • 自然言語生成において、構文は直接学習されるが、高次な文脈構造にはプリキャッシングが必要であるという区別。
   • 大規模モデルにおいて、形式推論（コード等）に関連する特徴が特に強いプリキャッシング度を持つという発見。

5. 意義と結論

本論文は、機械的解釈性の研究パラダイムを「静的なアルゴリズムの解析」から「訓練ダイナミクスに基づく発展的解析」へと転換させる重要な一歩です。

• 理論的意義: 「なぜモデルは不要に見える特徴を学習するのか」という問いに対し、勾配信号の伝播経路（特に将来の損失への影響とパラメータ共有）という明確なメカニズムを提示しました。
• 実用的意義: 形式推論タスク（コード生成など）において、モデルが内部でどのような勾配信号を利用しているかを理解することで、より効率的な訓練手法や、モデルの能力を向上させるための介入戦略（例：特定の勾配成分を強化する訓練）の設計に寄与します。
• 将来の展望: 大規模モデルへの適用性を高め、特定の勾配成分（例えばプリキャッシングのみ）によって形成された解釈可能な特徴を探索する新たな研究領域を開拓する可能性があります。

要約すれば、本論文は「トランスフォーマーが学習する『無駄に見える特徴』は、単なるノイズではなく、将来の予測や構造的整合性を保証するための、訓練プロセスにおいて必然的に生じる勾配信号の結果である」ことを実証しました。