技術要約：言語モデルの学習において、概念はいつ機能的に十分となるのか？

問題提起

ニューラル言語モデルの学習メカニズムを理解するには、最終状態を分析するだけでは不十分であり、内部構造が「いつ」「どのように」機能的な有用性を獲得するのかを特定する必要がある。概念に基づく手法（例：概念活性ベクトル、スパース・オートエンコーダ）は、高次元の活性化を分解するための枠組みを提供するが、無相関性、正値性、独立性、あるいはスパース性に基づく標準的な概念の定義は、座標系を定義するものであり、意味論的な保証を与えるものではない。重要なギャップは、これらの分解された構造が単なる表現的なものなのか、それともモデルの予測行動に対して機能的に十分なものなのかを判断できるかという点にある。従来の研究は、再構成の忠実度や線形プロービングに依存することが多かったが、これらはモデルがダウンストリームのタスクに実際に使用している特定の情報を捉えきれていない可能性がある。本論文は、次の問いに取り組む：学習のどの時点で、分解された活性化のスパースな部分集合が、モデルの予測分布とダウンストリームの挙動を維持するのに十分になるのか？

手法

著者らは、分解の仮定を介入による検証対象とする「チェックポイント毎の活性化介入フレームワーク」を導入する。この手法は、表現適合、マスク校正、および介入評価の3段階で進行する。

1. 活性化の分解: 各レイヤー $\ell$ およびチェックポイント $t$ において、著者らは訓練時の活性化 $H$ に対して辞書 $V$ とアフィン再構成ベースライン $b$ を適合させる。抽出には、SVD、ICA、NMF、および SemiNMF の4つの手法を用いる。コード推論マップ $C$ が、活性化からコード行列 $U$ を生成する。
2. スパース・マスクの選択: 校正用スプリット上で、分解された座標のサブセットを選択するためにスパースなソフトマスク $z$ を最適化する。マスクは $z_i = \sigma(\alpha_i / \vartheta)$ と定義され、ここで $\vartheta$ は 1.0 から 0.1 へとアニーリングされるゲート温度である。選択は、保存損失 $L_c$ と明示的なスパース性ペナルティ $\lambda \|z\|_1$ を最小化するように行われる。
3. 介入と評価: マスクされた再構成 $\hat{H}$ を、保持されたテストデータに対して元のモデルに注入する。著者らは、以下の4つの異なる保存ターゲットを用いて、マスクの「機能的十分性」を評価する：
   • 活性化の再構成: 分散正規化されたユークリッド誤差の最小化（幾何学的忠実度）。
   • 固定ヘッドのデコーダビリティ: ネイティブなヘッドへの固定アフィン変換器を介してアクセス可能な分布の保持（線形プロービング）。
   • 真のダウンストリーム保存: レイヤー $\ell$ 以降の実際の予測分布の保持（行動的忠実度）。
   • チェックポイント転送: 学習されたアライメントの下で、あるチェックポイント $t$ の概念が、後のチェックポイント $T$ の活性化を再構成できるかどうかの判定。

本フレームワークは、幾何学的に再構成しやすい情報と、予測のために機能的に必要な情報の違いを区別するために、これらのターゲットを比較する。

主な貢献

1. マルチターゲット介入フレームワーク: 本論文は、7つの言語モデル（Pythia, OLMo, EuroBERT, ModernCamemBERT）に対し、複数のチェックポイントとレイヤーにわたって、4つの保存ターゲット（再構成、固定ヘッド、ダウンストリーム、転送）を体系的に比較する手法を導入する。
2. 保存損失の理論的分析: 著者らは、ダウンストリームのKLダイバージェンスと局所的な予測幾何学との関係を導出する。ダウンストリームの保存は、予測フィッシャー計量が残差方向を重み付けする、曲率重み付きの再構成誤差であることを示す。また、「教師あり概念ゲート・スコア」（$\tau$ および $\omega$）を導入し、座標ごとに感度を解決し、全単一例の感度と、平均化によって保持される平均整合成分を区別する。
3. 概念ダイナミクスの経験的特性化: 本研究は、ターゲット条件付きのスパースな動作点、およびチェックポイントの進化と深さへの依存性に関するモデル固有のプロファイルを報告する。

主な結果

7つのモデルにわたる実験により、幾何学的再構成と機能的十分性の間の顕著な乖離が明らかになった：

• ダウンストリーム・マスクのコンパクト性: 真のダウンストリーム保存のために最適化されたマスクは、再構成のためのマスクよりも著しくコンパクトである。共通の固定ペナルティ動作点において、ダウンストリーム・マスクは候補となるソフト質量のわずか**6.6%**を保持しているが、これは再構成（73.0%）や固定ヘッド選択（83.4%）と比較して極めて小さい。この極端なスパース性にもかかわらず、ダウンストリーム・マスクは相対KL 0.020の予測分布を保持し、精度をわずか0.80パーセントポイントしか低下させない。
• 幾何学と機能の分離: ダウンストリーム・マスクは、再構成マスク（中央値NMSE 0.215）と比較して高い再構成誤差（中央値NMSE 0.959）を示すが、行動は保持する。これは、モデルの予測分布が少数の高曲率な方向のサブセットに依存している一方で、活性化の変動の大部分は、ほとんど使用されない方向にあることを示している。
• モデル固有の時系列的・深度プロファイル: 機能的十分性の進化は一様ではない。
  • Pythiaモデルは、訓練の進展とダウンストリームKLの間に強い正の相関を示し、深さの相関はほぼ平坦であり、時間的なシグネチャを示唆している。
  • EuroBERT-210Mは逆の傾向を示した。負のチェックポイント相関を持つが、強い正の深さ相関を持つ。
  • OLMoは、両方の軸に対して正の相関を示す。
  • これは、「成熟度」としての概念が、普遍的なタイムラインではなく、モデル固有のプロファイルであることを示唆している。
• 教師あり感度の集中: ダウンストリーム・マスクは、教師ありゲート勾配モーメント（$\tau$ および $\omega$）に対して豊富である。具体的には、再構成マスク（中央値エンリッチメント 1.08$\times$）よりも、平均整合成分（$\omega$）を大幅に集中させている（中央値 5.32$\times$）。これは、行動的に十分なマスクが、集中した一貫した勾配信号を運ぶ方向を選択していることを意味する。
• 転送と分解: 学習されたアライメント転送は、モデル間で一貫したパターンを示し、SVDおよびICAは一般にNMFまたはSemiNMFよりも低い転送KLを示す。これは、分解の選択が、初期の概念が後の表現とどの程度整合するかに関係することを示している。

意義と主張

本論文は、概念のダイナミクスは、単一の成熟度スコアとしてではなく、ターゲットに応じたプロファイルの集合としてより情報量が多いと主張している。

• 機能的十分性は条件的である: マスクは、特定のターゲット（例：再構成 vs ダウンストリームの挙動）に対してのみ「十分」である。再構成の占有率とダウンストリームの占有率の間の大きな隔たりは、表現能力の大部分が予測には機能的に必要ではないことを示している。
• 予測幾何学における異方性: 結果は、訓練が集中した勾配エネルギーを運ぶ方向を優先的に強化し、プルバック予測フィッシャーにタスク条件付きの異方性を生み出すという直感を支持している。保持された小さなソフト質量が、教師あり感度の大部分を担うことができる。
• 送信者・受信者仮説: これらの知見は、訓練が活性化空間を形成し、有用な区別が浅いアフィン・リードアウト（送信者）によってアクセス可能にする一方で、ダウンストリームの計算は、より狭い信号のセットを増幅する方向選択的な受信者として機能するという仮説を動機づける。
• 限界: 著者らは、自らの主張は操作的かつターゲット条件付きであることを明示している。彼らは、独自の人間解釈可能な概念を特定したとは主張しておらず、選択された方向が行動を保持するための「唯一の」方法であることを確立したわけでもない（冗長性は存在する）。本研究は特定の事前学習済みモデルに限定されており、シーケンス生成、指示への追従、またはインコンテキスト学習には拡張されていない。

結論として、本論文は内部構造がいつ有用になるかを測定するための厳密なフレームワークを提供しており、機能的十分性が、モデルの広範な幾何学的表現とは異なる、高度にコンパクトで教師あり感度の高い活性化のサブセットとして出現することを実証している。