When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis

技術要約：「プロービング精度が飽和するとき、脆弱性が解像度をもたらす」

1. 問題点：プロービング精度の飽和

標準的な線形プロービング（linear probing）は、凍結された隠れ状態に対して特定の特性（例：感情、道徳性、構文）を予測するように線形分類器を学習させる、広く用いられている解釈可能性プロトコルである。分類器が高い精度を達成した場合、その特性は「エンコードされている」と宣言される。

本論文は、このプロトコルを事前学習のダイナミクスに適用した際に生じる、決定的な失敗モードを特定している。OLMo-2 1Bの軌跡において、道徳性のような特性に対する標準的なプロービング精度は、最初の数千ステップ（ステップ4Kまでに精度は約95%に到達）で飽和する。残りの約95%の学習軌跡（約33Kステップ）の間、精度メトリクスは横ばいのままとなる。その結果、この計測器はモデル内で継続的に発生している表現の変化に対して盲目となり、標準的な分析では、事前学習の大部分が「不可視」となってしまう。

2. 手法： 「脆弱性（Fragility）」の導入

失われた解像度を回復するために、著者らは補完的な層ごとのメトリクスとして**脆弱性（fragility）**を導入する。

• 定義: 脆弱性は、学習されたプローブの精度が特定の閾値（0.6、すなわちチャンスレベル + 0.1に設定）を下回る際の臨界ノイズレベル ($\sigma^*_\ell$) として定義される。
• 手順:
  1. 特定の層 $\ell$ のクリーンな隠れ状態に対して、標準的な線形プローブを学習させる。
  2. キャッシュされたテストセットの活性化にガウスノイズ ($\epsilon \sim \mathcal{N}(0, \sigma^2 I)$) を注入する。
  3. 対数スケールのノイズ範囲 ($\sigma \in \{0.1, 0.3, 1.0, 3.0, 10.0\}$) にわたってプローブを再評価する。
  4. 精度が閾値を下回る最小の $\sigma$ を特定する。
• 解釈:
  • 低い $\sigma^*_\ell$: 表現が**脆弱（fragile）**である。決定境界の余裕（マージン）が狭いか、あるいは冗長性が低いため、小さな摂動によって精度が崩壊する。
  • 高い $\sigma^*_\ell$: 表現が**堅牢（robust）**である。区別が広いマージンや高い冗長性を持ってエンコードされている。
• 範囲: このメトリクスは、精度の曲線に使用されたものと同じ学習済みプローブに適用される。これにより、精度がプラトーに達した後でも、分離可能性の幾何学的構造と冗長性を追跡する直接的な補完として機能する。

3. 主要な貢献と実験設定

著者らは、OLMo-2 1B（37個のチェックポイント、高密度1Kステップサンプリング）およびOLMo-3 7B（20個のチェックポイント）ファミリーを用いて、この手法を検証している。著者らは、異なる能力をプローブするために4つの異なる最小ペアデータセットを採用している：

1. 標準的道徳（Standard Moral）: 道徳的な意味を持つ語彙の単一トークン置換（例：「裏切った（betrayed）」対「挨拶した（greeted）」）。
2. 感情（Sentiment）: 形容詞の単一トークン置換。
3. 構文（Syntax）: 構造的な整合性違反。
4. 構成的道徳（Compositional Moral / 新規の貢献）: 道徳的な価数（valence）が、単一の強い語彙ではなく、複数のトークンの統合によって決定される（例：特定の文脈における「守る（protect）」対「辱める（humiliate）」）200組のペアからなる新しいデータセット。このデータセットは、単なるBag-of-Words統計のみでは解けないことが厳密に検証されており、マルチトークンの統合を必要とする。

4. 主要な結果

知見1：定量的における「語彙的 $\to$ 構成的」なグラデーション
標準的なプロービング精度は、道徳的エンコーディングがステップ1Kで出現することを示唆している。しかし、著者らはこれが語彙的な分離可能性を測定しているのであって、構成的な推論を測定しているのではないことを示している。

• 標準的道徳プローブ: ステップ1Kで開始（単一の語彙置換）。
• 構成的道徳プローブ: ステップ5Kで開始（マルチトークンの統合）。
• グラデーション: 出現は厳格な順序に従う：語彙的道徳検出 (1K) $\to$ 感情 (2K) $\to$ 構成的道徳エンコーディング (5K) $\to$ 構文 (6K)。
• 検証: 構成的プローブは構成タイプ間で転移し（例：「動機」ペアで学習し、「役割」ペアでテスト）、Bag-of-Wordsのベースラインを大幅に上回る。これにより、それが単なる語彙ルックアップではなく、真の構成的エンコーディングを捉えていることが確認された。

知見2：精度が平坦な領域において、脆弱性が構造を解明する
平均プロービング精度はステップ4Kまでに約0.95でプラトーに達し、静止したままであるが、平均臨界ノイズ（脆弱性）はステップ36Kまで進化し続ける。

• 層の深さによるグラデーション: 単調なグラデーションが形成され、後半の層は最大の堅牢性（高い $\sigma^*$）を維持する一方で、初期の層は次第に脆くなる（臨界ノイズが10.0から1.8へと低下する）。
• 再現性: このパターンはOLMo-3 7Bモデルでも保持されており、構成的プローブの4つのランダムシードに対して頑健である。
• 意義: モデルは、単にデータを「分類」できるようになった後も、表現の洗練（堅牢性と冗長性の変化）を継続的に行っている。

知要3：データキュレーションは精度を変えずに堅牢性を再形成する
著者らは、LoRAを用いて、一致する3つのコーパス（叙述的道徳、宣言的道徳、一般的制御）でOLMo-2 1Bをファインチューニングした。

• 精度: これら3つの条件はすべて、同一のピークプロービング精度（~0.74–0.75）を生み出した。
• 脆弱性: 各条件は、異なる脆弱性のフィンガープリントを生み出した。
  • 宣言的道徳（「盗むことは悪いことだ」といったテンプレート）は、拡散した脆弱性（16層中10層が脆弱、平均 $\sigma^* = 5.63$）をもたらした。
  • 叙述的/一般的な条件は、より堅牢であった（平均 $\sigma^* \approx 7.0$）。
• 示唆: 構文テンプレートを記憶することは、ノイズに対して崩壊する、幅の狭くマージンの低い決定境界を生み出す。これは、精度指標では不可視な構造的変化である。

5. 意義と主張

本論文は、特定の道徳領域に関する主張ではなく、方法論的な主張を行っている：プロービング精度は、特性が線形にデコード可能になった後は、ダイナミクスを捉えることができない、閾値化され上限のあるメトリクスである。

• 核心となるテーゼ: テストされたすべての比較において、プロービング精度が平坦で情報のない回答を返す場面でも、脆弱性は構造化され、進化する回答を返す。
• 「創発」の再定義: 本論文は、標準的なプローブの開始（例：「道徳性はステップ1Kで創発する」）のみに基づく「創発」の主張は、多くの場合、語彙的なアクセシビリティによるアーティファクトであることを主張している。真の構成的能力はより遅く出現し、異なるダイナミクス（漸進的 vs ステップ状）に従う。
• 有用性: 脆弱性は、事前学習分析のための必要な診断ツールとして機能し、標準的な精度が隠蔽してしまう表現の幾何学（マージンと冗長性）の進化を明らかにする。

著者らは、事前学習のウィンドウは、標準的な解釈可能性ツールが明らかにするよりもはるかに多くの作業を行っており、失われた解像度を回復するためには脆弱性の読み出しを追加することが不可欠であると結論づけている。