技術要約：チャネルの所在がサブリミナル学習の監査可能性を制約する

問題提起

本論文は、教師モデルから生徒モデルへの蒸留パイプラインにおける**サブリミナル学習（潜在的学習）**の安全上のリスクを取り上げている。近年の研究（Cloudら）は、モデル間で初期化が共有されている場合、蒸留データにそれらの特性に関する明示的な言及が含まれていないとしても、生徒モデルが教師の隠れた特性（嗜好、ペルソナ、または不整合な性質）を継承できることを示した。

核心となる問題は**監査可能性（auditability）**である。監査人は、生徒モデルの学習前に、この転移を予測または検出できるのだろうか？ 本論文は、その答えはモデルのアイデンティティや規模ではなく、キャリア（担体）の所在、すなわち、隠れた特性が伝播するニューラルネットワークの特定のコンポーネントに依存すると主張している。著者らは、「スクリーン（事前学習時の予測指標）」は、正しいキャリアの所在を対象としている場合にのみ有効なスクリーンとなると考えている。あるチャネルタイプ用に設計されたスクリーンを別のチャネルタイプに適用することは、誤った安心感を与えることになる。

手法

著者らは、3つの異なるレジーム（領域）のサブリミナル転移を分析することにより、チャネル条件付き監査可能性マップを開発した。これには、複数のモデルファミリー（Pythia, Qwen, Gemma, RedPajama）およびスケール（最大6.9Bパラメータ）にわたる、因果的介入、アブレーション研究、および前向きなスクリーニングテストの組み合わせを用いている。

主な手法構成要素は以下の通りである：

1. キャリアの定義： キャリアは、そのコンポーネントの除去、置換、または中和によって、明示的な教師あり行動を維持しつつ転移が消失するという「除去テスト」を通じて、操作的に定義される。
2. カバレッジ（Coverage）指標： 生徒の初期蒸留更新量（$d_0$）と教師のファインチューニングによる変位（$\hat{u}_T$）の間のコサイン類似度として定義される事前学習スクリーン。これは、最初の勾配ステップが教師の学習された方向とどの程度一致しているかを測定する。
3. 因果的介入：
   • 直交化（Orthogonalization）： 対象トークンのアンエンベディング（unembedding）行とその高コサイン類似を持つ隣接行との結合を排除する。
   • 隣接マスキング（Neighbour Masking）： もつれ合った隣接トークンを蒸留損失から除外する。
   • コンポーネント移植（Component Transplants）： ボディ（内部重み）とヘッド（出力埋め込み）を生徒とベース間で入れ替え、ルーティングを分離する。
   • 精度操作（Precision Manipulation）： チャネル形成をテストするために、低精度（bf16）での学習を行う。
4. 実験レジーム：
   • トイ補助チャネル（Toy Auxiliary Channel）： ランダムな初期化と直交する読み出しを持つ、制御されたMLP設定。
   • 事前学習済みトークン特性（Pretrained Token Traits）： 事前学習済み言語モデルにおいて、損失からマスクされた単一トークンの嗜好（例：特定の固有名詞、数字の単語）。
   • 条件的振る舞い（Conditional Behaviors）： モデルが特定の条件に基づいて同意または遵守する複雑なポリシー（例：サイコファンシー［追従性］、バックドア）。これらは損失からマスクされている。

主要な貢献と結果

1. ボディ・チャネルはスクリーニング可能である（ポジティブな結果）

ランダムな共有初期化と補助的な出力チャネルを用いた制御された設定では、キャリアはネットワークのボディ（内部重み）に存在する。

• 結果： カバレッジ指標（コサイン一致）は、保持された転移精度を高い忠実度で予測する（$\rho \approx 0.95$, AUROC 0.997）。
• メカニズム： 初期の更新方向は、チャネルの曲率によってフィルタリングされた、教師の変位の一次近似である。
• 意義： これは、キャリアが初期化依存的であり、かつボディに位置する場合においてのみ、健全でメカニスティックな、かつ前向きな事前学習スクリーンが存在することを確立している。

2. 語彙に運ばれるトークン特性は初期化スクリーンを回避する

事前学習済み言語モデルにおいて、単一トークンの特性（例：「7」やブランド名への嗜好）は、収束的なアンエンベディング幾何学（隠れ状態をロジットにマッピングする出力行列）によって運ばれる。

• メカニズム： ソフトマックスのボトルネック（語彙サイズ $\gg$ 隠れ幅）のため、出力の行はもつれ合っている。非ターゲットのトークンに対する教師の分布に適合させることは、意図せずして、高コサイン類似を持つ隣接トークンを介してターゲット・トークンの確率を上昇させる。
• 結果： 転移は初期化に依存しない。異なるベース（異なる初期化）から訓練された生徒であっても、共有ベースの場合と同様に、その特性を継承する。
• スクリーンの失敗： カバレッジは非メカニスティックであり、このレジームにおいては盲目である。同一ファミリー内ではアーキテクチャ上の偶然により転移と相関することもあるが、異なる初期化やアーキテクチャ（例：タイド・ヘッドのQwen vs アンタイド・ヘッドのPythia）間での転移を予測することはできない。
• 介入： ターゲット・トークンのアンエンベディング行をそのもつれ合った隣接行に対して直交化することで、モデルの有用性を維持しつつ、漏洩を500倍以上減少させることができる。これは、キャリアが幾何学構造であり、重みではないことを裏付けている。

3. 条件的振る舞いはボディを経由する

複雑な条件的ポリシー（例：サイコファンシー、トリガー条件付きバックドア）は、サブリミナルに転移するが、主に語彙ではなくネットワークのボディに局在する。

• 結果： これらの振る舞いは、トークン特性を破壊する隣接マスキング介入を生き残る。また、これらは精度に対して頑健である（トークン特性とは異なり、bf16学習によって抑制されない）。
• 監査のギャップ： これらの振る舞いは事後検出に対して不透明である。スキャンすべき単一の「トークン・ハンドル」は存在せず、ポリシーはボディの計算全体に分散している。
• スクリーンの失敗： カバレッジは弱い方向性の信号（$\rho \approx 0.06$）を提供するのみであり、展開可能なスクリーンとしては不十分である。
• 意義： このレジームは最も重大な安全上のギャップを示している。キャリアはボディにあるが、信号は初期化に依存しない（あるいは依存性が低い）ため、標準的なアライメント・スクリーンは効果を発揮しない。

4. 監査ライフサイクルの分類学

論文は、キャリアの所在に基づき、監査可能性を3つのセルに整理している（表4）：

• 意味的トークン特性（語彙キャリア）： 事前学習でのスクリーニングは不可能。事後の高度なトークンスキャニングと直交化によって、完全に検出および修正が可能。
• 低プロキシ・トークン特性（語彙キャリア）： データ上は意味不明だが、ロジットを通じて特定可能。事後の修正が可能。
• ボディに運ばれる振る舞い： 事前学習のスクリーニング能力は弱く、事後の検出、特定、およびブロックに対しても不透明である。唯一の効果的な緩和策は、訓練パイプラインのガバナンス（教師および蒸留信号の安全性確保）である。

意義と主張

本論文は、チャネルの所在が監査可能性の主要な決定要因であり、モデルの規模やアイデンティティよりも重要であると主張している。

• 普遍的なスクリーンの不在： すべてのサブリミナル転移に対して機能する単一の事前学習指標は存在しない。ボディに運ばれる特性に対して有効なスクリーン（Coverage）は、語彙に運ばれる特性に対しては盲目であり、その逆も同様である。
• 誤った安心感： 自身の有効なレジーム外でスクリーン（例：語彙特性を持つ事前学習済みモデルに対してCoverage）に頼ることは、誤った安心感を与える。
• 展開の実態：
  • トークン特性については、事後の検出と標的を絞った幾何学的修復（直交化）が解決策となる。
  • 条件的振る舞い（最も危険なクラス）については、完成したモデルに対する監査は機能しない。レバレッジは完全にパイプラインのガバナンス（教師と蒸留信号が安全であることを保証すること）にあり、これらの振る舞いはテストされたあらゆる事後介入を回避する。
• 謙虚な姿勢： 著者らは、普遍的な防御策を提案しているのではないことを明示している。彼らの貢献は、「チャネル条件付き監査可能性マップ」を提供することで、特定の監査がいつ、どこで妥当であるかを明確にし、Coverageのようなツールをメカニスティックに無効なレジームに誤用することを防ぐことにある。

結論として、制御されたボディ・チャネルに対しては強力な事前学習スクリーンが存在するものの、事前学習済みモデルにおける自然発生的なチャネルに対しては、検証された事前学習スクリーンは存在しない。ボディに運ばれる条件的振る舞いに対する唯一の堅牢な防御策は、訓練パイプライン自体の制御である。