テクニカル・サマリー：潜在的学習はステアリング・ベクトルの蒸留である

問題提起

潜在的学習（Subliminal learning）とは、教師モデルの出力を用いてファインチューニングされた生徒言語モデルが、訓練データが（例：数値列）それらの特性（例：猫への好み）と意味的に無関係であるにもかかわらず、教師の潜在的な行動特性を獲得してしまう現象である。先行研究ではこの現象が発生することは確立されていたが、そのメカニズムは不明なままであった。具体的には、どのようにして非意味的なデータが特定の意味的特性を伝達するのか、なぜ特定の特性は転移し他の特性は転移しないのか、そしてなぜこの効果が主に同一モデルファミリー内の教師・生徒ペアに限定されるのかが分かっていなかった。「トークンの絡み合い（token entanglement）」や「ダイバージェンス・トークン（divergence tokens）」といった従来の仮説は、信号が「どこ」に存在するのかを特定したが、ファインチューニング中に信号が「どのように」転送されるのかを説明するには至らなかった。

手法

著者らは、潜在的学習は単一のステアリング・ベクトル（steering vector）、すなわち、活性化に加算することで挙動をターゲットとなる特性へとシフトさせる残差ストリーム内の方向によって媒介されていると提案している。本研究では、オープンソースモデル（Qwen2.5-7B-Instruct, Gemma-3-4b-it, Llama-3.1-8B-Instruct, OLMo-3-7B-Instruct）を用いた3段階のパイプラインを採用している：

1. 教師生成（Teacher Generation）： リファレンスモデルに対し、特性を誘導するシステムプロンプト（例：「あなたは猫が大好きです」）を与え、データ（例：数値列）を生成させる。このデータは、特性に関する表面的な意味的参照が含まれないようフィルタリングされる。
2. ベクトルの抽出（Vector Extraction）：
   • $v_{teacher}$： 特性を誘導するプロンプトと中立的なプロンプトの間での、リファレンスモデルの残差ストリームにおける活性化の平均差として定義される。
   • $v_{student}$： 同一の訓練データに対する、ファインチューニングされた生徒モデルとリファレンスモデル（中立プロンプト下）の間の活性化の平均差として定義される。
3. 因果テスト（Causal Testing）： 著者らは充足性と必要性のテストを行う：
   • 充足性（Sufficiency）： ベースモデルを $v_{student}$ でステアリングし、ファインチューニングなしで特性を再現できるかを確認する。
   • 必要性（Necessity）： ファインチューニングされた生徒から $v_{student}$ をアブレーション（除去）し（投影をリファレンスモデルのものに置き換える）、特性が消失するかを確認する。
4. 蒸留実験（Distillation Experiments）： 著者らは、ランダムなベクトルや様々な意味的特性（例：「海賊」、「シェイクスピア風」、「幸福」）のベクトルでステアリングされた教師から生成されたデータを用いて生徒を訓練する、「ステアリング・ベクトル蒸留」へと設定を拡張している。
5. オプティマイザ分析（Optimizer Analysis）： 適応型オプティマイザ（Adam, AdamW）と非適応型（SGD, モメンタム付きSGD）を比較し、ステアリング・ベクトルの獲得における役割を特定する。

主要な貢献と結果

1. 潜在的学習は単一のステアリング・ベクトルによって媒介される

本論文は、ファインチューニングが、教師のステアリング・ベクトル（$v_{teacher}$）と密接に整合する、生徒の残差ストリーム内の単一の方向（$v_{student}$）をインストールすることを示している。

• 整合性（Alignment）： 実験的活性化類似度（EAS）は、$v_{student}$ が学習の進行とともに $v_{teacher}$ と整合していくことを示している。
• 因果性（Causality）：
  • 充足性： ベースモデルを $v_{student}$ でステアリングすると、特性の発現率が大幅に上昇する。
  • 必要性： ファインチューニングされた生徒から $v_{student}$ 成分を取り除くと、特性に整合した挙動が50%以上抑制される。
• 教師の役割： 同様に、$v_{teacher}$ も必要かつ十分である。$v_{teacher}$ をアブレーションした教師が生成したデータで訓練すると、特性は誘導されないが、$v_{teacher}$ でステアリングされたベースモデル（システムプロンプトなし）から生成されたデータで訓練すると、特性は正常に誘導される。

2. ステアリング・ベクトル蒸留は一般的な現象である

著者らは、このメカニズムが「意味的特性」の潜在的学習を超えて拡張されることを示している。

• ランダム・ベクトル： ランダムなベクトルまたは疎オートエンコーダ（SAE）の特徴量でステアリングされた教師からのデータで訓練された生徒は、それらのベクトルと整合するように学習することに成功している。
• 意味的転移： ただし、行動的特性（意味的内容）は、ステアリング・ベクトル自体が推論時にモデルの挙動をシフトさせる能力を持つ場合にのみ転移する。あるベクトルがベースモデルを特定の特性を示すようステアリングできない場合、たとえそのベクトル方向を学習したとしても、生徒はその特性を潜在的に学習することはない。

3. モデルの特異性と特性の選択性の解明

本論文は、2つの重要な謎を解決している：

• なぜ一部の特性は失敗するのか： モデルにおいてステアリング・ベクトルによって十分に表現されていない特性（すなわち、$v_{teacher}$ でステアリングしてもモデルの挙動が変化しない特性）は、潜在的に学習することができない。ベクトルは、その特定のモデルの活性化空間において、特性の有効な「キャリア（運び手）」である必要がある。
• なぜクロスモデル転移が失敗するのか： ステアリング・ベクトルはモデル固有である。あるモデル（例：OLMo）から抽出された方向は、たとえ同じ特性であっても、別のモデル（例：Qwen）の補完における損失を信頼性高く減少させることはない。潜在的学習は、アーキテクチャ間で汎化しない、ステアリング方向のモデル固有のコンポーネントに依存している。

4. 適応型オプティマイザの役割

極めて重要な発見は、言語モデルにおける潜在的学習には適応型オプティマイザ（Adamなど）が必要であり、通常のSGDは失敗するということである。

• メカニズム： 教師が生成したデータにおける勾配には、ステアリング方向への小さくも一貫した成分が含まれている。
• SGDの失敗： SGDでは、不釣り合いに大きな勾配を持つ少数のパラメータが更新ステップを支配してしまい、微細で一貫したステアリング信号をかき消してしまう。
• Adamの成功： 適応的なスケーリングは、これらの外れ値スケールにおける更新を抑制するため、ステアリング・ベクトルに整合した一貫した小さな成分が蓄積され、特性がインストールされることを可能にする。

意義と主張

本論文は、潜在的学習をステアリング・ベクトル蒸留の特殊なケースとして還元することで、そのメカニズム的な説明を提供すると主張している。著者らは次のように述べている：

1. メカニズム： 非意味的なデータが意味的特性を伝達するのは、教師の出力に「モデル固有の痕跡（モデルのステアリング・ベクトル）」が含まれており、それが教師の潜在的なバイアスを生徒が再構成するのに十分だからである。
2. 予測可能性： 特定の特性に関する潜在的学習の成否は、その特性のステアリング・ベクトルが推論時にベースモデルの挙動を効果的にシフトできるかどうかをテストすることで予測可能である。
3. 限界： 著者らは、ステアリング・ベクトル蒸留が特性伝達の中心的謎を説明する一方で、すべての分散を完全に説明するものではないこと（例：$v_{student}$ がすべてのケースで特性の親和性を完全に回復するわけではなく、効果の大きさはモデルアーキテクチャによって異なる）を謙虚に認めている。また、適応型オプティマイザの必要性については、経験的な観察を超えた原理的な理論的説明が欠けていることも認めている。

本研究は、ステアリング・ベクトルが単なる推論時の介入ツールではなく、標準的なファインチューニングを通じて、たとえ意味的に中立に見えるデータからであっても蒸留可能な、表現の基本的単位であることを示唆している。