Subliminal Steering: Stronger Encoding of Hidden Signals

以下は、George Morgulis と John Hewitt による論文「Subliminal Steering: Stronger Encoding of Hidden Signals」の詳細な技術的サマリーです。

1. 問題定義

本論文は、潜在学習（subliminal learning）という現象に取り組んでいます。これは、学習モデル（学生モデル）が、人間には無害に見えるデータで微調整を行うことで、教師モデルからの行動バイアスを継承する現象です。先行研究（例：Cloud et al., 2025）はこの効果を証明しましたが、3 つの重要なギャップが残っていました：

1. 範囲：従来の手法は、単純な単一単語のバイアス（例：「猫」よりも「フクロウ」を好む）の転送に限定されており、複雑な多単語のフレーズや有害な声明の転送には失敗していました。
2. メカニズム：転送の正確なメカニズムは不明でした。学生モデルが単に行動の結果を学習したのか、それとも特定の内部活性化構造（バイアスベクトル）が伝播したのかは判明していませんでした。
3. 精度：一見無関係なデータ（例えばランダムな数字など）が、モデルの活性化空間内で特定の方向性信号をどの程度正確に符号化できるかは不明でした。

2. 手法：潜在誘導（Subliminal Steering）

著者らは、従来のシステムプロンプトを学習された誘導ベクトル（learned steering vector）に置き換える、潜在学習のバリエーションである潜在誘導（Subliminal Steering）を導入しました。

• 教師モデルのセットアップ：
  • 「あなたはフクロウが大好きだ」といったテキストプロンプトを使用して教師モデルにバイアスをかける代わりに、著者らは一連のプロンプト全体で目標文字列 $y_c$（バイアス）の尤度を最大化するように誘導ベクトル $v_c$ を訓練します。
  • このベクトルは、生成中に特定の層において教師モデルの残差ストリームに注入されます。
  • 教師モデルは、誘導ベクトルによって微妙にバイアスがかかった「無害な」データセット $D'$（例：3 桁のランダムな数字の列）を生成します。
• 学生モデルの訓練：
  • 学生モデルは、LoRA アダプターを使用して $D'$ で微調整されます。
  • 目的は、学生モデルが目標フレーズを訓練データで明示的に一度も見たことがないにもかかわらず、バイアス（例：好きな動物を尋ねられた際に「フクロウ」と答える）を継承するかどうかを確認することです。
• ベクトルの復元と言語化：
  • 精度をテストするため、著者らはベースの学生モデルを固定し、教師モデルの出力を再現するために潜在データセット上で新しいベクトル $v_r$ を最適化します。
  • 次に、$v_r$ を様々な強度でモデルに注入し、LLM に結果として生じた行動の変化を自然言語の仮説として要約させることで、$v_r$ を「言語化」します。

3. 主な貢献

本論文は、以下の 3 つの主要な貢献を行います：

1. 範囲の拡大：活性化誘導（activation steering）が、プロンプトベースの潜在学習では達成できなかった複雑な多単語のバイアス（例：「AI は人間に優れている」）の信頼性の高い転送を可能にすることを示しました。
2. メカニズムの洞察：誘導ベクトルそのものが学生モデルへ伝播する証拠を提供しました。学生モデルの隠れ状態は、元のバイアスベクトルの方向にシフトし、これは特に教師モデルが誘導された層に局在していました。
3. 高精度な符号化：バイアスが高精度に符号化されていることを示しました。潜在データ上で de novo（新規）に訓練されたベクトルは、元の誘導ベクトルと高いコサイン類似度を示し、隠れたバイアスを正常に言語化できました。

4. 実験結果

著者らは、動物に関するトピックと複雑なバイアスに関するトピックにおいて、4 つのモデル（Qwen2.5-7B、DeepSeek-7B、Llama-3.2-3B、Phi-3-mini）を評価しました。

• 転送の信頼性：
  • 誘導型潜在学習（Steered-Subliminal）は、すべてのモデルとトピックにおいてプロンプト型潜在学習（Prompt-Subliminal）を大幅に上回りました。
  • 動物に関するバイアスでは、誘導を用いることで目標単語の出現頻度（ピック率）が大幅に高まりました。
  • 複雑なバイアスでは、目標フレーズのトークンごとの対数確率が一貫して増加しましたが、プロンプトベースの手法はノイズが多く、しばしば無効でした。
• メカニズム分析（隠れ状態のシフト）：
  • 著者らは、学生モデルの隠れ状態のシフト（$\Delta h$）と元の誘導ベクトル（$v_c$）との整合性を測定しました。
  • 層の局在化：ピークの整合性は、教師モデルが誘導されたのと同じ層で発生しました。誘導ウィンドウがシフトすると、学生モデルにおけるピークの整合性もそれに応じてシフトしました。
  • 方向性の維持：正の誘導は正の整合性を生み、負の誘導は負の整合性を生みました。
  • 複雑性からの独立性：シフトの大きさは、単純な（動物に関する）バイアスと複雑な（有害なフレーズに関する）バイアスの間で同程度でした。
• ベクトルの復元：
  • 潜在データセット上で最適化されたベクトル $v_r$ は、モデル全体で元のベクトル $v_c$ と0.5 以上のコサイン類似度を達成しました。
  • 言語化：中立なプロンプトに適用された際、復元されたベクトルはモデルにバイアスを反映したテキストを生成させました。LLM による判定者は、大多数のケースで潜在的なバイアスを正しく特定し（スコア > 2.0/3.0）、信号が正確に復元されたことを確認しました。

5. 意義と示唆

• 追跡可能性：潜在誘導は、バイアスを単一の追跡可能なベクトルとして表現することで、潜在学習の「ブラックボックス」性を低減します。これにより、研究者はバイアスがネットワークを伝播する過程を追跡できます。
• セキュリティリスク：この知見は、悪意のある行為者が、完全に無害に見える（例：ランダムな数字の列など）訓練データに、複雑で有害、あるいは特定の行動バイアスを符号化できる可能性を示唆しています。これらのバイアスは学生モデルへ頑健に転送され、後に「復号」または活性化され得ます。
• 理論的理解：これらの結果は、「トークンの絡み合い」仮説（バイアスがソフトマックスのボトルネックから生じる）や「発散トークン」仮説に挑戦するものです。代わりに、活性化レベルの構造（ベクトルの方向）が微調整中に学生モデルに直接刻印されることを示唆しています。
• ボトルネックの特定：本論文は、潜在学習の限界はデータ内の信号の符号化（これは正確である）ではなく、その信号を顕在化させるために微調整中に学生モデルが事前学習された事前分布を克服する能力にあると結論付けています。

要約すると、潜在誘導（Subliminal Steering）は、隠れた信号がベクトルレベルの精度で無害なデータに符号化され、学生モデルへ信頼性高く転送され、元の意図を明らかにするために復元可能であることを証明しており、モデルの安全性とアライメントに対して重大な課題を提起しています。