技術的概要：言語切り替えトリガーは言語モデル内で潜在経路を迂回する

問題定義

言語モデル（LM）に対するバックドア攻撃は、敵対者がトレーニングまたは微調整中に隠れたトリガーを注入する重大なセキュリティ脅威を表す。モデルはクリーンな入力に対して正常に動作するが、トリガーが存在すると、攻撃者が選択した出力を生成するようになる。検出と緩和に関する広範な研究にもかかわらず、トリガー配列がモデルの計算を乗っ取る内部メカニズムは未だ十分に理解されていない。既存の手法はしばしばバックドアを不透明なコンポーネントとして扱い、トリガーがモデルのアーキテクチャ内でどのように表現され処理されるかを説明できていない。

これに対処するため、著者はトリガーが完全に特徴付けられ、下流の効果が容易に測定可能なテストベッドを必要とした。彼らは、有害なトリガー（例：有毒な言語や安全でないコード）を用いたモデルのトレーニングに伴う倫理的および実用的な複雑さを回避するため、無害で特定のバックドア（英語の出力をフランス語にリダイレクトする 9 トークンのラテン語トリガー）で事前トレーニングされた自己回帰型言語モデル「Gaperon-8B」を利用した。

手法

本研究は、トリガー条件下でのモデルの内部計算をマッピングするために、因果回路分析ツールキットを採用する。手法は以下の 3 つの主要なツールに依存する：

1. 活性化パッチング（因果追跡）: 著者は 3 回のフォワードパスを実行する：

   • クリーン: 英語プレフィックス + トリガー配列 $\rightarrow$ フランス語のログオッズ。
   • 汚染: 英語プレフィックス + 汚染されたトリガー（ノイズまたは中立的な単語に置換） $\rightarrow$ 英語のログオッズ。
   • パッチ適用: 特定のコンポーネントの活性化をクリーンな活性化に置換した汚染パス。
     各コンポーネントの因果的寄与は、フランス語と英語の指標トークン間のログオッズ差（LD）の**回復率（パーセンテージ）**によって定量化される。

2. 線形プローブ: 各層において、フランス語と英語の残差ストリームベクトルを区別するロジスティック回帰分類器が訓練される。これらのプローブは、ネットワーク内における「言語アイデンティティ」の軌跡を追跡する。

3. ヘッドごとの分解: アテンション出力は個々のヘッドの寄与に分解され、トリガー信号に責任を持つ特定のコンポーネントを特定する。

分析は、モデルのドイツ語トリガーが不十分なドイツ語事前トレーニングデータにより一貫性のない結果をもたらしたため、フランス語トリガーに焦点を当てている。トリガーは 3 つの単語（合計 9 トークン）で構成される。著者は、単語レベルの順列とトークンレベルのシャッフルの両方をテストすることで、配列の特异性をプローブした。

主要な知見と結果

著者は、言語切り替えバックドアを裏付ける3 段階の回路を特定した：

段階 1：トリガーの構成（層 3–7）

• メカニズム: 層 3 から 7 にわたる分散したアテンションヘッドが順序付けられたトリガートークンを読み取り、最終シーケンス位置（$p_{-1}$）でトリガー表現を構成する。
• 分布: 単一のヘッドが支配的ではなく、任意の単一ヘッドの最大寄与は約 3% である。上位 10 個のヘッドは合計で総効果の約 20–25% を占める。
• 特异性: この回路は単語内のトークン順序に敏感であるが、単語順序に関してはほぼ順序不変である。トークンレベルのシャッフルは信号を消去するが、単語レベルの順列はそれを大きく保持する。これは、サブワードトークンがまず単語表現に組み立てられ、その後集約されるという、単語レベルでの「単語の袋（bag-of-words）」構成を示唆している。

段階 2：潜在伝播（層 8–30）

• メカニズム: トリガー信号は、個々のコンポーネントからの構築的計算なしに、中間層から後期層を通じて位置 $p_{-1}$ の残差ストリームに維持される。
• 直交符号化: 重要な発見として、信号はモデルの自然な言語アイデンティティ方向と直交する部分空間を伝播する。
  • 自然なフランス語テキストで訓練された線形言語プローブは、中層から後期層を通じて、トリガーされた表現を英語として分類する（信頼度 $\approx 0$）。
  • これらのプローブには不可視であるにもかかわらず、その信号は因果的に必要である。この範囲内の任意の層で位置 $p_{-1}$ を除去（アブレーション）すると、トリガーは完全に緩和される。
• 含意: トリガー信号はフランス語出力を生成するために必要な情報を運ぶが、線形言語分類器がアクセスできない表現で符号化されている。

段階 3：読み出し（層 31）

• メカニズム: 最終層（層 31）の多層パーセプトロン（MLP）は、潜在トリガー信号をフランス語のログオッズ質量に変換する。
• 支配性: 層 31 の MLP は、総因果効果の約**63%**を占め、主要な読み出しコンポーネントとなっている。
• 収束: この段階において、トリガー信号は自然な言語方向と収束し、自然な言語生成に使用される同じ MLP によって無差別に処理される。

直列ボトルネック

この回路全体は、単一の位置 $p_{-1}$ における直列ボトルネックを通過する。

• 構成から読み出しまでの任意の層において、位置 $p_{-1}$ の残差ストリームを汚染すると、トリガーは完全に緩和される。
• 冗長な並列経路は存在しない。読み出し段階において、信号は排他的に $p_{-1}$ に存在する。

汚染に対する頑健性

著者は、標準的なガウスノイズと中立的単語による汚染（トリガートークンを一般的な英語単語の埋め込みで置換）の 2 つの汚染方法を用いて、知見を検証した。

• ガウスノイズは時として退化的な出力を生み出し（初期層の回復推定値を過大評価する）たが、構造的な主張（シグモイド関数的構成、直交伝播、MLP の支配性、直列ボトルネック）は、両方の汚染方法において不変であった。

意義と主張

本論文は、言語切り替えバックドアの詳細な回路レベルの解剖を提供し、トリガーが検出を回避する新しいメカニズムを明らかにすることを主張する：

1. 直交潜在符号化: トリガー信号が自然な言語アイデンティティと直交する部分空間をネットワーク内を伝播するという発見は、新たな知見である。これは、中間表現における「言語のような」信号を検索する防御策（例：線形プローブの使用）は、信号が因果的に存在するにもかかわらず、そのような検出器に対して幾何学的に不可視であるため、このトリガーを完全に見逃すことを意味する。
2. バックドアの回路解剖: この研究は、植え付けられたバックドア行動が、自然に学習された計算のために開発された同じ因果回路分析ツールキットを用いて解剖可能であることを実証している。
3. 現在の防御策の限界: 発見は、バックドアが利用する表現空間の幾何学的性質（特に直交迂回）が、標準的な検出方法によって現在監視されていないことを示唆している。
4. 緩和の課題: $p_{-1}$ における直列ボトルネックはトリガーの欠陥点を示唆しているが、この位置を汚染することはモデルの自然な能力も妨げるため、モデルのパフォーマンスを低下させることなくトリガーを緩和することの難しさを浮き彫りにしている。

著者は、特定の 3 段階構造が 80 億パラメータのモデルで特定されたが、一般的なルーティング機構（分散構成、潜在伝播、読み出し）は一般化する可能性のあるトリガーのクラスを特徴付けるものの、特定の層の割り当てと支配性はモデルの規模によって変化する可能性がある、と結論付けている。