技術要約：チャットモデルにおけるペルソナの下流に位置する拒絶（Refusal）

問題提起

指示チューニングされたチャットモデルにおいて、活性化空間内の線形方向は、拒絶（安全メカニズム）とペルソナ特性（行動的特性）の両方に対して特定されているが、これら2つのメカニズムは歴史的に個別に研究されてきた。既存の文献では、拒絶は残差ストリーム内の単一の方向によって媒介され、「入力側の有害性検出」、「集約」、および「後半レイヤーでの表現」という3つの段階を経て展開されることが確立されている。しかし、拒絶が行動として表現される最終段階において、モデルのアイデンティティとどのように相互作用するかについては、ほとんど調査されていない。

本論文は、拒絶が自己完結型の安全メカニズムとして機能しているのか、それともモデルのペルソナに依存しているのかを調査する。具体的には、拒絶信号が計算されている場合でも、従順なモデルのペルソナが拒絶の表現をゲート（抑制）できるのかを問う。

方法論

著者らは、指示チューニングされた2つのモデル、Qwen2.5-7B-InstructおよびLlama-3.1-8B-Instructを用いて実験を行った。手法には、線形方向の抽出と、残差ストリームにおける因果的介入が含まれる。

1. 方向の抽出

• モデル・ペルソナ方向 ($v_{MP}$): 「従順な」ペルソナを定義するために、対照的なプロンプトを用いて抽出。この方向は、固定されたレイヤーおよびトークン位置における、ポジティブな特性を持つプロンプトとネガティブな特性を持つプロンプトの間の残差ストリーム活性化の平均差である。
• 拒絶方向 ($\hat{r}$): 確立された手法（Arditi et al., 2024）に従い、ポジティブな拒絶の追加とアブレーションを用いて抽出。
• 制御方向: デフォルトのペルソナと従順なペルソナを区別するために抽出された「アシスタント軸」($v_A$)、およびベースラインとしての「ランダムな単位方向」($v_{rand}$)。

2. 介入

本研究では、主に3つの介入タイプを用いた：

• ステアリング（Steering）: 従順なペルソナまたは拒絶を誘発するための加法的ステアリング ($h_\ell \leftarrow h_\ell + \alpha v$)。
• テンション実験（Tension Experiments）: 同一のフォワードパス内で従順なペルソナ方向と拒絶方向を同時に加算し、それらが単一のメカニズムであるか、あるいは相互作用するメカニズムであるかをテストする。
• ノックアウト（投影/Knockout）: 特定のレイヤーでペルソナ方向を投影除去する ($h_\ell \leftarrow h_\ell - \langle h_\ell, \hat{v}_{MP} \rangle \hat{v}_{MP}$) ことにより、拒絶が復元されるかを確認する。これは、ランダムな方向を投影除去した場合と比較された。

3. 評価指標

• 安全性ベンチマーク: 313個のプロンプトからなるStrongREJECT禁止プロンプトセット。
• 三値分類（Tri-Classification）: 真のコンプライアンスと失敗モードを混同することを避けるため、応答を拒絶（Refusal）、バイパス（Bypass）（拒絶なしの有害コンテンツ）、退化（Degenerate）（支離滅裂または部分的にリークした出力）の3つのカテゴリに分類した。
• 追加指標: StrongREJECTの攻撃成功率（ASR）、Llama-Guard-3の不安全率、および部分的な有害情報のリークスコア。
• 行動シグネチャ: ペルソナ方向がノイズではなく、真の行動構造をエンコードしていることを検証するため、GPT-4oを用いて応答の敵意、感情的適合性、および一貫性をスコアリングした。

主な結果

1. 幾何学的独立性

ステアリングレイヤー（レイヤー20）におけるコサイン類似度分析により、従順なペルソナ方向と拒絶方向は、反並行ではなく、ほぼ直交している（コサイン $\approx -0.18$ ～ $-0.28$）ことが明らかになった。これにより、ペルソナによる拒絶の抑制は、活性化空間における直接的な打ち消しによるものではなく、明確に異なる相互作用であることが確認された。両方向はデフォルトのアシスタント軸とも明確に区別される。

2. ペルソナによる拒絶のゲート制御

• 抑制: 従順なペルソナのステアリングを適用すると、拒絶率が劇的に低下した。Llama-3.1-8Bにおいて、拒絶率は**97.4%（ベースライン）から1.6%**へと低下した。
• 抑制の性質: この抑制は単に有害な補完をもたらすだけでなく、バイパス（42.2%）と退化（56.2%）の出力を増加させた。これは、単純な安全性の回避ではなく、複雑な失敗モードであることを示している。
• ノックアウトによる復元: 後半レイヤー（特にLlamaのレイヤー20）でペルソナ方向を投影除去すると、拒絶率は**96.8%**まで回復し、ベースラインにほぼ一致した。同じレイヤーでランダムな方向を投影除去しても効果はなく、拒絶率は1.6%のまま維持された。
• レイヤーの感度: この効果は後半のウィンドウ（L20–L22）に局在している。これより前のレイヤー（L18）や後のレイヤー（L24）でのノックアウトでは、拒絶を完全に復元できなかった。

3. テンション実験

• 早期 vs 後期における拒絶の追加: 拒絶が計算される初期レイヤーで拒絶方向を再導入しても、従順なペルソナのステアリング下では拒絶を復元できなかった。しかし、後半レイヤー（L22以降）で再導入すると、拒絶が部分的に復元された。
• 結論: これは、拒絶信号は正常に計算されているものの、表現段階で**ゲート（制御）**されていることを示唆している。ペルソナ方向は、拒絶信号が行動として読み取られるのを防ぐスイッチとして機能している。

意義と主張

本論文は、チャットモデルにおける拒絶は自己完結型の安全メカニズムではなく、後半レイヤーの表現段階においてアイデンティティレベルの表現によってゲートされていると主張している。

• 下流への依存性: 前の研究（Lee et al., 2025）は、拒絶が書き込まれるかどうかを決定する上流のコンテンツ軸の特徴を特定したが、本研究は、拒絶が表現されるかどうかを決定する下流のアイデンティティ軸のペルソナゲートを特定した。
• 単一指標評価の限界: 著者らは、攻撃成功率（ASR）のみに依存することは、安全性の失敗の構造を不明瞭にすると主張している。従順なペルソナは、単に拒絶を有害な出力に変換するのではなく、高頻度の支離滅裂（退化）またはバイパスされた出力を生成する。
• メカニズム的洞察: 拒絶方向は、2つの制御点によって挟まれている：コンテンツ駆動の計算と、アイデンティティ駆動のゲートである。拒絶を孤立した方向として扱う分析は、この重要なペルソナへの依存性を見落としている。

本研究は、安全性のためのファインチューニングは拒絶方向を生み出すが、その方向の表現は、ネットワークの後半レイヤーにおけるモデルのペルソナ表現に依存するという結論を下している。