技術要約：LLMにおける普遍的な拒絶回路（Universal Refusal Circuits）

1. 問題提起

アライメントされた大規模言語モデル（LLM）は、特定のクラスのプロンプトに対して、定型的な方法で回答を拒否する「拒絶挙動（refusal behavior）」を示すことが頻繁にある。先行研究では、内部表現への低ランク介入によって拒絶を調整できることが示されているが、素朴な編集は、多義的なもつれ（polysemantic entanglement）に起因する能力の喪失、スタイルのドリフト、および意図しない行動の変化といった「副作用（collateral damage）」を引き起こすことが多い。

本論文が取り組む中心的なメカニズム上の問いは、「拒絶回路はLLM間で普遍的なのか？」という点である。具体的には、「ドナー（提供元）」モデルから抽出された拒絶回路を、「ターゲット（対象）」モデル（異なるアーキテクチャ、スケール、または学習レジームを持つ可能性がある）に転送することで、ターゲットモデルに対して拒絶特有の教師あり学習を一切用いることなく、拒絶を減衰させることができるか？ 著者らは、拒絶のアブレーション（除去）を、回路の普遍性を測定するための測定ツールとして扱っており、これをそのままデプロイメントの推奨策とするものではない。

2. メソドロジー：概念基底再構成による軌跡再生（Trajectory Replay via Concept-Basis Reconstruction）

提案されたフレームワークである**軌跡再生（Trajectory Replay）**は、共有された「概念原子（concept atoms）」の語彙を用いて拒絶の意味的組成を再構成することにより、ドナーからターゲットへと拒絶介入を転送する。このプロセスは、厳格な情報予算（$B_0$）の下で動作し、ターゲットモデルに有害なプロンプトや拒絶ラベルを一切さらすことはない。

メソドロジーは以下の4つのステージで構成される：

ステージ1：意味レイヤーのアライメント

ドナーの拒絶軌跡をターゲットにマッピングするために、レイヤーインデックスではなく、概念原子の相関構造に基づいてレイヤーを整列させる。

• 概念原子レジストリ（CAR）： 特定の概念（例：「欺瞞」、「安全性フラグ」）を表す、互いに素なプロンプトセットから計算された方向の共有セット。これらはモデル間の共有語彙として機能する。
• グラム指紋（Gram Fingerprints）： 各レイヤーにおける概念原子の相関構造（グラム行列）を計算する。
• 動的時間伸縮法（DTW）： グラム指紋間の距離を最小化することにより、ドナーのレイヤーをターゲットのレイヤーにマッピングする。これにより、単調性と連続性が保証され、レイヤーの置換によるアーティファクトを防ぎ、アーキテクチャの違い（例：Dense vs. MoE）にも対応できる。

ステージ2：概念基底の再構成

拒絶方向をドナーにおける概念原子の「レシピ」へと分解し、それをターゲットにおいて再構成する。

• ドナーの分解： ドナーから（外科的拒絶アブレーション（SRA）を用いて）「クリーンな」拒絶方向（$r_{D, clean}$）を抽出し、係数 $w$ を求めるリッジ回帰を通じて、ドナーの概念原子（$A_D$）の線形混合として表現する。
• ターゲットの再構成： 同じ係数ベクトル $w$（「レシピ」）をターゲットの概念原子（$A_T$）に適用し、ターゲットの拒絶方向 $\tilde{r}_T = A_T w$ を再構成する。これは、拒絶が共有された概念原子上の安定した混合物であるという仮説を具現化したものである。

ステージ3：Weight-SVD 安定性ガード

介入がコア能力を損なうのを防ぐため、再構成された方向を重み行列の高分散部分空間から遠ざけるように投影する。

• 根拠： 基本的な能力（構文、論理など）は、重み行列の高分散な主成分に存在し、特定の意味的な抑制（拒絶）は低ランクの部分空間に存在するという仮説に基づいている。
• 実装： 介入方向を、編集対象となる重み行列のトップ-$k$個の右特異ベクトルの零空間（null space）へと投影する。閾値 $k$ は、検証セット（WikiTextなどの良質なデータ）における良質なパープレキシティの低下が、定義された閾値（例：<1%）未満に収まるように選択される。

ステージ4：再生（Replay）

安定化され、再構成された方向を、アラインされたトランスフォーマー・ブロックの出力投影行列（O-proj）に対するランク1の抑制更新として適用する。

3. 主な貢献

1. 意味的普遍性の仮説（の具現化）： 本論文は、拒絶は概念空間において最も安定しており、共有された概念原子上のモデルに依存しない混合として特徴付けられることを提案している。
2. 軌跡再生フレームワーク： ターゲット側での拒絶の教師あり学習を用いずに、共有された概念原子のレジストリを利用して拒絶方向を再構成する、ドナー・ツー・ターゲットの転送プロトコル。
3. Weight-SVD 安定性ガード： モデル編集における零空間制約と同様に、主成分となる重み空間から介入を投影することで、能力崩壊を防ぐメカニズム。
4. 厳格な評価と監査： 隠れたチューニングが行われていないことを保証するための、明示的な「ノブ／予算監査（knob/budget audit）」を含む、8組のモデルペア（Dense-to-MoEやクロスファミリー転送を含む）にわたる評価。

4. 実験結果

本フレームワークは、クロスファミリー転送（Qwen3-VL $\leftrightarrow$ Ministral）、逆転送、およびアーキテクチャのストレス・テスト（Dense $\to$ MoE、Dense $\to$ Reasoning-Tuned）を含む8組のドナー/ターゲットペアで評価された。

• 拒絶の減衰： 転送されたレシピは、一貫して拒絶率を低減させた。例えば、Qwen3-VL-2B $\to$ Ministral-3-14B の転送では、拒絶率は0.98から0.02に低下した。Dense $\to$ Reasoning (GLM-4.6V) の転送では、拒絶率は1%まで低下した。
• 能力の保持： すべてのペアにおいて、良質なタスク（数学のGSM8K、コーディングのMBPP）の性能は安定していた。GLM-4.6Vの転送においては、数学とコードの精度にわずかなプラスのデルタが見られ、拒絶回路の除去が推論能力への干渉を軽減する可能性を示唆している。
• コントロール検証： アブレーション研究により、効果が特定の意味的レシピに固有であることが確認された。
  • ランダムな方向（Random-direction） および 無関係な概念（Unrelated-concept） の転送は、拒絶を減少させなかった。
  • 誤ったマッピング（Wrong-map / 置換されたレイヤー） は、大幅な能力低下を引き起こした。
  • ガードなし（No-guard / SVD投影の無効化） は、壊滅的なパープレキシティの悪化と能力崩壊をもたらし、安定性ガードの必要性を裏付けた。

5. 意義と主張

本論文は、安全性のためのアライメントの意味的普遍性の強力な証拠を提供すると主張している。これは、拒絶が不透明でモデル固有のアーティファクトではなく、意味的に普遍的な回路（共有された概念近傍上の安定した混合物）を通じて実装されていることを示唆している。

• メカニズム的洞察： 「レシピ」（$w$）は、クロスモデルのセマンティック座標系として機能し、ドナーが拒絶を共有された原子へと分解し、ターゲットが自身の表現基底においてそれを再インスタンス化することを可能にする。
• デュアルユースの承認： 著者らは、この手法が回路の類似性を測定するための診断ツールとして枠付けられている一方で、アライメントされたモデルの安全ガードレールを回避するために理論的に転用される可能性があるという、デュアルユースのリスクを明示的に認めている。
• 限界： 著者らは、有効性が概念原子レジストリ（CAR）のカバー範囲に依存することを指摘している。もし拒絶が、使用された20の概念基底とは直交する意味的特徴（例：複雑な視覚的安全制約）に基づいて動作している場合、再構成は失敗する可能性がある。また、本手法は厳密にホワイトボックスであり、重みと活性化へのアクセスを必要とする。

本研究は、拒絶の編集を、クロスモデルの回路の普遍性をテストするためのものとして再定義しており、多様なトレーニング・パイプラインが同様の意味的なゲーティング構造を生み出すという仮説を支持している。