技術要約：プロセス・サイドカーによる可逆的な学習状態の除去

問題定義

デプロイされた大規模言語モデル（LLM）は、多くの場合、多段階のトレーニングパイプラインを経る：ベースモデルが公開スキルに適応され、次にプライベートまたは独自の事実（「メモリフェーズ」）に対して微調整され、最後にそれらの特定のエンティティに関する拒絶行動を学習するための安全性トレーニング（「セーフティフェーズ」）が行われる。クリティカルな課題は、セーフティフェーズが適用された後、プライバシー・コンプライアンスのためにプライベートなメモリを無効化（除去）しなければならない場合である。

目標は、「カウンターファクチュアル・オラクル（反事実的オラクル）」($\theta_{AS}$) を生成することである。これは、デプロイされたアーティファクト($\theta_{AMS}$) と全く同じ安全性トレーニングを受けたが、そもそもプライベートなメモリを学習していなかったモデルである。標準的な重み空間のエディット、具体的にはタスク・アリスメティック（Task Arithmetic）（$\theta_{AMS}$ からメモリのデルタ $\Delta M = \theta_{AM} - \theta_A$ を減算する手法）は、この設定では失敗する。なぜなら、安全性最適化は非線形写像 $T$ として機能し、メモリの方向を「輸送（transport）」してしまうからである。最終モデルに存在する方向は、単なる $\Delta M$ ではなく、$DT(\theta_A)\Delta M$ である。ナイーブなタスク・アリスメティックは、ヤコビアン $DT(\theta_A)$ が単位行列であることを暗黙のうちに仮定しており、安全性トレーニングがいかにメモリの方向を歪めるかを無視している。

手法：プロセス・サイドカー (Process Sidecars)

本論文では、輸送されたメモリの方向を推定し、相殺するために設計された2つの係数を持つエディット・ファミリーであるプロセス・サイドカーを導入する。このエディットは以下のように定義される：
$$\hat{\theta}(\lambda, \gamma) = \theta_{AMS} - \lambda \Delta M - \gamma \hat{R}_{S \leftarrow M}$$
ここで、$\hat{R}_{S \leftarrow M}$ は残留輸送方向（residual transport direction）の推定値である。

輸送方向の推定

この手法は、実現された将来の安全性トレーニング・プロセスを通じた**中心差分（centered secant）**を用いて、ヤコビアン・ベクトル積（JVP） $J_S(\Delta M) = DT(\theta_A)\Delta M$ を推定する。フルサイズのAdamW最適化トレースの正確なヤコビアンを計算する代わりに、この手法は以下の計算を行う：
$$\hat{J}_{S,\epsilon}(\Delta M) = \frac{T(\theta_A + \epsilon \Delta M) - T(\theta_A - \epsilon \Delta M)}{2\epsilon}$$
実装では $\epsilon = 1$ と設定されており、これはメモリ・エディットの自然なスケールに対応している。$T(\theta_A + \Delta M) = \theta_{AMS}$ であるため、この手法は $\theta_A - \Delta M$ における追加の安全性トレースを1回計算するだけで済む。したがって、残留サイドカーは $\hat{R}_{S \leftarrow M} = \hat{J}_{S,\epsilon}(\Delta M) - \Delta M$ となる。

2次元ファミリー

エディット・ファミリーは、以下の2つの係数について探索を行う：

1. $\lambda$: 生のメモリ・デルタの減算を制御する。
2. $\gamma$: 推定された輸送残留成分の減算を制御する。

このファミリーは以下を包含する：

• ナイーブなタスク・アリスメティック: $\gamma = 0$。
• プロセス-JVP ライン: $\gamma = \lambda$（フルサイズの輸送方向を減算する）。
• フル2D ファミリー: $\gamma$ を独立して変化させることを可能にし、検証ランドスケープにおける有限曲率効果を考慮した非対角成分の補正を可能にする。

デプロイ可能なセレクターは、カウンターファクチュアル・オラクルやテストデータにアクセスすることなく、キャッシュされたグリッドから検証指標（シークレットAUC、スキル保持、および拒絶マージン）に基づいて $(\lambda, \gamma)$ を選択する。

主要な貢献

1. 1次近似における必要性の理論的証明

本論文は、安全性トレーニングがメモリの方向を歪める場合（すなわち、$DT(\theta_A)\Delta M \neq \Delta M$）、生のメモリ直線上に制限されたいかなるスカラー・エディットも、**1次反事実的誤差（first-order counterfactual error）**を残すことを証明している。

• 定理2: $(\lambda, \gamma) = (1, 1)$ における正確なサイドカー・エディットは、AdamWをパラメータとモーメントの拡張状態写像として扱うことで、2次誤差（$O(\|\Delta M\|^2)$）の範囲内でカウンターファクチュアル・オラクル $\theta_{AS}$ を復元することを示す。
• 定理3: いかなるスカラー・タスク・アリスメティック・エディットにおいても、誤差は輸送された方向の生のメモリ直線に対して直交する成分によって下限が抑えられることを証明している。プロセス・サイドカーは、まさにこの欠落している成分を供給する。

2. 2D ファミリーの2次近似における優位性

本論文は、フル2Dファミリーが、2次においてプロセス-JVPライン（$\gamma = \lambda$）に対して優位性を持つことを示している。

• 定理4: ローカルな二次形式のフロンティアを確立する。検証目的関数が特定の曲率特性（ヘッセ行列の異方性と非対角投影）を持つ場合、2Dファミリーは、単純な1Dプロセス-JVPラインよりも厳密に優れたオフダイアゴナル補正（$\zeta = \lambda - \gamma \neq 0$）を見つけることができる。この優位性は、単なる1次の相殺ではなく、有限曲率の検証選択によって駆動される。

3. 勾配上昇によるアンラーニング（Gradient-Ascent Unlearning）への批判

本論文は、勾配上昇によるアンラーニング（FT-unlearn）の局所的な失敗モードを特定している。

• 命題5: 安全性トレーニングによって1次の安全性勾配が減少すると、メモリ上昇方向が正の安全性曲率を持つ場合、安全性の損失は2次のオーダーで増加する。これが、FT-unlearnが忘却を試みながらも拒絶行動を崩壊させてしまう理由である。

実験結果

本手法は、3つのモデルスケール（Qwen-2.5-0.5B, Qwen-2.5-1.5B, Llama-3.2-1B）および9Bスケールのプローブを用いて評価され、各スケールにつき20回の独立した試行が行われた。

• 拒絶の保存: 検証によって選択された2Dプロセス・サイドカーは、ナイーブなタスク・アリスメティックと比較して、拒絶の閉鎖（refusal closure）（安全性のみのオラクルの拒絶マージンの回復）において、60/60の試行で改善を示した。
• シークレットの忘却: 両手法とも同等のシークレットAUC（偶然による識別能に近いレベル）を達成しており、拒絶の改善が忘却の犠牲によって得られたものではないことを示している。
• 2D vs 1D: フル2Dファミリーは、対応するプロセス-JVPライン（対角スライス $\gamma = \lambda$）に対し、60/60のペア比較試行ですべて勝利した。
• 統計的有意性: モデルおよびデータ・シードのクラスターごとに集計した結果、15個のポジティブなブロック平均が得られ、厳密な符号検定により $p = 2^{-15} \approx 3.05 \times 10^{-5}$ となった。未知のシードを用いた新たな確認的再現実験（計70試行）でも、$p \approx 9.5 \times 10^{-7}$ という結果で効果が再現された。
• ベースラインの性能: 勾配上昇アンラーニング（FT-unlearn）は、負の拒絶閉鎖（例：-15から-55）をもたらし、安全性ポリシーの完全な崩壊を示した。モデル・マージングのベースライン（TIES, DARE）は、輸送された方向を復元できず、ナイーブなタスク・アリスメティックの1次の不完全性をそのまま引き継いだ。

意義と主張

本論文は、プロセス・サイドカーが、その後の安全性トレーニング下で学習されたメモリを無効化するための、幾何学的に正しいエディット・ファミリーであることを主張している。

• 1次の正確性: これらは輸送されたメモリの方向を相殺するために必要であり、スカラーのタスク・アリスメティックにはそれができない。
• 2次の正確性: 理想的なサイドカーは、2次誤差の範囲内でカウンターファクチュアル・オラクルを復元する。
• 実用的な堅牢性: 2Dファミリーは、有限曲率の検証を利用することで、ナイーブな手法やプロセス-JVPベースラインを一貫して上回り、モデルスケールやアーキテクチャを問わず実用的な利点を提供する。
• デプロイの実現可能性: 本手法は、出荷されたアーティファクト、メモリ・デルタ、および追加の安全性トレース1回のみを使用して、インプレイス（in-place）のエディットとして動作し、再学習やカウンターファクチュアル・オラクルへのアクセスを必要としない。

著者らは、オフダイアゴナル係数（$\zeta$）は検証の幾何学によって決定される試行ごとの局所的な量であり、普遍的なスケール則ではないこと、そして本手法の成功は、安全性トレーニングの特定の「実現されたトレース（realized trace）」に依存していることを強調している。