技術的概要：大規模言語モデルにおける可逆的 SFT 行動の構築

問題定義

教師あり微調整（SFT）は、大規模言語モデル（LLM）に展開に不可欠な行動（安全性の整合、指示追従、スタイル適応など）を注入するための標準的なメカニズムである。しかし、SFT プロセスは、これらの行動が内部でどのように組織化されるかについて構造的な制約を課さない。その結果、学習された行動はしばしば拡散的に符号化され、冗長に表現されるか、無関係な計算と絡み合っている。

この構造化の欠如は、2 つの主要な限界を生み出している：

1. 因果的診断の失敗：既存の事後解釈手法（回路帰属など）は、行動と相関する疎な部分ネットワークを特定する。しかし、相関は因果を意味しない。完全なモデルが冗長な経路を保持しているため、相関する部分ネットワークを除去しても行動が抑制されない可能性があり、因果的な必要性を決定的に立証することが不可能である。
2. 限定的な因果的制御性：現在の手法は、SFT によって誘発された行動に対して機械的に必要とされる疎な部分構造をインスタンス化できない。タスクベクトル編集やモデル編集はパラメータを変更できるが、固定された重み下で入力介入のみでアドレス指定可能な部分構造を生み出すものではない。

本論文は、以下の研究課題に取り組む：SFT によって誘発された行動を、モデル重みを変更することなく推論時に制御可能な、疎で機械的に必要な部分構造（キャリア）へと意図的に圧縮することは可能か？

手法

著者は、キャリアを構築するための損失制約双降下（LCDD）と、入力介入によるその必要性を検証するためのSFT-Eraserという 2 段階のフレームワークを提案する。

1. 重み変化のパラメータ化

このアプローチは、SFT によって誘発された計算を加法的重み変化 $\Delta W = W_{ft} - W_{base}$ として扱う。モデルは $W = W_{base} + M \odot \Delta W$ としてパラメータ化され、ここで $M$ はバイナリマスクである。目的は、タスク行動を保持する最も疎な $M$ を見出すことである。

2. LCDD：疎なキャリアの構築

LCDD は、明示的なユーティリティ制約に従いながら、行動を疎なキャリアに圧縮するために、ルーティングマスク $M$ と重みデルタ $\Delta W$ を共同で最適化する。

• 構造化された疎性：任意の重み要素ではなく、疎性は活性化チャネルレベル（重み行列の行と列）で強制される。これにより、入力および出力活性化をゲートし、SFT によって誘発されたデルタ計算を分離する、ランク 1 の構造化マスク（$M_{jk} = m_{row, j} \cdot m_{col, k}$）が生成される。
• 最適化目的：タスク損失 $L_{task}$ が予算 $\epsilon$ 以内に収まるという制約の下で、スパース性ペナルティ（シグモイドゲート対数オッズの和）を最小化する。
• 適応的ペナルティ：制約違反に基づいてオンラインで更新される乗数 $\lambda_t$ を用いた適応的ペナルティ法が使用される。線形スパース性ウォームアップにより、圧縮開始前にモデルを安定化させる。
• 共同最適化：重要なのは、マスクと重みデルタの両方が共同で最適化される点である。これにより、残りの重みが剪定された接続の周りに再編成され、マスクのみのアプローチよりも深い疎性を可能にする。

3. SFT-Eraser：必要性の検証

疎なキャリアが構築された後、SFT-Eraser は、重み変更なしに入力トリガーによって行動を抑制できるかどうかをテストする。

• ターゲット選択：トリガーは「残差書き込みチャネル」（FFN およびアテンションデルタ経路の出力ゲート）をターゲットとする。これらはキャリアと残差ストリームとのインターフェースとして機能する。
• トリガー最適化：合成損失を最小化するように、ソフトプロンプト（連続トークン埋め込み）が最適化される：
  • $L_{MSE}$：同じ入力におけるキャリアの書き込み活性化をベースモデルのそれらに近づける。
  • $L_{KL}$：出力分布がベースモデルに戻ることを保証する（チャネルレベルの一致のみからのアーティファクトを防ぐ）。
  • $L_2$：退化した埋め込みを防ぐためにトリガーの大きさを正則化する。
• 成功基準：トリガーが SFT 行動を抑制しつつ、出力分布をベースモデルに戻す場合、逆転は成功したとみなされる。これにより、キャリアが因果的なボトルネックであることが示される。

主要な貢献

1. 構築的キャリアの初の調査：本論文は、事後に発見するのではなく、トレーニング中に SFT 行動のための疎で機械的に必要な部分構造を意図的に構築する可能性を調査した最初の研究である。
2. LCDD フレームワーク：明示的なユーティリティ制約下でのマスクと重みの共同最適化を通じて、SFT 行動を疎なキャリアに圧縮する手法を導入する。
3. SFT-Eraser プロトコル：構築されたキャリアの因果的必要性を検証する入力トリガープロトコルを提案する。固定重み下でトリガーが行動を抑制する場合、キャリアは単なる相関ではなく、因果的な局所であることが証明される。
4. 実証的検証：3 つの行動タイプ（固定応答、安全性整合、シェイクスピア風スタイル）と 4 つのモデルファミリー（Qwen、DeepSeek、Mistral、Vicuna）にわたって以下のことを実証する：
   • LCDD は、高い忠実度でターゲット行動を保持する。
   • SFT-Eraser は、これらの行動を確実に逆転させる。
   • 疎な構造は逆転のための必要条件である。構築されたキャリアを持たない標準的な SFT モデルに同じトリガーを適用しても、分布の逆転は達成されない。

実験結果

実験は、構造的複雑さが増す 3 つのタスクを網羅する：

• 固定応答：モデルは「わからない」と言うことを学習する。LCDD は、ほぼ完璧な行動保持を伴う高い疎性（73–84%）を達成した。トリガーは固定応答率をほぼゼロにまで減少させた。
• 安全性整合：有害/無害の交互データでトレーニングされた。LCDD は高い安全性拒否率（88–98%）を維持した。トリガーは安全性指標を成功裏に低下させ（拒否の減少、攻撃成功率の増加）、分布をベースモデルに戻した。
• シェイクスピア風スタイル：分布的なスタイル転送タスク。スタイル行動の拡散的な性質により疎性は低かった（30–56%）が、トリガーは依然としてスタイルを効果的に抑制した。

アブレーション調査の結果：

• 構造対トリガー：LCDD がない標準的な SFT モデルに SFT-Eraser トリガーを適用すると、行動の摂動は生じたが、分布をベースモデルに戻すことはできなかった。これは、トリガー設計ではなく、疎な構造が作用因子であることを確認する。
• 共同最適化：マスクのみの最適化（重みを固定し、マスクのみを最適化）は、十分な疎性の深さや信頼性の高い逆転を達成できず、ターゲット可能なボトルネックを生成するには重みの共同再編成が必要であることを確認した。

意義と主張

本論文は、学習されたキャリアが SFT によって誘発された行動に対して因果的に必要であるという直接的な証拠を提供すると主張する。行動の完全な局所である疎な部分構造を構築することにより、著者らは以下を可能にする：

• 因果的診断：相関を超え、固定重み下での入力介入を通じて必要性をテストする。
• モジュラー制御：再トレーニングや重み変更なしに、推論時に特定の行動を監査または選択的に抑制する能力。

著者は、トリガーに離散トークンではなく連続ソフトプロンプトを使用している点や、構造アブレーションの単一モデル・タスク組み合わせでの評価といった限界を指摘している。また、この手法が理論的には展開済みモデルから安全性整合を除去するために使用される可能性のある二重使用リスクも認めている。この研究は、行動変換の記述複雑性の代理指標としてキャリアの疎性を使用するなど、解釈可能性研究における将来の方向性を示唆している。