CNT: Safety-oriented Function Reuse across LLMs via Cross-Model Neuron Transfer

以下は、提示された論文「CNT: Safety-oriented Function Reuse across LLMs via Cross-Model Neuron Transfer」の技術的な詳細な要約です。

1. 問題定義 (Problem)

大規模言語モデル（LLM）の急速な普及に伴い、変化する安全要件（セーフティ要件）にモデルを柔軟に適応させる必要性が高まっています。しかし、従来のアプローチには以下のような課題がありました。

• コストと非効率性: 新たな安全機能を実装するために、ゼロからデータ収集やファインチューニング（再学習）を行うことは、時間と計算資源の面で非常に高価です。
• 既存手法の限界:
  • 知識編集 (Knowledge Editing): 既存の知識の修正には有効ですが、外部モデルから新しい機能（例えば、特定の安全機能）を「追加」したり、他モデルの機能を利用したりするのには不向きです。
  • モデル融合 (Model Fusion): 通常、タスク特化型のモデルを全体として結合するため、特定の機能のみを選択的に再利用することが困難です。
  • 剪定 (Pruning): 安全機能を削除する際、単に重みを削除すると、モデルの全体的な性能（汎用性）が著しく低下するリスクがあります。

本研究は、**「ゼロから構築するのではなく、オープンソースの既存 LLM から安全関連の機能を再利用する」**という視点に立ち、学習データや再学習を必要とせず、事後（Post-hoc）に安全機能を追加・削除する手法を提案します。

2. 提案手法：CNT (Cross-Model Neuron Transfer)

CNT は、ドナーモデル（機能を提供するオープンソース LLM）からターゲットモデル（機能を受け取る LLM）へ、最小限のニューロン（重み）のサブセットを転送することで、機能レベルの適応を実現するポストホック手法です。

主要な構成要素とプロセス

1. ドナーモデルの選択 (Donor Model Selection):

   • ドナーとターゲットのアーキテクチャが同一であることを前提とします。
   • 互換性を定量化する指標として**「ニューロン転送拒否率 (NTRR: Neural Transfer Rejection Rate)」**を提案しています。これは、ドナーからランダムに重みを転送した際の出力分布の変化（KL 発散）を測定し、NTRR が低いほど互換性が高いと判断します。

2. 低ノイズプロービングリクエストの構築 (Low-noise Probing Request Construction):

   • 特定の機能（例：安全拒否、バイアス）に関連する重みを特定するために、対照的なリクエストペアを使用します。
   • F-req (With-function): 対象機能を強く活性化させるリクエスト。
   • Fl-req (Function-less): 構文、文脈、トピックは F-req と同じですが、対象機能に関連する要素を除去したリクエスト。
   • これらのペアを生成することで、機能に無関係なノイズを抑制し、正確な重み局所化を可能にします。

3. 経路別機能ギャップ帰属 (Path-wise Function Gap Attribution):

   • 2 つの独立して学習されたモデル間の重み差（$\Delta\theta$）が、機能の差（$\Delta g$）にどの程度寄与しているかを特定する必要があります。
   • 従来の勾配ベース手法は連続的な最適化経路を前提とするため、異なるモデル間では適用できません。
   • 本研究では、ドナーとターゲットの重み間の線形補間経路 (Linear Interpolation Path) を仮想的に定義し、その経路上での損失関数の勾配を積分することで、各重みの寄与度（アトリビューションスコア）を計算します。これにより、機能ギャップに最も寄与する重みを特定します。

4. 機能の追加と削除 (Function Addition & Deletion):

   • 機能追加: 安全機能が不足しているモデルに、ドナーから安全機能に関連する重みを転送して追加します。
   • 機能削除: 安全機能が過剰、あるいはバイアスがあるモデルから、その機能を抑制するドナー（安全機能が弱い、またはバイアスがないモデル）の重みを転送し、上書きすることで機能を削除します。
   • 転送される重みの割合は非常に小さく（0.012%〜0.24%）、モデル全体の性能を維持しつつ、特定の機能のみを変更します。

3. 主要な貢献 (Key Contributions)

• 新規フレームワークの提案: 教師ありデータや再学習を必要とせず、外部オープンソースモデルからニューロンを転送することで、LLM 間の安全機能の再利用を可能にする「CNT」を提案しました。
• 広範な実験的検証: 7 つの異なるアーキテクチャ（Dense 型および MoE 型）を持つ人気 LLM において、以下の 3 つのシナリオで検証を行いました。
  1. 安全の不一致 (Safety Disalignment): 安全なモデルを意図的に安全でない状態にする攻撃（機能削除）。
  2. アライメント強化 (Alignment Enhancement): 安全でないモデルに安全機能を追加。
  3. バイアス除去 (Bias Removal): 偏見のあるモデルからバイアスを除去。
• 高性能と汎用性: 既存のベースライン（LoRA, 知識編集手法など）と比較して、ターゲット機能の転送において優れた性能を示し、かつモデル全体の性能低下（MMLU など）を最小限（多くの場合 1% 未満）に抑えることを実証しました。

4. 実験結果 (Results)

• 機能削除（安全アライメントの解除）:
  • 7 つのモデルにおいて、拒否率（Refusal Rate）を平均 81.6% 低下させ、有害回答率（Harmful Rate）を 76.8% 向上させました。
  • 一方、汎用性能指標である MMLU の低下は平均 1.37 ポイントにとどまり、他の手法（特に剪定ベースの手法）に比べて性能維持が優れていました。
• 機能追加（安全アライメントの強化）:
  • 拒否精度（Refusal Accuracy）を平均 40.84% 向上させ、MMLU は 0.26 ポイントのわずかな向上にとどまり、性能低下を伴わずに安全機能を追加できました。
• ベースラインとの比較:
  • 学習ベースの LoRA や、既存の知識編集手法（Model Surgery など）と比較し、CNT はより高い機能転送効率と、より低い汎用性能の低下を実現しました。
  • 特に「機能削除」において、単なる重みの剪定（Pruning）では機能の完全な削除が困難で残存活性化が生じるのに対し、CNT はドナーからの重み転送により「対抗活性化 (Counter-activations)」を誘発し、機能の論理をより効果的に上書き・無効化できることが示されました。
• アーキテクチャの汎用性:
  • Llama3 シリーズ、Mistral、Yi、DeepSeek-V2-Lite（MoE 構造）など、多様なアーキテクチャとパラメータ規模（3.2B〜15.7B）で有効性が確認されました。

5. 意義と結論 (Significance)

• コスト効率の高いセキュリティ対策: 高価なデータ収集や再学習なしに、オープンソースエコシステム内の既存モデルから安全機能を利用できるため、LLM のセキュリティ適応を劇的に効率化します。
• モジュール化された機能制御: 学習済みモデルを「部品」として扱い、ニューロンレベルで機能を追加・削除できるため、LLM の安全性と汎用性のバランスを細かく制御する新たなパラダイムを提供します。
• モデル理解への洞察: 安全機能やバイアスがモデルのどの層や重みに局在しているか、また異なるモデル間でどの程度共通しているかについての洞察を与え、LLM の内部メカニズム理解を深めます。

この研究は、LLM の安全性を「構築する」ことから「再利用する」へとパラダイムシフトさせる可能性を示唆しており、実用的なポストホックセキュリティ対策として非常に重要な貢献です。