RePAIR: プロンプト認識型モデル修復による対話型機械忘却の技術的概要

本論文「RePAIR: Interactive Machine Unlearning through Prompt-Aware Model Repair」は、大規模言語モデル（LLM）における**対話型機械忘却（Interactive Machine Unlearning: IMU）**という新たなパラダイムを提案し、その実現のためのフレームワーク「RePAIR」と、その中核となるトレーニングフリーの単一サンプル忘却手法「STAMP」を提案した研究です。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

背景

現在の LLM は、大規模なウェブコーパスでの事前学習を通じて、有害な知識、誤情報、個人情報などをモデル重みに無差別に吸収しています。既存の機械忘却（Machine Unlearning）手法は、モデルサービスプロバイダ（MSP）がretain（保持）データセットを用意し、再学習パイプラインを実行する「プロバイダ中心」のアプローチが主流です。

課題

• エンドユーザーの排除: ユーザーが自身のデータの削除を直接要求しても、MSP に依存するか、複雑なスクリプトを書く必要があり、実用的ではありません。
• GDPR/CCPA への対応不足: 「忘れられる権利」をユーザーが自律的に行使できる枠組みが欠如しています。
• 既存手法の限界: 既存の忘却手法は、バッチ処理や再学習を前提としており、推論時（テスト時）に単一サンプルに対して即座に忘却を行うことはできません。

提案する問題設定：対話型機械忘却（IMU）

ユーザーが自然言語で「この知識を忘れた」と指示し、モデルが推論時に自律的にその知識を削除し、以後の対話で拒否応答を返すという新しい設定です。

• 制約条件:
  1. トレーニングフリー: 勾配計算やバックプロパゲーションを行わない（推論環境での実行を想定）。
  2. 単一サンプル: バッチではなく、ユーザーからの 1 つのリクエストに対して即座に処理する。

---

2. 提案手法：RePAIR と STAMP

RePAIR フレームワーク

RePAIR は、推論時にユーザーの意図を検知し、モデルを自律的に修復する 3 つのコンポーネントで構成されます（図 2, 3 参照）。

1. M_watchdog（監視モデル）:
   • 会話履歴を監視し、ユーザーが「忘却」を意図しているか検知します。
   • 忘却対象となるプロンプトとレスポンスのペア $(p_f, r_f)$ を抽出します。
2. M_surgeon（外科医モデル）:
   • 抽出された忘却ペアに基づき、モデルを修復するための「修復コード」を生成します。
   • 具体的には、MLP 層の重みを更新する数式（擬似逆行列を用いた更新）を生成します。
3. M_patient（患者モデル）:
   • 対象となるベースモデル（例：Llama-3-8B）です。
   • 生成された修復コードに基づき、パラメータを自律的に更新され、「治癒したモデル（M_healed）」となります。

中核アルゴリズム：STAMP

STAMP (Steering Through Activation Manipulation with PseudoInverse) は、RePAIR の中核となるトレーニングフリーの忘却手法です。

• 基本原理:
  • 忘却対象のサンプルの MLP 活性化値を、「拒否（Refusal）」のサブ空間へと誘導します。
  • 拒否の方向ベクトル（Steering Vector）を計算し、忘却サンプルの活性化値にこれを加算することで、モデルが「知らない」と答えるように誘導します。
• 重み更新（擬似逆行列）:
  • 入力 $X$ と目標出力 $O'$ の関係 $X \cdot W_{new} = O'$ を満たす新しい重み $W_{new}$ を、Moore-Penrose 擬似逆行列を用いて閉形式（closed-form）で計算します。
  • 勾配計算を一切行わず、単一のフォワードパスと行列演算のみで完結します。
• STAMP-LR（低ランク版）:
  • 計算コスト $O(d^3)$（$d$ は次元数）を削減するため、入力行列を低ランク近似 ($X \approx AB$) します。
  • 計算複雑度を $O(r^3 + r^2 \cdot d)$ に低下させ、デバイス上での効率的な実行を可能にします（約 3 倍の高速化）。

---

3. 主要な貢献

1. 対話型機械忘却（IMU）の形式化:
   • エンドユーザーが自然言語で LLM に忘却を指示し、MSP に依存せず自律的に実行できる新しい問題設定を定義しました。
2. STAMP と STAMP-LR の提案:
   • LLM 向けに、推論時だけで動作する初のトレーニングフリーかつ単一サンプル対応の忘却手法を提案しました。
3. RePAIR フレームワークの構築:
   • 意図検知、修復コード生成、自律的なモデル修復を統合したエンドツーエンドのソリューションを実装しました。
4. 広範な実験による検証:
   • 有害知識の抑制、誤情報の修正、個人情報の消去の 3 つのタスクにおいて、既存の最先端手法（SoTA）を上回る性能を達成しました。

---

4. 実験結果

実験は Llama-3-8B をベースモデルとし、WMDP（有害知識）、MMLU（誤情報）、合成個人情報データセットを用いて行われました。

忘却性能と保持性能

• 忘却スコア (Acc_f, F-RL):
  • STAMP および STAMP-LR は、すべてのタスクでほぼ 0.00 の忘却スコアを達成しました（既存手法の一部は 0.13〜2.10 程度の残留スコアがありました）。
  • 単一サンプル忘却（$|D_f|=1$）の条件下でも、STAMP は Acc_f = 0.00 を達成しましたが、既存のトレーニングベース手法（GA, NPO など）は単一サンプルでは学習信号が弱く、忘却に失敗（Acc_f = 100）しました。
• 保持スコア (Acc_r, R-RL):
  • 忘却後もモデルの有用性を維持しており、保持スコアは 70〜84.47 の範囲で、Oracle（忘却データなしで再学習したモデル）に近い性能を維持しました。
  • 特に STAMP-LR は、誤情報除去タスクで 84.47 の Acc_r を達成しました。

有用性（Utility）と効率性

• 有用性: 忘却後のモデルの性能低下（Perplexity）は、トレーニングベース手法（Perplexity 10〜12）に比べて大幅に少なく、STAMP-LR は 6〜8 程度で Oracle と同等の性能を維持しました。
• 実行効率 (RTE):
  • トレーニングベース手法はタスクごとに 6〜12 分かかりましたが、STAMP は 4.25〜7.13 分、STAMP-LR は 2.57〜4.01 分で完了しました。
  • 既存手法と比較して約 3 倍の高速化を達成し、オンデバイス実行の可能性を示しました。

アブレーション研究

• 層の選択: Llama-3-8B の Layer 7 でのみ活性化を誘導しても、全層を対象とした場合と同等の忘却性能を維持しつつ、処理時間を約 3.8 倍短縮できました。
• ランクと保持データ: 低ランク近似のランク $r \ge 64$ で安定した性能を示し、保持データセットのサイズを 10% に削減しても性能は安定していました。

---

5. 意義と結論

本論文は、LLM のガバナンスとプライバシー保護において重要な転換点となる成果です。

• ユーザー主権の確立: ユーザーがモデルサービスプロバイダを介さず、直接自分のデータや知識の削除をコントロールできる仕組みを提供しました。
• 実用性の向上: トレーニングを不要とし、単一サンプルで即座に処理可能な手法は、リアルタイムなプライバシー保護や、リソース制約のある環境（エッジデバイス）での展開を可能にします。
• 透明性と信頼性: モデルがユーザーの「忘却」要求を認識し、明示的に拒否応答を返すことで、AI の動作に対する透明性を高めています。

将来的には、マルチモーダルモデルへの拡張や、保持データ（Retain Buffer）を一切必要としない完全なトレーニングフリー忘却手法への発展が期待されます。RePAIR は、透明性が高く、ユーザーが自律的に制御できる次世代の AI 安全フレームワークの基盤となるものです。