技術概要：ICCU – パターン誘発拒否則によるコンテキスト内継続的忘却

1. 問題定義

大規模言語モデル（LLM）は、しばしば機密性、有害性、または著作権を有する情報を含むウェブ規模のコーパスで訓練されています。「機械的忘却（machine unlearning）」は、訓練済みモデルから特定データの影響を除去することを目的としていますが、既存のアプローチは、削除要求が時間とともに逐次的に到着する（継続的忘却）現実世界の展開において、重大な課題に直面しています。

現在の手法は主にファインチューニングまたはパラメータ更新に依存しています。これらの手法を要求のストリームを処理するために逐次的に適用すると、以下の 3 つの重大な問題が発生します：

1. 高コスト：各ラウンドのファインチューニングは計算コストが高く、コストが急速に蓄積します。
2. 再学習：後続のファインチューニングのラウンドが、以前に除去された知識を誤って復元し、以前の忘却努力を無効化する可能性があります。
3. 有用性の侵食：パラメータ更新の繰り返しは、非対象タスクにおけるモデルの一般的能力を低下させる傾向があります。

さらに、既存の継続的忘却手法のほとんどはファインチューニングベースであり、これらの同じ制限を引き継いでいます。効率的でスケーラブルかつ、要求間の干渉を伴わないフレームワークが必要です。

2. 手法：ICCU フレームワーク

著者は、モデルの重みを変更するのではなく、読み可能な拒否則を誘発・適用することによって継続的忘却を実行する、パラメータフリーのフレームワークである**ICCU（In-Context Continual Unlearning）**を提案します。このフレームワークは、2 つの明確な段階で動作します：

段階 1：継続的拒否則生成

プライバシー上の懸念やストレージコストを招く生きた忘却セットデータを保存する代わりに、ICCU は各入力される忘却データセット（$D_t$）を処理し、コンパクトな自然言語の規則のセットを生成します。

• クラスタリング：$D_t$内のサンプルは、事前訓練された埋め込みモデルを用いてエンコードされ、（K-means などの）クラスタリングによって意味的なグループに分類されます。これにより、関連する知識（例：著者の名前、生誕地、作品）をグループ化しつつ、生サンプルを破棄します。
• パターン誘発：各クラスタに対して、LLM にプロンプトを送り、サンプルの共有特性を簡潔で人間が読み取れる拒否則に要約させます。
• 蓄積：これらの規則は、グローバルで共有されるリポジトリに追加されます。この蓄積は順序非依存かつ構成的であり、つまり最終的な規則のセットは誘発されたすべての規則の和集合であり、新しい要求を追加しても既存の規則に干渉しません。規則が誘発された後、元の忘却セットデータは破棄されます。

段階 2：推論時の適応的規則検索

推論時、ユーザーのクエリが到着すると、ICCU は再訓練なしでモデルの動作を規制するために、関連する規則を動的に選択します。

• クラスタゲーティング（高速チェック）：クエリを埋め込み、保存されたクラスタの重心と比較します。クエリがすべての重心から遠い場合（距離 > 閾値 $\tau$）、それは対象外とみなされ、ベースモデルによって直接回答されます。
• 規則選択（意味チェック）：クエリが重心に近い場合、システムは上位$m$個の最も関連性の高い拒否則を検索します。LLM は、埋め込み近接チェックによる偽陽性を防ぐために、クエリが規則と真に一致するかどうかを判断する意味推論チェックを実行します。
• 展開モード：
  1. フィルタベースの忘却：規則はスタンドアロンの意味フィルタとして機能します。システムはまずクエリを拒否するかどうかを決定します。拒否されない場合、別の生成呼び出しで回答を生成します。
  2. エンドツーエンドの忘却：規則はシステムプロンプトに注入されます。モデルは単一の呼び出しで一致判定と候補回答を同時に出力します。一致が検出された場合、応答は拒否に上書きされます。

3. 主要な貢献

1. 新規問題定式化：本論文は、パラメータ更新なしで逐次的な削除要求の特定の課題に対処するコンテキストベースの継続的忘却を研究します。
2. ICCU フレームワーク：以下の特性を持つ新規の規則ベースのフレームワーク：
   • モデルパラメータを変更することなく忘却を実行する。
   • 要求間の干渉を伴わない、コンパクトで読み可能な拒否則を誘発する。
   • フィルタベースとエンドツーエンドの両方の展開モードをサポートする。
3. 実証的検証：広範な実験により、ICCU が対象知識を効果的に抑制しつつ一般有用性を維持し、逐次的な要求にわたってスケーラブルであり、言い換えられたクエリや言語間クエリに対して堅牢であることを示しています。

4. 実験結果

著者は、2 つのベンチマーク（架空の著者伝記のTOFUと、生物学、化学、サイバーセキュリティにおける有害知識のWMDP）で ICCU を評価し、一般能力の維持を測定するためにMMLUを使用しました。テストされたモデルには Qwen および Llama ファミリーが含まれます。

• 忘却の有効性：ICCU は、非対象クエリでの低い拒否率（例：MMLU で <0.04）を維持しながら、高い拒否率（例：WMDP サブセットで >0.93）を達成し、プロンプトベースのガードレールを上回り、訓練済み分類器と同等の性能を発揮しました。
• 継続的安定性：構成性テスト（表 3）において、規則のサブセットを活性化させた結果、新しい忘却要求を追加しても以前の要求の忘却効果が低下しないことが示され、要求間の干渉の欠如が確認されました。
• 堅牢性：ICCU は、言い換えられたクエリや翻訳されたクエリ（フランス語、ポルトガル語、ロシア語など）において高い性能を維持しましたが、分類器ベースのベースラインは多言語環境で急激に性能が低下しました。
• 有用性の維持：ファインチューニングベースライン（Gradient Ascent, RMU, O3）とのエンドツーエンド比較において、ICCU はファインチューニング手法と同様に有害知識を抑制しましたが、一般能力（MMLU 精度）の維持は著しく優れていました。
• 効率性：エンドツーエンドモードはフィルタリングと生成を単一の呼び出しに統合することで推論コストを削減し、フィルタベースモードはモジュール化されたインターフェースを提供しました。

5. 意義と主張

本論文は、ICCU が継続的忘却という増大する課題に対する訓練不要、プライバシーに配慮し、スケーラブルな解決策を提供すると主張しています。その意義は以下の点にあります：

• 忘却と訓練の分離：忘却ロジックを（規則を通じて）推論コンテキストに移すことで、反復的なファインチューニングに伴う計算コストと有用性の侵食を排除します。
• プライバシーと監査可能性：このフレームワークは、規則誘発後に生きた忘却セットデータを破棄し、クラスタ重心と人間が読み取れる規則のみを保持します。これにより、忘却ポリシーを規則レベルで監査可能かつ制御可能にします。
• 意味的堅牢性：表面レベルのキーワードではなく意味表現に依存することで、ICCU は言い換えられたクエリや言語間クエリに一般化し、キーワードベースのフィルタの主要な弱点に対処します。
• 柔軟性：規則リポジトリは、異なる展開シナリオ（フィルタ対エンドツーエンド）に役立ち、規則の選択的活性化を可能にするため、さまざまなレイテンシと統合の制約に適応可能です。

著者は、忘却セットクエリが埋め込み空間で有用性クエリから分離可能であるという仮定や、数百から数千の逐次的な要求へのフレームワークのスケーリングに関するさらなる研究の必要性を含む限界を指摘しています。しかし、ICCU は LLM 向けの効率的かつ効果的な継続的忘却に向けた重要な一歩であると位置付けています。