技術的サマリー：ゲート付き活性化リダイレクトによる推論時機械忘却（GUARD-IT）

問題定義

大規模言語モデル（LLM）は訓練データを記憶することが多く、プライバシー、著作権侵害、安全性に関して重大なリスクを生じさせます。機械忘却（MU）は、特定の「忘却セット（$D_f$）」の影響を除去しつつ、「保持セット（$D_r$）」における性能を維持することを目指し、理想的には $D_f$ を除いて最初から再訓練されたモデルを近似することを目的としています。

既存の MU 手法は主に、計算集約的な勾配ベースのパラメータ更新に依存しています。これらの手法にはいくつかの決定的な限界があります：

1. 計算コスト：完全なファインチューニングパイプラインへのアクセスと莫大なリソースを必要とします。
2. 不可逆性と不安定性：重み更新は不可逆であり、「壊滅的崩壊（catastrophic collapse）」を引き起こす可能性があります。これはモデルが汎化能力を失い、不整合な出力を生成する状態です。
3. 量子化への脆弱性：モデルの展開のために量子化が行われると、低精度の丸め処理が微細な重み調整を消去するため、忘却効果が損なわれたり無効化されたりすることがよくあります。
4. 継続的忘却の問題：逐次的な忘却要求があるシナリオでは、繰り返されるパラメータ更新が干渉を蓄積し、時間経過とともに無関係な知識を劣化させます。
5. 単純な活性化操作の限界：活性化エンジニアリングは訓練不要な代替案を提供しますが、すべての入力に対して単一のグローバルな操作ベクトルを適用することは、忘却コーパスが矛盾する意味的方向にまたがる場合に失敗し、無関係な入力に対する意図しない動作変化を招きます。

手法：GUARD-IT

本論文は、推論中に活性化空間内で完全に忘却を実行する、訓練および勾配不要な手法であるGUARD-IT（ゲート付き活性化リダイレクトによる推論時忘却）を提案します。この手法は線形表現仮説に基づいて動作し、忘却を隠れ状態の制御された幾何学的変換として扱います。

中核コンポーネント

1. 意味的クラスタリング（オフラインフェーズ）：

   • 忘却コーパス $D_f$ を Sentence-Transformer で埋め込み、K-Means によって意味的クラスタに分割します。クラスタ数（$k$）はシルエットスコアを最大化することで自動的に選択されます。
   • 各クラスタについて、特定のターゲット層 $\ell$（通常はトランスフォーマースタックの第 1 四分位数）における隠れ状態の活性化を平均化することで、**プロトタイプ操作ベクトル（PSV）**を計算します。
   • 保持コーパスから参照ベクトル $\bar{h}_r$ を計算し、操作が保持された知識と干渉しないようにします。

2. 類似度ゲート（オンラインフェーズ）：

   • 推論時、ユーザークエリ $x$ を埋め込み、忘却クラスタの重心と比較します。
   • **類似度ゲート（SG）**は、重心の類似度が閾値 $T$ を超えるクラスタのみを選択します。これにより、操作は忘却セットと意味的に関連する入力にのみ適用され、無関係なクエリに対する有用性が維持されます。

3. ノルム保存回転：

   • 有効な PSV を集約して、入力依存の忘却方向 $p(x)$ を作成します。
   • この方向を保持参照ベクトル $\bar{h}_r$ に対して直交するように射影し、共有成分を除去します。
   • 得られた操作ベクトルを、隠れ状態の平均活性化ノルムに一致するようにスケーリングし直します。
   • 最後に、介入を残差ストリーム内での純粋な回転として適用します。これにより、隠れ状態を忘却方向から回転させつつ、元のノルムを厳密に保持します。これにより、レイヤー正規化やアテンションスケーリングの不安定化を防ぎます。

主要な貢献

1. 訓練および勾配不要な定式化：本論文は、忘却をパラメータ更新、再訓練、または訓練パイプラインへのアクセスを不要とする活性化空間における入力依存の操作問題として再定式化しました。
2. クラスタリングによる入力依存操作：忘却コーパスを分割し、類似度ゲートを使用することで、GUARD-IT は局所的かつ構成的な忘却を可能にします。各クエリの意味内容に適応した介入を行うことで、単純なグローバル操作の失敗モードを回避します。
3. 量子化および継続的忘却への頑健性：この手法は、既存のものを変更せずに新しい PSV を追加することで継続的忘却を自然にサポートし、モデルの量子化（4 ビットおよび 8 ビット）下でも有効性を維持します。これは、勾配ベースの手法が通常劣化または失敗するシナリオです。

実験結果

著者は、3 つのモデルスケール（Llama-3.2-1B、3B、および Llama-3.1-8B）におけるTOFUおよびMUSEベンチマークで GUARD-IT を評価しました。

• ベースラインとの性能比較：GUARD-IT は、すべてのモデルスケールにおいて 12 の勾配ベースのベースラインと同等かそれ以上の性能を示しました。TOFU の forget01 および forget05 スプリットにおいて、有用性と記憶抑制の調和平均である最高平均スコアを達成しました。
• 壊滅的崩壊の回避：忘却強度が増加するにつれて壊滅的崩壊（低い有用性と高いナンセンス率）に陥る多くの勾配ベースの手法（PDU、RMU など）とは異なり、GUARD-IT は記憶を効果的に抑制しながら高い一貫性を維持します（ナンセンス率 > 0.80）。
• 量子化への頑健性：4 ビットおよび 8 ビット量子化の実験において、GUARD-IT はその性能プロファイルを維持しました。対照的に、勾配ベースの手法は微細な重み摂動が失われるため、量子化されると有用性と記憶抑制において著しい劣化を示しました。
• 継続的忘却：逐次的な忘却シナリオにおいて、GUARD-IT は有用性と記憶のトレードオフを一貫して維持しますが、勾配ベースの手法は連続する更新間の干渉に苦しみ、モデルの漸進的な劣化を招きます。

意義と主張

本論文は、GUARD-IT がパラメータ更新手法に固有の構造的限界に対処すると主張しています。破壊的な重み書き換えではなく、外部のバージョン管理可能な操作ベクトルセットとして忘却を符号化することで、この手法は以下の利点を提供します：

• 展開の柔軟性：忘却強度は、トレーニング時の固定されたコミットメントではなく、操作係数 $\alpha$ によって制御される連続的な推論時のノブとなります。
• 監査可能性と可逆性：忘却要求は、モデルを再訓練することなくベクトルストアを変更することで、検査、更新、またはロールバックが可能です。
• 安定性：ノルム保存回転により、介入がモデルの内部正規化メカニズムを乱さず、攻撃的な活性化操作に共通する不整合な出力を防ぎます。

著者は、このアプローチが $D_f$ の除去を、事前計算された活性化方向のライブラリ上のルーティング問題として再定義し、特にリソース制約のある環境や量子化環境において、展開された LLM におけるプライバシー遵守（GDPR、EU AI 法など）のための実用的な解決策を提供すると結論付けています。

限界

本論文は、この手法が線形表現仮説に依存しており、忘却概念が残差ストリーム内でほぼ線形な方向に符号化されていると仮定していることを認めています。これは、非線形に符号化された概念や、多くの低強度の方向に分散して符号化された概念には当てはまらない可能性があります。さらに、評価は現在、実体レベルの事実的関連性（TOFU、MUSE）に焦点を当てており、手続き的知識、推論連鎖、または敵対的に作成されたセットへの転移可能性は未解決の課題です。