技術的サマリー：Leak@k：学習忘却は確率的デコーディング下で LLM に忘却をもたらさない

問題定義

大規模言語モデル（LLM）は、個人情報、有害な内容、違法な内容、または著作権で保護された内容を含む膨大なウェブデータセットでトレーニングされています。機械的忘却（Machine Unlearning）は、この特定の知識を除去しつつ、モデルの一般的な有用性を維持することを目的としています。しかし、現在の忘却評価プロトコルは、ほぼ例外なく決定論的（貪欲）デコーディング（温度 $T=0$、top-$p=0$）に依存しています。この設定では、モデルは各ステップで最も確率の高いトークンを単一選択します。

著者らは重要なギャップを特定しました。すなわち、忘却手法は貪欲デコーディング下では成功しているように見えるものの、実世界の展開（会話エージェントやコード生成など）で標準となっている確率的デコーディング（例：$T > 0$ または top-$p > 0$）下では、「真の忘却」を達成できないという点です。確率的サンプリングでは、貪欲パスで抑制されていた機密情報が表面化する可能性があります。一度機密トークンがサンプリングされると、モデルの条件付き分布がしばしば変化し、その後の機密トークンが高い確信度で生成されるようになります。これにより、「忘却された」モデルが、複数回クエリを送られた場合や確率的パラメータを用いた場合に、依然として個人情報や有害な知識を漏洩させるというセキュリティの盲点が生まれます。

手法

1. Leak@k メタメトリック

この脆弱性を厳密に定量化するために、本論文はleak@kという分布型メタメトリックを導入します。単一の生成ごとの漏洩を測定するか、生成全体で平均化する従来評価とは異なり、leak@k は、同じプロンプトから確率的デコーディング下で生成された $k$ 個の独立したサンプルの中に、少なくとも 1 つの機密応答が現れる確率を定量化します。

• 定義: プロンプト $q$ に対し、$S_j$ を $j$ 番目の生成応答 $f(q; \theta)$ の正解に対する正しさスコア（例：ROUGE-L、Entailment Score、Accuracy）とします。このメトリックは、$k$ 個のサンプルにおける最大スコアの期待値として定義されます：
  $$\text{leak@k} := \mathbb{E}\left[\max_{1 \le j \le k} S_j\right]$$
• 推定: 著者らは、$n \ge k$ のサンプルを生成し、サイズ $k$ のすべての可能な部分集合に対する最大スコアを計算することで、単純な「worst-of-$k」アプローチに比べて分散を低減する不偏推定量$\widehat{\text{leak@k}}$ を提案します。
• 減衰分析: サンプリング予算の増加に伴う漏洩の進化を特徴づけるため、著者らは対数 - 対数モデル $L_k = 1 - (1 - L_1)k^{-\gamma}$ を当てはめます。ここで、$L_1$ は初期段階の漏洩を表し、$\gamma$ は残りの非漏洩質量の減衰率を表します。成功した忘却手法は、小さな $L_1$ と小さな $\gamma$ を示すべきです。

2. RULE アルゴリズム

確率的デコーディング下での静的忘却セットの失敗に対処するため、著者らはRobust Unlearning under LEak@k metric (RULE) を提案します。これは、忘却セットを動的に拡張する反復的なメタアルゴリズムです：

1. マルチサンプル生成: 現在のモデルと確率的デコーディングを用いて、忘却セット内のクエリに対して複数の候補応答を生成します。
2. 漏洩検出: これらの応答をコアメトリック（例：Entailment Score）を用いてフィルタリングします。機密情報を成功裏に暴露する応答（閾値を超えるもの）を特定します。
3. データセット拡張: これらの「漏洩する」応答を忘却セットに追加し、モデルに元の正解だけでなく、確率的条件下で生成されがちな特定のバリエーションや言い換えも忘却させるように実質的に指導します。
4. 最適化: モデルをこの拡張された忘却セットで再トレーニングします。このプロセスを数回反復します。

主要な貢献

1. Leak@k の導入: 評価パラダイムを、決定論的な単一応答チェックから、複数生成にわたる確率的最悪ケース分析へと移行させる新しいメタメトリック。
2. 体系的な実証研究: さまざまなデコーディング戦略（$T, p$）とサンプリング予算（$k$）を用いて、3 つの主要ベンチマーク（TOFU、MUSE-News、WMDP）における忘却の信頼性を大規模に評価した初の試み。
3. 失敗の証明: 最先端（SOTA）手法（GradDiff、NPO、SimNPO、RMU、BLUR-NPOを含む）は、「忘却の錯覚」しか提供しないことを明らかにした。$k$ が増加するにつれ、既存のすべての手法で leak@k が急激に上昇し、現実的なサンプリング下では機密知識が確実に再表面化することを示している。
4. RULE の提案: 情報漏洩を大幅に削減する動的トレーニングアルゴリズム。TOFU ベンチマークでは、RULE は $k=128$ であってもほぼゼロの leak@k を達成し、すべてのベースラインを上回った。MUSE-News では、ほとんどのサンプリング予算において SOTA 手法を上回った。

結果

• TOFU ベンチマーク: LLaMA-3.2-1B を使用して、貪欲デコーディング（$T=0, p=0$）では NPO や BLUR-NPO などの手法が成功した忘却を示唆する一方で、確率的デコーディング（$T=1.0, p=1.0$）では、$k$ が増加するにつれて leak@k（Entailment Score で測定）が 1.0 に近づくことを示した。top-$p$ パラメータは温度よりも漏洩の主要な駆動因子であることが判明した。
• MUSE-News ベンチマーク: LLaMA2-7B でも同様の傾向が観察された。既存の手法は、$p$ が増加するか $k$ が成長するにつれて、安全な出力から漏洩する出力へと移行する。RULE-NPO は漏洩成長率（$\gamma$）の抑制において優れた性能を示した。
• WMDP ベンチマーク: Zephyr-7B-beta を使用し、精度ベースのメトリックは誤解を招く可能性があることを強調した。一部の手法（NPO など）は多肢選択問題で低い精度を達成したが、しばしば意味不明な出力を生成するか「過剰に忘却」（拒否オプションを選択）した。一方、他の手法（RMU など）は、LLM-as-Judge による自由形式の生成で評価された場合、高ランダム性下で明確な漏洩傾向を示した。
• 有用性の維持: すべてのベンチマークにおいて、提案された手法（RULEを含む）は、保持セット（retain set）において安定した性能を維持し、堅牢な忘却が必ずしもモデルの一般的な有用性の犠牲を伴わないことを示した。

意義と主張

本論文は、LLM の確率的性質を無視しているため、現在の忘却評価は根本的に欠陥があり、誤った安心感を生み出していると主張している。著者らは、安全性を確保するために、忘却は展開時に使用されるのと同じ確率的条件下で評価されなければならないと論じている。

この研究の意義は以下の点にある：

• 重要なギャップの暴露: 貪欲デコーディング下での「成功した」忘却は、規制遵守や倫理的 AI にとって不十分であることを実証した。機密データは反復サンプリングを通じて回復可能であるためである。
• 堅牢な評価フレームワークの提供: Leak@k は、平均ケースの性能ではなく、最悪ケースの漏洩ポテンシャルに基づいて忘却手法を比較するための標準化された分布型メトリックを提供する。
• 解決策の提示: RULE は、モデル自身の確率的失敗に基づいて忘却セットを反復的に洗練させることで、堅牢な忘却を達成可能であることを示した。これは静的トレーニングセットを超えたアプローチである。

著者らは、そのような堅牢な評価とトレーニング手法がなければ、高リスク環境における忘却済み LLM の展開は依然として危険であり、敵対的なユーザーが確率的デコーディングを悪用して「忘却された」情報を抽出できる可能性があるとして結論付けている。