技術的サマリー：Unlearners Can Lie：LLM 忘却における誠実性の評価と改善

1. 問題提起

大規模言語モデル（LLM）の忘却（Unlearning）は、特定の訓練データ（例：機密情報や有害な情報）を選択的に削除しつつ、モデルの汎用性を維持することを目的としています。しかし、既存の忘却手法は、忘却後のモデルにおける誠実性の確保においてしばしば失敗します。モデルが正確性の観点から対象知識を「忘却」することに成功したとしても、以下のような不誠実な振る舞いを示す可能性があります：

• ハルシネーション（幻覚）： 忘却されたトピックについて、もっともらしいが誤った情報を捏造すること。
• 不一致性： 意味的に同等なクエリに対して異なる回答を提供すること、または多ターン会話中に拒絶のスタンスを維持できないこと。
• 偽りの拒絶（Spurious Refusal）： 基盤となる知識を保持したまま（マスクされた知識）「知らない（IDK）」と出力すること、または真の不確実性ではなく位置バイアスに基づいて IDK オプションを選択すること。

本論文は、忘却セットにおける精度などの現在の評価指標が不十分であると主張しています。なぜなら、それらは自己認識（モデルが自身の限界を認識する能力）と自己表現（その限界を一貫して真実に伝えること）を捉えていないからです。

2. 手法

2.1 誠実な忘却の形式的定義

著者らは、誠実な忘却を以下の 2 つの柱を通じて定義します：

1. 保持セット（Retain Set）： モデルは、保持された知識を忠実に表現する能力と汎用性を維持しなければなりません。
2. 忘却セット（Forget Set）： モデルは対象知識を効果的に削除するとともに、忘却された内容について問い合わせられた際、その限界を真実に、かつ安定的に認める必要があります。

2.2 評価フレームワーク

誠実性を体系的に評価するため、本論文は質問応答（Q&A）および多肢選択問題（MCQ）の設定において、一連の指標を導入しています：

• 汎用性指標： 保持データにおける MMLU、指示追従（IF）、および正解数（NC）。
• 保持セットにおける誠実性： 合意率（AR）と誤導耐性スコア（MRS）。
• 忘却セット指標：
  • 拒絶率（RR）： モデルが明示的に拒絶するか、不確実性を表明する質問の割合。
  • QAMRC（Q&A 多ターン拒絶一貫性）： 最初のターンでの拒絶が、追跡クエリ後も安定的に維持されるかを測定します。
  • CIR（Choose-IDK Rate）および COR（Choose-Other Rate）： MCQ において、CIR は「知らない」オプションの選択を測定します。COR は、位置バイアスを検出するために、同じ位置にある意味的に無関係なオプションの選択を測定します。
  • STD および MCQSC： プロンプトの変動や反復質問に対する回答の安定性を測定します。

2.3 提案手法：ReVa（拒絶ベクトルアライメント）

著者らは、すでに特徴量ランダム化忘却（例：RMU）を経たモデルの誠実性を向上させるために設計された、表現アライメント手順であるReVaを提案します。

• メカニズム： 「知らない」といった特定のトークンを出力するために教師あり微調整（SFT）を行う代わりに、ReVa はモデルの内部残差ストリーム表現を、蒸留された拒絶ベクトルとアライメントさせます。
• プロセス：
  1. モデルが認知的不確実性を表明する際（例：知識外の問題において）、その内部活性化から拒絶方向 $r$ を抽出します。
  2. 忘却セットの入力に対する活性化を、特定のトランスフォーマー層（Zephyr-7b では層 18 で最適化）において、この蒸留された拒絶方向 $r$ に向けて微調整します。
  3. 損失関数は、モデルの活性化とスケーリングされた拒絶ベクトルとの間の距離を最小化します：$L_{ReVa} = \mathbb{E}_{x \sim D_F} [\frac{1}{L(x)} \sum ||M^{(l)}_\theta - c \cdot r||^2_2]$。
• 利点： ReVa は IDK-SFT の表面的な語彙マッピングを回避し、勾配上昇法に比べて計算効率が良く、保持知識における汎用性を維持します。

3. 主要な結果

3.1 既存手法の評価

本論文は、WMDP-Bio ベンチマークにおいて、3 つのファミリー（拒絶ベース、特徴量ランダム化、勾配上昇）に属する 9 つの手法を評価しました：

• 拒絶ベース（例：IDK+AP）： 高い拒絶率を達成しますが、しばしば「浅く欺瞞的な」振る舞いを伴います。「IDK」と出力しながらも忘却質問において高い精度を維持する可能性があり、これはマスクされた知識を示唆しています。
• 勾配上昇（例：NPO、GA）： 汎用性を著しく低下させます（NC および MMLU が大幅に減少）。偽りの IDK 行動を示します：高い CIR だけでなく高い COR も示し、最初のトークンのエントロピーが極めて低いです。これは、真の不確実性ではなく、位置バイアスやトークン抑制に起因して「IDK」オプションを選択していることを示唆しています。
• 特徴量ランダム化（例：RMU）： 汎用性の維持と知識の削除（低い ACC）において最も優れていますが、誠実性においては失敗します。忘却セットでハルシネーションを起こしたり、ターン間で不一致な回答を提供したりし、安定的な自己表現が欠如しています。

3.2 ReVa の性能

RMU 忘却モデルに対するポスト処理ステップとして適用された ReVa は、優れた性能を示しました：

• 誠実性： 拒絶率（RR）が約 60.86%、2 ラウンド後の安定性を示す QAMRC が 45.42% となり、ベースラインを大幅に上回りました。
• 汎用性： 保持セットにおける高い汎用性を維持しています（MMLU 約 57.56、NC 約 1592）。これは元の RMU モデルと同等であり、RMU+IDK よりも優れています。
• 安定性： 出力分散（STD）を削減し、MCQ における一貫性を向上させました。
• 効率性： 2x A6000 GPU でのトレーニング時間が約 5.91 分であり、IDK+AP の約 210 分と比較して大幅に短縮されました。

4. 主要な貢献

1. 不誠実性の特定： 本論文は、現在の忘却手法における不誠実な振る舞い（ハルシネーション、不一致性、偽りの拒絶）を特定・分類し、忘却とは単なる忘却ではなく、誠実な自己表現であるべきであると主張しています。
2. 誠実性ベンチマーク： 忘却の効果を評価するとともに、不確実性の表現の安定性を評価するための専用指標（RR、QAMRC、CIR/COR、MRS）を備えた包括的な評価フレームワークです。
3. 理論的および実証的分析： 勾配上昇法は無限大の最適化につながり、汎用性の崩壊と偽りのトークン選好を引き起こすこと、また拒絶ベースの手法はしばしば表面的なパターンを学習することを分析により明らかにしました。
4. ReVa 手法： モデルが汎用能力を犠牲にすることなく、真に限界を認めることを可能にする、軽量な表現アライメント手法の導入です。

5. 意義と主張

本論文は、誠実性が LLM 忘却の重要かつ見過ごされている次元であると主張しています。限界を認められない現在の手法は、安全性リスク（例：危険な医療情報や生物学的情報のハルシネーション）を生み出し、ユーザーの信頼を損なう可能性があります。

著者らは、ReVaが以下のことを可能にすることで、「誠実な忘却」に向けた重要な一歩を表していると述べています：

• 対象知識を効果的に忘却する。
• 自分がもう知らないことを一貫して、かつ真実に認める。
• 保持された知識において高い汎用性を維持する。

本論文は、ReVa が誠実性と安定性を向上させるものの、完璧な解決策ではないこと（例：MCQ の性能にはまだ改善の余地がある）および本研究が現在 WMDP ベンチマークに限定されていることを結論付けています。この研究は、将来の忘却研究が、単なる精度指標を超えて、モデルが単に「忘却された」だけでなく「誠実である」ことを保証する方向へ進む必要があることを強調しています。