技術概要：DurableUn 機械学習における量子化誘発型回復攻撃

1. 問題定義

機械学習における「学習忘却（Machine Unlearning）」は、GDPR などのプライバシー規制に準拠するため、モデルから特定の訓練データを除去することを目的としている。しかし、現在の評価プロトコルには重大な「展開ギャップ（deployment gap）」が存在する。標準的な評価では、忘却監査に使用される精度（通常は bfloat16 または BF16）が生産環境で使用される精度と一致すると仮定されている。現実には、大規模言語モデル（LLM）はメモリフットプリントの削減と推論速度の向上のため、低ビット精度（INT4 または INT8）で頻繁に展開されている。

著者らは、この精度の不一致が体系的な脆弱性を生み出していると特定した。つまり、モデルは BF16 においてデータを正常に「忘却」し（忘却精度 FA $\approx$ 0 でプライバシー監査を合格）、しかし展開のために INT4 に量子化されると、忘却された情報がモデルの出力に体系的に再出現する現象である。著者らはこの現象を**量子化回復攻撃（Quantization Recovery Attack: QRA）**と命名した。これは単なる新しい攻撃の変種ではなく、現在の実証評価プロトコルにおける根本的な妥当性の欠陥である。すなわち、準拠していると証明されたモデルが、標準的な展開変換の下では確実にプライバシーを侵害しているという点である。

2. 手法と設定

実験体制

本研究は、モデルを NormalFloat4（NF4）精度で読み込み、Low-Rank Adaptation（LoRA）アダプターを BF16 で訓練するNF4+LoRA展開パラダイムに焦点を当てている。これは効率的な微調整と展開のための一般的な設定である。

• モデル: LLaMA-3-8B-Instruct（主要）、Mistral-7B-Instruct（一般化のため）。
• データセット: TOFU（架空の著者）、MUSE-News（実世界のニュース）、WikiBio-WPU（歴史上の人物）。
• ベースライン: 7 つの確立された忘却手法を評価した。Gradient Ascent（GA）、Negative Preference Optimization（NPO）、SCRUB、SalUn、Representation Manipulation Unlearning（RMU）、AlphaEdit、GradDiff。
• 量子化シミュレーション: 著者らは、行ごとの対称量子化方式を用いて LoRA アダプター重みに対して INT4 および INT8 量子化をシミュレートした。また、マージ済みモデルに対する実在の bitsandbytes 事後学習量子化（PTQ）に対して、このシミュレーターを検証した。

提案手法：DURABLEUN-SAF

この脆弱性に対処するため、著者らはDURABLEUN-SAF（Sharpness-Aware Forgetting）を提案した。

• 核心的洞察: 標準的な勾配降法（GA）は、忘却目的関数に対して「鋭い（sharp）」損失地形を作り出す。モデルは全精度では忘却するが、損失地形が急峻であるため、INT4 量子化ノイズのような微小な摂動が容易にモデルを「記憶」状態へ戻してしまう。
• メカニズム: DURABLEUN-SAF は、INT4 丸め操作を通じて勾配を計算するために**Straight-Through Estimator（STE）**を用いる、量子化対応の目的関数を導入する。目的関数は以下の 3 つの項を組み合わせる。
  1. 標準的な忘却損失（$L_f$）。
  2. 量子化対応忘却損失（$L_f(Q_{STE}(\theta))$）。これは、シミュレートされた INT4 摂動下でもモデルが忘却することを強制する。
  3. 保持損失（$L_r$）。有用性を維持するため。
• 訓練戦略: この手法は、量子化対応項に対してウォームアップスケジュールを採用し、量子化重み（$\alpha$）に基づいて動的に保持バランス（$\lambda$）を調整する。

3. 主要な知見と結果

FA–RA–Q-INT4 のトリレンマ

本研究は、FA–RA–Q-INT4 トリレンマと呼ばれる構造的制約を特定した。評価されたどの設定も、以下の 3 つを同時に達成することはできない。

1. 強力な忘却（FA $\le$ 0.05）。
2. 高い有用性（保持精度 RA $\ge$ 0.50）。
3. 量子化ロバスト性（Q-INT4 $\le$ 0.05）。

密なパレート掃引を通じて、著者らは鋭い位相転移を観察した。ロバスト性（Q-INT4 < 0.05）を達成するために量子化圧力（$\alpha$）を増加させると、保持精度（RA）は急激に崩壊する（例：約 0.52 から約 0.045 へ）ため、さらなる調整では回復できない。これは、トリレンマが NF4+LoRA 体制における共有重み空間の結果であり、ハイパーパラメータの人工物ではないことを示唆している。

量子化回復攻撃（QRA）

• INT8 は無害: 7 つのすべてのベースラインにおいて、INT8 量子化は Q-INT4 = 0.000 となり、8 ビット精度では回復を引き起こすには精度が高すぎることを示した。
• INT4 は壊滅的: INT4 量子化は、忘却された内容を体系的に回復させた。BF16 で良好な忘却（FA < 0.05）を達成した手法において、回復は深刻であった。
  • GradDiff: FA 0.008 $\to$ Q-INT4 0.151（18.9 倍の回復）。
  • GA: FA 0.028 $\to$ Q-INT4 0.262（9.4 倍の回復）。
  • SalUn: FA 0.011 $\to$ Q-INT4 0.051（4.6 倍の回復）。
• データセットの難易度: 攻撃の深刻度はデータセットの難易度に比例する。より困難な MUSE-News データセットでは、標準的な手法は完全に忘却することに失敗したが、より単純な WPU データセットでは、DURABLEUN-SAF なしでもいくつかのベースラインが証明を通過した。

DURABLEUN-SAF の性能

DURABLEUN-SAF は、安定した**実証的耐久性証明（empirical durability certificate）**を達成した唯一の手法である。

• 証明の定義: モデルが、集合 $P$（BF16、INT8、INT4）内のすべての精度において忘却精度が $\le \epsilon$ である場合、そのモデルは $(\epsilon, P)$-耐久性を持つと定義される。
• 結果: DURABLEUN-SAF（$\alpha=3$）は、3 つのランダムシードにおいて Q-INT4 が $0.043 \pm 0.002$ で、証明率 3/3を達成した。
• 比較: 対照的に、SalUn（独自の公開ハイパーパラメータであっても）は、より高い分散を伴い、証明率はわずか 1/3 にとどまった。
• トレードオフ: DURABLEUN-SAF は証明を達成するが、トリレンマで観察された RA の崩壊（RA $\approx$ 0.045）と同様の影響を受ける。これは、この手法がトレードオフを成功裡に navigated しているものの、現在、高い有用性を維持しつつ INT4 ロバスト性を確保するという構造的限界を克服できないことを確認している。

4. 意義と主張

本論文は、以下の貢献を主張している。

1. 展開ギャップの特定: 現在の忘却評価は、INT4 展開という標準的な慣行を無視しているため、プライバシー準拠において偽陽性をもたらすという点で、根本的に欠陥があることを実証した。
2. トリレンマの確立: FA–RA–Q-INT4 トリレンマを、滑らかなトレードオフではなく鋭い位相転移を特徴とする NF4+LoRA 体制における構造的制約として確立した。
3. 最初の耐久性証明: 複数のシードとデータセットで検証された、量子化下における機械学習忘却のための最初の形式的な実証的耐久性証明を導入した。
4. 実行可能な解決策: 量子化対応忘却が可能であることを実証する、この証明を一貫して達成する最初の手法 DURABLEUN-SAF を提案した（ただし、現時点では保持精度の低下というコストを伴う）。
5. 行動への呼びかけ: 著者らは、FA および RA に加えて、Q-INT4（INT4 量子化下での忘却精度）を標準的な評価指標として採用することを提唱している。量子化は、下流ユーザーにとって「ワンライン」の操作であり、忘却された情報を回復するために訓練データを必要としないため、GDPR 準拠を主張するあらゆる忘却手法は、INT4 におけるロバスト性を証明しなければならないと論じている。

本論文は、DURABLEUN-SAF が証明への道を提供しているものの、保持精度の崩壊は未解決の問題であり、今後の研究は共有重み空間における強力な量子化ロバスト性と高い有用性の間の幾何学的な非互換性に取り組む必要があると結論付けている。