🤖 machine learning

Tackling Fake Forgetting through Uncertainty Quantification

本論文は、アンラーニング精度が保持された情報を検出できない「偽の忘却」という現象を特定し、コンフォーマル予測に基づく新しい指標（CR）とフレームワーク（CPU）を提案して、モデルの不確実性集合から真のラベルを効果的に除去することを目指す。

原著者： Yingdan Shi, Sijia Liu, Kaize Ding, Ren Wang

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

原著者： Yingdan Shi, Sijia Liu, Kaize Ding, Ren Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に優秀な学生が、膨大な教科書を丸暗記していると想像してください。さて、その教科書の特定のページに、プライバシー法などの理由で永久に消去しなければならない秘密があるとしましょう。あなたはその学生に、そのページを「学習し直す（unlearn）」よう指示します。

問題：「偽りの忘却」の錯覚

従来、学生がその内容を忘却したかどうかを確認するためには、その特定のページに関する質問をします。もし学生がその答えを間違えれば、「素晴らしい！忘却したようだ」と判断されます。

しかし、この論文は、このテストに欠陥があると主張しています。忘却を命じられた国の首都を学生に尋ねるようなものです。もし学生が「ロンドン」ではなく「パリ」と答えれば、忘却したと考えます。しかし、もし彼らが心の奥底ではまだ「ロンドン」を知っているのに、質問に惑わされて間違えただけだとしたらどうでしょうか？あるいはもっと悪いことに、ヒントを与えれば正解を推測できてしまうとしたらどうでしょうか？

著者たちはこれを**「偽りの忘却（Fake Forgetting）」**と呼びます。学生は単純なテストに失敗したため、忘却したように見えますが、実際には情報が脳内に残存しており、回復可能な状態にあるのです。

解決策：「コンフィデンス・ネット（信頼の網）」

この偽りの忘却を見抜くため、著者たちは**コンフォマル予測（Conformal Prediction）**という概念に基づいた新しいツールを導入しました。

コンフォマル予測を**「安全網」や「推測の円」**と想像してください。学生に単一の答えを尋ねる代わりに、彼らに「正解かもしれない」と思われるすべての答えを囲む円を描くよう指示します。

もし学生が本当に秘密を忘却していれば、その円は広くて不規則になり、実際の答えを全く含まないはずです。
もし彼らが単に「偽装」しているだけなら、その円は依然として狭く、実際の答えがその中に隠れています（たとえ彼らがそれを最有力候補として選ばなかったとしても）。

新しい指標：「コンフィデンス・レシオ（CR）」

著者たちはこれを測定するための新しいスコア、**CR（Conformal Ratio）**を作成しました。

旧スコア（UA）： 学生が単一の答えを間違えたかどうかのみをチェックする。（偽装しやすい）
新スコア（CR）： 実際の答えが、学生が提示した「あり得る答え」の安全網の中にまだ隠れていないかを確認する。もし実際の答えがその網の中にあれば、スコアは「あなたは本当に忘却していない」と示します。

新しい枠組み：「CPU」

この問題を修正するため、著者たちは**CPU（Conformal Prediction Unlearning）**と呼ばれる新しい学習手法を構築しました。

学生に忘却を教える場面を想像してください。

旧来の方法： 「『ロンドン』と言わないで」と伝えるだけ。
CPU の方法： 「『ロンドン』と言わないだけでなく、『ロンドン』があなたの推測リストからあまりにも遠く離れ、安全網の完全に外側に出てしまうようにせよ」と伝える。

彼らは、サイバーセキュリティの分野から（C&W 攻撃と呼ばれる）技術を借用し、それを調整することでこれを達成しました。単に誤った答えへの信頼度を下げるのではなく、正解を予測の円から能動的に押し出すのです。

結果

画像認識タスク（犬や車の画像を識別するなど）でこれをテストしたところ：

既存の多くの手法が実際に「忘却」を偽装していることが判明しました。モデルは画像を誤分類しますが、正しいラベルは依然としてその予測円の中に隠れていました。
新しいCR スコアは、これらの偽装を見事に検知しました。
新しいCPU 枠組みは、モデルに正解を円の外へ押し出すよう実際に強制し、モデルが他のものを認識する能力を損なうことなく、はるかに信頼性が高く本物に近い忘却を実現しました。

要約

この論文はこう述べています。「モデルが答えを間違えるかどうかだけでなく、その答えが安全網の中にまだ隠れていないかを確認しなさい。もし隠れていれば、それは真に忘却されたわけではありません。私たちはこれを測定する新しい方法と、データが実際に消去されていることを保証する新しい学習手法を構築しました。」

技術的概要：不確実性定量化による偽の忘却への対処

問題定義

機械的忘却（Machine Unlearning）は、訓練済みモデルから特定データポイントの影響を除去することを目的としており、GDPR などの規制によりその能力がますます義務付けられています。一方、**忘却精度（Unlearning Accuracy: UA）は、モデルが「忘却」対象データを誤分類する割合を測定するものとして、性能評価の標準指標となっていますが、著者らは偽の忘却（fake forgetting）**という重大な欠陥を特定しました。

本論文は、UA が点予測のみに依存しているため不十分であると主張します。モデルが忘却対象データを誤分類し（高い UA スコアをもたらす）、不確実性推定において真のラベルに対して依然として高い確信度を持っている場合でも、偽の忘却が発生し得ます。具体的には、真のラベルがモデルのコンフォルマル予測セットに含まれたままとなる可能性があり、これは情報がモデルの決定境界から真に消去されていないことを意味します。この現象は Grad-CAM によって可視化されており、モデルが画像を誤分類していても、真のラベルが予測セットに含まれている場合、その注意機構は依然として物体の主要な特徴に焦点を当てていることが示されています。

手法

1. コンフォルマル比率（CR）指標

UA の限界に対処するため、著者らは**Split Conformal Prediction（SCP）に着想を得た新しい評価指標であるコンフォルマル比率（Conformal Ratio: CR）**を提案します。UA が単一の予測クラスのみをチェックするのに対し、CR は予測セット全体を評価します。

この指標は以下のように定義されます：
$CR = \frac{\text{Coverage}}{\text{Set Size}}$

Coverage（カバレッジ）: 真のラベルがコンフォルマル予測セット内に含まれる忘却対象データポイントの割合。忘却データにおける高いカバレッジは「偽の忘却」を示します。
Set Size（セットサイズ）: 予測セットに含まれるラベルの平均数。
解釈: 忘却データ（ $D_f$ ）における CR 値が低いことは、より強力な忘却（真のラベルがセットから正常に除外されたこと）を示します。逆に、テストデータ（ $D_{test}$ ）における CR 値が高いことは、モデルの有用性が維持されていることを示します。

著者らは、既存の指標が真のラベルが予測セット内に残るケースを検出できないことを検証し、CR は真のラベルを非適合スコアの閾値を超えて押し出すことを要求することでこれを捉えることを示しました。

2. コンフォルマル予測忘却（CPU）フレームワーク

CR からの洞察に基づき、著者らは訓練ベースの忘却手法を強化するための汎用フレームワークCPUを提案します。その核心となる考え方は、損失関数を修正して、忘却データの真のラベルを明示的にコンフォルマル予測セットから除外させることです。

このフレームワークはCarlini & Wagner（C&W）敵対的攻撃損失を適応させます。単に真のクラスとトップの競合クラスとの差を最大化するのではなく、CPU 損失は真のラベルの非適合スコア（ $S(x, y_t)$ ）をコンフォルマル閾値（ $\hat{q}$ ）を超えて押し上げます。

提案された損失関数は以下の通りです：
$L_{cpu}(x, y_t) = \max\{\hat{q} - S(x, y_t), -\Delta\}$

ここで：

$\hat{q}$ は較正セットから導出された閾値です。
$S(x, y_t) = 1 - p_t(x)$ は非適合スコア（逆確率）です。
$\Delta$ はマージンパラメータ（実験では 0.01 に設定）です。

この損失は、モデルが真のラベルの非適合スコアを $\hat{q}$ を超えて増加させるよう促し、結果として真のラベルを予測セットから実質的に除外します。最終的な目的関数は、元の損失とこの新しい項を組み合わせます：
$L_{total} = L_{original} + \lambda \cdot L_{cpu}$

主要な貢献

偽の忘却の特定: 本論文は、UA（誤分類）によって「忘却」されたと判断されたデータのうち、真のラベルがコンフォルマル予測セット内に残っているため、依然として回復可能なものが相当数存在することを示しました。
新規指標（CR）: 上位予測のみではなく予測セット全体を評価することで、忘却の質をより信頼性高く評価するコンフォルマル比率の導入。
CPU フレームワーク: 適応化された C&W 損失を通じてコンフォルマル予測の概念を訓練損失に統合し、真のラベルが予測セットから除外されることを保証する、汎用的かつモデルに依存しない忘却フレームワーク。
包括的な評価: 複数のデータセット（CIFAR-10、Tiny ImageNet、Oxford-Pets）およびアーキテクチャ（ResNet-18、ViT、Swin-T）にわたる広範な実験により、CPU が保持データやテストデータにおけるモデルの有用性を大幅に低下させることなく、忘却の質を向上させることが検証されました。

実験結果

指標の優位性: 12 種類の異なる忘却ベースラインを用いた実験において、UA と CR で評価した場合、手法のランキングは大きく変化しました。UA では良好なパフォーマンスを示した手法（例：Random Labeling）は、CR 下では偽の忘却に苦しんでいることが示され、一方で他の手法（例：Salun）はより優れた真の忘却能力を示しました。
フレームワークのパフォーマンス: 既存の手法（RT、FT、RL）に CPU フレームワークを適用すると、忘却データにおける CR が大幅に低下し（より良い忘却を示す）、同時に保持精度（RA）とテスト精度（TA）は安定して維持されました。
- 例えば、CIFAR-10 と ResNet-18 において、CPU を Finetune（FT）手法に適用した結果、再学習（RT）ベースラインとの UA のギャップは 4.8% から 0.7% に縮小し、同時に忘却データにおける CR も低下しました。
視覚的証拠: Grad-CAM による可視化は、真のラベルが予測セットから除外された場合（CPU によって達成される）、モデルの活性化領域が物体の主要な特徴から離れることを確認しました。これは、誤分類にもかかわらず特徴がハイライトされ続ける標準的な忘却とは対照的です。
効率性: CPU 損失の追加は計算オーバーヘッドをほとんど生じさせず、さまざまなデータセットにおいて訓練時間は 1 分未満の増加にとどまりました。

意義と主張

本論文は、評価のパラダイムを単純な精度から不確実性定量化へと転換することで、機械的忘却に対するより厳密な基盤を提供すると主張しています。著者らは、UA のみに依存することは、プライバシーとセキュリティに対する誤った安心感を生み出すと強調しています。真のラベルを単に誤分類させるだけでなく、積極的に予測セットから除外することで、提案された CR 指標と CPU フレームワークは、データが真に忘却されたことをより信頼性の高い保証として提供します。この研究は、既存の忘却手法が予測の確信度に対処していないことを浮き彫りにし、提案されたアプローチはコンフォルマル予測と敵対的攻撃の原理を用いてこのギャップを埋めるものです。