💬 NLP

Position: The Term "Machine Unlearning" Is Overused in LLMs

本ポジションペーパーは、LLM研究において「マシン・アンラーニング（機械学習の忘却）」という用語が、拒絶や抑制といった多様なタスクを記述するために現在過剰に使用されていると論じ、誤解を招く評価を防ぎ、異なる目的に対して適切な用語を確保するために、当該用語をデータセットによって定義された削除と再学習への等価性の保証に厳密に限定することを提唱するものである。

原著者： Sangyeon Yoon, Yeachan Jun, Albert No

公開日 2026-06-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sangyeon Yoon, Yeachan Jun, Albert No

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

基本的な考え方：「アンラーニング（学習解除）」が誤用されている

想像してみてください。ある学生が、専門家になるために膨大な数の図書室の本を勉強したとします。そこで、その本の一冊が盗まれた、あるいは著者が「その本の内容を君の記憶から消してほしい」と要求した場面を想像してください。

この論文は、研究者たちが**「マシン・アンラーニング（機械学習解除）」**という言葉をあまりにも緩い意味で使いすぎていると主張しています。彼らはさまざまな異なる作業に対して「アンラーニング」と呼んでいますが、実際にはそれらは全く異なる役割を持っています。

著者たちは、これらを混同するのをやめるべきだと述べています。特定の、非常に困難な仕事に対してのみ厳格な用語として「マシン・アンラーニング」を予約し、他のより簡単な仕事には別の名前を使う必要があります。

1. 厳格な定義：「消しゴム」

本当の意味：
真の「マシン・アンラーニング」とは、絵画に対して「魔法の消しゴム」を使うようなものです。特定の絵の具の筆致（「忘却セット」）を完璧に取り除き、まるでアーティストが最初からその筆致を描かなかったかのように、絵が全く同じに見えるようにしたいのです。

黄金律（ゴールドスタンダード）： 作業がうまくいったことを証明するには、「消去された」絵を、残りの本だけを使ってゼロから描き直した（盗まれた本を一度も見ることのなかった）アーティストによる新しい絵と比較しなければなりません。
ゴール： 二つの絵は区別がつかないものでなければなりません。もし学生が、盗まれた本からのみ学んだ数学の問題を解けるとしたら、たとえその特定の質問に対して回答を拒否したとしても、彼は真に「アンラーニング」したことにはなりません。

2. 混乱：人々が「実際に行っていること」

現在、多くの研究者が「アンラーニング」を行っていると言っていますが、実際には以下のいずれかの作業を行っています。

「拒絶」（番犬）： モデルに対し、禁止されたトピックについて問われた際に、「わかりません」や「答えられません」と言うように訓練すること。
- 比喩： それは、部屋に入ろうとする人を阻止するために吠える番犬のようなものです。犬はまだその部屋が存在することを知っていますが、あなたを入れないようにしているだけです。犬はその部屋を忘れたのではなく、単にブロックするように訓練されているだけなのです。
「抑制」（ミュートボタン）： モデルを微調整し、禁止されたトピックに関連する特定の言葉を出す可能性を極めて低くすること。
- 比喩： 特定の単語にミュートボタンを付けるようなものです。その言葉は辞書の中に存在していますが、話し手はその言葉をスキップするように訓練されています。
「編集」（書き換え）： 古い事実を置き換えるために、新しい事実をモデルに教え込むこと。
- 比喩： 「パリはフランスの首都である」という記憶を消去する代わりに、「ロンドンは首都である」と上書きするようなものです。古い記憶は、新しい記憶の下に埋もれているだけで、依然としてそこに存在する可能性があります。

問題点： 研究者たちは、モデルが質問に答えなくなった（番犬が吠えた）ことをもって「アンラーニング」したと主張することがよくあります。しかし、著者たちはこれはトリックであると述べています。モデルは心の奥底では依然としてその情報を知っている可能性があり、ただ知らないふりをしているだけかもしれないのです。

3. 隠れた危険：「派生した能力」

これがこの論文の最も重要な部分です。特定のことを学ぶことは、単なるその一つの事実を超えた**「スーパーパワー（超能力）」**を授けることがあります。

比喩： ある学生が、盗まれた教科書を使って特定の種類の数学の問題を解く方法を学んだとします。たとえその本の具体的な答えを「忘れさせた」としても、その本を読んだことで得た「論理」や「推論スキル」は依然として持っているかもしれません。
リスク： もし単に答えを言えるかどうか（出力の失敗）だけをチェックする場合、彼らはテストに合格してしまうかもしれません。しかし、もし同じ論理を使う「新しい」数学の問題を出した場合、彼らは完璧に解いてしまう可能性があります。
論文のポイント： 真の「アンラーニング」とは、そのスーパーパワーをも取り除くことを意味します。もし盗まれた本が彼にスキルを与えたのであれば、アンラーニングしたならば、たとえそれが数学全般の能力を少し低下させたとしても、そのスキルを失うべきです。もしスキルを保持しているなら、その本の「影響」を真にアンラーニングしたことにはなりません。

4. なぜ現在のテストは失敗しているのか

論文は、現在のテストの多くが**「選択式のクイズ」**のようなものであると指摘しています。

現在のテスト： 「モデルは質問Aに答えられるか？」モデルが「わかりません」と言えば、テストは「よし！忘れた！」と判定します。
欠陥： これは、モデルが答えを「隠している」だけなのかをテストしているに過ぎません。モデルが知識を「削除」したかどうかをテストしていないのです。
解決策： 「アンラーニングされた」モデルを、「再学習された」モデル（その悪いデータを見ることのなかったモデル）と比較する必要があります。

5. 著者たちの解決策：新しいルールブック

著者たちは、この混乱を解決するために3つの主要な変更を提案しています。

「アンラーニング」を万能な用語として使うのをやめる。
- 単にモデルに回答を拒否させているだけなら、**「拒絶（Refusal）」または「抑制（Suppression）」**と呼びなさい。
- 再学習されたモデルと一致するように、実際に学習の影響を取り除いているのであれば、その時初めて**「マシン・アンラーニング」**と呼びなさい。
比較のために「参照モデル」を使用する。
- 単に「モデルは忘れた」と言ってはなりません。「モデルは、そのデータなしで訓練されたモデルと全く同じ挙動を示す」と言う必要があります。
- （著者らは、巨大なモデルの再学習はコストがかかることを認めていますが、最高のプロキシ（代理指標）を用いるか、さもなくば真のアンラーニングを行っていないことを認めるべきだと述べています）。
「スーパーパワー（派生した能力）」をテストする。
- 学習した通りの質問をモデルに投げかけるだけでなく、悪いデータから学んだ可能性のある「スキル」を必要とする、新しい質問を投げかけなさい。もしモデルがそれらの新しいタスクを依然としてこなせるなら、アンラーニングは失敗です。

まとめ

この論文は、科学における誠実さへの嘆願です。

「拒絶」（「わかりません」と言うこと）を、「アンラーニング」（記憶を消去すること）と呼んではなりません。
モデルが質問に答えないからといって、知識を忘れたと判断してはいけません。それは単に「かくれんぼ」をしているだけかもしれません。
結果を、その悪いデータを最初から見ていなかったモデルと比較してください。
モデルが悪いデータから得た「スーパーパワー」を依然として持っていないかを確認してください。

もし私たちがこの用語の扱いを修正しなければ、私たちは真実を隠しているだけなのに、安全でコンプライアンスを守っていると誤解してしまうことになるでしょう。

技術要約：「LLMにおける『機械学習忘却（Machine Unlearning）』という用語は過剰に使用されている」

問題提起
大規模言語モデル（LLM）は、プライバシー権（例：忘れられる権利）、著作権の紛争、および安全性ポリシーに起因して、特定の学習データを「忘れる」ことへの規制および商業的な圧力の高まりに直面している。しかし、「機械学習忘却（machine unlearning）」という用語は、LLMの研究において用語の過負荷状態にある。現在、この用語は、有害な振る舞いの拒絶、エンティティの削除、知識の抑制、および出力の難読化といった、多様な目的に対して幅広く適用されている。

特定された核心的な問題は、これらの異なる目的が、根本的に異なる目標を追求しているにもかかわらず、しばしば同じ指標やベンチマークを用いて評価されていることである。「機械学習忘却」とラベル付けされた手法の多くは、特定のデータセットの部分集合の潜在的な学習影響を取り除くことではなく、単に特定の出力を抑制したり、特定のクエリを拒絶したりすること（ポリシー駆動型の振る舞い制御）を目的としている。この混同により、表面的な非開示（例：低いROUGEスコアや特定の質問への回答失敗）を報酬として与える一方で、特定のデータセットなしで再学習されたモデルと真に区別がつかないかどうかを検証できていない評価が行われる。その結果、派生した能力（「忘却セット」から学習された汎用的なスキルや推論パターン）は、直接的な記憶が抑制されていても存続し続ける可能性がある。

手法およびフレームワーク
本ポジションペーパーは、新しいアルゴリズムや実験フレームワークを提案するものではない。代わりに、分野を明確にするための概念的フレームワークとタクソノミー（分類学）を提供するものである。

機械学習忘却の形式的定義： 著者らは、真の機械学習忘却を厳密にデータセット定義の削除問題として定義する。学習セット $D$ と忘却セット $F \subset D$ が与えられたとき、目標は、 $D \setminus F$ でゼロから再学習された対抗事実モデル $\Theta_R$ と（近似的に）区別がつかない更新されたモデル $\Theta'$ を生成することである。成功は、単なる特定のプロンプトに対する出力の失敗ではなく、 $\Theta'$ と $\Theta_R$ の間の分布の乖離（例： $(\epsilon, \delta)$ -不可識別性やその他のダイバージェンス指標による）によって測定される。
「学習忘却」の意図による分類： 本論文は、LLMの文献における他の一般的な用法を、その実際の保証に基づき、以下の異なるカテゴリに分類している。
- 出力尤度の抑制： 特定のトークンや応答の確率を減少させる手法（例：勾配上昇法、NPO）。これらは再学習との等価性を保証しない。
- 内部表現の難読化： 特定の入力に対して高いエントロピーや低い確信度を誘発し、データの直接的な影響を取り除くのではなく、内部の活性化を歪ませる技術。
- 知識編集： 元のデータの学習影響を取り除くのではなく、出力を方向付けるために、特定の事実や関連性を上書きするアプローチ（例：反事実的ファインチューニングによる）。
- 振る舞いの拒絶： 特定のクエリに対してモデルに棄権や「わかりません」と言わせる戦略。これはデータ削除ではなく、ポリシー・アライメントとして機能する。
- 推論時の介入： モデルの重みを変更することなく、情報の開示を防ぐ外部フィルタまたはデコーディング制約。
派生した能力の分析： 本論文は「派生した能力（derived capabilities）」、すなわち忘却セット内の特定例を超えて汎化する振る舞いや能力（例：数学的推論スキル）という概念を導入している。もし $F$ に対する学習がそのような能力に寄与しているならば、真に $F$ を学習忘却したモデルは、その能力をも失わなければならない（それは $D \setminus F$ で再学習されたモデルと同様である）と論じている。

主な貢献

用語の明確化： 著者らは、「機械学習忘却」という用語を、再学習による不可識別性の保証に対してのみ限定的に使用することを主張する。安全性駆動またはポリシー駆動の「忘却」タスクは、抑制、アライメント、または編集といった、区別された問題としてラベル付けされ、評価されるべきであると断じている。
現在のベンチマークへの批判： 著者らは、主要なベンチマーク（TOFU, MUSE, RWKU, WMDP）を分析し、それらの多くがいかに再学習のリファレンスから離れ、出力失敗の指標へと移行しているかを実証している。ROUGEや忘却プロンプトに対するQA精度といった指標は、学習の影響の除去ではなく、出力制御を測定していることが多く、その結果、潜在的な知識を保持したまま手法が成功しているように見せてしまうことを示している。
評価プロトコルの推奨： 著者らは、機械学習忘却の主張に対する厳格な評価基準を提案する。
- リファレンスに基づく評価： 主張は、明示的なリファレンスモデル（理想的には $D \setminus F$ で再学習されたモデル、または明確に述べられたプロキシ）に紐付けられなければならない。
- 派生能力プローブ： 評価には、転移可能な能力（例：分布外の推論タスク）のテストや、介入ベースの回復テスト（例：「忘れられた」知識が良質なファインチューニングによって回復可能かどうかを確認する）を含める必要がある。これにより、学習の影響が真に取り除かれたことを確認する。

結果およびエビデンス
ポジションペーパーであるため、本研究は新しい実験結果を提示するものではない。代わりに、既存の文献からのエビデンスを統合して議論を支持している。

固定されたプロンプティング・プロトコル下では成功しているように見える手法が、敵対的な条件下（言い換え、ジェイルブレイク）や良質な後処理（量子化、ファインチューニング）において失敗することが多いことを示す先行研究を引用しており、これは知識が「学習忘却」されたのではなく「抑制」されたに過ぎないことを示している。
データポイズニングのシナリオにおいて、「学習忘却」の手法が誘導された振る舞いを排除できない事例を強調しており、出力の抑制と影響の除去との間のギャップをさらに実証している。
現在のベンチマークが、モデルがデータを真に忘れたのか、単に特定のクエリを拒絶することを学習したのかを区別するために必要な再学習ベースラインを欠いていることが多いことを示している。

意義および主張
論文は、現在の用語の混乱は単なる表面的な問題ではなく、重大な実用的・科学的帰結をもたらすと主張している。ポリシー駆動の振る舞い制御と、データセット定義の削除を混同することで、以下のリスクが生じる。

誤解を招くベンチマーク： 潜在的な学習影響や派生した能力を無視し、表面的な非開示に対して報酬を与えてしまう。
不適切な比較： 同一のラベルの下で異なる保証を主張する手法同士の比較を不可能にする。
コンプライアンス・リスク： 規制上の削除（多くの場合、単なる出力の抑制ではなく、影響の除去を要求する）の厳格な要件を満たせない。

著者らは、この混乱を解決するには、明示的な保証とリファレンスモデルに結びついた、より厳格な用語の使用が必要であると結論付けている。彼らは、評価が主張された目的と一致することを求めている。もし目的が機械学習忘却であるならば、評価は、忘却セットに起因するあらゆる派生能力の喪失を含め、再学習モデルとの不可識別性を実証しなければならない。もし目的がポリシー遵守や出力抑制であるならば、それらは明確に区別された目的として枠付けられ、評価されるべきである。