💬 NLP

EvoMU: Evolutionary Machine Unlearning

EvoMUは、進化計算を用いた自動探索により、データセットの特性に最適化された未知のアンラーニング（機械学習における忘却）損失関数を効率的に発見することで、既存手法を上回る性能を実現するAI共同科学者（AI co-scientist）の手法です。

原著者： Pawel Batorski, Paul Swoboda

公開日 2026-02-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Pawel Batorski, Paul Swoboda

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

タイトル：AIの「忘れ物」を完璧にする、AI科学者による進化の魔法

1. 背景：AIの「知ってはいけない記憶」問題

想像してみてください。あなたは、ある超優秀な料理人（AI）を雇いました。彼は世界中のレシピをすべて覚えています。しかし、ある日、彼が「誰にも教えてはいけない秘密のレシピ」や「著作権のある特別な料理の作り方」まで完璧に覚えていて、それを勝手に披露してしまうことが分かりました。

これでは困りますよね。でも、料理人に「最初からやり直して（再学習）」と言うのは、膨大な時間とお金がかかりすぎて現実的ではありません。そこで必要になるのが、**「特定の記憶だけを、他のスキルを損なわずに綺麗に消し去る技術（マシン・アンラーニング）」**です。

2. 課題：消しすぎると「バカ」になる？

ここが難しいところです。秘密のレシピを忘れさせようとして、あまりに厳しく指導しすぎると、料理人はパニックになり、「料理の基本（他の知識）」まで忘れてしまうことがあります。

忘れ足りない： 秘密がまだ漏れてしまう。
消しすぎ（過学習）： 秘密は忘れたけれど、普通の料理も作れなくなってしまった。

これまでは、人間が「このくらいの厳しさで教えればいいかな？」と、手探りで指導法（損失関数）を決めていました。しかし、消したい内容によって「最適な教え方」はバラバラなので、人間がすべてに対応するのは至難の業でした。

3. 解決策：AIが「教え方」を勝手に進化させる「EvoMU」

そこで研究チームが考えたのが、**「教え方そのものを、AIに進化させてしまおう！」**というアイデアです。これが EvoMU です。

これを**「料理のコーチング・シミュレーション」**に例えてみましょう。

アイデア出し（提案）： まず、小さなAIコーチ（Qwen3-4B）が、「こんな教え方（指導ルール）はどうかな？」と、いくつか新しい指導案を作ります。
実験（トレーニング）： その指導案を使って、実際に料理人を訓練してみます。
採点（評価）： 訓練が終わったら、「秘密はちゃんと忘れたか？」「普通の料理の腕は落ちていないか？」を厳しく採点します。
進化（突然変異）： 成績が良かった指導案を選び出し、その良いところを活かしつつ、さらに「ちょっとだけルールを変えた（突然変異）」新しい指導案を作らせます。

これを何度も繰り返すことで、**「そのデータに特化した、世界で最も効率的な教え方」**を、AIが自動的に見つけ出していくのです。

4. この研究のすごいところ

「AI科学者」の誕生： 人間が指示しなくても、AIが自分で試行錯誤して、人間が思いつかないような「賢い教え方」を発見します。
低コストで高性能： 巨大なスーパーコンピュータを使わなくても、比較的小さなAI（4Bモデル）を使うだけで、人間が一生懸命考えた方法よりも優れた結果を出せます。
どんな問題にも対応： 「歴史の事実を忘れさせる」「著作権のある文章を消す」「危険な知識を封印する」など、消したい内容に合わせて、AIが最適な「消し方」をオーダーメイドで作ってくれます。

まとめ

EvoMUは、いわば**「AIのための、超効率的な記憶消去トレーニング・プログラム」**です。AIが「知るべきこと」と「忘れるべきこと」を完璧に使い分けられるように、AI自身が自分自身の教え方を磨き上げていく。そんな、まるで生命の進化のようなプロセスを使って、より安全で信頼できるAIを作ろうとする研究なのです。

技術要約：EvoMU: 進化的機械アンラーニング (Evolutionary Machine Unlearning)

1. 背景と問題意識 (Problem)

大規模言語モデル（LLM）の普及に伴い、モデルが学習時に記憶してしまった機密情報、著作権物、有害なコンテンツを、モデルをゼロから再学習することなく削除する**「機械アンラーニング（Machine Unlearning）」**の重要性が高まっています。

現在の主流な手法は、特定の「忘却データ（Forget set）」の確率を下げつつ、モデルの汎用的な能力を維持するための「忘却損失関数（Unlearning loss function）」を用いてファインチューニングを行う手法です。しかし、以下の2つの大きな課題が存在します。

損失関数の設計の困難さ: 適切な損失関数の空間は膨大であり、人間が設計した関数（Gradient AscentやDPOベースの手法など）は、係数やマージンのわずかな違いで「忘却不足」または「過剰な忘却（モデルの有用性の低下）」を引き起こしやすく、極めて脆弱です。
汎用的な損失関数の不在: 忘却データと保持データ（Retain set）の構造（重なり具合や分布の性質）はタスクごとに異なるため、あるタスクで優れた損失関数が別のタスクでは機能しないという問題があります。

2. 提案手法 (Methodology)

本論文では、アンラーニングの損失関数設計を**「自動科学発見（Automated Scientific Discovery: ASD）」の問題として定式化し、進化計算を用いたフレームワーク「EvoMU」**を提案しています。

EvoMUのプロセス

EvoMUは、コード生成能力を持つLLMを「AI共同科学者（AI Co-scientist）」として利用し、以下のループを繰り返します。

提案 (Propose): コード生成LLM（Qwen3-4B-Thinkingを使用）が、実行可能なPyTorch形式の新しい損失関数候補と、その最適化に必要なエポック数を提案します。
訓練と評価 (Train & Eval): 提案された各損失関数を用いて、軽量なLoRAアダプタを用いたファインチューニングを実施します。その後、標準的なアンラーニング指標（忘却の強さとモデルの有用性の両面）を用いて評価します。
選択 (Select): 忘却効率と有用性のバランスをスコア化し、上位 $K$ 個の優れた損失関数を選択します。
突然変異 (Mutate): 選択された上位の損失関数に対し、LLMが「訓練履歴」「評価指標」「元のコード」をフィードバックとして受け取り、係数の調整、構造の変更、エポック数の変更などを行い、次世代の損失関数を生成します。

特徴的な点: 巨大なモデルではなく、4Bパラメータ程度の比較的小規模なオープンモデルを使用しながら、進化的な探索ループを組み合わせることで、高度な発見を実現しています。

3. 主な貢献 (Key Contributions)

アンラーニングにおけるASDの導入: 損失関数設計を自動化するエンドツーエンドのパイプラインを構築しました。
小規模モデルによる効果的な発見: 4Bクラスのモデルでも、人間が設計した強力なベースラインを凌駕する損失関数を合成できることを示しました。
タスク特異的な損失の重要性の証明: 各ベンチマーク（TOFU, MUSE, WMDP）において最適な損失関数が大きく異なることを示し、データ構造に合わせた設計の必要性を明らかにしました。
実証的な構造の発見: 発見された優れた損失関数の多くは、複雑な参照モデルの項を必要とせず、シンプルかつ非対称な構造を持つ傾向があることを示しました。

4. 実験結果 (Results)

複数の主要ベンチマークにおいて、EvoMUが既存のSOTA（State-of-the-Art）手法を上回る結果を出しました。

TOFU (biographical facts): 忘却の強さとモデルの有用性（MUスコア）の両面で、既存のNPOやSimNPOを上回る性能を達成しました。
MUSE (long-form text): ニュース記事の削除や、著作権のある書籍（Harry Potter）の知識削除において、有用性を高く維持したまま効果的な忘却を実現しました。
WMDP (hazardous knowledge): 生物学的危険知識の抑制において、汎用的な能力（MMLU）を損なうことなく、高い抑制効果を示しました。
再学習への耐性 (Relearning): WMDPを用いた実験では、既存手法が再学習によってすぐに知識を復元してしまうのに対し、EvoMUで得られたモデルは知識の復元に対して高い耐性を示しました。

5. 意義 (Significance)

本研究は、機械アンラーニングにおける「損失関数の設計」という、これまで人間が試行錯誤で行ってきたプロセスを自動化できる可能性を示しました。これは、データ削除要求（Right to be forgotten）への迅速な対応や、モデルの安全性向上（有害知識の除去）を、より低コストかつ高精度に行うための強力なツールとなります。また、AIが科学的な発見（新しいアルゴリズムや関数の設計）を行うための、計算資源を抑えた効率的なアプローチを提示した点でも学術的価値が高いと言えます。