💬 NLP

Model Unlearning Objectives Vary for Distinct Language Functions

本論文は、言語モデルの学習忘却を単一のタスクとして扱うのではなく、特定の機能に特化して設計すべきであると主張し、7-8B モデルを用いた実験を通じて、危険な知識に対するコサインに基づくメタ学習アプローチと毒性に対する多層プローブベースの手法という異なる目的が、それぞれの目標に対して優れた結果をもたらすことを実証する。

原著者： Berk Atil, Vipul Gupta, Rebecca J. Passonneau

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Berk Atil, Vipul Gupta, Rebecca J. Passonneau

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、インターネット上のほぼすべてを読み込んだが、少し無鉄砲な天才的な学生たちだと想像してみてください。彼らは物語を書くことや質問に答えるのが得意ですが、同時にいくつかの悪い習慣も身につけています。時には危険な秘密（例えば爆弾の作り方など）を知っていたり、時には意地悪で有毒な言葉を使ったりします。

この論文は、これらの悪い習慣を「忘却（アンラーニング）」させようとする試みが、万能な解決策ではないと主張しています。教師が、数学のテストでのカンニングを防止する方法と、クラスメイトへの失礼な態度を防止する方法を区別して使うのと同様に、AI 研究者も異なる問題に対しては異なるツールを必要とします。

以下に、彼らのアプローチを簡単なアナロジーを用いて解説します。

1. 核心的な問題：万能薬は存在しない

著者らは、「忘却（特定の事を AI に忘らせること）」を単一の汎用的なタスクとして扱うべきではないと述べています。

危険な知識は、学生が特定の危険な事実（例：「毒の作り方」）を暗記しているようなものです。これは図書館の特定のファイルのように、モデル内に特定の場所として保存されています。
毒性は、学生の悪い態度や失礼になりがちな傾向のようなものです。これは単なる事実ではなく、学生全体の性格に広がっている雰囲気やパターンです。

この論文は、これら 2 つの問題が AI の「脳」内で異なる形で保存されているため、それぞれを修正するには 2 つの異なる戦略が必要だと主張しています。

2. 戦略 A：危険な事実の忘却（「コサイン」アプローチ）

AI が危険な事実を知っている場合、著者らは距離ではなく方向に基づいた新しい手法を試みました。

従来の方法（L2 損失）: 崖から玩具の車を遠ざけようとするのを想像してください。従来の方法は、車と崖の間の正確な距離を測定しました。車が 1 インチ動けば、それは進歩とみなされました。しかし、車が大規模な場合、1 インチ動いただけでは十分でないかもしれません。
新しい方法（コサイン損失）: 著者らは、正確な距離を気にするべきではないと提案します。代わりに、車が向いている方向を気にすべきです。車が崖に向かっている場合、それを 180 度回転させて、危険とは逆方向に向かせます。崖の近くにいるとしても、危険から遠ざかる方向を向いていればよいのです。
結果: また、車を転がす際の強さを自動で調整し、運転方法（一般的な知識）を忘れないようにする「スマートなコーチ」（メタ学習）も併用しました。これは危険な事実を除去する際に非常に効果的でした。

3. 戦略 B：毒性の忘却（「多層」アプローチ）

AI が有毒な言動をとる場合、「車を向きを変える」方法は失敗しました。なぜなら、毒性は特定の場所に保存されているのではなく、AI の脳の多くの層に染み込んだシミのようなものだからです。

問題: 汚れたシャツの一点だけをこすっても、シミは残ったままです。
解決策: 著者らは「多層スクラブ（多層洗浄）」を開発しました。AI の脳を異なる深さ（初期層、中間層、後期層）から観察し、「毒性のシグナル」がレベルごとに異なる姿をしていることを発見しました。
手法: 彼らは、毒性がどこに隠れているかを正確に特定するために、さまざまな層で特別な検出器（プローブ）を訓練しました。その後、AI をそれらすべての層で同時に行動変容させるよう促し、シミを一点ではなく、シャツ全体から取り除くようにしました。

4. 成績表：S-Unlearning

AI が良くなったかどうかをどうやって知るのでしょうか。「毒性が減った」と言うだけでは不十分です。もしかすると、役立つこともできなくなっているかもしれません。
著者らは、S-Unlearningという新しいスコアを作成しました。

天秤を想像してください。一方の皿には「悪いものをどの程度除去できたか」、もう一方の皿には「良いものをどの程度保持できたか」があります。
S-Unlearningスコアは、これら 2 つの側面で形成される長方形の面積のようなものです。大きな長方形（悪いものの除去率高かつ良いものの保持率高）を目指します。悪いものを除去したとしても、AI が話せなくなるほど壊してしまえば、その長方形はゼロに縮小してしまいます。

5. 彼らが発見したこと

彼らは、Llama、Mistral、Qwen などの 4 つの異なるオープンソース AI モデルでこれをテストしました。

危険な事実について: 新しい「方向ベース」の方法は、一般的な知性を失わずに AI に危険な情報を忘れさせる点で、従来の方法よりも優れていました。
毒性について: 「多層スクラブ」は、危険な事実に対して使われたのと同じ手法を使うよりもはるかに効果的でした。毒性は実際に広がっており、それを修正するには複数の層を標的とする必要があることがわかりました。
最大の教訓: すべての AI の問題を修正する単一の「魔法の杖」は存在しません。AI がその問題を（特定の事実として、あるいは散らばった行動として）どのように保存しているかを理解し、それを修正するための適切なツールを選ぶ必要があります。

要約すれば：特定の事実を修正するには、方向を変えなさい。悪い態度を修正するには、システム全体を層ごとにこすり洗いしなさい。

技術的概要：モデルの学習忘却（Unlearning）目的は、異なる言語機能によって変化する

問題提起

大規模言語モデル（LLM）は、事前学習の過程で、危険な事実知識（例：バイオセキュリティリスク）や有害な言語生成を含む望ましくない性質を獲得します。事後学習（post-training）の手法は、指示追従と安全性など、異なる振る舞いを形成するために異なる目的関数を用いますが、既存の学習忘却アプローチは、これらの異なる性質の除去を単一の汎用的な問題として扱う傾向があります。

著者らは、学習忘却は、事後学習の目的の多様性に倣って、目的に依存すべきであると主張します。具体的には、危険な知識（事実的・手続き的情報）と毒性（社会的に有害な振る舞い）は、モデル内部のメカニズムにおいて異なって表現されていると仮定します。したがって、単一の学習忘却目的関数は、両者に対して効果的ではない可能性があります。現在の手法は、これらの能力を頑健に除去できず、あるいは意図せずモデルの汎用性を低下させることが多いです。

手法

本論文は、対象とする性質の具体的なメカニズム的本質に合わせた異なる学習忘却戦略を提案し、4 つのオープンソースの 7–8B モデル（Llama3.1-8B、Mistral-7B、Qwen2.5-7B、Olmo3-7B） across 評価しました。

1. 危険な知識の学習忘却

事実知識が層全体にわたって比較的安定した位置（主語、目的語、最終トークンの位置）に格納されているというメカニズム的証拠に基づき、著者らは学習忘却のための表現誤方向付け（RMU）フレームワークを修正しました：

コサインベースの損失関数：標準的な L2 距離損失をコサインベースの損失関数に置き換えました。仮説として、表現の正確なユークリッド位置よりも、表現の方向がより重要であるとしました。これにより、無害な大きさの変化を罰することなく、更新された表現と目標方向との整合性を最適化します。
メタ学習された係数（ $\alpha$ ）：忘却と保持の目的関数間のトレードオフ係数を固定する代わりに、著者らは $\alpha$ を学習可能なパラメータとして扱います。REINFORCEを用いて、モデルは微調整中に $\alpha$ を適応的に更新し、忘却と保持のバランスを取ることで、広範な手動チューニングの必要性を排除します。

2. 毒性の学習忘却

メカニズム的研究は、毒性が異なって表現されており、DPO のようなアライメント手法では必ずしも除去されないこと、しばしば後の MLP 層で誘発されることを示唆しています。単一層または単一方向のアプローチは効果的であることが証明されませんでした。

多層目的関数：著者らは、毒性に関連する信号を複数の層にわたって対象とする忘却損失を提案します。
層固有のプローブ：彼らは、凍結された参照モデルの各層における最終トークンの隠れ表現に対して線形ロジスティック回帰プローブを訓練し、層固有の毒性方向（ $LR_i$ ）を特定します。
直交化：忘却損失は、各対象層において、更新されたモデルの毒性入力に対する表現を、毒性方向に対して直交させるように促します。損失はドット積を二乗して非負性と対称的な勾配を確保し、毒性と強く整合する表現に対してより大きな勾配を与えます。
層の選択：実験は、効果的な学習忘却には、毒性方向がネットワークの深さ全体で著しく回転するため、分散した深さ（早期、中期、後期の層）全体にわたる協調的な更新が必要であることを示しています。

3. 評価指標：S-学習忘却

学習忘却の性能（ $U$ ）と保持された有用性（ $R$ ）の間のトレードオフを要約するために、著者らはS-学習忘却を導入しました：

有用性と学習忘却のスコアは、偶然による補正が施されます。
最終スコアは積 $\bar{U} \cdot \bar{R}$ です。
この指標は 0 から 1 の範囲を取り、学習忘却が強く有用性が高い場合に最大化し、有用性が偶然レベルに低下するとゼロに落ちます。これは幾何学的に、点 $(\bar{U}, \bar{R})$ によって定義される長方形の面積と同等です。

主要な結果

提案された手法は、危険な知識については WMDP を、毒性については RealToxicityPrompts を用いて、4 つのモデルで評価されました。

危険な知識：コサインベースでメタ学習された RMU 変種は、標準的な RMU および適応型 RMU を凌駕する強力な結果を達成し、多くのモデル（Mistral、Qwen、Olmo）において汎用能力（MMLU）を保持しました。4 つのモデルのうち 3 つで、最良の S-学習忘却のトレードオフを達成しました。
毒性：多層目的関数は、ベースラインを大幅に上回りました。標準的な RMU および適応型 RMU が毒性を 2–3% 削減しただけであるのに対し、提案手法は**6–24%**の削減を達成しました。
- この手法は、すべてのモデルにおいて毒性に関する最も高い S-学習忘却スコアをもたらしました。
- 層分析：プローブは、毒性方向が主に層固有であることを明らかにしました（ほとんどの層間ペア間のコサイン類似度が 0.5 未満）。これは、多層介入の必要性を裏付けています。
- アブレーション：3 つ以上の層（特に中期と後期の層の組み合わせ）を更新することが、安全性と有用性の最良のトレードオフをもたらしました。単一層の介入は、毒性を大幅に削減できないことが多かったです。

意義と主張

本論文は、学習忘却は単一の汎用的な介入ではなく、問題のファミリーとして研究されるべきであると主張します。

メカニズムへの意識：結果は、異なる言語機能（事実の想起対有害な生成）が、異なる内部メカニズムに依存しているという見解を支持しています。したがって、学習忘却の目的関数は、除去される特定の機能に合わせてカスタマイズされなければなりません。
学習忘却の幾何学：事実知識については、コサイン損失による方向構造の保持が、L2 距離よりも優れています。毒性については、表現の分散および回転する性質が、多層かつプローブに導かれた直交化を必要とします。
評価：S-学習忘却指標は、学習忘却に固有の複雑なトレードオフを捉えるための統一的な方法を提供し、手法間のより良い比較を容易にします。

著者らは、効果的な学習忘却には、LLM 内の対象能力の特定の幾何学的および構造的性質を尊重する手法へと、画一的なアプローチを超えて、何が忘却されているかを深く理解することが必要であると結論付けています。