💻 computer science

DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

本論文は、大規模言語モデルにおける機械的忘却の優れたトレードオフを達成するために共有最適化状態と非結合最適化状態を橋渡しする新たな最適化フレームワークである DualOptim+ と、メモリ効率に優れた量子化バリアントである DualOptim+ 8bit を提案する。

原著者： Xuyang Zhong, Qizhang Li, Yiwen Guo, Chen Liu

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xuyang Zhong, Qizhang Li, Yiwen Guo, Chen Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、DualOptim+ という論文を、平易な言葉と創造的な比喩を用いて解説したものです。

大きな問題：「消しゴム」のジレンマ

インターネットのほぼすべてを読み込んだ、巨大で非常に賢い百科事典（大規模言語モデル）があると想像してください。時には、その中から特定のページを取り除く必要があるかもしれません。例えば、プライバシー情報や古くなった事実、有害な指示が含まれている場合です。このプロセスは**機械的忘却（Machine Unlearning）**と呼ばれます。

問題は厄介です。悪い情報やプライバシー情報を誤って百科事典の他の知識まで削除することなく、消し去りたいのです。悪い情報を消しすぎようとすると、モデルが詩を書く方法や数学の問題を解く方法、あるいは「こんにちは」と言うことさえも忘れてしまう可能性があります。

従来の方法：2 つの欠陥あるアプローチ

この論文以前、研究者たちは主に 2 つの方法でこの問題を解決しようと試みました。

「混ぜてこねる」アプローチ（同時更新）
泥だらけの靴を磨きながら、同時にダイヤモンドを研磨しようとし、両方に同じ布を使っている状況を想像してください。「洗浄」と「研磨」の指示を混ぜ合わせています。結果はどうなるでしょうか？靴は泥のままであったり、ダイヤモンドが傷ついたりします。モデルは有用な情報まで忘れすぎてしまいます。
「行き来」アプローチ（交互更新）
1 分間は靴を磨き、次の 1 分間はダイヤモンドを研磨し、交互に行う状況を想像してください。これは前者よりマシですが、両方のタスクに同じ布を使っている場合、靴の汚れが最終的にダイヤモンドに移り、ダイヤモンドの研磨剤が靴を滑りやすくしてしまいます。布の「記憶」が混乱するのです。

新しい解決策：DualOptim+

著者たちは、DualOptim+ という新しいフレームワークを提案しています。これは、モデルに完璧に連携する2 つの専門的な清掃キットを与えるようなものです。

1. 「共有ベース」（共通の土台）

モデルには共有ベース状態があると想像してください。これは共通の基盤、あるいは「一般知識」のバケツのようなものです。

モデルが何かを「忘れる」ことを学び、何かを「保持する」ことを学ぶ際、両方ともこのバケツを更新します。
なぜか？ 忘却と記憶は、しばしば基本的な脳構造を共有しているからです。このバケツは、特定のタスクに関係なく、モデルが継続して行う必要があるものを捉えます。

2. 「デルタ状態」（専門的なツール）

次に、デルタ状態（または単に「デルタ」）があります。これらは、特定の作業のための専門的で分離されたツールキットだと考えてください。

デルタ-F（忘却用）： 「忘却」専用のツールキットです。消去する必要があるものと共通の基盤との差を保持します。
デルタ-R（保持用）： 「保持」専用のツールキットです。保存する必要があるものと共通の基盤との差を保持します。

どのように連携するか

混乱した布を使うか、互いに一切会話しない完全に分離した 2 つの布を使う代わりに、DualOptim+ は以下のように動作します。

共有ベースを、忘却と保持の両方の指示で更新します。
デルタツールを、指示の固有の部分（「残差」）のみで更新します。
モデルが実際に脳（パラメータ）を変更する際、共有ベースと適切なデルタツールを組み合わせます。

魔法のような仕組み： 「忘却」と「保持」の指示が互いに競合している場合、デルタツールがその競合を処理するために介入します。もし合意している場合、共有ベースが効率的に作業を処理します。これは、いつ共有チームのリソースを使い、いつ専門家を割り当てるべきかを知っている、賢い管理者のようです。

「8 ビット」のトリック：スペースの節約

通常、これらの追加ツールキット（デルタ状態）を持つと、多くのコンピュータメモリ（RAM）を消費し、それは高価です。

著者たちは、DualOptim+ 8 ビットバージョンを作成しました。
比喩： ツールキットは通常、重くて solid な金（32 ビット精度）で作られています。8 ビット版は、これらを軽量でハイテクな発泡スチロールに圧縮します。重さは大幅に軽くなり（メモリを節約）、性能の低下はほとんどなく、全く同じ仕事をこなします。

彼らが証明したもの

この論文は、この新しい方法が機能するかを確認するために多くのテストを行いました。

架空のシナリオ： 特定の名前を忘れる一方で、書く能力を失わないかを確認するため、架空の著者などの人工データでテストしました。
現実のシナリオ： モデルから特定の人々のプライバシー情報を削除するなど、現実世界のデータでテストしました。
安全性： 「有害な」指示（爆弾の作り方の指示など）を削除できるか、かつモデルがあらゆる質問への回答を拒否する（「過剰拒否」と呼ばれる一般的な副作用）ことなくテストしました。
マルチタスク： モデルに 3 つの異なるスキル（コーディング、科学、数学）を同時に教えるテストも行い、「共有ベース」が異なるタスクのバランスを取るのに役立つかどうかを確認しました。

結果： ほぼすべてのテストにおいて、DualOptim+ は、古い方法と比較して、悪いものを消去しつつ良いものを無傷で保つ能力が優れていました。忘却と保持の間の「絶妙なバランス点」を見つけたのです。

まとめ

DualOptim+ は、AI モデルに何かを「忘却」させるためのより賢い方法です。混乱した混合や、完全に分離した 2 つのシステムを使う代わりに、ハイブリッドシステムを使用します。それは、常識のための共有基盤と、特定のタスクのための専門ツールです。これにより、AI は本来忘却すべきものを正確に忘れつつ、一般的な知恵を失うことなく済みます。さらに、メモリを圧縮することで、より安価なコンピュータで実行できるようにする方法も発見しました。

DualOptim+ の技術的概要

問題定義
大規模言語モデル（LLM）における機械的忘却（MU）は、特定の訓練データ（忘却対象セット）の影響を消去しつつ、残りのデータ（保持対象セット）に対するモデルの汎用性を維持することを目的としています。既存のアプローチは、これらの相反する目的を両立させるという重大な課題に直面しています。

同時更新: ほとんどの手法は、忘却損失と保持損失の合計を同時に最小化します。これにより、忘却の過剰化が原因でモデルの有用性が著しく低下する傾向があります。
交互更新: 忘却と保持の目的を交互に更新することで性能は向上しますが、不安定性とハイパーパラメータへの感度という欠点があります。
分離型オプティマイザ（DualOptim）: 以前の手法である DualOptim は、各目的ごとのオプティマイザ状態（例えばモーメント項）を分離することで勾配の絡み合いを防ぎます。コンピュータビジョンでは効果的でしたが、LLM においてはわずかな改善しか示しませんでした。著者らは、LLM 忘却において、忘却と保持の勾配は常に直接的に衝突するわけではなく、特に訓練の後半段階では共通の表現を共有することが多いと観察しています。完全に分離された状態はこれらの共有特徴を活用できず、完全に共有された状態は衝突に対処できません。

手法：DualOptim+
本論文は、完全に共有された状態と完全に分離されたオプティマイザ状態の間のギャップを埋めるために設計されたプラグ-and-play 最適化フレームワークである**DualOptim+**を提案します。中核的な革新は、オプティマイザ状態を以下の 2 つのコンポーネントに分解することです：

共有ベース状態（ $B$ ）: この状態は、忘却と保持の両方の目的によって共有される共通表現を捉えます。両方の目的からの勾配（ $\nabla_\theta L_f$ および $\nabla_\theta L_r$ ）を用いて、共同で更新されます。
分離型デルタ状態（ $\Delta_f, \Delta_r$ ）: これらの状態は、目的固有の残差を保持します。特定の目的の勾配とバイアス補正済みベース状態との差に基づいて更新されます。
- $\Delta_f \leftarrow \beta \Delta_f + (1-\beta)(\nabla_\theta L_f - \hat{B})$
- $\Delta_r \leftarrow \beta \Delta_r + (1-\beta)(\nabla_\theta L_r - \hat{B})$

パラメータ更新:
パラメータ更新に使用される最終的なモーメント項は、バイアス補正済みベース状態とそれぞれのバイアス補正済みデルタ状態（ $\hat{B} + \hat{\Delta}_f$ または $\hat{B} + \hat{\Delta}_r$ ）を組み合わせることで再構成されます。

主要な理論的洞察:
理論的および数値的解析により、DualOptim+ が適応的な中間体として機能することが示されています。

勾配が正の相関を持つ場合（共有特徴が支配的）、デルタ状態はゼロに収束し、手法は交互方式（共有ベースを利用）として振る舞います。
勾配が負の相関を持つ場合（目的が衝突）、ベース状態はゼロに収束し、手法はDualOptim方式（分離状態を利用）として振る舞います。
この適応性により、オプティマイザは忘却勾配と保持勾配の間の方向的な衝突に基づいて動的に調整できます。

DualOptim+ 8bit
追加のオプティマイザ状態の保存に伴うメモリオーバーヘッド（標準的な Adam オプティマイザの 3 倍）に対処するため、著者はDualOptim+ 8bitを導入します。この変種はオプティマイザ状態を 8 ビット精度に量子化し、性能を損なうことなくメモリ消費を大幅に削減（標準的な Adam の約 3/4 まで）します。

主要な貢献

新規フレームワーク: 共有ベース状態と分離型デルタ状態を導入し、共有状態と分離状態を効果的に橋渡しする DualOptim+ の提案。
プラグ-and-play 設計: 状態を保存する任意のオプティマイザ（AdamW、Muon など）と互換性があり、多目的最適化に適用可能なフレームワーク。
実証的検証: 架空データセット（TOFU）、現実世界のシナリオ（Llama-3 忘却）、安全性アライメント、マルチタスク学習タスクにわたる広範な実験。
効率性: メモリオーバーヘッドを軽減する 8 ビット量子化変種の導入。

実験結果
本論文は、DualOptim+ を、様々な LLM（Phi-1.5、Llama-2、Llama-3）およびタスクにおける Joint、Alternate、DualOptim のベースラインと比較して評価しました。

架空シナリオ（TOFU）: DualOptim+ は、忘却効率（FE）とモデル有用性（MU）のトレードオフとして定義される総合性能（OVR）において、一貫して最高を達成しました。特に、共有特徴をより効果的に活用することで、標的忘却において DualOptim を上回りました。
現実世界のシナリオ: Llama-3 から現実世界の個人を忘却する際、DualOptim+ は下流タスク（ARC-c、MMLU など）においてベースラインと比較して優れた有用性を維持しましたが、DualOptim は単純な交互アプローチよりも性能が劣る場合がありました。
安全性アライメント: 安全性に問題のある知識を忘却しつつ、指示追従能力を保持するタスクにおいて、DualOptim+ は XSTest ベンチマークで最も高い安全性と有用性のトレードオフを達成し、過剰な拒否率を最低に抑えました。
マルチタスク学習: 勾配の衝突が高い忘却とは異なり、衝突が顕著でないマルチタスク学習において、DualOptim+ は大幅な性能向上をもたらしましたが、DualOptim は負の成果を示しました。
メモリ効率: 8 ビット変種は、フル精度手法の性能メリットを維持しつつ、標準的なベースラインとほぼ同等のメモリ使用量を達成しました。

意義と主張
著者は、DualOptim+ が既存の手法よりも知識の消去と有用性の維持の間により安定した効果的なトレードオフを提供すると主張しています。同手法は単なる忘却ツールとしてではなく、LLM アライメントや多目的学習など、複数の衝突する学習目的を含むより広範なシナリオに適用可能な汎用最適化フレームワークとして位置づけられています。本論文は、共有状態と分離状態を橋渡しする適応的な性質が、LLM 忘却に見られる動的な勾配関係を処理する上で不可欠であると強調しています。