💬 NLP

ASRU: Activation Steering Meets Reinforcement Unlearning for Multimodal Large Language Models

本論文は、活性化操作と強化学習を組み合わせることで、機微なクロスモーダル情報を効果的に除去しつつ生成品質を大幅に向上させ、モデルの有用性を維持する制御可能なマルチモーダル学習枠組みであるASRUを提案する。

原著者： Jiahui Guang, Yingjie Zhu, Cuiyun Gao, Haiyan Wang, Jing Li, Di Shao, Zhaoquan Gu

公開日 2026-05-18

📖 1 分で読めます☕ さくっと読める

原著者： Jiahui Guang, Yingjie Zhu, Cuiyun Gao, Haiyan Wang, Jing Li, Di Shao, Zhaoquan Gu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、超絶に観察力に優れたロボットアシスタント（マルチモーダル大規模言語モデル）が、数百万冊の書籍を読み、数十億枚の写真を見てきたと想像してください。あまりにも膨大なデータから学習したため、特定の個人のプライベートな趣味や有名人の秘密の住所など、本来記憶すべきではないことを時折思い出すことがあります。

この論文の目的は、ロボットを混乱させたり、壊したり、嘘をつく機械にすることなく、これらの特定の秘密を忘れるように教えることです。

ここで、著者であるグアンとシュウが、彼らの新しい手法であるASRUを用いてこの問題をどのように解決するかを示します。

問題：「壊れたロボット」のジレンマ

古い手法が行うように、ロボットに「それを忘れたまえ！」と叫んで秘密を忘れさせようとする状況を想像してください。

結果： ロボットは混乱します。幻覚を見たり（でたらめな嘘をついたり）、硬直したロボットのような「答えられません」という回答をしたり、あるいは偶然にも秘密を漏らしたりする可能性があります。
比喩： これは、本から特定の一文を消そうとして、そのページ全体を燃やそうとするようなものです。その一文は消えますが、物語の残りの部分も台無しになり、本が読めなくなります。

著者らは、既存の手法が「忘れたか？」という点にのみ焦点を当て、「まだ正気か？」という点を無視していることに気づきました。

解決策：ASRU（活性化制御＋強化学習による忘却）

著者らは、ロボットを修復するための二段階の「穏やかな手術」を提案します。

ステップ 1：「そっと促す」（活性化制御）

まず、秘密の情報を見たときに、ロボットの内部の「気分」を変えるよう、そっと促します。

比喩： ロボットの脳を巨大な図書館だと想像してください。誰かが秘密について尋ねると、ロボットは通常「秘密の棚」へと走ります。著者らは棚を消去するのではなく、代わりにロボットが進む道に「もしこの人を見かけたら、『秘密』の通路ではなく『知らない』の通路へ左に曲がってください」と書かれた看板を置きます。
仕組み： ロボットの脳の一部（単一の数学的行列）をわずかに調整して「拒絶の方向」を作成します。これにより、ロボットはでたらめを言うのではなく、自然に「それはお答えできません」と言うように学習します。

ステップ 2：「コーチ」（強化学習による忘却）

ロボットが「知らない」と言う方法を学んだ今、いつ言うべきかを学ぶ必要があります。すべてに拒絶するのではなく、特定の秘密に対してのみ拒絶すべきです。

比喩： コーチがアスリートを訓練する状況を想像してください。コーチはアスリートに 2 つのシナリオを示します。
1. シナリオ A（秘密）： 「秘密を持つこの人物の写真です。もし答えたら減点です。『知らない』と言えばゴールドの星をもらえます。」
2. シナリオ B（境界線）： 「秘密を持たない、非常に似た人物の写真です。もし『知らない』と言えば減点です。正しく答えればゴールドの星をもらえます。」
仕組み： GRPO（強化学習の一種）という手法を用いて、ロボットはこれらのシナリオを繰り返し練習します。「これは忘れて必须の秘密だ」と「これは似ているが、話しても許されるものだ」という微妙な境界線を学びます。

結果：なぜ優れているのか

この手法は Qwen3-VL というモデルでテストされました。その結果は以下の通りです。

より優れた忘却： ロボットは以前よりもはるかに秘密を忘れられました（約 24% 向上）。
より優れた振る舞い： これが最大の勝因です。ロボットの回答は5.8 倍自然になりました。幻覚を見たり壊れたように振る舞ったりする代わりに、「画像からはそれを推測できません」と丁寧に答えるようになり、これは知らないことがあるときに役立つ人間が言うべきことと完全に一致します。
知性の維持： ロボットは他の質問に答える能力を失いませんでした。忘れるように指示された特定の秘密を除いて、賢く有用な状態を維持しました。

まとめ

ASRUを想像してください。これは単に学生に「その事実を思い出すのをやめろ」と言うだけの賢い教師ではありません。代わりに、教師は以下のことをします。

学生にそっと促し、その特定のトピックについては自然に「知らない」と言う方向へ思考を傾けさせます。
練習テストを通じて学生を訓練し、いつ「知らない」と言うべきで、いつ通常通り答え続けるべきかを正確に学ばせます。

その結果、秘密を成功裏に忘れたが、依然として礼儀正しく、論理的で、有用なロボットが生まれます。

技術的サマリー：ASRU – 活性化誘導と強化学習による忘却の融合によるマルチモーダル大規模言語モデル

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、事前学習中に機微なクロスモーダル情報を記憶することが多く、プライバシー漏洩や著作権侵害のリスクを伴う。機械的忘却（MU）はこうした知識を除去するために不可欠であるが、既存の手法には 2 つの根本的な限界が存在する：

忘却後の応答性の低下：現在の手法は、忘却後に幻覚、硬直性、または不整合な出力をもたらすことが多い。知識の欠如を自然に表現するのではなく、モデルは捏造されたコンテンツや反復的・劣化したテキストを生成する可能性がある。この「不自然な」振る舞いは、忘却が実施されたことを偶発的に露呈させ、安全性上の危険をもたらす。
忘却と有用性のトレードオフ：対象知識の効果的な忘却と、モデルの汎用的有用性の維持の間には、持続的な対立が存在する。勾配上昇に基づく手法は忘却セットを過剰に抑制する傾向があり、意図しないグローバルな振る舞いの変化を引き起こす。一方、有用性を優先する手法は、完全な忘却を達成できないことが多い。

既存の評価は主に真実値からの出力の逸脱に焦点を当てており、忘却モデルの生成品質を見落としている。本論文は、忘却モデルはアライメントされたベースモデルのように振る舞い、知識の欠如を動的で文脈を考慮し、一貫性のある方法で表現すべきであると主張する。

2. 手法：ASRU フレームワーク

著者らは、モデルの有用性を維持しつつ拒絶境界に対する微細な制御を達成するために設計された 2 段階フレームワークであるASRU（活性化誘導と強化学習による忘却の融合）を提案する。

段階 1：活性化リダイレクトによる拒絶誘導

最初の段階は、事前学習済み MLLM における自発的な拒絶行動の欠如に対処する。

知識不在方向の構築：この手法は、忘却セット（ $D_f$ ）の平均隠れ活性化と、対象拒絶参照セット（ $D_{target}$ ）の平均隠れ活性化を対比させることで、「拒絶参照方向」を構築する。 $D_{target}$ は、モデルに事前知識がない入力（例：プライバシー照会と組み合わされた未見の合成顔）で構成される。
活性化誘導： steering ベクトル（ $v_{L^*}$ ）は、 $D_{target}$ と $D_f$ の平均活性化の差として計算される。このベクトルは、忘却セット入力の残差ストリーム活性化を「関連する知識なし」の領域へリダイレクトするために使用される。
効率的な最適化：モデル全体を微調整するのではなく、ASRU は特定のターゲット層（ $L^*$ ）内の単一のダウン射影行列のみを更新する。これは、実際の活性化と目標活性化の間の偏差を最小化する閉形式解によって達成され、初期の制御可能な拒絶行動を誘発する。

段階 2：GRPO による拒絶境界の最適化

第 2 段階は、保持データにおける不要な拒絶を防ぐために決定境界を洗練させる。

境界セットの構築：境界セット（ $\tilde{D}_r$ ）は、保持セット（ $D_r$ ）からサンプリングされる。これらのサンプルは入力空間において忘却セットと非常に類似しているが、保持されなければならないため、微細な区別の学習を可能にする。
検証可能な報酬設計：報酬関数は以下の 2 つの側面を評価するように設計される：
1. 忘却効果：対象知識の再現にペナルティを科し、自然で文脈を考慮した拒絶（例：「これは画像から推測できません」）に報酬を与える。
2. 保持忠実度：境界サンプルと保持サンプルに対して正確で情報量の多い回答に報酬を与え、過剰な拒絶にペナルティを科す。
グループ相対方策最適化（GRPO）：モデルは GRPO を用いて最適化される。対になった入力（忘却対境界）に対するロールアウトのグループをサンプリングすることで、アルゴリズムはグループ相対のアドバンテージを計算する。これにより、モデルは必要な場合（ $D_f$ に対して）は拒絶し、保持された知識に対しては適切に回答する、正確な方策を学習することが促され、拒絶境界が効果的に鋭化される。

3. 主要な貢献

生成品質を中核指標として：本論文は、生成品質を忘却の主要な評価次元として導入し、特に文脈的拒絶（拒絶の一貫性と自然さ）と忘却性（知識漏洩の不在）を測定する。
新規 2 段階フレームワーク：ASRU は、活性化誘導（最小限のパラメータ更新で拒絶能力を初期化するため）とGRPO（忘却 - 保持境界を洗練させるため）を組み合わせる最初のフレームワークである。
微細な制御：境界セットと検証可能な報酬を利用することで、ASRU は忘却効果とモデル有用性の間の優れたトレードオフを達成し、既存手法の「すべてか無か」の振る舞いを回避する。

4. 実験結果

実験は、Qwen3-VL（4B および 8B）およびLLaVA-1.5-7Bを用いて、MLLMU-BenchおよびCLEARデータセットで行われた。

忘却効果：ASRU はベースライン（GA、GA Diff、KL Min、NPO、MMUnlearner）を大幅に上回った。5% の忘却率で Qwen3-VL-8B において、最強のベースラインと比較して平均24.6% の改善を達成した。
生成品質：ASRU は生成品質において劇的な改善を示し、ベースラインに対して平均5.8 倍の増加を記録した。これは幻覚や硬直した応答の大幅な減少を示しており、モデルは文脈を考慮した動的な拒絶を生成している。
有用性の維持：積極的な忘却にもかかわらず、ASRU は保持セットおよび現実世界の有名人セットにおいて高い性能を維持し、監督付き保持データの小部分（約 27.3%）のみを使用している。
頑健性：この手法は、敵対的プロンプトの変異（ランダムな接頭辞、言い換え、ジャイルブレイク試行）下でも有効であり、学習された拒絶境界がテンプレートベースではなく一般化可能であることを示唆している。

5. 意義と主張

本論文は、ASRU がマルチモーダル忘却における重要なギャップ、すなわち知識除去後のモデル振る舞いの劣化に対処していると主張する。生成品質を主要な目的として扱うことで、ASRU は忘却モデルが安全で、実用的であり、アライメントされた状態を維持することを保証する。

著者らは、自らのアプローチにより、モデルが幻覚を起こしたり機微な情報を漏洩したりすることなく、知識の欠如を自然に表現できる「アライメントされたベースモデル」のように振る舞うことを可能にすると強調している。初期化のための活性化誘導と境界洗練のための強化学習の統合は、信頼性の高い MLLM システムを構築するためのスケーラブルで制御可能な解決策を提供する。この研究は、より堅牢なプライバシー保護 AI への一歩として提示され、音声や動画などの他のモダリティへの将来的な拡張の可能性を秘めている。