LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection

提供された論文に基づき、LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection の詳細な技術要約を以下に記します。

問題定義

強化学習（RL）によるポストトレーニングは、マルチモーダル大規模推論モデル（MLRM）に対し、回答の前に明示的な「思考の連鎖（Chain of Thought: CoT）」を出力させることで、視覚的推論能力を大幅に向上させました。しかし、この能力は特有のプライバシー上の脆弱性を導入します。既存の機械学習消去（Machine Unlearning）手法は、モデルの最終回答から機密性の高い事実を削除することには成功しますが、モデルがその内部的な推論プロセス（reasoning trace）の中で同じ事実を復唱することを防ぐことはできない場合が多いのです。

著者らは、この「推論トレースの漏洩（reasoning-trace leakage）」が、非推論型のベースモデルよりも、RLによって訓練されたMLRMにおいて著しく顕著であることを特定しました。重みの微調整や最終回答レベルでの介入に焦点を当てた既存の消去アプローチは、この問題に対処するには不十分です。それらは、RLによって誘発される多様で探索的な軌道を監視できていないか、あるいはトレースを摂動（perturb）しようとする際にモデルの推論能力を低下させてしまいます。

主要な観察：エントロピーのシグネチャ

本研究を駆動する核心的な洞察は、RL訓練済みモデルにおける記憶された機密コンテンツの復唱に関連する、独特なトークンレベルのエントロピー・シグネチャの発見です。

• 二段階のパターン： RL訓練済みモデルが機密属性を想起するとき、トークンレベルのエントロピー（$H_t(v)$）に特徴的な「上昇と崩壊」のパターンを示します。
  1. 熟考段階（Deliberation Stage）： モデルが候補となる値の間で躊躇するため、複数の候補が競合し、エントロピーがスパイク（急上昇）します。
  2. 確定段階（Commitment Stage）： モデルが記憶されたスパンを確定させると、決定論的に属性を復唱するため、エントロピーはほぼゼロへと崩壊します。
• このシグネチャは、エントロピー分布がより混沌とした非推論型ベースモデルにはほとんど見られません。このダイナミクスは、機密性の高い推論がいつ始まり、いつ終わるかを検知するための、信頼できるトレーニングフリーの信号となります。

手法：LEMUR

LEMURは、ネイティブにRL訓練されたマルチモーダルモデルのために特別に設計された、完全なトレーニングフリーの推論時消去フレームワークです。これはデコーディング・プロセスを監視し、機密コンテンツが検出された場合にのみ介入を行います。本手法は主に3つのコンポーネントで構成されています。

1. エントロピー増強型センシティビティ・スイッチング（Entropy-Augmented Sensitivity Switching）：

   • LEMURは、語彙チェック（禁止トークンセット）とエントロピー・シグネチャを組み合わせて「センシティブ・モード」を起動します。
   • トリガー条件（$g_t$）は、禁止トークンの質量が高いことが検出された場合（確定した復唱）、または禁止トークンの質量が低い状態でも高いエントロピーが検出された場合（熟考段階）のいずれかにおいて活性化します。これにより、モデルが誤った回答を確定した後ではなく、機密スパンの極めて初期の段階から介入を開始することが保証されます。

2. エントロピーを考慮した視覚アンカー注入（Entropy-Aware Visual Anchor Injection）：

   • センシティブ・モードに入ると、LEMURは標準的な自己回帰デコーディングから潜在デコーディング（latent decoding）体制へと切り替わります。
   • 離散的なトークンをフィードバックする代わりに、モデルは制約付き潜在フィードバック（禁止トークンを除外するように分布を再正規化する）と視覚的リダイレクション・アンカーを通じて構築された連続的な埋め込みを受け取ります。
   • アンカーは、視覚アンカー（推論を画像に再接地させるための視覚特殊トークンの平均埋め込み）と、安全な回答アンカー（拒絶や不確実性のテンプレートの埋め込み）で構成されます。
   • エントロピー制御注入： アンカーを注入する強度（$\gamma_t$）は、現在のトークン・エントロピーによって動的に調整されます。高エントロピー（熟考）時には強力なステアリング（操舵）を行い、低エントロピー（確定したテキスト）時には流暢さを維持するために弱いステアリングを行います。

3. 動的なエントロピー制御フェーズ持続時間（Dynamic Entropy-Controlled Phase Duration）：

   • 介入が長すぎることによる（流暢性の低下）や、早すぎる終了による（漏洩の許容）を防ぐため、LEMURは適応型の終了メカニズムを使用します。
   • 通常のテキストにおけるモデルのベースライン・エントロピーを追跡し、エントロピーが適応閾値（$\kappa \bar{H}_t$）以上に回復し、かつ禁止質量がクリアされた場合にのみ、潜在フェーズを終了します。
   • 「不応期クールダウン（refractory cooldown）」は、離散モードと潜在モードの間の急速な振動を防ぎ、周囲の推論の整合性を確保します。

実験結果

著者らは、架空の被験者とプライベートな属性を含む、MLLMU-Benchに基づいた再構成データセットを用い、RL訓練済みMLRM（R1-Onevision-7BおよびVision-R1-7B）を用いてLEMURを評価しました。

• 漏洩抑制： LEMURは、学習ベースのベースライン（例：Gradient Ascent, NPO）およびトレーニングフリーのベースライン（例：R-MUSE）の両方を大幅に上回りました。最も低い**被験者レベルの推論漏洩（Subject-Level Reasoning Leakage: SRL）**を達成し、推論トレースと最終回答の両方から機密事実を効果的に消去しました。
• 有用性の保持： 学習ベースの手法がしばしば一般的な能力を低下させるのに対し、LEMURは分類、穴埋め、生成タスクにおける非忘却データ（RetainおよびCelebrityスプリット）の性能を維持しました。
• 流暢性： **推論保持能力（Reasoning Retention Ability: RRA）**指標において、LEMURは流暢で整った推論を維持しましたが、攻撃的なベースラインはしばしば反復的または退化したテキストへと崩壊しました。
• 汎用性： 非RLモデル（Qwen2.5-VL）および一般的な視覚的推論コーパス（VQAv2）についてもテストが行われ、エントロピー信号はRLモデルにおいて最も強力であるものの、本フレームワークが有効かつ転用可能であることが示されました。

意義と主張

本論文は、ネイティブにRL訓練されたマルチモーダル推論モデルのために特別に設計された最初の消去手法であると主張しています。主な貢献は以下の通りです。

1. プライバシーリスクの特定： RLによる探索が、回答はクリーンであっても推論トレースが機密データを漏洩するという、独特なプライバシーの脆弱性を生み出すことを実証したこと。
2. エントロピーダイナミクスの活用： 記憶された想起に伴うトークンレベルのエントロピー・シグネチャが、デコーディング中の漏洩を検知・遮断するための信頼できるトレーニングフリーの信号となることを示したこと。
3. 効果的なトレーニングフリー消去： エントロピー調整された視覚的アンカリングを通じてデコーディングの軌道を制御することにより、再学習なしで最先端の消去性能を達成するLEMURを提案したこと。

著者らは、デコーディング時のエントロピー・ダイナミクスが、推論能力を持つモデルのプライバシー制御のための有望な基盤を提供することを示唆しており、将来の安全性目標は、重みの更新だけに頼るのではなく、これらの内部信号を活用することで対処できる可能性があると結論付けています。