LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection

基于所提供的论文，以下是关于 LEMUR：基于潜空间熵感知的视觉锚定推理重定向的多模态去学习（Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection） 的详细技术总结。

问题定义

强化学习（RL）后训练显著增强了多模态大语言推理模型（MLRMs）的视觉推理能力，使其能够在回答之前生成显式的“思维链”（CoT）。然而，这种能力引入了一个独特的隐私漏洞：虽然现有的机器去学习（Machine Unlearning）方法可以成功地从模型的最终答案中移除敏感事实，但它们往往无法阻止模型在其内部推理轨迹中复述这些相同的细节。

作者指出，这种“推理轨迹泄露”在经过 RL 训练的 MLRM 中比在非推理基座模型中更为显著。现有的去学习方法通常侧重于微调权重或在最终答案层面进行干预，难以应对这一问题。这些方法要么无法监控由 RL 引起的各种探索性轨迹，要么在试图扰动推理轨迹时会降低模型的推理能力。

核心观察：熵特征（The Entropy Signature）

驱动这项工作的核心洞察是发现了一个与 RL 训练模型复述已记忆敏感内容相关的独特词元级熵特征（token-level entropy signature）。

• 两阶段模式： 当 RL 训练的模型回忆起敏感属性时，它会表现出一种特征性的熵值“上升并坍缩”的模式（$H_t(v)$）：
  1. 权衡阶段（Deliberation Stage）： 模型在多个候选值之间犹豫，导致熵值激增，因为多个候选者在相互竞争。
  2. 承诺阶段（Commitment Stage）： 一旦模型确定了被记忆的片段，熵值会坍缩至接近于零，因为它确定性地复述了该属性。
• 这种特征在非推理基座模型中基本不存在，其熵分布更为混乱。这种动态变化提供了一个可靠的、无需训练的信号，用于检测敏感推理何时开始以及何时结束。

方法论：LEMUR

LEMUR 是一个专为原生 RL 训练的多模态模型设计的全无需训练、推理时去学习框架。它通过监测解码过程，仅在检测到敏感内容时进行干预。该方法由三个主要部分组成：

1. 熵增强型敏感度切换（Entropy-Augmented Sensitivity Switching）：

   • LEMUR 将词法检查（禁止词集）与熵特征相结合，以触发“敏感模式”。
   • 触发条件 ($g_t$) 在满足以下任一条件时激活：检测到高比例的禁止词（承诺复述），或者在检测到低比例禁止词的同时检测到高熵（权衡阶段）。这确保了干预在敏感片段开始之初就启动，而不仅仅是在模型给出错误答案之后。

2. 熵感知视觉锚定注入（Entropy-Aware Visual Anchor Injection）：

   • 一旦进入敏感模式，LEMUR 会从标准的自回归解码切换到潜空间解码机制（latent decoding regime）。
   • 模型不再接收离散的词元，而是接收通过约束潜空间反馈（Constrained Latent Feedback）（重新归一化分布以排除禁止词）和**视觉重定向锚点（Visual Redirection Anchors）**构建的连续嵌入。
   • 锚点由视觉锚点（Visual Anchor）（视觉特殊词元的平均嵌入，用于将推理重新锚定在图像上）和安全答案锚点（Safe-Answer Anchor）（拒绝/不确定性模板的嵌入）组成。
   • 熵控制注入： 注入这些锚点的强度 ($\gamma_t$) 由当前的词元熵动态调节。高熵（权衡阶段）接受强转向；低熵（已确定的文本）接受弱转向，以保持流畅性。

3. 动态熵控制阶段时长（Dynamic Entropy-Controlled Phase Duration）：

   • 为了防止干预持续过久（降低流畅性）或结束过早（导致泄露），LEMUR 使用了一种自适应退出机制。
   • 它追踪模型在正常文本上的基准熵，并仅当熵恢复到自适应阈值（$\kappa \bar{H}_t$）且禁止词质量清除时，才终止潜空间阶段。
   • “抑制冷却期（refractory cooldown）”防止在离散模式和潜空间模式之间发生快速振荡，从而确保周围推理的连贯性。

实验结果

作者在 RL 训练的 MLRMs（R1-Onevision-7B 和 Vision-R1-7B）上评估了 LEMUR，使用了基于 MLLMU-Bench 构建的重建数据集，其中包含具有私人属性的虚构主体。

• 泄露抑制： LEMUR 的表现显著优于基于训练的基线方法（如 Gradient Ascent, NPO）和无需训练的基线方法（如 R-MUSE）。它实现了最低的主体级推理泄露（Subject-Level Reasoning Leakage, SRL），有效地从推理轨迹和最终答案中抹除了敏感事实。
• 效用保持： 与通常会降低通用能力的训练类方法不同，LEMUR 在分类、填空和生成任务的非遗忘数据（保留集和名人集）上保持了性能。
• 流畅性： 推理保持能力（Reasoning Retention Ability, RRA） 指标显示，LEMUR 维持了流畅且结构良好的推理，而激进的基线方法往往会导致模型陷入重复或退化的文本。
• 泛化性： 该方法也在非 RL 模型（Qwen2.5-VL）和通用视觉推理语料库（VQAv2）上进行了测试，证明虽然熵信号在 RL 模型中最为强烈，但该框架仍然有效且具有可迁移性。

意义与主张

论文声称，这是首个专门为原生 RL 训练的多模态推理模型设计的去学习方法。其主要贡献在于：

1. 识别了隐私风险： 证明了 RL 诱导的探索创造了一个独特的隐私漏洞，即即使答案是干净的，推理轨迹也会泄露敏感数据。
2. 利用熵动态： 表明记忆性回溯的词元级熵特征为检测和拦截解码过程中的泄露提供了一个可靠的、无需训练的信号。
3. 有效的无需训练去学习： 提出了 LEMUR，它通过通过熵调制的视觉锚定来引导解码轨迹，在无需重新训练的情况下实现了最先进的去学习性能。

作者得出结论，解码时的熵动态为推理能力模型的隐私控制提供了一个极具前景的基础，这表明未来的安全目标可以通过利用这些内部信号而非仅仅依赖权重更新来实现。