技术摘要：超越二元编辑：基于对抗子空间对齐的鲁棒多模态知识编辑

1. 问题定义

多模态大语言模型（MLLM）需要高效的机制来更新事实知识，同时不损害现有能力。虽然内在知识编辑（KE）通过直接修改模型参数提供了持久且鲁棒的更新，但现有方法存在泛化性有限的问题。具体而言，现有方法在出现视觉或语言变化时（例如重述文本或改变图像背景），往往无法将编辑传播到语义等效的输入上。

该论文指出了阻碍鲁棒多模态编辑的三个核心挑战：

1. 缺乏可扩展的语义监督：由于语义等效的输入通常位于高维、弯曲流形的遥远区域，无法通过简单的监督目标可靠地强制泛化。现有方法在有限样本周围执行局部变形，导致语义影响区域狭窄。
2. 僵化的二元编辑范围：大多数方法假设“范围内”（已编辑）和“范围外”知识之间存在静态的二元边界。这过度简化了语义相关性的连续性质，导致模型将编辑范围视为硬性决策而非可学习的边界，从而在分布偏移下产生错误判断。
3. 不可靠的语义锚定：当前方法将参数更新锚定在单个样本上，导致模型过拟合偶然的视觉模式或语言伪影。这限制了泛化边界，并降低了对重述输入的鲁棒性。

目标是实现鲁棒知识编辑，定义为更新模型 $f_\theta$，使得对于知识单元 $K_i$（一组语义等效的输入对），更新后的模型 $f_{\theta'}$ 能正确预测所有 $(x_v, x_t) \in K_i$ 的目标 $y^*$，同时保持对范围外知识的预测不变。

2. 方法论：ASAM 框架

作者提出了ASAM（对抗子空间对齐），这是一个旨在将编辑后的知识内化为跨多模态变化稳定的统一语义概念的框架。ASAM 通过三个紧密耦合的组件在表示层进行操作：

2.1 潜在对抗鲁棒化（LAR）

为了解决缺乏可扩展监督的问题（挑战 1），ASAM 引入了LAR，这是一种梯度驱动机制，在联合视觉 - 语言潜在空间内生成多样化且语义连贯的对抗变体。

• 机制：给定带有潜在嵌入 $z = [e_v, e_t]$ 的编辑请求，LAR 计算交叉熵损失关于输入的梯度：$g_z = \nabla_z \mathcal{L}_{ce}(f_\theta(z), y^*)$。
• 生成：它求解一个内层最大化问题，以找到在语义偏差预算 $\epsilon$ 内最大化损失的扰动 $\delta^*$：
  $$\delta^* = \arg \max_{\|\delta\| \le \epsilon} \mathcal{L}_{ce}(f_\theta(z + \delta), y^*)$$
• 结果：这生成了 $n$ 个对抗变体 $\{z^*_1, \dots, z^*_n\}$，挑战模型当前的参数，从而在不依赖外部监督的情况下有效地扩展了围绕编辑概念的语义邻域。

2.2 秩约束子空间学习（RCSL）

为了防止不可靠的样本锚定（挑战 3）并强制一致性，ASAM 提出了RCSL。

• 核心洞察：鲁棒的泛化需要学习一个连续的、自适应的边界，使所有对抗变体收敛到一个共享的语义核心，而不是将单个样本视为绝对的正例。
• 实现：RCSL 强制所有变体（原始和对抗）的隐藏状态在低秩表示子空间内对齐。
• 数学表述：设 $H_s$ 为 $\ell_2$ 归一化隐藏状态的矩阵。Gram 矩阵 $G = H_s H_s^\top$ 捕获成对相似性。完美对齐意味着 $G = \mathbf{1}\mathbf{1}^\top$，这对应于一个秩 -1 矩阵。
• 目标：利用 $H_s$ 的奇异值分解（SVD），该方法最小化一个对齐损失，该损失抑制次要奇异值（$\sigma_{j>1}$）相对于主导奇异值（$\sigma_1$）：
  $$\mathcal{L}_{align} = -\log \left( \frac{\exp(\sigma_1/\tau)}{\sum_{j=1}^{n+1} \exp(\sigma_j/\tau)} \right)$$
  这迫使所有对抗表示朝向单个共享的语义轴。

2.3 非对称梯度流

为了缓解僵化的二元范围（挑战 2），ASAM 采用非对称梯度流。

• 机制：原始隐藏状态 $\hat{h}_0$ 充当语义锚点，并且脱离了对齐损失 $\mathcal{L}_{align}$。只有对抗变体 $\{\hat{h}_i\}_{i=1}^n$ 通过对齐目标传播梯度。
• 效果：这确保了鲁棒性是通过自适应地更新编辑层参数，使多样化输入与原始语义对齐来实现的，而不是扭曲原始表示。
• 总目标：最终的优化结合了可靠性、局部性和对齐：
  $$\mathcal{L}_{total} = \mathcal{L}_{rel} + \mathcal{L}_{loc} + \beta \mathcal{L}_{align}$$

3. 主要贡献

1. 框架提出：提出了 ASAM，这是一个用于鲁棒多模态知识编辑的对抗子空间对齐框架，超越了以样本为中心的更新。
2. 潜在对抗鲁棒化（LAR）：一种通过梯度驱动扰动生成多样化、连贯潜在变体的新方法，为编辑提供了可扩展的语义监督。
3. 秩约束子空间学习（RCSL）：一种利用基于奇异值的目标来强制低秩语义对齐和自适应边界塑造的技术，克服了僵化的编辑范围和不可靠的样本锚定。
4. 实证验证：广泛的实验证明了 ASAM 在泛化性、可靠性和局部性方面优于现有方法。

4. 实验结果

作者在MMEdit 基准（涵盖编辑 VQA 和编辑图像描述任务）上评估了 ASAM，使用BLIP2-OPT和MiniGPT-4作为骨干网络。

• 单次编辑性能：ASAM 一致地增强了各种编辑范式下的泛化性（例如，将 WISE 在 BLIP2 E-VQA 上的泛化性从 84.80 提高到 93.97），同时没有牺牲可靠性或局部性。
• 连续编辑：在终身编辑场景（多达 100 次连续编辑）中，ASAM 优于 WISE 等基线，随着编辑次数的增加，泛化性差距扩大（例如，在 $n=100$ 时为 34.90 对比 50.90），表明其具有更好的抗语义干扰和误差累积能力。
• 模型无关性：该框架在不同 MLLM 骨干网络（包括 LLaVA 和 Qwen2VL）上表现出一致的改进，表明其在模型无关的表示层运行。
• 消融研究：
  • LAR 与改写：与表面级改写（SimCSE）相比，LAR 生成的变体提供了显著的泛化性增益，证明了暴露模型特定语义敏感性的必要性。
  • RCSL 与其他对齐：秩约束对齐优于余弦相似度和 $\ell_2$ 范数约束，验证了强制共享主语义方向对于鲁棒内化至关重要。
• 开销：该框架引入了最小的内存开销（BLIP2 约为 0.8%）和可管理的运行时增加（约 5%），这归因于额外的对抗探索。

5. 意义与主张

该论文声称，ASAM 解决了内在多模态编辑中的一个关键性能差距：可靠性（纠正特定事实）与泛化性（将纠正应用于语义等效的变体）之间的权衡。

• 鲁棒性：通过将编辑内化为一致的语义概念，而不是脆弱的实例级映射，ASAM 确保编辑后的知识在视觉和语言分布偏移下保持稳定。
• 自适应边界：该方法从静态、二元的编辑范围转向可学习的、自适应的边界，尊重语义相关性的连续性质。
• 实用性：该框架被呈现为一个即插即用的优化模块，与现有的基于损失的编辑模型兼容，以可管理的计算成本提供显著的鲁棒性提升。

作者得出结论，这种方法促进了对大规模模型更可控、更稳定和更可预测的修改，这对于知识快速演变或需要事后纠正的现实世界场景至关重要。未来的工作提议将该框架扩展到更广泛的领域，如视频 - 语言模型和具身智能体。