💻 computer science

Closing the Safety Gap: Surgical Concept Erasure in Visual Autoregressive Models

本文介绍了 VARE 和 S-VARE，这是通过利用辅助视觉标记和专门的损失函数来消除不安全概念，同时保持生成质量和语义保真度的视觉自回归模型中实现手术式概念擦除的新型框架。

原作者： Xinhao Zhong, Yimin Zhou, Zhiqi Zhang, Junhao Li, Yi Sun, Bin Chen, Shu-Tao Xia, Xuan Wang, Ke Xu

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinhao Zhong, Yimin Zhou, Zhiqi Zhang, Junhao Li, Yi Sun, Bin Chen, Shu-Tao Xia, Xuan Wang, Ke Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常有天赋、极其写实的机器人艺术家。这位艺术家不是在画布上混合颜色，而是像堆叠乐高积木一样，逐个像素地构建图像。但问题在于：它通过分层来构建图像，从模糊的低分辨率草图开始，逐渐增加细节，直到图像变得清晰。这就是 视觉自回归（Visual Autoregressive, VAR） 模型的工作方式。它们在根据文本生成图像方面表现出色，但它们有一个危险的缺陷：如果你要求它们画一些不当的内容（比如暴力场景或裸体人物），它们会乐此不疲地照做。

问题在于，我们目前为其他 AI 艺术家（称为扩散模型 Diffusion models）准备的“安全工具”并不适用于这个“堆叠乐高”的机器人。试图将这些旧工具强加给新的机器人，就像试图用修理机械表的锤子去修理数字手表——这会把整个东西搞坏。

这篇论文介绍了一种全新的、“外科手术式”的方法，可以在不破坏机器人绘画能力的前提下修复它。以下是他们是如何实现的，通过简单的类比进行解释：

1. 问题所在：“错误的多米诺效应”

在旧方法中，当试图阻止机器人绘制某些不当内容（比如“教堂”）时，工程师会告诉机器人：“不要画教堂；画一个普通的建筑即可。”

然而，由于机器人是分层构建图像的（从模糊到清晰），第一层的一个小错误会在第二层被放大，然后在第三层爆炸。到图像完成时，机器人可能已经忘记了如何正确地绘制任何东西。图像可能会看起来像一个融化的团块。这被称为误差累积（error accumulation）。

2. 解决方案：“稳定引导器”（VARE）

为了防止机器人崩溃，作者为它提供了一个稳定引导器。

想象一下，你正在教一名学生画树。与其只是说“不要画树”，不如你拿出一张普通树木的照片，并说：“看这张照片。现在，尝试画一个看起来几乎像这样的东西，但去掉那些让它看起来像树的具体树枝。”

作者在机器人的训练中加入了“辅助视觉标记”（这些就是引导图片）。这能让机器人的各个层保持对齐。它防止了错误的“多米诺效应”，确保机器人即使在试图移除某个不良概念时，仍然知道如何构建一个连贯的图像。

3. 手术刀：“过滤交叉熵”（S-VARE）

一旦机器人稳定下来，他们需要一种精确移除不良概念而不破坏其余部分的方法。

旧方法： 这就像是用大锤去取除一根刺。你试图通过强制机器人的数学逻辑完美匹配一个“安全”版本来消除该概念。但由于机器人处理的是数字“比特”（开/关开关）而非平滑的梯度，这种大锤式的方法往往会砸碎整个图像。
新方法 (S-VARE)： 作者发明了一把手术刀。他们意识到，机器人有时会犯些小错，但它对主要概念的判断通常是正确的。因此，他们创建了一个“过滤器”。
- 如果机器人已经把图片画得基本正确了（例如，它正确识别了天空和地面），手术刀就会忽略这些部分。
- 它只会对机器人试图绘制“不良”概念（如裸体或特定物体）的具体部分进行切割（调整）。
- 这就像一位外科医生只对肿瘤进行手术，而留下健康的组织。

4. 安全网：“保持损失”（Preservation Loss）

有时，当你试图修复一个特定问题时，你会不小心破坏其他东西。例如，如果你告诉机器人“不要画教堂”，它可能会忘记如何画任何建筑，或者它可能不再理解“天空”这个词。这被称为“语言漂移（language drift）”。

为了防止这种情况，作者添加了一个安全网。他们不断提醒机器人：“在移除教堂的同时，确保你仍然按照之前的方式绘制天空、草地和光影。” 这确保了机器人在失去绘制特定违禁物品的能力时，仍能保持其通用的艺术技能。

结果

论文在名为“Infinity”的模型上测试了这些方法。结果令人印象深刻：

97% 的成功率： 他们成功阻止了机器人绘制敏感内容（如裸体或特定的物体，如教堂）。
极小的损伤： 机器人的绘画能力（针对其他事物）下降不到 2%。它依然能绘制出精美、高质量的图像。
鲁棒性： 即使人们尝试使用混淆或“对抗性”提示词（试图偷偷引入不良概念）来欺骗机器人，机器人仍然拒绝绘制它。

总结： 作者构建了一个全新的框架，它集稳定引导器、外科手术刀和安全网于一体。这使得他们能够从这一代图像生成 AI 中精准地移除危险概念，而不会破坏 AI 创作艺术的能力。

技术摘要：弥合安全差距：视觉自回归模型中的手术式概念擦除

问题陈述

视觉自回归（VAR）模型（如 Infinity）的快速发展，通过在渐进式更大尺度上预测视觉标记（tokens），显著提升了文本生成图像的质量和速度。然而，这些模型缺乏有效的安全机制，使其容易在响应不当提示词时生成不安全内容（例如：NSFW 图像、暴力或侵犯版权的内容）。

现有的概念擦除（Concept Erasure, CE）技术主要针对扩散模型（如 U-Net 或 FLUX 架构）设计，由于根本性的架构差异，无法推广到 VAR 模型：

预测范式： 扩散模型在连续空间中预测噪声，而 VAR 模型则以层级化、自回归的方式预测离散的视觉标记。
误差累积： 将基于扩散的 CE 方法（其在单个尺度上对齐预测）天真地应用于 VAR 会导致跨尺度的累积误差。由于 VAR 生成具有高度的自回归性（每个标记都依赖于之前的粗尺度标记），独立的对齐会导致严重的图像质量崩溃和语义失真。
优化失配： 扩散擦除中使用的标准回归损失（如均方误差 MSE）并不适用于 VAR 中标记预测的离散概率空间，从而导致优化不稳定。

方法论

作者提出了一个两阶段框架：VARErasure（一个基础框架）和 S-VARE（一种手术式擦除方法）。

1. VARErasure 框架：辅助视觉标记

为了防止跨尺度的误差累积，作者引入了一个利用辅助视觉标记的框架。

机制： 该框架并非让模型根据中性提示词从零开始生成标记，而是向视觉 Transformer 提供由原始模型生成的辅助标记（使用目标提示词 $c^*$ 或中性提示词 $c$ 作为额外输入）。
效果： 这使得微调后的模型能够专注于调整交叉注意力（cross-attention）响应，以解释目标概念，同时保持整体生成行为（结构和语义）基本不变。这减轻了天真微调所导致的“崩溃”现象。

2. S-VARE：手术式概念擦除

在 VARE 的基础上，作者引入了 S-VARE，它使用专门为离散标记预测定制的自定义损失函数取代了标准回归损失。

过滤交叉熵损失 ( $L_{FCE}$ ):
- 意识到 VAR 模型（如 Infinity）使用二进制球面量化（BSQ）将预测投影到概率空间，作者使用交叉熵取代了 MSE。
- 过滤策略： 为了避免过度优化（即模型破坏了正确的标记），应用了双层过滤策略：
  1. 比特级（Bit Level）： 使用基于二进制分类准确率的阈值 $\gamma$ 。
  2. 标记级（Token Level）： 如果错误比特的百分比低于阈值 $\alpha$ （设定为 25%，与模型的自我修正范围一致），则将这些标记排除在损失计算之外。
- 这确保了只有具有显著语义差异的标记才会贡献梯度，从而实现“手术式”的移除。
保持损失 ( $L_{Pre}$ ):
- 为了应对微调带来的副作用（如语言漂移和多样性降低），引入了保持损失。
- 机制： 它通过 KL 散度，将微调模型（使用中性提示词 $c$ ）的输出与原始预训练模型的输出进行对齐。
- 目标： 这确保了微调后的模型对于与被擦除目标无关的概念，仍能保留原有的生成能力和多样性。

核心贡献

系统性分析： 本文首次系统地分析了将基于扩散的 CE 方法应用于 VAR 模型时的局限性，确定了误差累积和优化失配是主要的失败点。
VARE 框架： 提出了一个利用辅助视觉标记的创新框架，用以稳定生成并缩小优化搜索空间，防止图像质量崩溃。
S-VARE 方法： 引入了一种手术式擦除方法，其特点是：
- 过滤交叉熵损失 ( $L_{FCE}$ ) 精确针对不安全标记，同时尊重 VAR 预测的离散特性。
- 保持损失 ( $L_{Pre}$ ) 维持了语义保真度和输出多样性。
实证验证： 证明该方法实现了极高的擦除率（97% 的敏感概念），且几乎没有造成生成质量的下降（CLIP 分数下降不足 2%）。

实验结果

作者在 Infinity-2B 模型上针对三个擦除类别进行了评估：NSFW（裸露）、物体（如“教堂”）和风格（如“梵高”）。

NSFW 擦除： 该方法实现了对裸露概念的近乎完全擦除（显著降低了敏感内容的检测），同时保留了正常身体部位的生成能力。它优于 ESD、UCE 和 FMN 等基线模型，后者要么未能有效擦除，要么严重降低了图像质量。
物体与风格擦除： 该方法成功移除了目标物体和风格，同时保持了对无关类别的分类高准确率，并保留了模型生成多样化、高质量图像的能力。
鲁棒性： 在旨在诱导裸露的对抗性提示数据集（Ring-A-Bell, MMA, I2P）测试中，与原始模型和其他基线相比，S-VARE 显著降低了对抗成功率（ASR）。
消融实验： 证实了过滤交叉熵损失对于擦除有效性至关重要，而保持损失对于维持生成质量和指令保真度是必不可少的。

重要性与主张

本文声称弥合了安全差距。虽然以往的方法对扩散模型有效，但无法应用于新兴的 VAR 模型类别。通过引入 VARE 和 S-VARE，作者提供了首个有效的、手术式的 VAR 概念擦除解决方案。

这项工作表明，无需承担从头开始训练的巨大计算负担，也不需要承受天真微调带来的严重质量下降，即可从大规模自回归模型中移除不良概念。这为 VAR 生成系统在现实世界应用中的安全且可扩展的部署提供了便利。