🤖 AI

SACE: Concept Erasure at the Semantic Singularity in Visual Autoregressive Models

本文介绍了 SACE，一种针对视觉自回归（VAR）模型的尺度感知概念擦除框架，该框架利用语义奇异性公理（Semantic Singularity Axiom），通过将干预限制在第一尺度来手术式地移除有害概念，从而防止了应用传统基于扩散的擦除技术所导致的灾难性语义崩溃和视觉伪影。

原作者： Siya Yang, Nanxiang Jiang, Zhaoxin Fan, Yunfeng Diao

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Siya Yang, Nanxiang Jiang, Zhaoxin Fan, Yunfeng Diao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大背景：一位面临安全问题的全新艺术家

想象一下，一位新型数字艺术家（被称为 VAR 模型）刚刚变得极其出名。与那些通过缓慢平滑模糊草图来绘图的旧型艺术家（扩散模型/Diffusion models）不同，这位新艺术家像搭乐高积木塔一样构建图像：从一个单一的基础块开始，不断添加更大、更详细的层级，直到图像完成。

这位艺术家非常擅长创作高质量的图像。然而，问题在于：如果你要求他画一些不恰当的东西（比如“裸体人物”或像“米老鼠”这样的版权角色），他会乐此不疲地照做。我们需要一种方法，教导这位艺术家学会拒绝这些特定的请求，同时又不破坏他绘制其他任何事物的能力。

问题所在：为什么旧的解决方案失败了

科学家们尝试使用用于旧型“模糊草图艺术家”的相同“教学工具”来教导这个新的“乐高搭建者”。结果却是一场灾难。

类比： 想象一下，试图阻止那位乐高艺术家搭建特定的塔楼，方法是拿着锤子敲击塔楼中的每一块积木，从底部一直敲到最顶端。
结果： 整个塔楼坍塌了。图像变成了一团模糊、混乱的乱码。旧的方法并不理解这位新艺术家是分层工作的，而一旦同时敲击所有层级，就会毁掉整张图片。

发现： “语义奇异点” (The Semantic Singularity)

研究人员发现了这位乐高艺术家思考的一个秘密规则。他们称之为语义奇异点公理 (Semantic Singularity Axiom)。

类比： 把图像生成想象成一棵树。最开始的第一块积木（Scale-0）就是根部。剩下的图像（叶子、树枝和花朵）都只是从这个根部生长出来的。
洞察： 研究人员发现，图像的意义完全是在最初的那个阶段决定的。如果你要求画一个“裸体女孩”，这个决定在第一步就已经锁定了。随后的层级（Scale-1, Scale-2 等）仅仅是在基于这个初始决策添加细节，比如“头发纹理”或“肤色”。它们并没有做出新的决策，而是在执行来自根部的指令。

“啊哈！”时刻： 要阻止艺术家画一个裸体女孩，你不需要敲击整棵树。你只需要温柔地纠正那个根部。如果你修复了根部，整棵树就会生长正确。如果你试图修复叶子，你只会毁掉整棵树。

解决方案：SACE（手术刀般的精准）

研究人员开发了一种名为 SACE（尺度感知概念擦除，Scale-Aware Concept Erasel）的新方法。它分为三个聪明的步骤：

显微镜 (ISSA)： 在修复任何东西之前，他们构建了一个工具来观察艺术家的脑内结构。这个工具证明了那些“坏念头”（如裸体）确实被锁定在第一个尺度（Scale-0）中。它表明后续的尺度仅仅是在添加无害的细节。
针对性修复 (仅限 Scale-0)： 他们没有敲击整个图像，而是只对那第一个方块（Scale-0）应用“纠正”。这就像是对着树根轻声耳语进行纠正。
安全网 (两条特殊规则)：
- 规则 1：不要惊慌 (熵正则化/Entropy Regularization)： 当你告诉艺术家“不要画裸体女孩”时，艺术家可能会感到困惑并开始画一些随机的胡言乱语（比如一只长着翅膀的紫色大象）。研究人员增加了一条规则来让艺术家保持冷静和专注，确保他仍然能画出美丽的东西，只是不是那个被禁止的东西。
- 规则 2：保留好的部分 (保留损失/Preservation Loss)： 有时，当你试图移除一个坏念头时，你可能会不小心也移除了好的念头（比如因为禁止“裸体人物”而把“人”这个概念也彻底删除了）。研究人员增加了一个“安全锚”，它会说：“请继续完美地绘制正常的人、衣服和背景。只移除那个特定的坏部分。”

结果：利落的一剪**

当他们测试这种新方法时：

它奏效了： 艺术家停止了绘制被禁止的概念（如裸体或米老鼠）。
它是安全的： 艺术家并没有失去绘制其他事物的能力。图像依然保持锐利、美丽且高质量。
它很高效： 因为他们只需要修复第一个层级，所以比以往的方法训练起来更快、更便宜。

一句话总结

这篇论文告诉我们，要阻止这类新型 AI 艺术家画出坏东西，我们不应该砸碎整张图片；相反，我们应该温柔地纠正艺术家做出的第一个决定，同时使用一个安全网来确保剩下的画面依然完美。

技术摘要：SACE：视觉自回归模型语义奇点处的概念擦除

1. 问题陈述

视觉自回归（VAR）模型（如 Infinity）的快速兴起，为高保真文本生成图像建立了新的前沿，在可扩展性和生成质量上超越了扩散模型。然而，这些模型继承了显著的安全漏洞，包括生成不当、偏见或受版权保护的内容。

现有的概念擦除技术主要针对扩散模型设计，在直接应用于 VAR 架构时会失效。扩散擦除依赖于时间去噪步骤的同质性，而 VAR 模型则通过“下一尺度”（next-scale）自回归范式运行，即图像从粗糙到精细的分辨率进行生成。将统一的擦除损失直接应用于 VAR 模型的所有尺度会导致：

灾难性语义坍塌： 模型失去生成连贯图像的能力。
视觉伪影： 严重的模糊、混乱的纹理和结构解体。
低效性： 在所有尺度上进行无差别的训练会产生指数级增长的计算开销，却无法保证有效的擦除效果。

目前的 VAR 特定尝试（如 S-VARE, EAR）表现出次优的功效和高昂的训练成本，主要是因为它们将多尺度生成过程视为一个同质的顺序任务，未能理解这些模型的内在空间分层特性。

2. 方法论

提出的 SACE（尺度感知概念擦除） 框架通过三管齐下的方法——理论公理化、诊断分析和针对性优化——来解决这些挑战。

A. 语义奇点公理

其核心理论贡献是 语义奇点公理，该公理认为，嵌入在提示词中的任何目标语义概念都不可撤销地锁定在基础生成尺度（Scale-0）上。

机制： 全局文本条件启动了一个“视觉累加器级联”。语义承诺点建立在 Scale-0（一个 $1 \times 1$ 的潜变量 token）处，并结构化地传播到所有更高频率的尺度。
含义： 后续尺度（ $s > 0$ ）并不注入新的语义概念；它们仅仅是基于 Scale-0 建立的先验进行高频结构锁定和纹理细化。因此，在所有尺度上进行擦除干预是冗余且具有结构性破坏性的。

B. 增量语义显著性分析 (ISSA)

为了验证该公理，作者提出了 ISSA，这是一个用于隔离每个分辨率尺度上新注入语义信息的诊断框架。

过程： ISSA 在推理过程中拦截交叉注意力概率，跨层进行聚合，并通过减去前一尺度的上采样注意力来计算 注意力残差 ( $\Delta A_k$ )。
发现： 视觉分析显示，特定概念的注意力质量在 Scale-0 达到峰值，并在后续尺度中经历指数级衰减。高阶尺度贡献的新的语义焦点微乎其微，仅作为纹理细化器起作用。这为干预 $s > 0$ 的尺度既是不必要且有害提供了严密的视觉证明。

C. SACE 优化框架

在公理的指导下，SACE 将所有擦除干预严格限制在 Scale-0，采用双重目标优化策略：

熵正则化擦除目标 ( $\mathcal{L}_{ER}$ ):
- 问题： 在自回归模型中强制位移潜在表示会导致输出 Logits 变平，导致病态的高熵和近乎随机的 token 选择（退化）。
- 解决方案： $\mathcal{L}_{ER}$ 将生成压制机制（排斥目标概念）与动态信息论锐度约束相结合。它确保模型在擦除概念的同时，不会使类别分布坍塌为高熵噪声。
- 公式： $\mathcal{L}_{ER} = \mathcal{L}_{naive} + \lambda_{ent}\mathcal{L}_{ent}$ ，其中 $\mathcal{L}_{ent}$ 对超过最大阈值 ( $H_{max}$ ) 的熵进行惩罚。
恢复性保留损失 ( $\mathcal{L}_{pre}$ ):
- 问题： 消减目标概念可能会破坏对于高保真合成至关重要的细粒度跨 token 依赖关系，从而导致对良性先验（如扭曲的解剖结构）的“附带损伤”。
- 解决方案： $\mathcal{L}_{pre}$ 通过最小化擦除模型与原始模型在非目标提示词上的输出距离（特别是在尺度 $s \ge 1$ 上），来锚定纠缠的良性先验的完整性。
- 角色： 它充当“手术刀”，迫使模型在 Scale-0 进行正交解耦，同时保留高频结构的梯度。

3. 核心贡献

语义奇点公理： 首次形式化了在下一尺度自回归模型中，语义注入由初始尺度主导，从而将多尺度擦除简化为针对语义根节点的定向干预。
增量语义显著性分析 (ISSA)： 一种白盒诊断工具，用于隔离增量语义信息，为社区提供了透明检查 VAR 模型由粗到精生成过程的首个方法。
尺度感知擦除框架： 第一个通过利用语义奇点公理，将成熟的扩散模型擦除策略迁移到 VAR 范式的框架。它结合了第一尺度干预与双层优化。
手术级精度： 该方法以极低的训练开销实现了最先进的（SOTA）擦除性能，有效地平衡了概念移除与通用生成保真度的保持。

4. 实验结果

作者在 Infinity-8B 模型上对 SACE 进行了评估，基准模型包括 ESD、FMN、UCE 和 VARE（复现版）。

NSFW 擦除（“裸露/Nude”）：
- SACE 将人类判断裸露率（HNR）从 97.7%（基准）降低至 17.5%。
- 与实现低 HNR (7.2%) 但破坏图像质量 (FID 52.18) 的激进基准（如 ESD-x）不同，SACE 保持了具有竞争力的 FID (23.5) 和 CLIP 分数 (31.3)，与原始模型几乎无异。
- SACE 在解剖学检测上的敏感性得分最低 (71)，同时保持了高复杂度 (375)，表明保留了生成的丰富性。
风格擦除（“梵高/Van Gogh”）：
- SACE 将风格存在感降低至 8% 的准确率，优于基准模型（18–28%）。
- 至关重要的是，SACE 保持了 23.8 的 FID，而 ESD-u 则遭受了灾难性的效用退化 (FID 88.1)。
物体擦除（“教堂/Church”）：
- SACE 是唯一能显著破坏具体物体生成的算法，将准确率从 97.0% 降至 65.0%。基准模型未能提供有效的擦除（88–98%）。
鲁棒性：
- SACE 在对抗攻击（Ring-A-Bell 和 I2P 数据集）中表现出强大的鲁棒性，在 R-A-B 上实现了最低的攻击成功率 (ASR, 44.56%)，并在 I2P 上表现第二。
消融实验：
- 尺度： 在所有尺度上进行干预会降低擦除功效（ASR 回升至 55.79%），这是由于擦除力与保留力之间的目标冲突造成的。
- 熵：去除熵正则化会导致擦除效果欠佳（ASR 54.04%），这是由于 Logit 平坦化导致的。
- 保留： 若没有 $\mathcal{L}_{pre}$ ，生成质量会发生坍塌 (FID 27.4)。需要一个强锚点 ( $\lambda_{pre}=2.0$ ) 来强制执行精确的解耦。

5. 重要性与主张

本文声称提供了第一个专门为视觉自回归模型设计的尺度感知概念擦除框架。其重要性在于：

基础洞察： 它从根本上重新定义了如何处理 VAR 模型的安全干预，从扩散模型的“一刀切”方法转向尺度特定的策略。
效率与安全： 通过将干预限制在 Scale-0，该方法大幅降低了计算成本，同时在数学上保证了高频结构细节不受影响。
范式桥接： 它提供了一种系统的方法论，将扩散时代的安全性研究适配到下一代 AR 模型中，利用多年的先验研究来解决新兴的安全漏洞。
手术级精度： 该框架在移除敏感概念的同时，避免了模糊或破坏模型通用生成能力的“附带损伤”，这是实际部署的关键要求。

作者总结道，他们的方法“及时且优雅地解决了”新兴 VAR 架构固有的关键安全漏洞，为这些高保真生成模型的安全部署提供了一条稳健的路径。