💻 computer science

ScaleErasure: Inference-Time Minimal Intervention for Precise Concept Erasure in Next-Scale Autoregressive Image Generation

本文介绍了 ScaleErasure，这是一种在推理阶段实现精确概念擦除的方法，通过对逻辑值（logits）进行极小规模的多维干预，在下一尺度自回归图像生成过程中，将不安全语义从高度压缩的早期尺度表示中解耦出来。

原作者： Cong Wang, Haiyu Wu, Zhiwei Jiang, Zifeng Cheng, Fei Shen, Yafeng Yin, Qing Gu

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Cong Wang, Haiyu Wu, Zhiwei Jiang, Zifeng Cheng, Fei Shen, Yafeng Yin, Qing Gu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢的艺术家，只要你描述，他就能画出任何东西。然而，这位艺术家有时会对你的指令理解得过于字面，从而画出一些不恰当、侵犯版权或纯粹不安全的内容。你想阻止他画出这些特定的“坏东西”，但又不希望抹杀他在其他方面的创造力。

这篇论文介绍了一个名为 ScaleErasure 的新工具来解决这个问题，专门针对一种新型的“下一代”图像生成器。

以下是使用简单类比进行的拆解：

1. 问题所在：“模糊草图”的困境

大多数图像生成器就像雕塑家从石块中凿刻，或者画家逐层添加细节。但这种新型生成器（称为下一尺度自回归/Next-Scale Autoregressive）的工作方式不同。

想象一下，艺术家从画一个 1x1 像素的小点开始，然后是 2x2 的网格，接着是 4x4 的网格，以此类推，随着每一步变得越来越大、越来越详细。

问题： 在绘画的早期阶段（“低尺度”阶段），艺术家必须把海量的信息挤进区区几个像素里。这就像是试图仅用四个像素就描述出一整个海滩场景，包括某个人特定的泳装。
纠缠（Entanglement）： 因为像素非常小，所以图像中的“不安全”部分（如裸露）会与“安全”部分（如天空或沙滩）混合在一起。它们在同一个微小的像素中纠缠在一起。如果你试图擦除裸露的部分，你可能会不小心把天空也给擦掉了，从而毁掉整幅画。

2. 解决方案：“精准手术刀”（ScaleErasure）

与其尝试重新训练艺术家（这既慢又贵），或者修改他们的脑回路（这很有风险），ScaleErasure 更像是一位聪明的编辑，在艺术家绘画的过程中介入。

它采用了一种“最小干预”策略。它不会阻止艺术家的创作，只是对绘画中需要修正的部分进行轻声提醒。

它是通过以下三个步骤工作的：

步骤 A：定位正确的时机（尺度选择/Scale Selection）

编辑知道艺术家在绘画的中期阶段最容易感到困惑——即图像正在变大但尚未完全精细化的时候。

策略： 编辑会忽略最初的微小点（因为太重要了，不宜改动）以及最后的超高清晰度细节（因为此时改变主意已经太晚了）。他们只在中间尺度的“黄金时段”介入。这节省了大量的时间和计算资源。

步骤 B：寻找正确的像素（标记选择/Token Selection）

编辑需要知道哪些像素出了问题。

策略： 编辑会询问艺术家：“如果我要求你画的是‘一个穿着泳装的人’而不是‘一个裸体的人’，哪些像素会发生变化？”
通过对比“不安全概念”的绘画与“安全概念”的绘画，编辑创建了一张地图。他们只触碰那些真正负责显示不安全内容的像素，让背景（如海滩或天空）保持原封不动。

步骤 C：精细调整（比特通道选择/Bit-Channel Selection）

这是最聪明的部分。还记得那些微小的像素吗？即使是在单个像素内部，也包含多个“层”的信息（比如不同的颜色通道）。

策略： 有时，一个像素同时包含了混合在一起的“皮肤”（不安全）和“沙子”（安全）的信息。编辑足够聪明，能够观察像素内部。他们只擦除那个承载皮肤信息的特定“层”，同时保留承载沙子信息的“层”完好无损。这就像是在不移除黄色颜料的情况下，仅将混合色点中的红色颜料移除。

3. 结果：干净的画作，没有混乱

论文在两个主要问题上测试了这种方法：

裸露： 阻止生成器绘制不当的身体部位。
版权： 阻止生成器绘制特定的角色，如皮卡丘或海绵宝宝。

研究发现：

更好的安全性： 与其他方法相比，ScaleErasure 在移除不良内容方面表现得更好。
更好的质量： 由于它只触碰特定的“坏”部分并保留其余部分，最终图像依然看起来高质量，且保留了背景风景。其他方法往往会让图像看起来扭曲或怪异。
高效性： 通过仅在绘画过程的中期阶段工作，它并不会显著降低速度。

总结类比

想象你正在写一个故事，但你在一段优美的文字中间不小心打了一个脏话。

旧方法可能会尝试从头重写整个故事（微调/Fine-tuning），或者删除整个段落（盲目擦除/Blind erasure）。
ScaleErasure 就像是一个拼写检查器，它准确知道哪个字母是那个脏话。它只把那一个字母替换成一个文明的词，而让剩下的句子、段落和整个故事都保持完美无缺。

论文得出结论，这种“最小干预”的方法是保持这些强大的新一代图像生成器既安全又不破坏其创作精美艺术的能力的最佳方式。

技术摘要：ScaleErasure

问题陈述

本文探讨了**下一尺度自回归（next-scale autoregressive, AR）图像生成中的概念擦除（concept erasure）**挑战，这是一种区别于主流扩散模型的范式。虽然概念擦除旨在防止模型生成不安全内容（如裸露、受版权保护的角色），同时保留通用的生成能力，但现有方法主要针对扩散模型设计，无法直接迁移到下一尺度 AR 模型中。

下一尺度 AR 范式的核心难点在于严重的语义纠缠（semantic entanglement）。与在固定分辨率下生成的扩散模型不同，下一尺度 AR 模型从粗糙到精细地生成图像，起始于极低的分辨率（例如 1×1 或 2×2 个 token）。在这些早期尺度上，语义信息被高度压缩在有限数量的 token 中。因此，单个 token 往往同时编码了不安全语义（如“裸露”）和无关的安全语义（如“背景”或“天空”）。这种纠缠使得精确选择并擦除不安全概念变得十分困难，否则会导致图像整体结构受损或误删无关内容。

方法论：ScaleErasure

作者提出了 ScaleErasure，一种通过选择性引导预测 Logit 来实现最小干预的推理时概念擦除方法。该方法无需修改模型参数，而是在推理阶段调制生成过程。

核心机制

ScaleErasure 识别出与不安全概念最相关的 Logit，并将其引导至相应的安全概念。这是通过基于不安全概念和安全概念的两次额外前向传播实现的。最终的引导 Logit ( $\ell^\star_k$ ) 是标准分类器自由引导（CFG）Logit 与新增的安全引导（SG）Logit 的组合，由一个二进制掩码 ( $M_k$ ) 决定：
$\ell^\star_k = M_k \cdot \ell^{SG}_k + (1 - M_k) \cdot \ell^{CFG}_k$

为了确保精确且最小的干预，Logit 的选择和引导的应用是在三个正交维度上进行的：

尺度级选择（Scale-Level Selection）：
- 原理： 早期尺度（1×1, 2×2）捕捉全局结构，对干预过于敏感；后期尺度主要细化高频细节，此时不安全内容已基本固定。
- 策略： 引导被限制在一个有界的中间尺度范围内（例如尺度 3 到 8）。这也为额外的前向传播提供了早停策略（early-stop strategy），显著降低了计算开销。
Token 级选择（Token-Level Selection）：
- 原理： 为了避免破坏 token 图中无关区域（如天空或背景）的内容。
- 策略： 该方法利用模型的内部交叉注意力机制（cross-attention mechanism）。它计算视觉查询（visual queries）与概念键（concept keys，即不安全概念 vs. “背景”等无关概念）之间的相似度得分。与不安全概念相关性较高（超过阈值 $\tau_{token}$ ）的 token 被选中进行干预，而其他 token 则保持不变。
比特通道级选择（Bit-Channel-Level Selection）：
- 原理： 下一尺度 AR 模型（特别是使用二进制球面量化 Binary Spherical Quantization 的模型）通过多个独立的比特通道表示 token。单个 token 可能包含既不安全又安全的比特。
- 策略： 该方法比较提示词条件下的 Logit 向量与不安全条件下的 Logit 向量。绝对差异较小（低于阈值 $\tau_{bit}$ ）的比特通道被视为与不安全概念无关，从而排除在引导之外。这实现了单个 token 内部语义的细粒度解耦。

安全引导公式

对于选定的 Logit，该方法将提示词条件的 Logit 替换为安全引导版本。引导公式包含一个惩罚项，以抑制残留的不安全激活：
$\ell^{SG}_k = \ell^{uc}_k + \beta_{CFG}(\ell^{sa}_k - \ell^{us}_k)$
其中 $\ell^{sa}_k$ 和 $\ell^{us}_k$ 分别是基于安全概念和不安全概念的条件 Logit。

主要贡献

ScaleErasure 框架： 一种专门为下一尺度 AR 范式设计的全新推理时概念擦除方法，解决了低分辨率下语义纠缠的独特挑战。
选择性 Logit 引导策略： 通过三维选择机制（尺度、token 和比特通道）实现对不安全概念的精确擦除，同时最大限度地减少对通用生成能力的副作用。
效率优化： 引入了用于额外前向传播的早停策略，在保持安全性能的同时，大幅降低了计算成本和推理延迟。

实验结果

该方法在 Infinity-2B 模型上针对两个领域进行了评估：裸露擦除（使用 I2P 基准测试）和版权擦除（皮卡丘和海绵宝宝）。

裸露擦除： ScaleErasure 在 I2P 上实现了最低的总裸露计数（182，而次优基线 ESD-u 为 296），同时保持了卓越的通用生成能力（在 MS-COCO 上具有最低的 FID 2.91 和最高的 CLIP 分数 30.68）。
版权擦除： 该方法在两个角色上均取得了最佳的平均 $H_a$ （一种平衡抑制与保留的指标），证明了其一致的有效性。
定性表现： 视觉对比显示，ScaleErasure 成功移除了不安全内容，同时保留了全局结构和背景细节；相比之下，基线方法往往会引入伪影、畸变，或未能完全擦除目标概念。
效率： 通过采用早停策略，ScaleErasks 仅比基础模型增加了约 9% 的延迟，而如果对所有尺度应用引导，延迟将增加约 35%。

意义与主张

本文声称 ScaleErasure 代表了保障下一尺度自回归模型安全性的重要进展，这一范式在安全性机制方面在很大程度上仍未被充分探索。作者强调，其方法在严重语义纠缠的条件下实现了精确的概念擦除，而以往的方法在处理此类问题时表现不佳。

这项工作的意义在于，它能够在不永久改变模型参数或显著降低模型通用生成保真度的前提下，抑制不安全内容（如裸露或受版权保护的材料）。通过在推理时进行最小干预，该方法为新兴的基于 AR 的图像生成系统提供了一种灵活、可逆且可部署的安全解决方案。作者指出，虽然该方法提升了安全性，但它是在特定范式的约束下运行的，并不声称能解决生成式 AI 的所有安全挑战。