🤖 AI

Safe Autoregressive Image Generation with Iterative Self-Improving Codebooks

本文提出了一种迭代自改进框架，该框架利用统一多模态模型自身的判断来识别不安全生成内容，并自适应地优化其视觉码本，从而在不需要外部人类反馈的情况下，增强自回归图像生成的安全性。

原作者： Yunqi Xue, Zhijiang Li, Philip Torr, Jindong Gu

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yunqi Xue, Zhijiang Li, Philip Torr, Jindong Gu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢、无所不知的艺术家，他可以根据你的描述来绘画。这位艺术家并不是用画笔在画布上作画，而是像一位大师级建筑师一样，将图像一个接一个微小的“像素块”搭建起来，就像用乐高积木拼搭一样。这个装满积木的盒子被称为码本（codebook）。

问题在于，有时如果你要求艺术家画一些特定的东西（即使你并非出于恶意），他可能会不小心从盒子里挑出一个“坏积木”，从而导致一张可怕、暴力或不当的图片。

这篇论文提出了一种巧妙的方法来修复艺术家的积木盒，使其只能构建安全的图像，而无需人类老师不断检查他的作品。以下是他们如何实现的，通过一个简单的三步故事：

1. 艺术家成为自己的老师（自我反思）

通常，为了教艺术家不要画出坏图，你需要一个人类去观察每一幅画，并说：“不，这太暴力了，”或者“是的，这是安全的。”这太慢了。

相反，这种方法让艺术家审视自己的作品。

艺术家尝试根据提示词画出一幅画。
艺术家随后观察这幅画，并询问：“这看起来危险或不当吗？”
如果艺术家认为：“是的，这很糟糕，”它就会创造出一个“坏样本”。
然后，它尝试画出一幅与此类似但安全的版本。
现在，艺术家拥有了一对组合：“坏图”和“好图”。

2. 寻找“坏积木”（有害空间）

研究人员意识到，“坏图”和“好图”之间的差异并非随机的；它隐藏在艺术家选择的特定“积木”（token）之中。

他们提取“坏”积木和“好”积木并进行比较。
他们使用数学方法找到码本中“坏度”存在的特定方向。可以将这想象为在储藏室里寻找一个特定的阴暗角落，所有的危险乐高零件都躲在那里。
然后，他们锁住那个角落。他们确保艺术家永远无法再次伸手进入那个阴暗角落去抓取积木。这被称为将码本投影到一个“无害空间”。

3. 打磨艺术品（自适应微调）

这里是棘手的部分：如果你只是把坏积木锁起来，艺术家可能会开始画出丑陋或模糊的图片，因为他缺少了一些正常绘画所需的工具。

为了解决这个问题，研究人员让艺术家重新练习画安全的图片，但有一个严格的规则：你只能使用那些不在阴暗角落里的工具。
艺术家学习仅使用“安全”的工具来重建其技能，抚平粗糙的边缘，让画面重新变得美丽。
这个过程是迭代的，这意味着他们重复这个循环：尝试绘画 -> 检查坏度 -> 锁定坏角落 -> 练习安全绘画 -> 重复。 每一次，艺术家都在避免坏事的同时，让艺术质量变得更高。

结果

在这个过程结束时，艺术家拥有了一个全新的、升级后的积木盒。

他仍然可以画出美丽、复杂且富有情感的杰作（例如论文中的“19世纪绘画”或“黑暗情感肖像”示例）。
但是，如果你要求他画一些有害的东西（如暴力或裸露），那些“坏积木”根本就不在那里。艺术家会转而画出该场景的安全版本。

简而言之： 这篇论文教会了 AI 艺术家如何自我监管。它找到了自己的错误，识别了究竟是哪些“精神工具”导致了这些错误，移除了这些工具，然后学习如何仅使用安全的工具来成为一名伟大的艺术家。最棒的部分是？它完成这一切时，并不需要人类为它标注成千上万张坏图。

技术摘要：通过迭代自改进码本实现安全的自回归图像生成

问题陈述

自回归统一多模态模型通过从码本（codebook）中提取离散化视觉标记（visual tokens）进行顺序预测来生成图像，而非像扩散模型那样在连续潜空间中运行。虽然这种架构在速度和文本条件一致性方面具有优势，但也带来了关键的安全问题：这些自回归系统生成的图像有多安全？现有的扩散模型安全缓解方法（例如潜空间引导、生成后过滤）依赖于连续表示，无法很好地推广到自回归模型的离散标记生成过程。此外，目前的方法通常需要大量的专家标注或外部反馈循环，这不仅资源密集且难以扩展。

方法论

本文提出了迭代自改进码本（Iterative Self-Improving Codebooks），该方法利用统一多模态模型自身的能力来识别并消除有害概念，而无需外部人工标注。该方法由两个核心步骤组成，并重复执行直至收敛：

1. 构建有害空间与投影

自生成数据配对： 模型从包含特定有害属性的提示词集中生成图像。利用模型自身的理解能力，它能识别哪些生成的图像是有害的。对于每个有害提示词 ( $x_u$ )，模型通过将不安全术语替换为良性术语，生成一个语义相似但安全的替代提示词 ( $x_s$ )。由此创建了成对的图像-文本数据集：用于有害情况的 $(x_u, y_u)$ 和用于安全情况的 $(x_s, y_s)$ 。
特征差异提取： 模型从其码本中提取与这些提示词对应的标记的嵌入特征 ( $F_u$ 和 $F_s$ )。计算这些特征向量之间的差异 ( $F_u - F_s$ )，以隔离与有害概念相关的特定特征。
子空间构建： 这些差异向量被聚合并通过奇异值分解（SVD）进行处理，以提取主成分。前 $k$ 个奇异向量定义了一个有害子空间 ( $P$ )，该空间捕捉了有害概念（如裸露、暴力）的核心特征。
硬投影（Hard Projection）： 对原始码本 ( $W_{ori}$ ) 进行投影，以移除位于该有害子空间内的分量。投影后的码本 ( $W_{proj}$ ) 计算如下：
$W_{proj} = W_{ori} (I - \lambda \cdot \text{Proj}_P(W_{ori}))$
这确保了新的嵌入与有害信息正交。

2. 在无害空间中的自适应微调

质量恢复： 第一步中的硬投影可能会因移除良性细节而导致图像质量下降。为了抵消这一影响，该方法对投影后的码本进行自适应微调。
零空间约束： 通过优化扰动矩阵 ( $\Delta$ ) 来增强图像保真度。至关重要的是，该扰动被约束在差异矩阵 $E$ 的**零空间（null space）**内（即与有害子空间正交的空间）。这确保了微调过程在提高视觉质量的同时，不会重新引入有害信息。
最终码本： 最终的安全码本构建为 $W_{safe} = W_{proj} + \Delta \cdot Q$ ，其中 $Q$ 是向零空间投影的投影矩阵。

整个过程是迭代的：更新后的码本被用于生成新数据、进一步精炼有害空间，并持续提升安全性与质量。

核心贡献

首次系统性探索： 作者首次系统地探讨了自回归统一多模态框架中的图像生成安全性，将其与研究已久的扩散模型安全领域区分开来。
迭代自改进机制： 本文引入了一种利用模型内部理解和判断能力来构建有害/安全对并更新码本的方法，从而消除了对标注数据集或人类反馈的需求。
以码本为中心的安全性： 不同于修改生成轨迹或潜空间的方法，该方法直接修改离散视觉标记的表示（即码本），为自回归模型提供了根本性的解决方案。

实验结果

该方法在五个统一多模态模型（Janus 系列、VILA-U、Emu3、LlamaGen、OmniMamba）上，针对八个有害提示词数据集（包括 I2P、CoPro、ViSU、P4D 和 MPUP）进行了评估。

安全性提升： 该方法显著降低了七类内容（性、暴力、仇恨、自残、非法活动、骚扰、令人震惊的内容）的不当内容生成率。例如，在 I2P 数据集上，性内容的比例从 0.12（基准线）降至 0.04（Safe-CB）。
迭代有效性： 实验表明，迭代移除的效果优于单轮移除。安全性提升通常在三次迭代后达到饱和，有害空间随时间推移变得更加精炼。
能力保留： 该方法保留了模型固有的图像生成和文本理解能力。基准测试（如 Geneval 生成任务和 MMMU 理解任务）显示没有明显的性能退化。
语义保真度： 虽然初始的硬投影导致了提示词-图像对齐度的下降（通过 CLIP-Score 和 TIFA 衡量），但自适应微调阶段成功恢复了语义一致性，使 Safe-CB 在良性提示词上的表现接近基准线。
泛化能力： 该方法在分布外（OOD）数据以及各种模型规模（从 1B 到 7B 参数）上均表现出良好的泛化性。

意义与主张

本文声称这项工作为自回归图像生成安全性建立了一种新范式。通过利用模型自身的自我判断来迭代精炼其内部码本，该方法实现了无需依赖外部人工标注或从头开始重新训练整个模型即可提升安全性。作者强调，这种方法有效地消除了有害映射，同时保持了高质量的视觉细节，为安全的多模态生成提供了一种可扩展且自维持的解决方案。该工作凸显了自回归模型的安全性需要不同的策略，即专门针对视觉标记的离散特性进行处理。