💻 computer science

SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning

SafeCap 是一个强化学习框架，通过训练模型生成能够引导冻结的 LLM 做出符合对齐决策的安全相关图像描述，从而增强大型视觉语言模型针对越狱攻击的安全性，在保持视觉效用的同时，其性能优于现有的安全对齐方法。

原作者： Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人朋友，它阅读书籍和编写故事的能力比几乎任何人都要出色。这个机器人本身已经非常谨慎了，如果你要求它做一些危险的事情，比如制造炸弹，它会礼貌地拒绝：“不行，这不安全。”但现在，想象一下你向这个机器人展示了一张炸弹的照片，而不仅仅是输入文字。突然间，机器人变得困惑了。它看到这张图片，心想：“哦，这只是张很酷的画！”然后忘记了它的安全规则，兴高采л落地解释如何制造这个装置。这就是科学家们在现代“视觉-语言”模型中所面临的棘手问题：这些模型视觉能力很强，但当它们观察图像时，其安全刹车有时会失效。

为了解决这个问题，研究人员试图教这些模型以一种特殊的方式变得“双语”。他们希望机器人不仅能观察图片并回答问题，还要先用一种安全、谨慎的方式大声描述这张图片，然后再给出答案。这就像是一个保安，在被允许处理可疑包裹之前，必须先写一份详细的报告。如果报告内容模糊或遗漏了危险细节，保安就会停下来并说：“等等，我需要再仔细观察一下。”这篇名为 SafeCap 的论文介绍了一种新的训练方法，旨在教这些 AI 机器人自动编写这些安全报告，从而使它们更难被欺骗。

问题所在：当图片迷惑大脑时

大型视觉-语言模型（LVLMs）就像是拥有视觉能力的聊天机器人的超级增强版。它们继承了其构建基础——纯文本大脑的“良好行为”。但图片是具有欺骗性的。一个仅限文本的模型可能会拒绝“制作炸弹”的要求，但如果你展示一张炸弹的照片，并附上一句“我该如何制作这个？”，模型可能会被图像分散注意力，从而忘记其安全规则。这就像一个平时检查身份证的保安，却被访客衣服上的一个闪亮贴纸吸引了注意力，从而放任其通过。

以往的修复尝试涉及“推理时防御”，这就像是在机器人的眼睛前放置一个过滤器。一种流行的被称为 ECSO 的方法，试图在机器人看到图片之后将其转化为文字，希望纯文本安全系统能够捕捉到危险。但这就像是试图向一位盲人描述一幅复杂的画作，并希望他们能发现笔触中隐藏的陷阱。通常，这种描述会遗漏微小但危险的细节，导致安全系统失效。

解决方案：SafeCap（“安全描述”训练器）

论文作者提出了 SafeCap，这是一种巧妙的训练方法，教机器人如何在回答之前先写出自己的安全报告。模型训练的目标不仅仅是输出“是”或“否”，而是要输出两样东西：

描述（Caption）：对图像进行详细描述，强调任何与安全相关的细节（例如“危险”标签或武器）。
答案（Answer）：对用户问题的最终响应。

神奇之处在于训练阶段。模型学习的不只是写描述；它学习的是写出一种能帮助“冻结”（保持不变）的纯文本 AI 做出正确安全决策的描述。想象一个学生（模型）正在参加考试。老师（训练系统）说：“先总结一下这张图片。然后，我会把你的总结交给一位无法看见图片的严格阅卷员。如果阅卷员仅根据你的总结就判定‘这是危险的’，且你也说‘这是危险的’，那么你就获得了奖励。”

这迫使模型变得诚实且周全。它不能仅仅忽略危险并寄希望于阅卷员没发现。它必须在描述中明确指出危险，以便安全检查能够奏效。

它是如何运作的：“奖励”游戏

这种训练使用了强化学习技术。可以把它想象成一个电子游戏，模型因为良好的行为获得分数，因为不良的行为失去分数。

模板奖励：模型必须遵循严格的格式（先写描述，再给答案）。如果它破坏了格式，就会得到零分。
答案奖励：会对模型的最终答案进行检查。如果答案既有帮助又安全，它会获得分数；如果答案是危险的，分数会被大幅削减（使用一种被称为“指数风险折扣”的特殊数学技巧，使危险答案的价值几乎为零）。
描述奖励：这是核心秘诀。如果模型写的描述能帮助“冻结”的纯文本 AI 得出相同的安全结论，它就会获得额外加分。如果描述过于模糊导致纯文本 AI 错过了危险，模型在该部分的得分将为零。

研究发现：安全而不失智能

研究人员在五个安全基准测试（旨在欺骗 AI 的测试）和六个效用基准测试（旨在测试 AI 是否仍能完成描述图像或解决谜题等正常任务）上测试了 SafeCap。他们使用了不同规模的模型，参数量从 20 亿到 40 亿不等。

结果令人印象深刻：

安全性提升：在“DirectCap”协议（即模型先写描述再回答）下，SafeCap 在不同模型中将安全性得分提高了 3.7 到 19.0 分。对于 4B-Base 模型，安全性得分大幅跃升了 19.0 分。
无权衡损耗：通常情况下，提高模型的安全性会使其变得“愚笨”（即拒绝回答无害的问题）。但 SafeCap 成功地让“视觉效用”（它描述图像和回答问题的能力）与未经过训练的模型几乎保持一致。它并没有把机器人变成一个只会说“不”的暴躁机器，而是让它变成了一个更聪明、更谨慎的机器人。
击败竞争对手：与标准安全训练（SFT）、DPO 以及一种名为 SafeGRPO 的新方法相比，SafeCap 脱颖而出。它在保持更好效用的同时，实现了更高的安全性得分。

为什么这很重要

论文表明，保持这些视觉 AI 模型安全的最佳方式，不仅仅是在它们看到图像后进行修补，而是教它们在开口说话之前，先对所见之物进行“大声思考”。通过强制模型生成具有安全意识的描述，它在视觉世界与基于文本的安全规则之间建立了一座桥梁。

作者发现，当模型被训练使用这种“描述优先”路径时，效果最好。如果你尝试在不使用描述的情况下直接使用模型（仅要求它直接回答），其安全性增益较小，且更多取决于特定模型。但当模型被允许使用其“安全描述”习惯时，它在应对越狱攻击和危险请求时会变得更加稳健。

简而言之，SafeCap 教会了 AI 观察图片、清晰描述危险，然后决定如何行动。这就像是训练一名保安，要求他在开门之前始终先写一份报告，以确保即使看门人分了心，书面报告也能保障所有人的安全。论文表明，这种方法不仅有效，而且保留了模型提供帮助的能力，为构建更安全的视觉 AI 世界提供了一条充满前景的路径。

技术摘要：SafeCap

问题陈述

大型视觉语言模型（LVLMs）继承了来自语言骨干网络的指令遵循能力，但仍易受到利用视觉输入进行的越狱攻击。与仅依赖文本的模型（可以依靠语言侧的拒绝策略）不同，LVLMs 必须感知图像中的安全相关证据，将其与用户请求对齐，并决定如何响应。这导致了失效模式：有害指令可能嵌入在排版图像中，危险意图可能由物体暗示，或者原本良性的提示在经过视觉落地（visual grounding）后变得不安全。现有的安全对齐方法往往无法覆盖这些多模态特有的威胁。

目前的防御手段分为两类：

推理时干预： 如 ECSO 等方法通过将图像转换为文本，以利用语言侧的安全机制。然而，图像到文本的转换往往会丢失细粒度的视觉细节（例如：安全相关的物体、可见的文本或上下文），使得下游的纯文本模型无法做出安全决策。
训练时对齐： 使用策划的偏好数据或安全微调（SFT）的方法通常难以处理在提高对恶意输入的拒绝能力与保持对良性输入的视觉感知能力之间的权衡。

核心挑战在于：如何使 LVLMs 在不牺牲模型视觉理解效用，也不依赖脆弱的推理时封装的情况下，学会识别并响应视觉安全线索。

方法论：SafeCap

SafeCap 是一个强化学习（RL）框架，通过**学习型自我描述（learned self-captioning）**来实现 LVLMs 的对齐。SafeCap 不再将图像描述（captioning）视为一种辅助解释或事后防御，而是将安全对齐建模为一个自我描述问题，即让模型在生成最终答案之前，先生成一个显式的、具有安全相关性的中间表示。

框架概述

对于每个“图像-问题”对 $(x, q)$ ，策略模型 $\pi_\theta$ 被训练用于生成结构化响应 $y = \langle \text{caption} \rangle c \langle / \text{caption} \rangle a$ ，其中 $c$ 是图像的文本描述， $a$ 是最终答案。训练目标优化了三个不同的信号：

模板奖励 ( $R_{tmp}$ )：一个二进制门控，确保输出包含且仅包含一个完整的描述块和一个非空答案，以防止结构性退化。
直接答案奖励 ( $R_{ans}$ )：使用评判模型评估策略模型的最终答案 $a$ ，该模型会分配一个留存分数 $u(a)$ （有用性）和一个风险分数 $h(a)$ （有害性）。奖励使用指数风险折扣函数计算： $S(u, h) = u \cdot \gamma^h$ ，其中 $\gamma \in (0, 1)$ 。这种乘法形式确保高风险答案的价值迅速下降，从而在惩罚“不做任何事”的行为的同时，奖励安全且信息丰富的响应。
描述中介奖励 ( $R_{cap}$ )：这是核心创新。生成的描述 $c$ $c$ 会被路由至一个冻结的纯文本 LLM（该模型从未见过图像）以及原始问题 $q$ $q$ 。冻结的 LLM 生成答案 $a_f$ $a_{f}$ 。奖励评估两个因素：
- 描述覆盖度：一个衡量描述对主体、属性、动作、空间布局和可见文本覆盖程度的分数 $u(c)$ 。
- 安全对齐：一个二进制信号 $g(q, a, a_f)$ ，如果策略答案 $a$ 与冻结 LLM 的答案 $a_f$ 对安全状态的判断一致（即两者都识别出风险，或两者都认为安全），则返回 1。
- 描述奖励定义为 $R_{cap} = g(q, a, a_f) \cdot u(c)$ 。这鼓励策略生成包含足够视觉证据的描述，以便纯文本推理器能够做出安全对齐的决策。

优化

SafeCap 使用群体相对策略优化（GRPO）。对于每个提示，策略会采样一组 $K=8$ 个展开（rollouts）。优势函数通过对三个奖励信号（ $R_{tmp}, R_{cap}, R_{ans}$ ）进行分量级的组归一化来构建，以处理不同的规模和方差。冻结的 LLM 和评判模型仅用于奖励计算，不会被更新。

核心贡献

安全感知型自我描述公式化：论文将 LVLM 安全对齐重新定义为自我描述任务，要求模型生成一个显式的中间表示，以暴露安全相关的视觉证据，然后再进行回答。
描述中介强化学习目标：引入了一种双信号奖励机制，结合了对最终答案的直接评估与来自冻结 LLM 的信号。该信号验证了生成的描述是否能支持纯文本推理器做出安全对齐的决策，从而有效地弥合了感知与对齐之间的鸿沟。
多协议评估：作者在五个多模态安全基准测试和六个视觉效用基准测试上进行了全面的评估，对比了 Direct、DirectCap（预期的运行点）和 Prism（仅描述）三种推理协议。

结果

实验在 Qwen3.5 模型（2B, 2B-Base, 4B, 4B-Base）上进行，这些模型是在公开的 SPA-VL 数据集上训练的。

安全性提升：在 DirectCap 协议下，SafeCap 显著提高了综合安全性能。在四种模型设置中，安全平均值提升了 3.7 到 19.0 个百分点。值得注意的是，4B-Base 模型在保持视觉效用得分基本不变的情况下，安全平均值提升了 19.0 个百分点。
效用保持：与某些会导致性能下降的安全微调方法不同，SafeCap 在 MM-Vet、BLINK 和 MMVP 等基准测试上保持甚至提高了视觉效用得分。
对比性能：
- 在使用相同数据和步骤进行训练时，SafeCap 的表现优于标准的 Safety SFT 和 DPO。
- 在使用 SafeGRPO 数据（SafeTag-VL-3K）的受控比较中，SafeCap 的 DirectCap 安全平均值为 55.06，而 SafeGRPO 为 41.27，同时保持了相似的效用。
消融实验：移除描述奖励或直接答案奖励都会显著降低安全性和效用，这证实了两种信号都是必要的。研究发现，解耦的奖励归一化对于 Direct 和 DirectCap 的性能至关重要。

意义与主张

论文声称，SafeCap 展示了将感知侧证据纳入多模态安全对齐中的价值。通过训练 LVLM 在描述中显式暴露安全相关的视觉线索，该方法使模型的视觉感知与安全策略对齐，而不必仅仅依赖于拒绝提示或脆弱的推理时封装。

作者强调，DirectCap 路径（即训练后的模型生成描述并随后回答）是预期的运行点，它提供了最一致的安全增益。虽然 “Prism” 协议（使用冻结 LLM 根据描述进行回答）显示出一定的可迁移性，但主要贡献在于 LVLM 本身学习到的安全感知描述能力。这项工作表明，描述中介的强化学习是未来多模态安全领域的一个实用且有效的方向，可以作为传统输出侧对齐的补充。