🤖 machine learning

Stable-GFlowNet: Toward Diverse and Robust LLM Red-Teaming via Contrastive Trajectory Balance

本文介绍了 Stable-GFlowNet（S-GFN），这是一种新颖的框架，通过消除配分函数估计并采用鲁棒的掩蔽与流畅度稳定机制来克服训练不稳定性和模式崩溃，从而提升大语言模型的对抗测试性能，进而实现更优越的攻击表现与多样性。

原作者： Minchan Kwon, Sunghyun Baek, Minseo Kim, Jaemyung Yu, Dongyoon Han, Junmo Kim

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Minchan Kwon, Sunghyun Baek, Minseo Kim, Jaemyung Yu, Dongyoon Han, Junmo Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和类比对论文《Stable-GFlowNet：通过对比轨迹平衡实现多样化且稳健的大语言模型红队测试》的解释。

大局观：“安全检查员”问题

想象你建造了一个非常聪明的机器人（大语言模型，或称 LLM），它本应是乐于助人且无害的。在将其投放到现实世界之前，你需要确保它不会被诱骗说出刻薄、危险或非法的内容。这个过程被称为红队测试。这就像雇佣一群“黑客”机器人，试图攻破你的安全机器人，以便在坏人发现漏洞之前将其修复。

目标是找到多种不同的方式来攻破机器人（多样性），并确保这些方式确实有效（有效性）。

问题：“单线程思维”

论文指出，当前用于发现这些漏洞的方法存在两个主要缺陷：

“淘金热”效应（模式崩溃）： 想象一个寻宝者在寻找黄金。如果他发现了一处有点黄金的地方，他可能会在那里挖个不停，而忽略了整座山的其他部分。在人工智能术语中，“攻击者”AI 发现了一个有效的技巧，获得高分，然后只是反复重复同一个技巧。它停止寻找其他攻破系统的方法。
“雾中指南针”（不稳定性）： 用于引导这些攻击者的工具（称为生成流网络或 GFN）就像有时疯狂旋转的指南针。它们试图计算整个世界的“总分”，但数学太难，信号又充满噪声（就像收音机里的静电），导致指南针失灵，AI 变得困惑或放弃。

解决方案：Stable-GFlowNet（S-GFN）

作者提出了一种名为**Stable-GFlowNet（S-GFN）**的新方法。可以将其视为为寻宝者的工具箱升级了三种特定的装置：

1. “拔河”指南针（对比轨迹平衡）

旧方法： 旧的指南针试图一次性计算整座山上每一块黄金的确切价值。这既困难又容易出错。
新方法： S-GFN 采用“拔河”方法。它不问“整座山有多少黄金？”，而是问“这堆黄金比那堆黄金好吗？”
类比： 想象你在评判一场才艺表演。与其试图给每一个节目分配一个完美的百分制分数（这很难且主观），你只需一次比较两个节目：“节目 A 比节目 B 好吗？”通过这种成对比较，系统变得更加稳定，不会被“总分”数学搞糊涂。它能找到更多样化的优秀节目，而不会只死盯着某一个。

2. “噪声过滤器”（噪声梯度剪枝）

问题： 有时，“黄金探测器”（毒性分类器）会发出错误信号。它可能偶然将一堆胡言乱语（无意义的词语）标记为“有毒”，或者漏掉真正的攻击。这就像收音机里的静电。
修复： S-GFN 有一个过滤器，它会说：“如果两个信号之间的差异太小而不重要，就忽略它。”
类比： 想象你正试图在嘈杂的房间里听清耳语。如果你的朋友耳语的内容与背景噪音略有不同，你可能听不清楚。S-GFN 告诉 AI：“只有当差异响亮且清晰时才去听。”这阻止了 AI 从随机错误或“静电”中学习。

3. “语法警察”（Min-K 流畅度稳定器）

问题： AI 太渴望找到“有毒”信号，以至于它可能会开始胡言乱语，仅仅因为探测器被这些胡言乱语搞糊涂了。这就像一个试图拿高分的学生，因为老师的评分标准不明确，就开始乱写字母。
修复： S-GFN 增加了一条规则：“攻击必须构成有意义的句子。”它会检查句子的“流畅度”。如果 AI 试图使用一个在上下文中毫无意义的词，它就会受到惩罚。
类比： 这就像足球比赛中的裁判，如果球员试图把球踢进看台而不是球门得分，裁判就会吹哨。它迫使 AI 找到聪明、真实的违规方法，而不是仅仅用胡言乱语破坏游戏本身。

结果：他们发现了什么？

论文将这种方法与其他方法进行了测试，发现：

更多样性： 旧方法发现了约17种独特的攻破机器人的方式。S-GFN 发现了134种。那是将近8 倍的多样性。
依然有效： 尽管发现了如此多的不同攻击，它在实际攻破机器人方面依然同样出色（约 92% 的成功率）。
更好的防御： 当机器人针对 S-GFN 发现的攻击进行防御训练时，其他类型的攻击要攻破它就变得困难得多。这就像用一张大网修补船只；如果你修补了 S-GFN 发现的所有不同漏洞，船只面对风暴时就安全得多。

总结

简而言之，这篇论文介绍了一种更智能、更稳定的 AI 安全测试方法。它利用比较（A 与 B）、过滤器（忽略静电）和语法检查（保持真实），防止测试 AI 死守一个技巧或被噪声搞糊涂，从而发现大量真实世界的漏洞。这有助于开发人员在坏人发现之前找到更多漏洞，从而构建更安全的 AI。

以下是论文《Stable-GFlowNet: 通过对比轨迹平衡实现多样化且鲁棒的 LLM 红队测试》的详细技术总结。

1. 问题陈述

大语言模型（LLM）红队测试旨在在部署前主动发现漏洞（有毒或有害输出）。虽然强化学习（RL）方法可以找到高奖励的攻击，但它们遭受模式崩溃的困扰，生成重复且狭窄的攻击模式。相反，生成流网络（GFNs）提供了一个分布匹配的框架，理论上能够发现多样化的轨迹。然而，将 GFN 应用于 LLM 红队测试面临两个关键挑战：

训练不稳定性：标准 GFN 目标（如轨迹平衡，TB）需要估计全局配分函数（ $Z$ ）。在 LLM 的高维离散空间中，估计 $Z$ 数值上不稳定，导致收敛性差和模式崩溃。
噪声奖励：毒性分类器提供密集但充满噪声的信号。它们经常给乱码或分布外（OOD）文本分配非零奖励，导致模型通过生成无意义的文本而非流畅、多样化的攻击来“黑客”奖励。

2. 方法论：Stable-GFlowNet (S-GFN)

作者提出了Stable-GFlowNet (S-GFN)，这是一个消除了显式配分函数估计需求并过滤噪声奖励以确保稳定、多样化训练的框架。该流程包含三个核心组件：

A. 对比轨迹平衡 (CTB)

为了解决估计 $Z$ 的不稳定性，S-GFN 用成对比较目标替代了绝对流匹配目标。

机制：CTB 不最小化策略流与相对于 $Z$ 的奖励之间的误差，而是最小化轨迹对 $(y_1, y_2)$ 的策略概率对数比与奖励对数比之间的平方差：
$L_{CTB} = \left( \log \frac{\pi_\theta(y_1)}{\pi_\theta(y_2)} - \log \frac{R(y_1)}{R(y_2)} \right)^2$
理论保证：作者证明 CTB 的最优策略与标准轨迹平衡（TB）的最优策略相同（ $\pi_\theta(y) \propto R(y)$ ）。
方差降低：通过使用一个样本作为另一个样本的基线（类似于 Reinforce Leave-One-Out），CTB 隐式地降低了梯度方差，而无需外部基线网络或 $Z$ 估计。

B. 噪声梯度剪枝 (NGP)

为了缓解成对比较中固有的奖励噪声放大风险，S-GFN 引入了基于显著性的过滤器。

机制：仅当奖励对数差的绝对值超过阈值 $\sigma$ 时，才计算轨迹对的梯度：
$L_{NGP} = \mathbb{I}(|\log R(y_1) - \log R(y_2)| > \sigma) \cdot L_{CTB}$
效果：这防止优化器基于由受害 LLM 或毒性分类器的随机性引起的不显著奖励差异进行更新，有效地剪枝了噪声梯度。

C. Min-K 流畅度稳定器 (MKS)

为了防止模型收敛到乱码的局部极小值（乱码通常获得虚假的毒性分数），S-GFN 采用了流畅度约束。

机制：MKS 不采用全局 KL 散度惩罚（这可能导致对参考模型过拟合），而是计算Min-K 统计量：在参考模型下，生成序列中 $k$ 个最不可能 token 的平均对数概率。
硬惩罚：如果 Min-K 分数低于阈值 $T_{mks}$ ，奖励被截断为零（或一个很大的负值）。
$R_{MKS}(y) = \mathbb{I}(M_k(y) \ge T_{mks}) \cdot R(y)$
优势：这确保了只有流畅、语言连贯的提示才被视为高奖励，使模型能够在不生成无意义内容的情况下探索更广泛的合法攻击空间。

3. 主要贡献

Stable-GFN 框架：一种新颖的红队测试框架，消除了对配分函数估计（ $Z$ ）的需求，解决了 GFN 在 LLM 中训练不稳定的主要原因。
对比轨迹平衡 (CTB)：一种新的目标函数，实现了与 TB 相同的最优分布，但具有显著更低的方差和更高的训练稳定性。
对噪声的鲁棒性：NGP 和 MKS 的集成专门解决了红队测试的独特挑战（噪声分类器和乱码奖励），防止了模式崩溃和奖励黑客行为。
通用性：论文证明 CTB 和 NGP 不仅在红队测试中有效，在分子生成和超网格导航等其他分布匹配任务中也同样有效。

4. 实验结果

作者在多种受害模型（Qwen, Llama, Gemma）和防御设置下，将 S-GFN 与 PPO、Jailbreak R1、Rainbow Teaming 和标准 GFN (TB) 等基线进行了评估。

多样性（唯一攻击）：S-GFN 生成了134 个唯一攻击提示，相比标准 GFN 基线（17 个）和 PPO（3 个）有巨大提升。它产生的唯一攻击数量约为 GFN 基线的7 倍。
攻击成功率 (ASR)：S-GFN 保持了**~92.5%**的高 ASR，与表现最佳的基线相当（GFN: 93.7%, PPO: 91.7%），证明了多样性并未以牺牲有效性为代价。
跨攻击可迁移性：当使用 S-GFN 的攻击对受害模型进行安全微调后，这些模型对其他方法的攻击表现出显著更强的鲁棒性（GFN 攻击的 ASR 降至接近 0%）。相反，S-GFN 的攻击对基于其他方法微调的模型仍然有效，展示了卓越的泛化能力。
迁移攻击：S-GFN 成功将攻击迁移到未见过的受害模型（例如 Gemma3, Llama3.2），在迁移场景中的 ASR 和多样性方面均优于其他方法。
效率：尽管存在 $O(N^2)$ 的成对比较，但计算成本可以忽略不计，因为这些是标量运算；实际的反向传播成本仍为 $O(N)$ ，使得 S-GFN 几乎与标准 GFN 一样高效。

5. 意义

本文代表了 LLM 安全研究的重要进展。通过解决 GFN 的训练不稳定性，它使得系统性地发现多样化、高影响力的漏洞成为可能，而这些漏洞由于模式崩溃是传统 RL 方法所遗漏的。

对于安全：它提供了一种更鲁棒的红队测试工具，允许开发人员在部署前识别更广泛的攻击向量。
对于防御：S-GFN 生成的多样化攻击导致的安全微调模型对更广泛的未来攻击具有更强的抵抗力。
对于机器学习：提出的对比轨迹平衡为高维、噪声环境中的分布匹配提供了一种可推广的解决方案，将 GFN 的适用性从红队测试扩展到药物发现和材料科学等领域。

总之，Stable-GFlowNet 成功弥合了 GFN 的理论多样性与真实世界 LLM 红队测试所需的实际稳定性之间的差距，为生成多样化且有效的对抗性提示设立了新的最先进水平。