🤖 AI

Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning

Seirênes 是一种对抗性自博弈强化学习框架，它通过训练单一模型同时生成干扰性上下文并在其中解决问题，从而增强大语言模型的推理鲁棒性，将上下文干扰转化为一种共进化课程，进而提升其在各类基准测试中的表现并揭示其他模型的漏洞。

原作者： Chi Zhang, Haibo Qiu, Qiming Zhang, Yufei Xu, Xinbo Gao, Jing Zhang

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Chi Zhang, Haibo Qiu, Qiming Zhang, Yufei Xu, Xinbo Gao, Jing Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一位才华横溢但略显天真的学生去解决复杂的数学谜题。通常，你会给他们提供干净、完美且毫无干扰的题目。他们擅长解决这些特定谜题，但如果你在问题中掺入一点令人困惑的信息，他们就可能被误导而失败。

这篇论文介绍了一种名为Seirênes的新训练方法（其名称源自希腊神话中的塞壬，她们用美妙的歌声引诱水手偏离航向）。Seirênes 并非仅仅给学生出更难的题目，而是将学生转化为两个不同的人格，让它们在同一个“大脑”内部相互博弈。

以下是这场博弈的运作方式，使用简单的类比来说明：

两个角色

AI 模型同时扮演两个角色：

捣蛋鬼（对抗者）： 这个角色试图编写一道看似正常但包含“陷阱”的数学题。这个陷阱并非随机的胡言乱语，而是一个巧妙且听起来合理的提示，旨在将解题者引向错误的方向。这就像魔术师给你一个线索，它几乎合乎逻辑，但实际上却将你从真正的解法上引开。
解题者（推理者）： 这个角色试图解决数学题，即使捣蛋鬼已经添加了令人困惑的提示。解题者必须忽略“噪音”，找出底层的真实逻辑。

训练循环：一个自我强化的循环

在传统训练中，你或许只是给学生更多的练习题。而在 Seirênes 中，训练是一场持续的军备竞赛：

第一步： 捣蛋鬼审视一道题目，试图构思一个能迷惑解题者的误导性提示。
第二步： 解题者尝试在包含该误导性提示的情况下解题。
第三步： 如果解题者被误导，捣蛋鬼因其巧妙而获得“奖励”（分数）；如果解题者识破陷阱并正确解题，则解题者获得奖励。
第四步： 模型从中学习。解题者变得更擅长识破陷阱，而捣蛋鬼则变得更擅长构思新的、更难的陷阱。

由于它们是同一个模型在扮演双方，因此它们共同进化。随着解题者变得更聪明，捣蛋鬼也必须变得更聪明以跟上步伐，这反过来迫使解题者变得更加稳健。

为何这很重要

论文发现，标准的 AI 模型往往非常“脆弱”。它们能在干净的环境中完美解决数学问题，但如果你添加一句无关或略有误导性的话，它们的性能就会显著下降。它们倾向于遵循表面模式，而非深层逻辑。

Seirênes 通过迫使模型练习忽略干扰来解决这一问题。这就像训练一名武术家，不仅仅是与完美的对手对战，而是与那些试图绊倒你、分散你注意力或用假动作迷惑你的对手对战。

结果

研究人员在多个高难度的数学基准测试（如高级数学竞赛）中测试了这种方法。他们发现：

更强的推理能力： 使用 Seirênes 训练的模型在没有任何干扰的情况下，解决数学问题的能力显著提高。与标准训练方法相比，其提升了约 7 到 10 个百分点。
更好的防御能力： 这些模型更难被误导。当面对包含混淆信息的问题时，它们不像其他模型那样容易崩溃。
普遍的弱点： 有趣的是，由小型 40 亿参数模型训练出的“捣蛋鬼”，竟然能够迷惑世界上最强大的闭源 AI 模型（如 GPT 和 Gemini），将它们的准确率降低了约 4–5 个百分点。这证明了该方法发现了这些模型思维中真正的“盲点”。

核心结论

Seirênes 是一种通过教导 AI 应对混乱、充满干扰的世界来使其变得更聪明的方法。AI 不再仅仅是死记硬背干净问题的答案，而是学会在有人试图误导它时，深入挖掘真相。它将一种弱点（容易被分散注意力）转化为一种训练工具，从而构建出更强大、更可靠的推理者。

技术摘要：Seirênes

问题陈述

尽管具有可验证奖励的强化学习（RLVR）显著提升了大语言模型（LLMs）的推理能力，但这些模型表现出一种关键脆弱性：情境脆性。强大的推理模型在面对非理想化情境（其特征为冗余信息、旁支指令或偶然相关性）时往往失效。先前的证据表明，数学问题的结构重构可使准确率降低 27–31%，而无关检索可将性能从 96% 降至 65%。现有的自博弈框架通常侧重于任务生成或解法验证的协同进化，虽保持底层任务固定，却未能解决当任务周围的情境受到扰动时推理过程的脆弱性。

方法论：Seirênes 框架

作者提出了Seirênes，这是一种自博弈强化学习框架，将情境干扰从一种失效模式转化为内部训练信号。该系统采用参数共享的对抗性自博弈循环，其中单一策略扮演两个截然不同的角色：

对抗者（The Adversary）： 生成看似合理但具有误导性的情境提示（干扰项），旨在破坏推理轨迹。
推理者（The Reasoner）： 尝试通过从这些扰动中辨别核心任务并恢复底层逻辑，来解决原始问题。

核心机制

该框架基于单一共享参数策略（ $\pi_\theta$ ）运行，该策略由角色提示进行条件控制。对于每个训练问题 $q$ ，系统执行一个三阶段 rollout 束：

R1（清洁 Rollout）： 推理者在无干扰情况下求解 $q$ ，以建立基准成功率（ $\hat{p}(q)$ ）。
R2（对抗性提示生成）： 对抗者生成 $G_2$ 个提示候选项（ $h_k$ ），旨在自然且具有误导性。
R3（提示条件 Rollout）： 推理者尝试求解 $q \oplus h_k$ （即添加了提示的问题）。

训练信号与更新

该框架利用组相对策略优化（GRPO），并为每个角色采用独立的更新流以维持信用语义：

对抗者奖励： 对抗者根据其诱导的性能下降获得奖励。奖励定义为清洁成功率与提示条件成功率之间的差值： $\hat{R}_{Adv} = \hat{p}(q) - \hat{p}(q, h_k)$ 。这种表述自然地限制了奖励范围，并将学习重点集中在“甜蜜点”问题上，即模型能够解决清洁问题但在特定干扰下失效的问题。
推理者奖励： 推理者在清洁轨迹（以维持核心能力）和提示条件轨迹（以学习鲁棒性）上进行训练。
编排： 为了管理三阶段循环的计算成本，Seirênes 采用特定流的待处理队列和有界 FIFO 缓冲区。这解耦了更新流，允许来自清洁推理、对抗性生成和鲁棒性恢复的梯度异步处理而不相互干扰。此外，一种精通度感知采样机制降低了对模型在清洁和对抗条件下均已掌握的问题的优先级，以减少计算浪费。

主要贡献

对抗性协同进化框架： 引入 Seirênes，这是一个自博弈系统，其中单一模型协同进化为对抗者（生成误导性提示）和推理者（从中恢复），将情境脆性转化为自适应课程。
参数共享设计： 一种新颖的架构，使得仅通过角色条件区分，即可使用单一策略对对抗循环进行端到端训练，并结合特定角色的奖励信号和高效的编排策略。
实证验证： 广泛的实验表明，在七个数学推理基准测试以及从 40 亿到 300 亿参数不等的模型规模上，Seirênes 相比标准强化学习和合作提示基线均取得了持续的提升。

实验结果

该论文使用 Qwen2.5-7B、Qwen3-4B 和 Qwen3-30B 骨干网络，在七个基准测试（AIME 2024–2026、IMO-Bench、Minerva Math、OlympiadBench、HMMT 2026）上评估了 Seirênes。

性能提升： 对于 40 亿、70 亿和 300 亿参数的模型，Seirênes 相比指令微调基线分别实现了平均 +10.2、+9.1 和 +7.2 个百分点的提升。
鲁棒性： 使用 Seirênes 训练的模型在对抗结构扰动（Math-Perturb）和生成干扰项（GSMIR、MMLU-Perturb）方面表现出更优越的鲁棒性，其准确率下降幅度低于合作提示基线。
跨模型攻击能力： 由 40 亿参数 Seirênes 模型生成的对抗性提示显著降低了顶级闭源模型（GPT-5.1 和 Gemini 3 Flash）的性能，平均将其准确率降低了约 4–5 个百分点。这表明学习到的干扰针对的是根本性的推理缺陷，而非特定模型的怪癖。
消融研究：
- 预算控制： 提升并非仅仅源于计算量的增加；Seirênes 在同等挂钟时间内优于"rollout 匹配”的 DAPO 基线。
- 静态与进化： 静态提示（离线生成）随着模型学会绕过它们而效果停滞，而 Seirênes 中进化的对抗分布则保持了持续的压力和更高的最终准确率。

意义与主张

作者声称，Seirênes 代表了从通过静态管道优化模型向主动参与生成推动持续改进的挑战的转变。通过将情境干扰不仅视为压力测试，而且视为建设性的训练信号，该框架将模型能力锚定在稳健的底层推理之上，而非表面的模式匹配。

论文强调，Seirênes 仅修改输入情境，而保留底层任务、验证器和测试时接口不变。因此，生成的模型被优化为更强大的独立推理器，而非专门的鲁棒性模块。这项工作表明，看似合理但具有误导性的提示的“诱惑”（呼应希腊神话中的塞壬）可以被利用，迫使模型超越脆弱的推理捷径，从而提高其在充满噪声或干扰信息的现实场景中的韧性。