🤖 AI

Bridging Auxiliary Constraints to Resolve Instruction Following in Large Reasoning Models

本文引入了约束关系图补全（Constraint Relationship Graph Completion, CRGC），这是一种通过构建指令知识图谱来识别并生成用于调和竞争性需求的“桥接约束”，从而在不损害推理能力的情况下将约束违背减少 39% 的新颖框架，旨在解决大型推理模型中的约束遵循问题。

原作者： Zhengyi Zhao, Shubo Zhang, Huimin Wang, Zezhong Wang, Yutian Zhao, Yefeng Zheng, Binyang Li, Yulan He, Kam-Fai Wong, Xian Wu

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhengyi Zhao, Shubo Zhang, Huimin Wang, Zezhong Wang, Yutian Zhao, Yefeng Zheng, Binyang Li, Yulan He, Kam-Fai Wong, Xian Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在要求一位非常聪明、有创意的助手为你写一个故事。你给它列出了一系列规则：“要幽默”、“字数控制在200字以内”、“不要使用字母‘e’”、“包含一只猫”。

在过去，即使是最聪明的助手（被称为大型推理模型）也经常在这些任务上栽跟头。它们可能会写出一个极其搞笑但长达500字的故事，或者写出一个短小却极其严肃的故事，又或者完全忘记了那只猫。它们会被试图同时处理这么多规则所压垮，尤其是当这些规则看起来相互冲突时（比如既要“幽默”又要“短小”）。

这篇论文将这种挣扎称为约束遵循问题（Constraint Adherence Problem）。这就像是要求一位厨师同时完成“辛辣”、“甜味”、“盛在碗里”以及“盛在盘子里”这些要求。厨师会感到困惑，最后端上来一堆乱七八糟的东西。

解决方案：构建“桥梁”地图

作者提出了一种与这些 AI 模型沟通的新方法，称为 CRGC（约束关系图补全）。与其只是把一堆规则丢给 AI，这种方法更像是在工作开始前扮演一名交通指挥员或施工经理。

以下是它的工作原理，我们用一个简单的类比来说明：

1. 蓝图（图谱）

首先，系统将你的请求分解为单个规则（约束）。然后，它绘制一张展示这些规则如何相互关联的地图（图谱）。

它们是否互相促进？（例如：“使用项目符号”有助于实现“保持简短”）。
它们是否相互冲突？（例如：“非常详细”对比“控制在200字以内”）。
它们是否被忽略了？（例如：AI 忘记了“将答案放在引号内”）。

2. 寻找交通拥堵点

系统查看这张地图并找出问题所在。它会识别出规则发生冲突的地方，或者 AI 容易因分心而忘记规则的地方。

3. 构建桥梁

这是神奇的部分。当系统看到两个相互冲突的规则（如“详细”与“短小”）时，它不会只是告诉 AI“再努力一点”。相反，它会发明一个桥梁约束（Bridge Constraint）。

把桥梁约束想象成一个翻译官或调解员。

冲突： “写一段详细的解释”对比“控制在200字以内”。
桥梁： 系统增加了一条有用的指令：“使用项目符号和加粗文本，以便在最小的空间内装入尽可能多的信息。”

这条新指令充当了一座桥梁。它为 AI 提供了一个具体的策略，使其能够在不破坏任何一个原始规则的前提下，同时满足这两个规则。它将冲突转化为了一个可解的谜题。

为什么这与众不同

以往的方法尝试通过以下方式解决问题：

更严格地训练 AI： 就像雇佣一位新厨师并教他好几个月。这既昂贵，又可能让厨师忘记如何烹饪其他菜肴。
要求 AI 事后检查自己的工作： 就像要求厨师做完菜、尝一下味道、意识到太长了，然后再重做一遍。这非常耗时，而且往往会导致“打地鼠”的问题——修复一个错误往往会产生另一个错误。

CRGC 的不同之处在于：

它不改变 AI 的大脑（无需重新训练）。
它不会等错误发生后再去处理，而是提前规划。
它利用 AI 自身的知识来自动创建这些“桥梁”。

结果

作者在三组不同的困难指令上测试了该方法。

结果： 与仅提供标准指令相比，AI 遵循规则的能力提升了 39%。
平衡性： 至关重要的是，AI 在处理其他任务时并没有变得“变笨”。通常情况下，当你教 AI 严格遵守规则时，它的通用推理能力会下降。但由于这种方法只是在指令中添加了有用的“桥梁”，而没有改变 AI 的核心训练，因此它在变得更擅长遵循规则的同时，依然保持了在数学和逻辑方面的聪明才智。

总结

想象一下你正在导演一部戏。

旧方法： 你告诉演员：“要幽默、要短小、不要绊倒。”他们会感到困惑、绊倒或者滔滔不绝。你不得不对着他们大喊让他们重来。
CRGC 方法： 在戏开演前，你审视剧本并意识到“幽默”和“短小”很难兼得。于是，你给演员一个具体的技巧：“讲一些带有笑点的短笑话。”这个“桥梁”帮助他们在第一次尝试时就能完美达成两个目标，而不需要重写整个剧本，也不需要开除演员。

论文表明，通过帮助 AI 模型理解其指令之间的联系与冲突，我们可以让它们变得更加可靠，而无需从头开始重建它们。

技术摘要：通过辅助约束解决大型推理模型中的指令遵循问题

问题定义：约束遵循问题 (CAP)

大型推理模型 (LRM) 在复杂任务中展现出了令人印象深刻的能力，但在可靠地同时遵循多项指令方面经常表现不佳。这种失败主要体现在两个方面：(1) 约束忽视 (Constraint Oversight)，即模型完全忽略了特定的要求；(2) 约束干扰 (Constraint Interference)，即模型无法平衡看似冲突的多项约束（例如，在严格的“200字限制”内提供“详细的技术解释”）。

作者将这一普遍挑战形式化为 约束遵循问题 (Constraint Adherence Problem, CAP)。虽然现有方法依赖于监督微调或基于人类反馈的强化学习 (RLHF) 等通用训练方法，但这些方法隐含地假设提高通用能力自然会导致更好的约束满足能力。论文指出，这种假设在实践中往往会失效，因为这些方法并未明确建模约束之间如何相互关联、支持或干扰。

方法论：约束关系图补全 (CRGC)

为了解决 CAP，论文引入了 约束关系图补全 (Constraint Relationship Graph Completion, CRGC)，该框架将指令表示为约束的结构化知识图谱。CRGC 利用模型自身的知识来生成“桥接约束 (bridge constraints)”——即用于调和冲突或脱节要求的辅助指令——且无需修改模型参数。

该框架通过三个连续组件运行：

1. 约束图构建

输入指令 $I$ 被分解为一组独立的约束 $C = \{C_1, C_2, \dots, C_n\}$ 和一个任务目标 $T$ 。系统构建一个加权有向图 $G_{init} = (V, E_{init}, W_{init})$ ，其中节点代表约束，边代表它们的相互影响。

边权重 ( $w_{ij}$ ): 从 $C_i$ 到 $C_j$ 的边权重量化了在满足 $C_i$ 时违反 $C_j$ 的“代价”或风险。该权重通过预期满足度的相对下降来计算：
$w_{ij} = \frac{E[S(C_j, y)] - E[S(C_j, y) | S(C_i, y) \geq \tau]}{E[S(C_j, y)]}$
其中 $S(C, y)$ 是满足得分（0 到 1）， $\tau$ 是阈值。负权重表示增强关系，正权重表示干扰关系。
优化: 应用 最小生成树 (Minimum Spanning Arborescence, MSA) 算法来寻找以任务节点为根的最优有向生成树。该树代表了能够使约束违反总风险最小化的生成路径。

2. 遵循挑战检测

对优化后的树进行分析，以识别仍存在挑战的有问题边：

干扰约束 (Interfering Constraints): 具有高正权重 ( $w_{ij} > \delta$ ) 的边，表明模型感知到约束之间存在冲突。
孤立约束 (Isolated Constraints): 具有接近零权重 ( $|w_{ij}| \leq \delta$ ) 的边，表明模型未能建立起脱节约束之间的认知联系，从而导致忽视。
这些边构成了候选桥接约束插入集。

3. 桥接约束发现

对于每个有问题的对 $(C_i, C_j)$ ，框架使用大语言模型生成一个 桥接约束 (Bridge Constraint) $B_{ij}$ 。

对于 干扰型 对，调和提示词 $R(C_i, C_j)$ 会生成一种解决冲突的策略（例如，“使用带有要点的结构化章节”以同时满足“简洁”和“详细”的要求）。
对于 孤立型 对，连接提示词 $C(C_i, C_j)$ 会建立一个显式的逻辑链接。
这些桥接约束被整合进原始指令中，形成增强后的指令 $I_{enhanced}$ ，从而引导模型在单次前向传播中满足所有约束。

核心贡献

CAP 的形式化表征： 论文定义了约束遵循问题，特别区分了作为 LRM 不同失败模式的“约束忽视”与“约束干扰”。
基于图的框架： 提出了一种将指令约束表示为关系图的新方法，利用 MSA 算法识别最优生成路径并检测遵循挑战。
桥接约束机制： 引入了“桥接约束”作为动态的、自然语言形式的辅助指令，在无需重新训练模型的情况下，从结构上调和冲突的需求。
实证验证： 通过综合实验证明，CRGC 在显著减少约束违反的同时，保留了模型的通用推理能力。

实验结果

作者在三个指令遵循基准测试 (IFEval, ComplexBench, FollowBench) 和三个通用推理基准测试 (MMLU, GSM8K, BIG-Bench Hard) 上评估了 CRGC。

约束满足度： 与标准提示相比，CRCR 减少了 39% 的约束违反；与思维链 (CoT) 提示相比，减少了 27.7%。在 ComplexBench 数据集上，对于 Qwen2.5-72B，它将约束满足率 (CSR) 提升了约 11.9%。
推理保留： 与通常会导致通用推理性能下降（约 6-7%）的专门指令微调方法不同，CRGC 在标准基准测试上维持甚至略微提升了推理能力。
效率： 虽然 CRGC 在初始轮次中由于图构建会产生较高的计算开销，但它极大地减少了迭代优化的需求。与 DeCRIM 等反应式方法相比，CRCR 通过主动而非被动地解决冲突，实现了 67% 的累计总 Token 消耗减少 以及 58% 的处理时间缩减。
冲突解决： CRCR 在解决截然相反的约束方面优于所有基线模型，与验证并修复 (verify-and-repair) 框架相比，其冲突解决率实现了高达 19.7% 的绝对提升。

意义与主张

论文声称 CRGC 提供了一种 非侵入式、自适应的解决方案 来应对约束遵循问题。其主要意义在于将范式从“通用能力增强”转向“结构化约束建模”。

主动 vs. 被动： 作者认为，CRGC 在生成之前映射约束关系的能力，使其能够绕过计算昂贵且易错的被动修正循环（即修复一个违规行为可能会破坏另一个行为）。
泛化性： 通过利用模型自身的知识来生成桥接约束，该方法避免了对预定义约束类别的依赖或额外的训练数据，使其适用于多样化且隐性的指令类型。
平衡性能： 该框架成功地将指令遵循与推理能力解耦，证明了在不牺牲底层推理能力的前提下，可以引导模型遵循复杂的、多约束的指令。

作者总结道，结构化约束建模代表了提高指令遵循能力的一个极具前景的方向，特别是在需要可靠地遵循多个潜在冲突要求的实际应用场景中。