Large Language Models Can Follow Instructions, But Not Many at Once: Phase Transitions in Compositional Constraint Satisfaction

=== 技术摘要：组合约束满足中的相变 ===

问题陈述

大语言模型（LLMs）正越来越多地被部署在需要同时遵循多个显式约束的场景中（例如：推理结构、安全边界、输出模式）。虽然模型能够熟练处理单个约束，但组合机制（compositional regime）——即多个约束必须同时成立的情况——仍缺乏充分的表征。关键的开放性问题包括：

1. 随着约束数量 ($k$) 的增加，性能下降的速度有多快？
2. 是否存在决定哪些约束首先失效的特定结构？
3. 这种崩溃是源于约束之间的两两干扰（pairwise interference），还是源于一种更简单的累积机制？
4. 是否可以通过推理时干预来缓解这种崩溃？

现有的基准测试（如 IFEval, FollowBench, RECAST）通常在低 $k$（$\le 5$）水平下进行评估，依赖于基于 LLM 的评判器（这在高 $k$ 机制中引入了循环论证），或使用固定的组合方式，从而无法进行轨迹分析。

方法论：约束饱和评估 (CSE)

作者引入了约束饱和评估 (Constraint Saturation Evaluation, CSE)，这是一种程序化生成的基准测试，旨在系统地改变同时存在的约束数量 ($k$)，范围从 1 到 12。

• 数据集规模： 涵盖 8 个家族中的 15 个模型，36 种不同的约束类型，跨越 8 个处理维度，共计 369,753 次约束检查。
• 确定性验证： 一个关键的设计选择是对于所有 36 种约束均使用完全确定性的、基于规则的验证器。这消除了 LLM 评判器的参与，确保测量结果不会受到所研究的组合退化现象的影响。
• 指标：
  • 严格 CSR (sCSR)： 指所有 $k$ 个约束同时得到满足（全有或全无）的探测比例。
  • 边际 CSR (mCSR)： 平均每个约束的满足率。
  • 理解-维持差距 ($\Delta$)： 模型连续部分合规得分与其二元通过率之间的差异，用于衡量理解约束与维持约束之间的差距。
  • 组合半衰期 ($k^*$)： sCSR 跌破 50% 时最小的 $k$ 值。
• 探测生成： 探测通过程序化生成，并配有兼容性检查器，以确保结构上的可满足性（避免逻辑上不可能的组合，除非是在专门测试优先级）。约束经过打乱处理以消除位置偏差。
• 干预测试： 研究评估了三种推理时干预措施：生成前规划（脚手架）、事后自我修正以及 Best-of-5 重试。

核心发现

1. 通过乘法衰减实现的预测性相变

性能下降遵循可预测的乘法模式。虽然单项约束通过率 (mCSR) 呈渐进式衰减，但同时满足所有约束的概率 (sCSR) 则发生剧烈崩溃。

• 崩溃现象： 在 $k=8$ 时，一个模型可能在单个约束上的通过率约为 41%，但同时满足全部八个约束的概率仅为 5.7%。
• 函数形式： 聚合衰减可以用 $mCSR(k) = 72.0\% \times 0.922^{k-1}$ 很好地描述。因此，当 $k=9$ 时，sCSR 跌破 4%；当 $k=11$ 时，跌破 2%。
• 阈值： 当同时处理 5–6 个约束时，可靠的指令遵循能力就会崩溃。对于最强的模型 (GPT-5.5)，探测级成功率在 $k=7$ 时跌破 50%；对于 15 个模型中的 12 个，这一现象发生在 $k \le 3$ 时。

2. 退化层级与理解-维持差距

约束的退化并不均衡。退化速率受理解-维持差距 ($\Delta$) 的支配，而非仅仅取决于内在难度。

• 结构性 vs. 词汇性： 结构性约束（如句子数量、段落结构）每增加一个约束，其基准能力的损失速度是词汇性约束（如禁用词）的 2.0 倍。
• 差距： 需要在生成过程中持续追踪的约束（如统计字数、全程避免某个字母）退化最快。二元决策或无需持续追踪的约束（如包含特定单词、生成 JSON 结构）基本不受影响。
• 免疫约束： 三种约束（缺漏字/Lipogram、禁用词、无重复二元语法）即使在 $k \ge 8$ 时仍能保持 $>80\%$ 的保留率。

3. 失败的近乎独立性

与假设组合难度源于两两干扰的观点相反，约束失败表现出近乎独立的特征。

• 机制： 失败通过共享输出特征产生弱相关性，从而实现乘法式的复合叠加，而非通过认知干扰。例如，如果模型生成的句子数量错误，那么所有依赖于句子数量的约束都会同时失败。
• 启示： 不存在可以减轻崩溃的“约束配对”机制。这种近乎乘法的结构使得衰减是可预测的，但也意味着唯一的改进手段是提高单项约束的可靠性，而非重新排列约束。

4. 推理时干预的有限效力

针对三种特定消融实验的研究发现，推理时几乎没有提升空间：

• 生成前规划： 完全没有移动阈值。
• 自我修正与重试： 仅将崩溃延迟了 1–2 个约束。Best-of-5 重试仅恢复了独立重采样所预测增益的五分之二左右，这表明模型在多次尝试中会重复相同的失败模式。
• 结论： 崩溃是由单项约束的可靠性驱动的。重构提示词或增加尝试次数只能带来有限且边际的收益。

5. 不可能情况下的牺牲优先级

在刻意设计的“不可能”探测任务中，模型表现出确定性的牺牲优先级：

1. 具体包含 > 抽象规避： 模型倾向于包含强制性单词，而非避免禁用字母。
2. 禁止 > 要求： 模型在“省略”（禁止）方面比“包含”（要求）更容易。
3. 自然结构 > 强加结构： 模型倾向于保留自然的文本模式，而非严格的单调或交替约束。

• 反转： 当被迫在两个约束之间做出选择时，模型往往会保留那个需要更高规划投入的约束（例如解决逻辑谜题），从而反转了标准的退化层级。

重要性与主张

本文声称确立了 LLM 组合退化的函数形式，并指出其本质是近乎独立的失败的乘法累积，而非复杂的两两干扰。

• 容量极限： 观察到的 5–6 个约束的上限与人类工作记忆限制（米勒的 7±2，考恩的 4±1）相一致，这表明可能存在一种与底层媒介无关的同步约束追踪容量极限。
• 部署启示： 假设退化是线性的系统将会遭遇意想不到的失败；一个在 3 个约束下可靠的系统，在 5 个约束下可能会显著失效。
• 评估不变性： 研究表明，由于循环论证的存在，基于 LLM 的评判器不足以进行高 $k$ 值的评估，从而强调了确定性验证的必要性。
• 机制洞察： “理解-维持差距”揭示了模型往往理解约束，但在负载下无法稳定执行；此外，“笨拙”的机械策略（如为了满足回文约束而复制句子）有时能优于显式的推理。

作者总结道，可靠的指令遵循从根本上受限于同时处理的约束数量，通过约束选择或提示工程无法找到捷径。未来的工作应研究是否可以通过推理时脚手架（如约束解码）将这一转换点向右移动。