Instruction Stacking Collapse: A Benchmark and the Capability-Dependent Value of Prompt Compilation
本文引入了一个基准测试，旨在证明由于成对冲突的存在，大型语言模型的指令遵循性能会随着约束条件的累积而呈现非线性下降，并表明一种无需训练的提示词编译器能有效缓解这一问题，从而提升较弱模型的表现，而对较强模型的影响则微乎其微。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图给一个非常聪明但有点死板的机器人助手下达指令。你知道，如果你只要求它做一件事，比如“写一个故事”，它可能会做得非常出色。但如果你一次性堆叠了二十条不同的规则会怎样呢？“使用恰好50个单词”、“将其格式化为JSON文件”、“包含三个引用”、“不要使用字母‘e’”、“以摘要开头”以及“听起来像个海盗”。这就是**大语言模型（LLMs）**的世界。这些是支撑当今许多聊天机器人和工具背后的AI大脑。它们被训练用来遵循人类的指令，但它们并不完美。科学家们早就知道，当你给它们太多规则时，它们就会出错。但没有人真正知道它们会错得有多离谱，哪些规则会相互冲突，或者是否有一种方法可以在不重新训练机器人大脑的情况下修复这个问题。这篇论文深入研究了这堆混乱的规则，旨在看清机器人在哪里会感到困惑，以及我们如何能帮助它理清头绪。
指令堆叠崩溃
把给AI一个提示词（prompt）想象成递给厨师一张食谱卡。如果卡片上写着“做一个三明治”，厨师会很高兴。但想象一下，如果这张卡片上面突然贴了一张便签说“只能使用红色食材”，另一张说“不允许使用面包”，第三张说“必须盛在蓝色碗里”，第四张则在尖叫“不要用手！”如果你把二十张这样的冲突便签堆在食谱上，厨师不仅会感到困惑，他们往往会直接放弃其中的一半规则。他们可能会做一个三明治，但忘记了红色食材；他们可能会使用蓝色的碗，但忽略了“禁止使用面包”的规则。而可怕的是，厨师并不会告诉你他们失败了。他们只会端上来一个奇怪的三明治，然后说：“给你。”
这篇题为**《指令堆叠崩溃》（Instruction Stacking Collapse）**的论文，深入探讨了这种情况究竟是如何发生的。研究人员构建了一个巨大的游乐场，测试了三种顶尖AI模型（Claude Sonnet 4.6、GPT-5-mini 和 Gemini 2.5 Flash）处理不断增加的指令堆栈时的表现。他们从仅有一个规则开始，逐渐增加到一次处理多达二十个规则。
崩溃：当规则相互冲突时
结果非常戏剧化。当AI只有一个指令需要遵循时，它表现得像个明星，成功率约为96%。但随着规则堆叠到二十个，性能出现了崩塌。
- 最强的模型（Claude Sonnet）跌至约**60%**的成功率。
- 中间的模型（Gemini）跌至43%。
- 最弱的模型（GPT-5-mini）撞到了墙，仅能正确完成**20%**的指令。
这并非缓慢、平淡的下降，而是一种“崩溃”。研究人员发现，规则不仅仅是丢失了，它们还在积极地相互对抗。他们发现了一个“冲突图谱”。例如，如果你告诉AI“输出有效的JSON”（一种特定的计算机代码格式），同时又告诉它“使用Markdown标题”（如 ##标题），AI就会陷入僵局。它无法两者兼顾。如果它选择JSON，它就会默默违反Markdown规则；如果它选择Markdown，它就会破坏JSON规则。论文发现，“输出JSON”这一指令是最大的麻烦制造者，它与九个常见规则都存在冲突。
魔法修复方案：指令编译器
那么，解决方案仅仅是给AI更少的规则吗？不一定。研究人员问道：“我们能否在AI看到提示词之前对其进行修复，而无需教AI任何新知识？”
他们发明了一个名为**指令编译器（Instruction Compiler）*的工具。你可以把这个编译器想象成一个组织极其严密的助手，在你在把那叠乱七八糟的二十张便签交给厨师之前*，先看一眼。这个编译器做了三件事：
- 分组： 它把所有的“格式”规则放在一起，把所有的“长度”规则放在一起。
- 合并： 如果两条规则表达的是同一个意思，它会将它们合并成一个清晰的句子。
- 优先级排序： 如果两条规则发生冲突（比如“使用JSON”与“使用Markdown”），编译器会添加一条注释：“嘿，如果这两者冲突，请优先执行JSON的那一个。”
这个编译器运行一次，生成一份整洁、有序的清单，然后这份同样的清单会被用于AI回答的每一个问题。这就像是给厨师一张单一且完美编写的食谱卡，而不是一叠乱七八糟的便签。
惊喜：谁受益了？
这是故事中最有趣的部分。研究人员原本以为这张“干净的食谱卡”会对所有人产生同等的帮助。但事实并非如此。收益完全取决于“厨师”（AI模型）有多“聪明”。
- 对于较弱的模型（如 GPT-5-mini）： 编译器简直是救星。它将成功率提升了11个百分点。它将一个失败率高达80%的模型，变成了一个失败率仅为69%的模型。这意义重大，因为这些较弱的模型由于速度更快、成本更低，在现实世界中被使用得最为频繁。
- 对于最强的模型（如 Claude Sonnet）： 编译器的作用几乎可以忽略不计。事实上，它甚至略微降低了其性能（下降了约1.2个百分点）。
为什么呢？论文指出，最强的模型非常聪明，它们已经能够自行观察混乱的二十条规则，并理清其中的结构、冲突和优先级。它们不需要编译器来为它们整理笔记；事实上，额外的笔记只会干扰它们的思考。然而，较弱的模型会被这种混乱所淹没。它们需要编译器充当翻译官，将混沌转化为清晰、循序渐进的计划。
这对你意味着什么
这项研究告诉了我们两件大事。首先，当我们要求AI处理带有许多规则的复杂任务时，我们不能只是把一大堆文本扔给它并期望它能正常工作。规则会发生崩溃，而AI会默默地失败。其次，我们不需要通过制造更大的、更聪明的机器人来解决这个问题。有时候，解决方案仅仅是更好的组织方式。
论文证明，一个简单的、免费的重新组织指令的工具可以拯救较弱的AI模型，使它们在日常任务中变得更加可靠。它提醒我们，在AI的世界里，有时最聪明的事情并不是让机器人变得更聪明，而是让指令变得更清晰。至于那些超级聪明的机器人？它们可能更倾向于自己去搞定一切。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。