💻 computer science

Instruction fragility under hidden operational requirements

本文证明了自然语言指令在隐藏的操作需求面前是脆弱的，揭示了虽然通用提示词无法满足被遗漏的约束条件，但当这些约束条件被明确引导并执行时，性能会显著提升。

原作者： Chanho Park, Jinbae Gong, Minsu Kim, Gyeongho Gong, Woochan Lee, Yeachan Kwak, Seongim Choi

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Chanho Park, Jinbae Gong, Minsu Kim, Gyeongho Gong, Woochan Lee, Yeachan Kwak, Seongim Choi

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对该论文进行的解释。

核心问题：弄错事情的“精灵”

想象你拥有一个能实现愿望的神奇精灵（AI）。你说：“让我变得富有。”

精灵可能会有千种不同的理解方式：

它可能给你一份正当的工作。
它可能印制假钞。
它可能黑进一家银行。
它可能改变“财富”的定义，让你在“幸福感”上很富有，但在现金上很贫穷。

论文指出，当你给 AI 一个简短的指令时，你实际上是给了一份缺失项目的愿望清单。你可能认为你想要的是“合法的财富”，但你并没有说“不要非法活动”或“不要银行错误”。因为你没说，所以 AI 可以自由选择任何符合你所用词汇的“财富”版本。

作者称之为**“指令脆弱性”（Instruction Fragility）**。指令之所以脆弱，是因为当 AI 猜错了你隐藏的规则时，指令就会失效。

实验：“秘密规则”游戏

为了测试这一点，研究人员创建了一个包含 100 个不同任务的游戏（例如写邮件、总结报告或规划旅行）。

可见提示词（The Visible Prompt）： 这是用户看到并输入的（例如“总结这篇文章”）。
隐藏要求（The Hidden Requirements）： 这些是只有研究人员（评估者）知道的秘密规则。例如：“必须在 50 字以内”、“必须包含风险提示”、“必须是 JSON 格式”或“不得使用‘肯定’这个词”。

AI 必须既遵循可见提示词，又要完美猜中隐藏规则。如果它漏掉哪怕一个隐藏规则，该任务就算彻底失败。

结果：猜测 vs. 询问

研究人员测试了 AI 在不同条件下的表现，以观察它处理这些缺失规则的能力。

1. “单次尝试”猜测（成功率 2.7%）

类比： 你告诉厨师“给我做个三明治”，然后就走开了。你没说“不要洋葱”、“用酸面包”或“切成两半”。
结果： AI 仅在 2.7% 的情况下做对了。它几乎总是会漏掉隐藏规则。

2. “通用模板”（成功率 7.3%）

类比： 你给了厨师一份标准的“三明治订单表”，上面有“面包”和“肉类”的空格，但你仍然没有填写具体的“不要洋葱”这一项。
结果： 有所改善，但仍然大多是错的。通用的表格无法解决缺失具体细节的问题。

3. “虚假对话”（成功率 1.7%）

类比： 你问厨师：“你有特殊的规则吗？”厨师回答：“没有，做个三明治就行。”
结果： 这完全没有帮助。在没有获得正确信息的情况下进行交谈是毫无意义的。

4. “诚实的澄清”（成功率 8.0%）

类比： 你强迫厨师根据菜单提出具体问题（例如“您需要 JSON 格式吗？”），然后你回答“是的”。
结果： 依然很低。AI 很难搞清楚应该问哪些问题。它问了错误的问题，或者漏掉了关键问题。

5. “先知”（作弊条）（成功率 64.7%）

类比： 你在厨师开始烹饪之前，递给他一张列出了所有隐藏规则的作弊条。
结果： 成功率跃升至 64.7%。这证明了如果 AI 知道规则，它就能更好地遵循规则。

核心启示：
问题不在于 AI 很笨；问题在于它无法读懂你的心。当你隐藏规则时，AI 就会失败。当你明确告诉 AI 规则时，它就会成功。然而，即使有了作弊条，它仍然有大约 35% 的时间失败，这意味着即使在它知道规则的情况下，它有时也会忘记完美地执行。

为什么这很重要（“集合”理论）

论文使用了一个高级数学概念来简单解释这一点：

把你的指令看作是一个网。
这个网捕捉到了许多可能的结局（执行结果）。
你只想要 AI 捕捉到“好的”结局（即你真正想要的那些）。
如果你的网太宽（因为你没有指定规则），它也会捕捉到“坏的”结局（比如非法的转账或错误的格式）。
安全性（Safety） 意味着缩小这个网，直到它只捕捉到好的东西。除非你明确告诉 AI 要排除什么，否则你无法做到这一点。

失败模式总结

论文分析了 AI 失败的原因：

信息缺失： AI 不知道规则（这是最大的问题）。
提问错误： AI 问了错误的问题来寻找规则。
执行错误： 即使 AI 知道了规则，它有时也会忘记正确地写下来。

底线

如果你想让 AI 安全且正确地完成一项工作，你不能仅仅给它一个模糊的命令并寄希望于它能“领悟”。你必须明确说明隐藏的约束条件（如字数限制、格式和安全界限）。通用的提示词和通用的对话是不够的；你需要专门引导并确认缺失的规则。

技术摘要：隐藏操作需求导致的指令脆弱性

问题定义
本文探讨了由隐藏操作需求引起的指令脆弱性问题。在与大语言模型（LLM）的自然语言交互中，用户经常会遗漏那些仅为用户或评估者所知的约束条件（例如特定的输出格式、字数限制、风险标签或来源限制）。作者将其形式化为一种集合值语义（set-valued semantics），而非单一的预期结果：一条指令代表了一组可行的执行路径。在这种欠定（underspecification）情况下，安全性要求该集合内的每一个可行执行都必须落在用户的可接受集合内。如果指令允许哪怕一次不可接受的执行（例如，通过“让我变富有”这一指令生成欺诈手段），该指令便是不鲁棒的。核心问题在于，有限的指令无法在不传输所有潜在约束的情况下，唯一地确定一个预期的执行过程。

方法论
本研究结合了一个形式化理论框架与一个受控的实证基准测试。

形式化框架：
- 作者将指令 $s$ 定义为在背景理论 $B$ 下具有一个示义 $J_sK_B \subseteq H$ （即一组可行的历史记录）。
- 安全性由对抗性安全准则定义： $J_sK_B \subseteq A_{\tau, \eta}$ ，其中 $A_{\tau, \eta}$ 是可接受的历史记录集合（满足效用阈值和副作用预算）。
- 理论分析推导出了信息论下界（区分 $N$ 个意图需要 $\Omega(\log N)$ 个符号）、基数约束（有限指令无法表示无限执行空间中的任意子集）以及计算复杂性（安全合成映射到 NP 完全的集合覆盖问题）。
基准构建：
- 创建了一个包含 100 个任务的基准，涵盖 20 个主题领域（如政策备忘录、事件响应、财务笔记）。
- 每个任务由一个可见的用户提示词和一组隐藏需求（每个任务 2 到 5 个）组成，这些需求由评估者已知但未包含在提示词中。
- 需求分为三类：
  - 常规隐性需求： 假设、不确定性、权衡、风险水平。
  - 操作性需求： 字数限制、来源限制。
  - 私有格式需求： 有效的 JSON、精确的要点数量。
- “严格通过”（strict pass）被定义为满足任务中的每一个隐藏需求。
实验方案：
研究在九种条件下评估了三个模型（GPT-5.4, Claude Opus 4.7, Gemini 3.1 Pro）：
- 低信息量（Low-Information）： 单次提示（one-shot prompting）、通用模板，以及负控制澄清（强制提问并回答“无隐藏约束”）。
- 启发式（Elicitation）： 强制澄清（基于菜单式问题的真实回答）和验证（可见或内部清单）。
- 先知条件（Oracle Conditions）： 有预算的先知（揭示最多 4 个隐藏需求）和全量先知（揭示所有隐藏需求）。

关键结果
基于 2,700 个“任务–模型–条件”观测值的实证结果显示，通用交互与揭示真实约束之间存在显著差异：

通用交互的失效： 单次提示的严格通过率仅为 2.7%（300 次试验中仅 8 次）。通用模板（7.3%）和负控制澄清（1.7%）几乎没有带来改善。这表明，在缺乏任务相关信息的情况下，单纯的交互无法恢复遗漏的约束。
正确启发的价值： 揭示正确的隐藏需求会导致性能发生质的飞跃。全量先知条件的严格通过率达到了 64.7%。有预算的先知（部分揭示）达到了 54.0%。
启发失败： 即使模型被强制进行提问（强制澄清），其通过率也仅为 8.0%。强制澄清与有预算先知之间的差距（46.0 个百分点）表明，模型经常无法识别哪些潜在约束是相关的，它们要么问错了问题，要么遗漏了关键问题（例如，来源限制的召回率仅为 1.0%）。
执行失败： 即使在已知所有隐藏需求的全量先知条件下，通过率也未达到 100%（64.7%）。这表明存在第二种失败模式：已知约束合规性失败，即模型即使在明确提供约束的情况下，也无法执行完整的规范。
复合失效： 随着隐藏需求数量的增加，严格通过率呈乘法式下降。对于低信息量协议，当任务包含 3–5 个需求时，通过率几乎降至零。
需求特异性： 私有格式需求（JSON、要点计数）在没有披露的情况下几乎无法恢复（单次提示中为 0%），而常规需求（不确定性、避免绝对化表述）虽然可以部分推断，但仍不可靠。

意义与主张
本文声称识别了一种用于 AI 系统严格操作合规性的受控失败模式。其主要贡献包括：

形式化指令脆弱性： 提供了一个集合值示义框架，表明鲁棒性要求排除所有不可接受的执行，而不仅仅是包含一个好的执行。
诊断沟通失败： 结果表明，指令遵循的瓶颈不仅在于对话轮次的缺失，更在于信息启发的质量。通用的澄清是不够的，针对性的需求启发才是必要的。
重构模板与验证： 研究表明，提示词模板和通用验证清单仅能提供微小的增益。它们无法替代对特定任务的私有约束进行显式通信。
安全意义： 研究结果支持了以下设计原则：鲁棒的 AI 助手需要显式的需求状态启发、对这些约束的忠实集成，以及针对该状态的验证，而非仅仅依赖更长的提示词或通用的交互。

作者保持了审慎的范围，指出该基准是合成的且仅限文本，侧重于表面可检查的约束。他们并不声称测量长程智能体行为或主观质量，而是旨在隔离特定于遗漏操作需求的失败模式。结果表明，目前的尖端模型虽然能力强大，但并非全知全能，在没有显式通信的情况下，无法可靠地恢复遗漏的约束。