What Prompts Don't Say: Understanding and Managing Underspecification in LLM Prompts
本文分析了大语言模型中提示词未充分指定所导致的脆弱性，表明尽管模型常能推断出缺失的需求，但这会导致性能不稳定，且无法通过简单的规范说明或标准优化器可靠修复，从而促使作者提出需求感知优化机制以及一套用于主动需求管理的系统化流程。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是用简单语言和创意类比对论文《提示语未言明之处》的解释。
核心理念：“静默假设”问题
想象你正在聘请一位才华横溢但略显死板的私人助理（即人工智能）来为你规划一次旅行。你告诉他们：“为我规划一个 7 月的中国之行。”
你可能认为这已经给出了足够的指示。但你并没有说明：
- “查看天气。”
- “询问我是否需要签证。”
- “不要为我预订航班；只需提供建议。”
- “保持语气友好。”
这篇论文将这种情况称为“提示语未充分指定”（Prompt Underspecification）。 即你遗漏了重要规则，因为你假设人工智能会像人类一样“自然知晓”或“自行推断”。
研究人员发现，虽然人工智能有时能猜出这些缺失的规则，但这是一种赌博。有时它猜对了；有时它猜得离谱。而且，如果你更新了人工智能或稍微改变了措辞，那个“猜测”可能会完全消失，导致旅行计划失败（例如，建议你在季风季节徒步旅行，或在没有签证的情况下预订航班）。
他们发现的三个主要问题
研究人员进行了实验，观察当你遗漏规则时会发生什么。以下是他们发现的，使用了隐喻：
1. 人工智能是“善变的读心者”
- 发现： 人工智能正确推断缺失规则的概率约为 41%。但它的“读心”能力极其脆弱。
- 类比： 想象人工智能是一名参加考试的学生。如果你没有清晰地写出问题，学生可能会猜测答案。有时他们猜对了。但是，如果你更换了老师（人工智能模型）或改变了房间的光线（微小的提示语变化），同一个学生可能会突然猜出错误的答案。
- 结果： 当人工智能猜测一个未被告知的规则时，与明确告知规则的情况相比，它在人工智能获得更新后出错的概率是原来的两倍。
2. “大杂烩”错误
- 发现： 你可能会想：“好吧，为了保险起见，我会列出我能想到的每一条规则。”研究人员发现，这实际上会让情况变得更糟。
- 类比： 想象你试图让一只狗坐下。如果你同时说“坐下、别动、随行、别叫、别跳、看着我、别抓”，狗会感到困惑而什么都不做。
- 结果： 当你将提示语塞满过多指令（例如 19 条规则）时，人工智能的性能会显著下降（约 19%）。它感到不知所措，开始忽略规则，甚至包括你明确写下的那些。
3. “氛围检查”是不够的
- 发现： 开发人员通常通过查看几个样本来测试他们的提示语是否有效。研究人员表示，这就像只向窗外看 5 秒钟来检查天气。
- 类比： 如果你只检查几个样本，你可能会错过“边缘情况”（如签证要求或危险活动）。你以为人工智能完美无缺，但一旦用户问了一个略有不同的问题，人工智能就会失败，因为它从未被告知要处理这种特定场景。
解决方案：“智能”提示
这篇论文提出了两种主要的解决方法，而不是简单地写更多或更少的文本。
1. “策展人”方法（优化）
研究人员构建了一个系统，充当智能编辑，而不是编写冗长的规则列表。
- 它的作用： 它查看你的 20 条规则列表，并询问：“其中哪些是人工智能默认已经知道的？”以及“其中哪些实际上是在相互冲突？”
- 结果： 它创建了一个更短、更清晰的提示语。它移除了人工智能已经知道的规则（节省空间），并保留了关键规则。这使性能平均提高了约 5%，并将提示语缩短了 40%。
2. “持续监控”方法（流程）
研究人员认为，管理人工智能提示语不应该是“设置后就不管”的任务。它需要像维护汽车一样。
- 类比： 你不会只买一辆车就从不检查机油。你需要定期检查它。
- 流程：
- 发现： 在开始构建之前，系统地找出所有隐藏的规则（如“检查签证”）。
- 验证： 让一位“裁判”（另一位人工智能或人类）不断检查人工智能是否同时遵守了书面规则和隐藏规则。
- 监控： 当人工智能模型更新时（例如软件补丁），立即重新检查所有内容，以确保它没有忘记任何规则。
总结
该论文得出结论：你不能依赖人工智能可靠地“填补空白”。
- 不要假设人工智能知道你的意思。
- 不要只是把一大串规则扔给它；它会感到困惑。
- 要使用智能工具来挑选正确的规则进行指定，并持续监控人工智能，确保当情况发生变化时，它不会偏离轨道。
目标是从“猜测人工智能需要什么”转变为“构建一个可靠的系统，让人工智能每次都知道确切该做什么”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。