Prompt Robustness Is Task-Dependent: Comparing Objective and Belief-Style Questions in LLM Evaluation
本文表明，大语言模型对提示词变化的鲁棒性显著取决于任务类型，即模型在回答客观问题与涉及价值观和信仰的主观询问时，表现出不同程度的稳定性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图弄清楚一个非常聪明、但有点紧张的机器人是如何看待这个世界的。你问了它一个问题，它给了你一个答案。你假设这个答案是其“信念”的真实反映。
这篇论文就像是一次现实检查。研究人员提出了这样一个问题：“我们如何提问是否重要？”
他们发现答案是肯定的：非常重要。事实上，提问的方式可以完全改变机器人的回答，而且这种情况在涉及观点（如政治或价值观）时，比涉及事实（如数学或科学）时发生得更为频繁。
以下是利用简单类比对他们研究结果的拆解：
1. 两种类型的问题
研究人员用两种不同的“测试”来测试机器人：
- 事实测试（客观型）： 这些就像是一场数学测验。“2 + 2 等于多少？”只有一个正确答案（4）。如果机器人说“5”，那它只是错了。
- 观点测试（主观型）： 这些就像是一份性格调查。“你更喜欢夏天还是冬天？”没有单一的标准答案。机器人应该告诉你它“感觉”如何。
2. “变幻形态”的提示词
研究人员并没有只问一次问题。他们以许多种不同的方式询问了完全相同的问题，就像魔术师稍微改变戏法，看看兔子是否还会出现一样。
- 他们改变了措辞（使用同义词）。
- 他们改变了格式（加粗单词、改变间距）。
- 他们打乱了选项的顺序（把“夏天”放在“冬天”之前）。
- 他们甚至添加了微小的拼写错误，以观察机器人是否会因此感到困惑。
3. 重大发现：观点是“摇摆不定”的
主要结果是，机器人在回答观点问题时，比回答事实问题时缺乏稳定性。
- 事实测试： 如果你以十种不同的方式问“2+2等于多少？”，机器人几乎总是回答“4”。它就像一块岩石，难以撼动。
- 观点测试： 如果你以十种不同的方式问“你喜欢夏天吗？”，机器人可能会对其中一个版本回答“是”，而对另一个版本回答“否”。它就像一团果冻；它会摇摆，并根据你戳它的方式改变形状。
4. “座位切换”效应
研究人员发现了一个让机器人最容易“失控”的具体技巧：改变答案的顺序。
想象一个多选题，答案按 A、B、C、D 的顺序排列。
- 如果你交换顺序，变成 D、C、B、A，即使单词本身没变，机器人也经常会选择不同的字母。
- 这在观点问题中发生的频率高得多。这似乎是在暗示机器人当时在想：“哦，答案现在排在最前面了？那我猜这就是他们想让我选的那一个！” 而不是在真正思考内容本身。
5. 为什么这很重要
论文警告我们，不能将机器人的单次回答视为其“信念”的证据。
- 类比： 想象你问一位朋友：“你喜欢披萨吗？”他们说“喜欢”。于是你把这记录为关于他们的一个事实。但随后你再次询问同一个问题，只不过这次你在菜单上把“披萨”列在了最后一项，而他们却说“不喜欢”。
- 结论： 你不能仅凭一次对话就断定你的朋友“喜欢披萨”或“不喜欢披萨”。你必须通过多种不同的方式询问他们，以观察他们的回答是否保持一致。
核心总结
论文得出结论：如果我们想要了解人工智能对政治或价值观的“信念”，我们不能仅仅问它一个问题并将其答案视为真理。我们必须用许多不同版本的提问来测试它。如果机器人仅仅因为我们移动了词语的位置就改变了主意，那么我们其实并不了解它到底相信什么——我们只了解它对提问方式的反应。
简而言之： 机器人的“个性”是脆弱的。它会根据问题的形状而改变，尤其是在问题涉及感受而非事实的时候。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。