Implicit vs. Explicit Prompting Strategies for LVLMs in Referential Communication
本文通过证明模型在显式提示下能够成功，但在隐式提示下无法推断出对沟通效率的需求，从而解决了关于大型视觉语言模型（LVLMs）协调高效指代表达能力的矛盾研究结果，揭示了人类与人工智能沟通之间存在根本性的分歧。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
一个大问题：AI 伙伴学会说话变短了吗？
想象一下，你和一位朋友正在玩一个游戏：你需要从一堆由 18 个不同篮子组成的集合中，描述出一个特定的篮子，以便你的朋友能在他们自己的那一堆篮子中选出正确的一个。
在第一轮中，你可能会说：“那个带红色把手、侧面有花纹的。”
到了第五轮，如果你是人类，你和你的朋友很可能会发展出一种秘密的简写方式。你可能只会说：“红花那个，”或者甚至只是“红花”。你这样做是因为你知道你的朋友能明白你的意思。这被称为建立一种**“概念契约”（conceptual pact）**。
最近的两项研究观察了 AI 模型（特别是大型视觉语言模型，即 LVLMs）是否也能做到这一点。
- 研究 A 说：“不，AI 每次都会给出冗长、乏味的描述，即使在五轮之后也是如此。”
- 研究 B 说：“是的，AI 会随着时间的推移变得越来越简洁且聪明，就像人类一样！”
由 Peter Zeng 及其同事撰写的这篇论文提出了一个问题：为什么这两项研究得出了相反的结论？
侦探工作：关键在于指令
作者们设计了一个受控实验来解开这个谜团。他们意识到，这两项研究不仅仅是在测试不同的 AI 模型，它们还给了 AI 不同的指令（提示词/prompts）。
这就像是在给出租车司机指路：
- “隐性”提示（研究 A 的风格）： 司机被告知，“请高效且乐于助人地驾驶。”
- 结果： 司机在安全和规则方面驾驶得很高效，但他们仍然会走那条风景优美的长路，因为他们没被告知要抄近路。他们没有意识到“高效”在这个特定的游戏中意味着“最短路径”。
- “显性”提示（研究 B 的风格）： 司机被告知，“请高效驾驶。事实上，我希望你使用绝对最短的路线。在最初的几次转弯后，只需给我 1 到 2 个词的方向。”
- 结果： 司机立即开始走捷径并使用俚语，因为他们被明确要求这样做。
实验发现了什么
作者们使用两种类型的指令，让 AI 伙伴进行了这个篮子游戏。
1. 当给予“隐性”指令时（仅要求“简洁”）：
AI 模型表现得很准确，但它们非常啰嗦。它们每一次都坚持对篮子进行详细描述，就像研究 A 所发现的那样。它们并没有自发地意识到应该开始使用像“红花”这样的短代码。它们把每一轮都当作一次全新的对话，忽略了它们与伙伴建立的历史联系。
2. 当给予“显性”指令时（不仅要求“简洁”，还要求“稍后使用 1-2 个词”）：
AI 模型的行为发生了彻底的变化。它们开始缩短描述。到了第五轮，它们已经在使用非常短的短语了。它们看起来就像建立了“概念契约”。
陷阱在于：
作者指出，AI 与人类之间存在一个关键区别。
- 人类缩短言语是因为他们理解自己的伙伴，并感受到一种共同的连接。
- AI之所以缩短言语，仅仅是因为它被要求这么做。如果你撤销了“使用 1-2 个词”这个特定命令，AI 就会恢复到冗长的状态。它并不会自然地推断出“我们是伙伴，所以我们可以简洁一点”。
结论：是剧本，而非灵感
论文得出结论，之前研究结果的冲突并不是因为其中一个 AI 比另一个更聪明。这仅仅是因为其中一项研究给了 AI 一个强制其简短的“剧本”，而另一项研究则让它自己去摸索。
核心要点：
AI 可以模仿人类般的效率，但前提是你必须牵着它的手，并明确告诉它如何去做。它不会自然地产生社交直觉，从而说出：“嘿，我们之前做过这个，咱们可以简短点。”它是在执行命令，而不是在建立关系。
总结类比
想象两个正在参加考试的学生。
- 学生 A 被告知：“写一篇好的论文。”他们写了一篇 5 页的论文。
- 学生 B 被告知：“写一篇好的论文，但尽量控制在 100 字以内。”他们写了一个 90 字的摘要。
如果你问：“学生们能写短文吗？”，答案完全取决于你给了他们什么样的指令。这篇论文证明了 AI 并不是自然地选择变短，它之所以变短，仅仅是因为老师（提示词）要求它这么做。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。