💬 NLP

BayesPrompt: human readable prompts that make sense

本文介绍了 BayesPrompt，这是一个贝叶斯后验推理框架，它通过将提示词优化重新构建为高效生成人类可读的提示词，在克服传统方法不可解释性的同时，证明了其在真实世界数据集上的卓越性能。

原作者： Franky Kevin Nando Tezoh, Ali Hussaini Umar, Alessandro Laio, Guido Sanguinetti, Riccardo Rende

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Franky Kevin Nando Tezoh, Ali Hussaini Umar, Alessandro Laio, Guido Sanguinetti, Riccardo Rende

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的格局中，出现了一种奇特的现象：计算机正在学习一种人类无法理解的语言。作为现代聊天机器人和写作助手背后的强大引擎，大型语言模型展示了一种被称为“上下文学习”（in-context learning）的卓越能力。这意味着它们只需通过阅读文本框中提供的几个示例，就能解决从翻译语言到解决数学问题的新任务，而无需重新训练或更改其内部设置。解锁这一能力的关键在于“提示词”（prompt），即输入给机器的特定指令或示例集。长期以来，研究人员一直认为，获得完美答案的最佳方式是构建一个听起来自然且语法正确的提示词，就像人类书写那样。然而，一个令人惊讶的发现颠覆了这一假设：对于这些机器来说，最有效的提示词往往是短小的、看似毫无意义的单词字符串，在人类读者看来如同乱码。这些“伪提示词”（pseudoprompts）在引导模型得出正确答案方面，往往比人类能构思出的任何句子都更加高效，从而在机器所能理解的内容与人类理解的内容之间创造了一种奇怪的鸿沟。

这种脱节为任何试图可靠使用这些工具的人带来了重大挑战。如果与计算机交流的最佳方式是通过一段随机标记（tokens）组成的编码，那么人们将很难信任、调试或理解机器为何会以某种方式运行。来自意大利高级研究学院和纽约弗拉托恩研究所的研究人员现在提出了一种新的方法来弥补这一差距。他们认为，我们之所以得到这些难以理解的提示词，是因为用于寻找它们的数学问题是不完整的。通过将寻找提示词的过程不仅视为寻找最高分的博弈，而是将其视为一个基于概率的推理过程，他们开发出了一种既高效又具备完全可读性的提示词生成方法。他们的工作表明，与这些机器交谈的秘诀不在于放弃人类语言，而在于使用一种不同的统计思维来找到合适的词汇。

研究人员首先研究了为什么现有方法无法产生可读的提示词。目前的各种技术通常表现得像一名徒步旅行者，试图通过只观察脚下地面来寻找广阔且大雾弥漫的山谷中的最低点。它们搜索一个单词序列，以最小化模型对答案的“困惑度”（perplexity）。虽然这在寻找解决方案方面效果很好，但它忽略了人类语言遵循特定的规则和模式这一事实。如果没有一个引导程序将搜索维持在自然语言的范畴内，算法就会漂移到奇异的领域，组装出机器喜爱但人类无法解读的标记。作者意识到，要解决这个问题，他们需要在搜索过程中加入一个“先验”（prior），即一种对听起来像正常英语的句子的统计偏好。这确保了算法不仅是在寻找任何解决方案，而且是在寻找一个尊重人类语言结构的解决方案。

为了解决这个问题，团队使用一种被称为“贝叶斯推断”（Bayesian inference）的框架重新定义了整个问题。他们不再仅仅是搜寻单一的最佳提示词，而是将任务视为从广阔的可能性景观中进行采样的过程。想象一下尝试寻找一条穿越复杂城市的最佳路线；与其只是在地图上挑选最短路径并寄希望于它有效，不如探索许多不同的路线，权衡每条路径的正确可能性与其自然程度。研究人员使用了一种称为“马尔可夫链蒙特卡洛”（Markov Chain Monte Carlo）的高级采样技术来探索可能的提问空间。这种方法允许计算机对句子进行微小的、随机的修改——更换一个词、增加一个短语或删除一个标记——然后根据两个因素决定是否保留该修改：一是新句子引导向正确答案的效果如何，二是句子的流畅度和自然度如何。

他们成功的关键部分在于如何开始搜索。他们没有从随机的单词堆砌开始（这会导致将其转化为连贯句子所需的时间过长），而是使用了一个“反向语言模型”。这是一个经过特殊训练的计算机程序，旨在逆向阅读句子。通过将答案喂给模型并要求它反向生成问题，他们可以创建一个已经具备语法正确性的高质量起点。这种“热启动”（warm start）为采样过程提供了领先优势，确保计算机在开始详细优化之前，已经在处理一个合理的句子。研究人员在大型开放领域问答数据集上测试了这种方法，并将他们的法与产生那些无意义伪提示词的标准技术进行了对比。

结果显示出其新方法的明显且独特的优势。传统的优化技术产生的提示词要么对答案非常有信心但完全不可读，要么虽然流畅但无效；而研究人员的新方法则实现了真正的平衡。由其算法生成的提示词在获取正确答案方面的效率几乎与最好的机器生成提示词持平，同时它们对人类而言仍然是完全可理解的。当研究人员评估问题的质量时，他们的方法在语法和合理性方面始终优于其他方法。传统方法经常产生看起来像是不同语言和格式符号混合在一起的文本字符串，而新方法产生的句子则保留了原始人类问题的结构和逻辑。

研究还强调了搜索起始方式的选择至关重要。当研究人员将这种“热启动”技术应用于旧有的标准方法时，这些方法在流畅度方面有所提升，但仍无法达到新采样方法所实现的平衡。旧方法往往要么过度优化以追求答案而牺牲了可读性，要么根本无法找到答案。相比之下，新方法始终能找到处于“甜点区”的提示词——既是一个对人类有意义的好问题，也是一个对机器完美的指令。这表明，问题不仅仅在于缺乏计算能力或更好的算法，而在于对如何构建提示词搜索过程存在根本性的误解。

通过证明有效的提示词不必是晦涩难懂的，这项工作为更透明、更可靠的人工智能指明了道路。它表明，这些最高效提示词所使用的奇异、异类语言并不是这些模型的必然特征，而是我们向它们学习的方式所带来的副作用。研究人员的方法证明，设计出既在统计学上对机器最优，又对人类清晰易懂的指令是完全可能的。这为未来我们可以使用自然语言与这些强大的工具进行交互打开了大门，让我们确信所给出的指令既能被机器理解，也能被我们理解。这项工作并不声称解决了人工智能的所有问题，但它提供了一个具体且经过测试的方法，使人类与机器之间的交互变得更加连贯和可靠。

技术摘要：“BAYESPROMPT：具有人类可读性且符合逻辑的提示词”

问题陈述
本文探讨了如何重建能够诱导大语言模型（LLM）产生特定期望答案的提示词（问题）这一挑战。虽然上下文学习（ICL）允许 LLM 在无需参数更新的情况下完成任务，但通过优化提示词以最大化目标答案似然度的过程往往会导致一种病态现象：生成“伪提示词”（pseudoprompts）。这些序列是短小的、无意义的标记序列，虽然能实现极高的置信度（低困惑度）来获得目标输出，但缺乏人类可解释性、流畅度或语法结构。作者认为，这一问题的根源在于，当将提示词优化问题仅表述为最小化目标答案的负对数似然 $-\log P(a|q)$ 时，该问题本身是一个欠定问题（ill-posed problem），因为它忽略了提示词本身的先验概率。

方法论
作者提出了 BayesPrompt，一个将提示词优化重新定义为贝叶斯后验推理问题的框架。

贝叶斯重新表述：
不再仅仅最小化给定问题下答案的负对数似然，而是将目标重新表述为包含问题先验分布 $P(q)$ 的目标。新的损失函数为：
$L(q) = -\log P(a|q) - \log P(q)$
这里， $P(a|q)$ 代表模型对答案的置信度，而 $P(q)$ 作为正则项，确保生成的提示词具有流畅性和语言自然度。作者断言，忽略 $-\log P(q)$ 项是导致伪提示词现象的根源。
马尔可夫链蒙特卡洛（MCMC）采样：
为了解决这一优化问题，作者采用 Metropolis-Hastings (MH) 算法从后验分布 $P(q|a)$ 中进行采样。
- 提议分布（Proposal Distribution）： 该算法使用离散编辑操作（替换、插入和删除）在提示词状态之间进行转换。至关重要的是，提议分布 $Q(q'|q)$ 是由标准前向语言模型（左向右上下文）或反向语言模型（右向左上下文）驱动的。
- 反向语言模型： 该方法的一个核心组成部分是在反向排列的标记序列上进行自回归训练的模型。该模型学习到了与标准前向模型不同的注意力模式和因果动力学（ $P(q_{rev})$ ）。
- 热启动初始化（Warm-Start Initialization）： 为了避免从随机起点开始探索巨大的、非凸的标记空间所带来的高昂计算成本，MCMC 链使用由微调后的反向模型生成的提问进行初始化。这确保了链条从一个具有语言流畅性的问题开始。
基准测试（Baselines）：
所提方法与最先进的优化技术进行了对比，包括：
- GCG (Greedy Coordinate Gradient)： 一种离散标记搜索方法。
- GCG-Reg： 带有正则化的 GCG。
- GD-PEZ (Gradient Descent - Hard prompts made EaZy)： 一种在连续嵌入优化与词表投影之间交替进行的方法。

核心贡献

理论洞察： 本文证明了伪提示词现象是由于忽略了提示词优化目标中的先验项而直接导致的。通过引入 $P(q)$ ，优化框架被引导向流畅且人类可读的提示词。
算法创新： 作者提出了一种高效的基于 MCMC 的算法，通过采样在低困惑度（高答案置信度）和高流畅度之间取得平衡的提示词。
反向模型的效用： 研究表明，反向语言模型可以作为贝叶斯采样和优化方法的有效热启动初始化器，显著提升了提示词重建的质量。
实证验证： 该框架在 NQ-OPEN 数据集上通过 Llama-3.2-1B-Instruct 模型进行了验证，在多个指标上均优于现有技术。

结果
评估侧重于两个主要指标：置信度（通过 $-\log P(a|q)$ 衡量）和流畅度（通过 $-\log P(q)$ 衡量）。

分布分析：
- GCG（未正则化）生成的提示词具有极高的置信度，但流畅度极低，证实了伪提示词的存在。
- GCG-Reg 和 GD-PEZ 在随机初始化下显示出接近真实值的置信度，但在流畅度方面仍显著较低。
- MCMC 在两个指标上的分布都最接近真实值（ground truth）。它保持了仅略低于真实值的置信度水平，同时实现了最高的流畅度，有效地避免了置信度与可读性之间的权衡。
初始化的影响：
- 热启动初始化（使用反向模型）显著提高了所有基于优化的基准方法（GCG、GCG-Reg、GD-PEZ）的流畅度。
- 然而，即使使用了热启动，基于优化的方法通常也无法在置信度和流畅度上同时达到 MCMC 的综合表现。只有带有热启动的 GCG-Reg 接近 MCMC 的性能，但 MCMC 仍然更优。
定性与 LLM-Judge 评估：
- 定性示例显示，基于优化的提示词往往由乱码和混合语言文本组成，而 MCMC 采样的提示词保留了结构化的语言特征。
- 在 LLM-judge 评估（模拟 Chatbot Arena）中，针对“合理性”和“语法正确性”进行评分。MCMC 表现显著优于所有基准方法，在与 GCG-Reg 的 371 次合理性对比中赢得了 329 次（后者仅赢得 6 次），并且其语法得分集中在 0.9–1.0 附近，而基准方法的得分仅在 0.4–0.5 之间。

意义与主张
本文主张，提示词优化应被视为从后验分布中进行采样的问题，而非纯粹的最小化问题。这项工作的意义在于：

解决权衡问题： 它提供了一种能够同时实现高任务置信度和人类流畅度的方案，而现有方法无法同时实现这两者。
可解释性： 它生成的提示词是人类可读且可信的，这对于理解逆向问题中 LLM 的运行模态以及实际应用至关重要。
概率化表述： 与寻找单一点估计的优化方法不同，MCMC 方法允许针对给定的目标答案采样一个问题的概率分布，这与语言模型的概率本质相一致。

作者指出，虽然为了计算效率，其分析是在相对较小的模型（Llama-3.2-1B）上进行的，但该框架旨在无需修改即可移植到更大的模型中。他们还建议未来的研究方向包括替代采样方案（如 Sequential Monte Carlo）以及将提示词反转扩展到像 JEPA 这样的世界模型。

技术摘要：“BAYESPROMPT：具有人类可读性且符合逻辑的提示词”

类似论文