💻 computer science

Predicting Performance of Symbolic and Prompt Programs with Examples

本文提出了 RAP，这是一个性能预测框架，它利用检索到的相似任务和提示程序来构建近似先验，通过区分大语言模型提示的弥散性能分布与符号程序的“全有或全无”特性，有效解决了大语言模型提示不可靠的问题。

原作者： Chengqi Zheng, Keya Hu, Shuzhi Liu, Tao Wu, Kevin Ellis, Yewen Pu

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Chengqi Zheng, Keya Hu, Shuzhi Liu, Tao Wu, Kevin Ellis, Yewen Pu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位招聘经理，正在决定是否让一名新员工胜任一项重要工作。你有两类候选人：“机器人”（一种符号程序，例如 Python 代码）和**“创意自由职业者”**（一种提示程序，即给 AI 下达的、用于执行某项任务的指令）。

这篇论文提出了一个简单的问题：如果两位候选人都通过了几项小型练习测试，我们能否信任他们胜任实际工作？

作者的回答是：对于“机器人”可以，但对于“自由职业者”则未必。 以下是原因，完全基于论文自身的逻辑和类比。

1. 两种“程序”

“机器人”（符号程序）： 这就像一台严格的计算器。如果你告诉它"2 + 2"，它必须回答"4"。它遵循僵化的规则。如果它通过了测试，那是因为它完美地遵循了规则。
“自由职业者”（提示程序）： 这就像请一位聪明但略显不可预测的艺术家去“画一只猫”。你给艺术家一个提示（指令）。艺术家可能画出一只很棒的猫、一只奇怪的猫，或者一只狗。即使他们通过了几项练习测试，也可能只是运气好，或者这些指令在现实世界中略有偏差。

2. “抛硬币”模型

作者设想，每次程序运行测试时，都像是在抛硬币。

正面： 程序答对了。
反面： 程序答错了。

目标是推测这枚硬币的“权重”如何。它是一枚公平硬币（50/50）？还是一枚总是正面朝上的“作弊”硬币（100% 成功）？

3. 重大发现：过去的“形状”

在查看测试结果之前，作者先考察了成千上万个此类程序的历史，以观察它们的“硬币权重”通常呈现何种形态。他们发现了两种截然不同的形状：

“机器人”的历史（非此即彼）：
想象所有“机器人”程序的一个直方图。它在两端呈现出两个高耸的尖峰。
- 尖峰 1： 大多数“机器人”是完美的（100% 成功）。
- 尖峰 2： 大多数“机器人”是失效的（0% 成功）。
- 中间地带： 几乎什么都没有。“机器人”很少表现得“还可以”。它们要么完美，要么彻底失败。
- 类比： 这就像电灯开关。它要么开，要么关。
“自由职业者”的历史（弥散的云团）：
想象所有“自由职业者”程序的一个直方图。它在中间呈现出一大片宽阔、平坦的云团。
- 有许多程序是“接近正确”的（70%、80%、90%）。
- 完全完美的极少，彻底失败的也极少。
- 类比： 这就像调光开关。大多数“自由职业者”都处于中间状态，亮度各不相同。

4. 为什么少数测试会误导你

这种差异解释了为什么少数几次通过测试对于“自由职业者”具有误导性，而对于“机器人”则令人放心。

对于“机器人”： 如果你看到它通过了 3 次测试，你就知道它很可能属于那些“完美”的尖峰之一。因为“中间地带”（即它可能只是“还可以”的区域）并不存在，所以通过几次测试就是它将持续工作的有力保证。
对于“自由职业者”： 如果你看到它通过了 3 次测试，它可能只是那些“接近正确”的程序中运气好的一次。因为存在大量“接近正确”的程序云团，通过几次测试并不能证明它将来会完美。它很容易在下一个测试中失败。

5. 解决方案：RAP（“相似度搜索”工具）

既然我们不能仅凭少数几次测试就信任“自由职业者”，作者便构建了一个名为RAP（检索近似先验，Retrieved Approximate Prior）的工具。

把 RAP 想象成一位聪明的图书管理员。

问题： 你有一个新的“自由职业者”提示和几次测试结果。你不知道它是否可靠。
图书馆： RAP 拥有一个庞大的图书馆，里面存储着以前尝试过的其他提示和任务。
搜索： RAP 查看你的新提示，问道：“图书馆里谁与你最相似？”它找到了其他解决了类似问题的提示。
预测： RAP 不是基于通用规则进行猜测，而是查看那些相似的提示在过往的表现。它为你的提示构建了一个定制的“猜测地图”（先验）。
更新： 随着你运行更多测试，RAP 会更新它的猜测。

结果： 与仅凭猜测或一次性查看整个图书馆相比，RAP 在预测“自由职业者”是否会成功方面要出色得多。它能适应你正在执行的具体任务类型。

总结

“机器人”（代码）是二元的： 它们要么完美，要么失效。少数几次测试就能证明它们是完美的。
“自由职业者”（提示）是可变动的： 它们通常只是“接近好”。少数几次测试并不能证明它们是可靠的。
RAP 通过查看相似的过往案例来做出更明智的猜测，从而解决了这一问题，评估新提示的效果，而不是仅仅依赖几次幸运的测试运行。

技术摘要：利用示例预测符号程序与提示程序的性能

问题陈述

大语言模型（LLM）提示法被广泛用于自然语言表述的任务，但其可靠性不足；一个提示可能通过少数测试用例，却在部署时不可预测地失败。相比之下，符号程序（如 Python、正则表达式）一旦通过少数代表性测试用例，通常被视为可信。本文探讨了一个根本性问题：为何少数通过的测试能认证符号程序，却无法认证提示程序？

作者将此问题框架化为性能预测问题：给定一个程序（符号程序或由 LLM 执行的提示程序）以及一小部分领域内执行结果（通过/失败），预测其在同一领域未见过任务上的真实性能（ $\theta$ ）。目标是推断程序成功率的后验分布，以确定其可部署性及置信水平。

方法论

1. 理论框架：抛硬币模型

作者采用贝叶斯方法，将每个程序在测试用例上的执行建模为独立的伯努利随机变量（即“抛硬币”）。

观测值（ $O$ ）： 一组 $a$ 次通过和 $b$ 次失败。
似然度： $P(O|\theta) \propto \theta^a (1-\theta)^b$ 。
后验分布： $P(\theta|O) \propto P(\theta) \cdot \theta^a (1-\theta)^b$ 。

关键洞察在于，虽然似然度易于计算，但性能先验 $P(\theta)$ 是未知的，且决定了后验分布。本文认为，符号程序与提示程序在可预测性上的差异完全源于其各自先验分布的形状。

2. 经验性能先验

为了理解这些先验，作者汇编了一个包含 700 个符号程序（sp）和 700 个提示程序（pp）的语料库，涵盖多个领域（如正则表达式、HumanEval、ARC、列表规则）。他们在 100 个采样实例上评估了每个程序，以估算其真实性能。

符号程序（sp）： 表现出“全有或全无”的先验。分布呈尖锐的双峰状，集中在 $\theta=0.0$ （完全错误）和 $\theta=1.0$ （完美）附近。
提示程序（pp）： 表现出弥散先验。在中间性能值上存在显著的质量分布，代表了那些可能靠运气通过少数测试但在其他测试中失败的“近乎正确”的程序。

推论： 对于符号程序，少数几次成功会迅速将后验质量推向 1.0，从而提供高置信度。对于提示程序，同样的成功仅能轻微移动弥散先验，使得真实性能依然不确定。

3. RAP（检索近似先验）

为了解决预测提示程序性能的困难，作者提出了RAP，这是一种基于检索的方法来构建特定任务的先验。

输入： 目标提示程序（ $p_{target}$ ）、一组观测到的领域内示例（ $D$ ）以及任务与提示语料库（ $M$ ）。
检索：
1. 相似任务： 利用文本嵌入，从语料库中检索与观测示例最相似的 top- $n$ 个任务。
2. 相似提示： 从语料库中检索 top- $K$ 个提示程序，这些程序在检索到的任务上表现出与 $p_{target}$ 相似的行为（在正确性上的一致性）。
先验构建： 利用检索到的提示在检索到的任务上的性能，构建 Beta 分布的混合体作为近似先验。
更新： 观测结果（ $O$ ）通过共轭性更新该混合先验。
细化： RAP 包含分量级先验强度调整。它根据检索分量与仅基于领域内观测推导出的先验之间的推土机距离（EMD），缩放每个 Beta 分量的参数。这防止了在领域内数据稀缺时，无关的语料库数据扭曲后验分布。

主要贡献

形式化： 本文在简单的抛硬币模型下，将性能预测形式化为贝叶斯推断，明确区分了似然度（观测数据）与先验（程序类型特征）。
经验发现： 提供了首个经验证据，表明符号程序具有“全有或全无”的性能先验，而提示程序具有在中间性能值上存在显著质量的弥散先验。这解释了两种程序类型之间的认证差距。
算法解决方案： 引入了RAP，这是一种基于检索的方法，能够从语料库构建近似的领域特定先验。RAP 的表现优于不使用语料库或天真地使用整个语料库的基线方法。

结果

作者在多种设置（领域内和领域外）下，使用**真实值处的概率密度（SC）和绝对误差（AE）**指标，对 60 个提示程序评估了 RAP。

优越性： RAP 在领域内和领域外设置中均 consistently 优于基线方法（无语料库和全语料库）。
领域内优势： 在语料库中使用领域内示例显著提高了预测精度，特别是在观测测试用例数量较少时。
收敛性： 随着领域内观测数量的增加，RAP 平滑地收敛到经验后验分布，确保似然项最终主导先验。
鲁棒性： 该方法在不同超参数选择、语料库大小和 LLM 骨干网络下均保持鲁棒。

意义与主张

本文声称是首个使用统一贝叶斯框架研究符号程序和提示程序性能预测的工作。其主要意义在于：

量化直觉： 提供了数学解释，说明为何少数测试用例能认证符号代码却无法认证提示，将其归因于两者性能先验的结构差异。
实际部署： 提供了一种方法（RAP），用于在仅有有限测试数据可用时估算部署提示程序的置信度。这对于非关键场景至关重要，在这些场景中 80% 的性能具有价值，但必须管理不确定性。
局限性： 作者谦逊地指出，RAP 是“第一道防线”。他们承认，随着语料库的增长，检索 top- $K$ 相关对会变得计算昂贵，建议未来的工作集中在主动查询和任务 - 提示语料库的低秩近似上。