💬 NLP

Probabilistic Programs of Thought

该论文提出了一种名为“概率思维程序”的新颖测试时框架，通过利用大语言模型生成程序时的令牌概率构建紧凑的概率程序，从而在不增加 GPU 计算成本的情况下从少量生成中高效采样出指数级数量的确定性程序，显著提升了代码生成、理解及数学推理任务的性能。

原作者： Poorva Garg, Renato Lui Geh, Daniel Israel, Todd Millstein, Kyle Richardson, Guy Van den Broeck

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Poorva Garg, Renato Lui Geh, Daniel Israel, Todd Millstein, Kyle Richardson, Guy Van den Broeck

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为**“概率思维程序”（Probabilistic Programs of Thought, 简称 PPoT）**的新方法。

为了让你轻松理解，我们可以把大型语言模型（LLM）想象成一位**“才华横溢但偶尔会犯迷糊的厨师”，而我们要他做的任务就是“写代码”**（比如解决数学题或生成图表）。

1. 现在的困境：昂贵的“试错法”

现状：
当你让这位厨师做一道复杂的菜（比如解一道数学题），他可能会第一次就写错（比如把数字搞错，或者公式用错）。
为了得到正确答案，通常的做法是：

让厨师做一遍。
尝一口（运行代码），发现是咸的（错了）。
重新叫厨师，让他再做一遍。
再尝一口，还是错的。
重复这个过程，直到尝到满意的为止。

问题：
每一次“叫厨师重新做”，都需要消耗大量的GPU 算力（就像厨师要重新开火、切菜、炒菜，非常费电、费时间、费钱）。如果你想让厨师多试几次（比如试 20 次），成本就会高得吓人。

2. PPoT 的妙招：把“菜谱”变成“概率云”

这篇论文提出了一个绝妙的想法：既然厨师已经做了一次，为什么还要让他重新做呢？我们可以直接修改他刚才写下的“菜谱”！

核心比喻：从“死板的菜谱”到“魔法菜谱”

传统做法（确定性程序）：
厨师写下的菜谱是固定的。

“放 200 克面粉，加 10 克糖。”
如果厨师把 200 写错了，或者把 10 写错了，这道菜就毁了。你必须让他重写整个菜谱。
PPoT 做法（概率思维程序）：
论文发现，厨师在写菜谱时，其实心里是有**“犹豫”**的。
比如，当他写"200"的时候，他的脑子里可能闪过"200"（概率 80%），但也闪过"20"（概率 15%）或者"2000"（概率 5%）。

PPoT 的做法是：
1. 抓住犹豫的瞬间： 我们不让厨师重写，而是把他写下的菜谱里的关键数字和符号（比如 200、10、+、-）变成**“魔法变量”**。
2. 注入概率： 我们告诉电脑：“这里的数字不要只写死，要保留厨师当时犹豫时的所有可能性。”
  - 原来的 200 变成了 X，而 X 有 80% 是 200，15% 是 20，5% 是 2000。
3. 低成本试错： 现在，我们不需要厨师重新下厨了。我们只需要在厨房里（CPU 上）快速模拟一下：
  - 如果 X 是 20，菜会怎样？
  - 如果 X 是 2000，菜会怎样？
  - 如果 X 是 200，菜会怎样？
这些模拟是在电脑内存里瞬间完成的，不需要再消耗昂贵的 GPU 算力，也不需要厨师重新开火。

3. 具体是怎么工作的？（三步走）

生成初稿（LLM 调用）：
让大模型（厨师）生成一次代码。这是唯一一次需要昂贵 GPU 算力的步骤。
- 例子：模型生成了 total = 200，但正确答案可能是 20。
提取“犹豫点”（编译成概率程序）：
分析这段代码，找出那些模型“拿不准”的地方（通常是数字、运算符）。把这些地方变成随机变量。
- 把 200 变成一个随机变量，它的分布基于模型当时生成 200 时的概率。
快速采样（CPU 推理）：
在这个“概率菜谱”里，快速生成成千上万种可能的变体。
- 电脑瞬间算出：如果这里是 20，结果是对的；如果这里是 200，结果是错的。
- 直接选出那个能算出正确答案的变体。

4. 为什么这很厉害？

省钱（算力）： 以前为了得到 100 个答案，需要调用模型 100 次（100 次 GPU 开销）。现在只需要调用模型 1 次，剩下的 99 次答案由电脑在几秒钟内“算”出来（几乎零 GPU 开销）。
高效： 就像你不用重新去菜市场买菜，直接在冰箱里把现有的食材重新搭配，就能做出新菜。
效果好： 实验证明，这种方法在数学题（GSM8k）、代码生成（Plot2Code）等任务上，准确率比传统方法提高了 2% 到 7%，而且用的“昂贵算力”少得多。

总结

PPoT 就像是给大模型装了一个“后悔药”和“平行宇宙模拟器”。

当模型第一次犯错时，我们不是让它“推倒重来”（浪费钱），而是利用它第一次生成时的“犹豫痕迹”，在电脑里快速模拟出“如果当时它选了另一个数字会怎样”的无数种平行宇宙，然后从中挑出那个正确的结果。

一句话概括： 用极低的成本，把一次“不完美”的生成，变成成千上万次“完美”的尝试。

论文技术总结：概率思维程序 (Probabilistic Programs of Thought, PPoT)

1. 研究背景与问题 (Problem)

大型语言模型 (LLM) 在代码生成、数学推理和结构化输出任务中表现卓越，通常采用“思维程序”（Programs of Thought, PoT）范式，即让模型生成代码来辅助推理。然而，现有的标准工作流程存在显著的效率瓶颈：

采样 - 执行 - 验证循环的代价高昂：为了获得正确的程序，通常需要多次采样（例如 Best-of-n 或束搜索）。每次采样都需要 LLM 进行一次完整的 GPU 前向传播（Generation）。
计算资源限制：随着采样数量 $n$ 的增加，所需的 GPU 计算量呈线性增长，对于大模型而言，即使少量的额外采样也变得极其昂贵。
信息浪费：传统的采样方法在生成一个具体 token 序列后，丢弃了模型在生成过程中输出的丰富概率分布信息（next-token probabilities），导致无法利用这些不确定性来低成本地生成更多候选方案。

核心问题：如何在**不增加 LLM 生成次数（GPU 计算成本）**的前提下，从单次 LLM 生成中高效地提取更多样化、更高质量的候选程序？

2. 方法论 (Methodology)

作者提出了概率思维程序 (Probabilistic Programs of Thought, PPoT)，这是一种在推理阶段（Test-time）的解码技术。其核心思想是将 LLM 生成的确定性程序转化为一个概率程序 (Probabilistic Program)，从而在 CPU 上以极低的成本进行概率推理和采样。

2.1 核心流程

LLM 生成与分布提取：
- LLM 根据提示词生成一个初始的确定性程序。
- 在生成过程中，记录每个 token 的下一 token 概率分布（logits/next-token probabilities）。
构建概率程序：
- 识别程序中的关键 token（如数字、算术运算符、比较符等）。
- 将这些 token 从“具体值”转化为随机变量 (Random Variables, RVs)。
- 这些随机变量的分布由 LLM 生成的对应 token 的概率分布参数化。
- 非关键 token 保持固定。
- 结果是一个紧凑的概率程序，它隐式地表示了指数级数量的确定性程序。
低成本采样与推理：
- 利用概率编程技术（如条件采样），从构建好的概率程序中采样新的程序变体。
- 关键点：此过程完全在 CPU 上进行，不需要再次调用 LLM 进行 GPU 前向传播。
- 可以通过 observe 操作（例如，排除掉原始 LLM 生成的那个错误程序）来引导采样，增加多样性。

2.2 理论保证

分布一致性：在假设“重采样的 token 与后续 token 条件独立”的前提下（Assumption 1），证明了从 PPoT 采样的经验分布几乎必然收敛于原始 LLM 诱导的程序分布 $P_{code}$ 。
计算效率：将原本需要 $k \times m$ 次 LLM 调用的任务，转化为 $k$ 次 LLM 调用 + $k \times m$ 次廉价的 CPU 采样。

2.3 实现细节

变量选择：为了计算可行性，主要将词汇表中作为单个 token 存在的数字（0-9）和运算符（+, -, *, /, //, ** 等）转化为随机变量。
重采样策略：为了获得多样性，采样时通常条件于“不生成原始 LLM 样本”，从而探索概率分布中的其他高概率区域。

3. 主要贡献 (Key Contributions)

提出 PPoT 框架：首次提出将 LLM 生成的代码直接解释为概率程序，利用概率编程范式进行推理，实现了从单次 LLM 生成中高效获取大量样本。
理论证明：在特定的独立性假设下，证明了 PPoT 采样的分布与原始 LLM 分布的一致性，确保了方法的分布有效性。
实证性能提升：在三个基准测试（GSM8k 数学推理、Plot2Code 代码生成、CRUXEval 结构化输出）上，使用 Qwen2.5 系列模型验证了 PPoT 能显著提升 Pass@k 性能，且无需额外 GPU 成本。
计算效率量化：提供了定量的证据，表明 PPoT 带来的性能提升相当于增加了数十倍的 LLM 采样次数，但实际计算开销几乎为零。

4. 实验结果 (Results)

实验在 Qwen2.5 Coder (0.5B, 3B, 7B) 和 Qwen2.5 VL 模型上进行，对比了不同数量的 LLM 采样 ( $k$ ) 和每个 LLM 采样对应的 PPoT 采样数 ( $m$ )。

数学推理 (GSM8k)：
- 在保持 LLM 采样数 $k$ 不变的情况下，增加 $m=5$ 个 PPoT 采样，准确率提升了 2% - 7%。
- 效率对比：使用 8 个 LLM 采样 + PPoT 即可达到仅用 20 个 LLM 采样（无 PPoT）的准确率水平。
- 对于 7B 模型，Pass@20 准确率从 82.71% 提升至 93.02%（当 $k=5, m=5$ 时）。
代码生成 (Plot2Code)：
- 在生成 matplotlib 绘图代码任务中，PPoT 能修正 LLM 生成的运行时错误（如维度不匹配、图大小错误）。
- 文本匹配分数（Text Match Score）提升了 0.5% - 6%。
结构化输出 (CRUXEval)：
- 在程序逆推任务中，通过子集采样（Subset Sampling）技术，PPoT 提升了 3% - 7% 的准确率。
计算成本：
- 图 5 和图 8 显示，增加 PPoT 采样（ $m$ 从 0 增加到 20）对总运行时间的影响微乎其微，因为编译和采样过程极快，主要耗时仍在于最初的 LLM 生成。
- 等效采样数：对于 $k=20$ 的 LLM 采样，每个样本增加 $m=20$ 个 PPoT 采样，其效果相当于额外增加了约 39 个 LLM 采样。

5. 意义与展望 (Significance)

突破算力瓶颈：PPoT 提供了一种极具成本效益的方法，能够在不增加昂贵 GPU 推理成本的情况下，显著提升 LLM 在复杂推理和代码生成任务中的表现。这使得在资源受限的场景下使用大模型进行高可靠性任务成为可能。
新的推理范式：将 LLM 的生成过程视为概率程序，为理解 LLM 的不确定性提供了一种新的视角。它不仅仅是“采样”，而是对模型内部概率分布的显式利用和推理。
通用性：该方法不仅限于代码，适用于任何需要结构化输出且可验证的任务（如数学公式、JSON 数据等）。
未来方向：作者计划扩展随机变量的范围，从简单的 token 扩展到子表达式和控制流结构，以构建更丰富的概率程序，并探索用于期望计算和条件查询等更复杂的概率查询任务。

总结：PPoT 通过“一次生成，多次推理”的策略，巧妙地将 LLM 的生成概率转化为可计算的随机变量，极大地提高了测试时推理的效率和效果，是 LLM 推理优化领域的一项重要进展。