💬 NLP

Using Probabilistic Programs to Train Inductive Reasoning in Large Language Models

本文介绍了基于程序的后验训练（Program-based Posterior Training, PPT），这是一种利用概率程序生成多样化的开放世界场景和分布软标签的新型微调方法，从而显著增强了大语言模型进行不确定归纳推理的能力并使其与人类判断保持一致。

原作者： Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一位非常聪明、博学多才的学生（一个大语言模型，或称 LLM）如何对现实世界进行推测。

目前，这些学生非常擅长演绎推理（Deductive Reasoning）。这就像解数学题或编写代码：有一套明确的规则，只要遵循规则，就能得到唯一的、100% 正确的答案。如果他们错了，那就是明显的错误。

然而，现实世界很少如此整洁。我们日常的大部分思考其实是归纳推理（Inductive Reasoning）。这就像是一名侦探，通过一些零散的线索来推断发生了什么。

例子： 你看到一位朋友迟到了，看起来很疲惫，并且一直在看表。你猜测他睡过头了。但也许他是因为堵车？也许他是错过了公交车？这里并没有一个“正确”的答案；而是一个可能性的范围，每种可能性都有不同的发生概率。

问题在于，标准的训练方法很难处理这种情况。很难找到一个庞大的“侦探案例库”，其中的答案是由一位知道每个结果精确概率的老师来评分的。让其他 AI 模型来为这些案例评分是有风险的，因为它们可能会仅仅复制自身的偏见。

解决方案：“模拟游戏”（基于程序的后验训练）

这篇论文的作者想出了一个巧妙的方法来训练 AI 处理不确定性。他们称之为基于程序的后验训练（Program-based Posterior Training，简称 PPT）。

你可以把它想象成一个三步走的视频游戏制作流水线：

故事讲述者（LL LLM）： 首先，他们要求一个强大的 AI 发明许多荒诞、开放世界的场景。
- 例子： “想象一场力量举锦标赛，运动员的表现取决于他们的先天力量、当天的专注度以及睡眠量。”
数学家（概率程序）： 接着，他们要求 AI 将那个故事转化为一段严格的数学代码（一个“概率程序”）。这段代码充当了一个完美的模拟引擎。它不仅仅是在猜测，而是在根据故事中的规则计算出每种结果的精确数学概率。
- 类比： 如果故事是一个食谱，那么这一步就是编写一段计算机程序，精确地模拟出蛋糕会如何升高、密度如何、以及根据配料有多大的概率被烧焦。
老师（训练数据）： 最后，他们运行该模拟过程数千次。与其给学生一个单一的答案（例如“贾马尔会赢”），模拟器会给出一个答案的分布（例如“贾马尔有 60% 的概率获胜，30% 的概率平局，以及 10% 的概率失败”）。

随后，AI 学生就在这数百万个模拟场景中接受训练。它学习的不再是死记硬背一个“正确”答案，而是学习如何匹配由模拟器生成的概率云的形状。

他们尝试之后的结果如何？

研究人员在几个挑战任务中测试了这个新的“学生”：

更佳的预测能力： 当被要求预测从未见过的体育或医疗场景中的结果时，该 AI 做出了更准确的估计。它不仅仅是猜一个数字，它理解了该数字背后的不确定性。
像人类一样思考： 当他们将 AI 的猜测与人类的实际判断进行比较时，通过这种方法训练的 AI 与人类的思维方式契合得更好。它不再过度自信，而是开始表现得像一个谨慎的人类观察者。
泛化能力： 即使在测试 AI 处理完全不同的主题（例如从体育转向医疗保健）时，它仍然表现出色。这表明它学习到的是一种通用的“处理不确定性”的技能，而不仅仅是死记硬背体育事实。
校准度： 这个 AI 变得“经过校准了”。这意味着如果它说某事发生的概率是 70%，那么该情况实际上确实会在大约 70% 的时间里发生。论文指出，这种提升是深层的；它不仅仅是表面上的小技巧（比如事后调整旋钮），而是其表示不确定性的方式发生了根本性的变化。

核心结论

该论文认为，要让 AI 更好地进行现实世界推理，我们不应仅仅喂给它更多的事实。相反，我们应该教会它模拟世界。通过利用 AI 生成故事，将这些故事转化为严格的数学模拟，并利用这些模拟的结果来训练其他 AI，我们可以创造出更擅长处理现实生活中混乱、不确定且具有概率性质的模型。

他们并没有在这次特定的研究中测试医疗诊断或法律建议；他们专注于体育、通用场景和特定的基准测试，以证明这种方法是有效的。其核心观点是，概率程序充当了完美的老师，让 AI 能够学习处理不确定性的艺术。

技术摘要：用于大语言模型归纳推理的基于程序的后验训练

问题陈述

虽然大语言模型（LLMs）在演绎推理任务（如数学、编程）中取得了显著成功，因为这些任务具有确定性和可验证性，但在归纳推理方面却表现挣扎。现实世界的归纳问题需要从稀疏、模糊且带有噪声的观测中推断出不确定的潜在信念。

针对这些任务训练 LLM 面临两个主要挑战：

数据稀缺性： 难以构建高质量、大规模的开放世界归纳推理标注数据集。人类判断成本高昂且难以规模化，而使用更强的 LLM 生成标签则面临继承其偏见和错误的风险。
分布目标： 归纳推理通常需要表示不确定性（即对可能答案的分布），而非单一的点估计。标准的微调方法在处理本质上是概率性的目标时表现不佳。

方法论：基于程序的后验训练 (Program-based Posterior Training, PPT)

作者提出了基于程序的后验训练 (PPT)，这是一个利用概率程序为微调 LLM 提供可扩展、有根据的监督的流水线。该工作流由三个连续步骤组成（如图 1 所示）：

场景合成： 一个强大的闭源 LLM 生成多样化的、开放世界的自然语言场景及其相关的查询。
概率程序生成： LLM 将每个场景转化为结构化的概率程序（具体使用 Pyro，一种基于 Python 的概率编程语言）。这一步涉及：
- 识别相关的潜在变量 ( $z$ )、观测变量 ( $x$ ) 和查询变量 ( $y$ )。
- 编码生成模型 $p_\theta(z, x, y) = p_\theta(z)p_\theta(x|z)p_\theta(y|z, x)$ 。
目标生成： 执行生成的概率程序进行概率推理（通过 MCMC 或拒绝采样）。这产生了后验分布 $p_\theta(y|x)$ ，它作为“地面真值”（ground truth）监督目标。

微调策略：
作者使用低秩自适应（LoRA）在生成的 $(scenario, query, posterior)$ 元组上微调开源 LLM（LLaMA-3-8B-Instruct 和 Qwen-2-7B-Instruct）。他们探索了两种监督格式：

分布目标 (PPT Distribution)： LLM 被训练为预测答案 Token（例如整数 0–100）的离散后验概率，使用针对程序推断分布的交叉熵损失进行训练。
点目标 (PPT Mean)： LLM 仅针对后验均值（四舍五入到最近的整数）进行训练。

该数据集包含超过 10,000 个独特的场景和 59,000 多个查询，涵盖三个领域：体育、医疗保健和通用领域。

核心贡献

新型训练范式： 本文引入了一种通过将开放世界自然语言与精确的概率模型相结合，来微调 LLM 进行归纳推理的方法，超越了确定性的点估计监督。
可扩展的数据集创建： 作者通过扩展模型合成架构 (MSA)，创建了一个具有概率基础标签的大规模归纳推理问题数据集。
分布监督的实证验证： 研究表明，在完整的后验分布上进行微调，其效果优于在后验均值上进行微调，也优于直接使用更强的 LLM 作为标注器。
4.与校准方法的互补性：研究表明，PPT 改善了“原始”校准（模型内部的不确定性表示），并且与后置温度缩放（temperature scaling）是互补关系，而非被其取代。

实验结果

1. 在留出场景上的归纳推理

准确性： 在未见的推理动机（motifs）下的留出体育场景中，经过 PPT 微调的模型显著优于基座 LLM 和强大的闭源基线模型（如 Gemini-3.1-Pro）。在后验均值估计的平均绝对误差（MAE）方面，性能有了实质性提升。
不确定性表示： 与经常产生未校准且具有特异性概率质量（例如聚集在十的倍数上）的基座模型不同，PPT 模型产生的答案分布与地面真值概率程序推断的结果高度一致。
人类对齐： 在体育场景中，PPT 模型实现了与人类判断 0.775 的相关性 ( $R^2$ )，超过了基座 LLM (0.509)，并达到了原始 MSA 程序 (0.769) 的水平。

2. 领域迁移（域外）

在体育数据上微调的模型在医疗保健场景（一个留出的领域）中表现出了改进，尽管从未见过医疗领域的训练数据。这表明模型学习到了领域通用的归纳行为，而非仅仅记忆特定的领域事实。
在所有领域（体育、医疗、通用）的混合数据上进行训练，比单领域训练提供了进一步的提升。

3. 向外部基准测试的迁移

作者在七个外部基准测试上评估了迁移效果，包括 OpenEstimate (OE)、Bayesian Teaching (BT)、MMLU、TruthfulQA、HellaSwag、ARC-Challenge 和 Winogrande。

校准： 与基座模型相比，PPT (Distribution) 在所有多项选择基准测试中一致降低了期望校准误差 (ECE) 和负对数似然 (NLL)。
互补性： 对 PPT 微调后的模型应用后置温度缩放 (TS) 后，NLL 和 ECE 得到了进一步改善，这表明 PPT 改变了模型的原始不确定性表示，而 TS 则调整了置信度缩放。
准确性： PPT 提高了先验提取的准确性（降低了 OpenEstimate 上的 MAE），并在某些情况下提高了多项选择任务中 argmax 预测的准确性。

4. 消融研究

分布 vs. 均值： 在全分布上进行微调 (PPT Distribution) 在所有指标上始终优于在后验均值上进行微调 (PPT Mean)，凸显了分布信息的重要性。
前向采样 vs. 后验推理： 虽然前向采样允许生成更大的数据集，但使用全后验推理目标的模型在校准和迁移性能方面表现更好。

意义与主张

本文声称，基于概率程序介导的微调是使 LLM 在后训练阶段执行近似归纳推理的一种极具前景的方法。

不确定性的内化： 结果表明，PPT 使模型能够“深度内化”不确定性，使其能够生成校准后的信念，而不仅仅是后置调整输出。
可扩展的监督： 该方法证明了概率程序不仅可以作为测试时的推理工具，还可以作为训练 LLM 处理复杂、不确定推理任务的、可扩展且自动化的监督来源。
泛化能力： 该方法成功迁移到了未见的推理结构（动机）和全新的领域，这表明它捕捉的是归纳推理的底层逻辑，而非表层模式。

作者承认了局限性，指出监督的质量取决于 LLM 生成的概率程序的保真度，并且目前的评估侧重于数值和多项选择查询，而非开放式推理。然而，他们得出结论，这一流水线有效地提高了 LLM 的估计准确性、人类对齐度和校准度。