💻 computer science

Structured Inference with Large Language Gibbs

该论文提出了“大语言吉布斯”（Large Language Gibbs），这是一种迭代概率推理方法，它利用大语言模型的条件分布作为转移算子来对变量进行重采样，从而克服单次自回归生成中的顺序依赖偏差，以实现连贯的结构化推理。

原作者： Sanghyeok Choi, Henry Gouk, Esmeralda S. Whitammer

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Sanghyeok Choi, Henry Gouk, Esmeralda S. Whitammer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明、博学多才的图书管理员（即大语言模型，LLM），他了解世界上海量的知识。你请这位图书管理员创建一个关于复杂情况的事实列表，比如同时描述一只猫的品种、毛发、年龄和睡眠习惯。

问题：“单次生成”（One-Shot）的错误
通常，当我们要求 LLM 执行此类任务时，我们会让它从左到右一次性写完整个列表。这篇论文指出，这样做就像是要求一位厨师在做一顿饭的过程中，直到最后才尝味道一样。因为厨师在决定第一道菜时还不知道最后一道菜是什么，所以他们可能会做出一些早期的选择，而这些选择为了强行契合后续内容，会导致整顿饭变得很奇怪。用论文中的术语来说，这产生了“顺序依赖偏差”（order-dependent biases）。如果你先让图书管理员列出猫的年龄，再列出品种，那么即使年龄和品种本身并不相关，品种的答案也可能会受到年龄写法的影响，从而产生微妙的偏差。

解决方案：“大语言吉布斯”（Large Language Gibbs，即“编辑与精炼”法）
作者提出了一种使用这位图书管理员的新方法，叫做 Large Language Gibbs。与其要求它一次性写出整个列表，不如把这个列表看作一群围坐在桌子旁的伙伴，我们轮流询问每个伙伴，让他们根据其他人的回答来重新思考自己的答案。

以下是其运作方式的简单类比：

设定阶段： 想象你有一组变量（比如猫的品种、毛发、年龄和睡眠）。你先为所有变量设定一个随机的猜测。
轮询阶段： 我们不再直接编写整个故事，而是随机挑选一个变量（比如“毛发”）。你告诉图书管理员：“其他人已经决定了这些数值（品种是‘短毛猫’，年龄是 3 岁，睡眠时间是 12 小时）。基于这些特定的事实，最可能的毛发特征是什么？”
洗牌阶段： 至关重要的一点是，你不会每次都以相同的顺序询问变量。有时你先问年龄，有时先问毛发。这可以防止模型陷入某种特定的“习惯性”回答。
循环阶段： 你重复这个过程多次。每当你更新一个变量时，都要利用新获得的信息去更新下一个变量。
结果阶段： 最终，整组答案会趋于一个状态，使得所有内容都能自洽。论文称之为“平稳分布”（stationary distribution）。这就像一群朋友在争论，直到他们达成一致，共同讲述一个逻辑完美自洽的故事，而不是一个仅仅因为起始句子的设定而凑巧成型的故事。

为什么这种方法更好？
论文表明，这种“编辑与精炼”的方法解决了两个大问题：

偏差： 它阻止了模型仅仅因为某些答案出现在列表的前面就偏袒这些答案。
不一致性： 它帮助模型意识到，如果“北极星”是北方的星辰，那么“天狼星”就不可能同时也是最亮的星。通过打乱提问顺序，模型可以纠正自己的错误。

论文中的现实世界测试
作者通过三种具体方式测试了这个想法：

随机数生成： 他们要求模型挑选随机数（比如掷骰子）。旧的方法（单次生成）在均匀选取数字方面表现较差。而新的“吉布斯”方法在选取看起来真正随机且相互独立的数字方面表现得好得多。
一致性推理： 他们给模型一组需要互相符合逻辑的问题（例如，“北极星是最亮的吗？”以及“天狼星是最亮的吗？”）。新方法帮助模型给出了不会自我矛盾的答案，其表现优于仅仅逐一询问问题。
从数据中学习： 他们利用该模型生成“伪造”数据，以帮助科学家了解不同事物之间的联系（例如，结核病治疗与患者年龄的关系）。通过使用“吉布斯”方法生成这些伪造数据，他们获得了比一次性要求模型编写整个伪造数据集更好的结果。

核心结论
这篇论文建议，我们不应仅仅将 LLM 视为一台从头到尾写故事的机器，而应将其视为一种迭代精炼的工具。通过让模型在随机的顺序下不断地检查并重新检查自己的答案之间的关系，我们可以得到一个更加可靠、一致且“符合概率正确性”的结果。这把模型从一个一次性的讲故事的人，变成了一个帮助寻找真相的协作编辑。

技术摘要：基于大语言吉布斯（Large Language Gibbs）的结构化推理

问题陈述

大语言模型（LLMs）正越来越多地被用于表示结构化对象（如标签分配、表格记录和组合对象）的分布。然而，为了进行结构化概率推理而访问 LLM 中编码的知识面临着显著挑战。标准的通过单次自回归解码生成结构化对象的方法会引入依赖于顺序的偏差（例如近因效应和上下文忽略），从而扭曲了预期的联合分布。此外，当独立或批量生成样本时，LLM 在生成简单分布（如均匀分布或高斯分布）时往往无法正确采样，表现出高偏差或高自相关性。核心问题在于：如何利用 LLM 对单个变量的条件信念来提取更多信息，并产生连贯的联合样本，同时避免固定生成顺序带来的人工痕迹。

方法论：大语言吉布斯（Large Language Gibbs）

作者提出了 Large Language Gibbs，这是一个用于结构化概率推理的框架，它将 LLM 的条件分布视为吉布斯采样方案中的转移算子。该方法不再是通过一次性生成完整的对象，而是迭代地根据所有其他变量的当前值来对单个变量进行重采样。

核心机制

该方法定义了一个马尔可夫链，其状态为一组变量 $X = (X_1, \dots, X_n)$ 。在每一步中，选择一个变量 $X_i$ ，并从由 LLM 推导出的近似条件分布 $q_i(X_i | X_{-i})$ 中进行重采样。

1. 基础大语言吉布斯 (Section 3.1)：
为了定义重采样核 $q^{LM}_i(X_i | X_{-i})$ ，该方法解决了自回归 LLM 仅能提供特定序列顺序下的下一个 token 概率的问题。作者建议通过在剩余变量的随机排列下取自回归核的期望来定义该核：
$q^{LM}_i(X_i | X_{-i}) \triangleq \mathbb{E}_{\sigma_{-i}} \left[ p_{LM}(X_i | \text{seq}(X_{-i}, \sigma_{-i}) \oplus [c_i]) \right]$
其中 $\sigma_{-i}$ 是对其他变量进行洗牌的随机双射， $c_i$ 是描述 $X_i$ 的自然语言上下文。这种随机洗牌消除了顺序依赖的偏差，旨在产生一个反映所有局部条件折衷方案的平稳分布。

2. 判别式核 (Section 3.2)：
意识到 LLM 可能更擅长判别而非生成（特别是在经过强化学习微调后），作者引入了两种变体，利用 LLM 的判别输出来接受或拒绝候选值：

Barker 吉布斯 (Barker Gibbs)： 使用 LLM 在当前值和候选值之间进行选择。如果 LLM 根据 Barker 规则进行了校准，则平稳分布得以保持。
赌博吉布斯 (Gambling Gibbs)： 将接受决策框架化为一个赌博。询问 LLM 是否会对“候选值比当前值更具合理性”这一命题下注。这允许使用贪婪解码（确定性阈值判断），而不是依赖校准后的概率。

3. 实践变体 (Section 3.3)：
该框架支持 扫描吉布斯 (Sweeping Gibbs)（按固定顺序循环遍历变量）和 块吉布斯 (Block Gibbs)（同时对 $B > 1$ 个变量的集合进行重采样），以提高收敛速度或跳出局部模态。

核心贡献

一种新的推理方案： 本文引入了 Large Language Gibbs，这是一种将 LLM 转化为用于结构化概率推理的转移算子的方法，超越了单次自回归生成。
理论分析： 作者提供了一个理论框架，证明了吉布斯链存在唯一的平稳分布。他们确定了一个充分条件（假设 3.1），在该条件下，平稳分布对应于 LLM 的对称化联合分布，证明了随机洗牌对于消除顺序偏差至关重要。
算法变体： 提出的 Barker 和 Gambling 吉布斯核为生成概率失校的场景提供了替代方案，利用了 LLM 的判别能力。
实证验证： 该方法应用于三个不同领域：
- 合成分布： 从均匀分布和高斯分布中采样。
- 一致性推理： 解决一系列相关的问答集（TruthfulQA, GSM8K），以寻找连贯的答案。
- 贝叶斯结构学习： 使用 LLM 生成的合成数据来为因果图发现提供先验信息。

结果

实验表明，Large Language Gibbs 有效地缓解了标准 LLM 采样的局限性：

简单分布： 在合成任务（均匀分布和高斯分布）上，独立采样显示出高偏差，而批量采样显示出高自相关性。吉布斯采样实质性地纠正了这两个问题，产生的样本比基准方法具有更低的偏差和更低的自相关性。
一致性推理： 在 TruthfulQA 和 GSM8K-Verification 上，通过吉布斯采样进行的迭代条件更新优于零样本（zero-shot）、单次自回归生成，甚至优于内部一致性最大化（ICM）基准。结果表明，在重采样期间对变量进行洗牌可以实现相关问题之间更好的连贯性。
贝叶斯结构学习： 当使用该方法生成合成数据 ( $D_{LLM}$ ) 来定义由世界知识驱动的先验时，与均匀先验和直接自回归采样相比，Large Language Gibbs 在真实数据集上的结构学习性能（通过预期结构汉明距离和 AUROC 衡量）得到了提升。该方法成功利用元数据来消除因果结构的歧义。

意义与主张

本文声称，在马尔可夫链蒙特卡洛（MCMC）框架内使用 LLM 条件分布，是进行结构化概率推理的一种实用的替代方案。作者认为，这种方法能够比自回归生成从模型的内部信念中提取更多的信息。

其意义在于为处理 LLM “嘈杂”的条件分布提供了一个原则性的概率框架。通过迭代重采样并在变量排序上取平均，该方法产生了一个代表局部条件折衷方案的平稳分布，有效地消除了任何固定生成顺序带来的偏差。作者将其定位为迈向将 LLM 作为概率程序中先验处理的一步，特别是对于需要跨多个变量或推理步骤保持一致性的任务。

论文对其局限性保持了适度的审慎，指出该方法比单次生成需要更多的计算量，并且由于计算限制，目前仅限于相对较小的模型（最高达 32B 参数）。它还承认，结果的质量在很大程度上取决于提供给 LLM 的元数据的丰富程度。