🤖 machine learning

Lattice Deduction Transformers

本文介绍了格推理变换器（LDT），这是一种循环模型，它通过格投影和抽象解释来逼近可靠推理，从而在数独和迷宫等复杂逻辑谜题上实现了近乎完美的准确率，在保持经验可靠性的同时显著超越了前沿大语言模型。

原作者： Liam Davis, Leopold Haller, Alberto Alfarano, Mark Santolucito

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Liam Davis, Leopold Haller, Alberto Alfarano, Mark Santolucito

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在尝试解决一个非常棘手的谜题，比如数独或迷宫。大多数现代人工智能模型（大型语言模型）试图通过“大声思考”来解决这些问题，即生成一段长长的文本流，在其中它们进行猜测、检查，然后再猜测。有时它们能答对，但往往会在未察觉的情况下陷入困惑并给出错误答案。

这篇名为《格点推理 Transformer》（Lattice Deduction Transformers）的论文作者提出了一种让 AI 进行思考的不同方式。他们构建了一种新型 AI，称为格点推理 Transformer（LDT）。以下是其工作原理，通过简单的类比来说明：

1. “雾室”类比（格点）

想象你身处一间摆满家具的黑暗房间，需要找到一把特定的椅子。

标准 AI： 它可能会开始猜测：“椅子在这里吗？不。在那里吗？也许。”它会不断猜测，直到感觉有信心为止。
LDT 方法： 与猜测不同，LDT 从一个“雾室”开始，其中每一件家具都是潜在候选者。这被称为格点。
- 在格点的顶部（最模糊的点），AI 一无所知；每个位置都可能是那把椅子。
- 在底部，AI 确切知道椅子在哪里。
- AI 的任务是驱散迷雾。它查看谜题的规则并说：“好吧，椅子肯定不在角落里”，于是清除那个位置。接着，“它不在桌子底下”，也清除那个位置。
- 关键在于，AI 的设计确保它永远不会清除掉真正的椅子。它只移除那些绝对错误的选项。如果它清除了所有东西却找不到椅子，它就知道谜题出错了（或者它之前犯了错）。

2. “精炼过程”（推理）

论文将这一过程比作“离散扩散”模型。想象一下从一块石头中雕刻出一座雕像。

你不是直接猜测雕像的形状，而是凿去那些肯定不是雕像的石头。
LDT 逐步执行这一过程。它查看当前的“雾状”状态，应用逻辑移除不可能的选项，并将结果传递给下一步。
由于它是基于严格规则移除选项，因此该过程是可靠的。这意味着如果 AI 给你一个答案，它保证是正确的。如果它找不到答案，它只会说“我无法解决”，而不会编造一个虚假的解决方案。

3. “探险队”类比（搜索与分支）

有时，迷雾太浓，AI 无法仅凭观察就逻辑推导出下一步。它必须做出猜测。

想象一支探险队进入迷宫。当他们在岔路口遇到分叉时，他们不会只选一条路并寄希望于运气。
LDT 将队伍分开。一组向左，另一组向右。他们同时探索两条路径。
如果一组遇到死胡同（冲突），该路径会立即被放弃。
论文表明，通过训练 AI 高效地进行这种“分支”，它在何时做出猜测以及哪个猜测可能有效方面表现得更好。

4. 结果：小身材，大能量

作者在三种类型的难题上训练了这种 AI：

极端数独（Sudoku-Extreme）： 非常困难的数独谜题。
雪花数独（Snowflake Sudoku）： 一种奇怪的六边形数独变体。
困难迷宫（Maze-Hard）： 需要找到最短路径的复杂迷宫。

令人惊讶的发现：

规模并非关键： 与 AI 界的“巨人”（如 GPT-5 或 Claude）相比，LDT 非常微小。它的参数量不到 200 万，而巨人的参数量高达数万亿。
性能： 尽管体型微小，LDT 解决了**100%**的最难数独谜题，以及近 100% 的最难迷宫。
巨人失败了： 那些庞大且著名的 AI 模型（GPT-5、Claude、DeepSeek）在这些特定的高难度逻辑谜题上得分为0%。它们连一道题都解不出来。
安全性： LDT 从未给出错误答案。如果它不知道，它会承认。然而，大型模型却自信地给出了错误答案。

5. 为什么这很重要

该论文指出，对于需要严格逻辑和规则的任务（如数学、编程或谜题），我们并不一定需要那些会“产生幻觉”（编造内容）的庞大且昂贵的大型 AI 模型。相反，我们可以构建更小、更专业的模型，它们像逻辑侦探一样运作：排除不可能，直到只剩下真相。

简而言之： LDT 是一个小巧高效的 AI，它通过系统地排除错误答案直到只剩下正确答案来解决谜题，确保它绝不会在解决方案上撒谎。它在逻辑谜题上击败了全球最大的 AI 模型，同时仅使用了其一小部分的计算能力。

技术摘要：格推理 Transformer

问题陈述

当前的大语言模型（LLM）严重依赖思维链（chain-of-thought）范式，通过生成中间推理标记来得出最终答案。尽管这种方法对许多任务有效，但它往往缺乏自动推理系统中严谨的逻辑可靠性。相反，传统的自动推理（例如 SAT 求解器）通过迭代优化部分信息状态来运作，类似于离散扩散模型，但这些方法通常与神经架构截然不同。

作者提出了一个差距：能否将自动推理中的技术，特别是抽象解释（abstract interpretation），整合到神经架构中，以创建能够执行**可靠推理（sound deduction）**的模型？目标是构建一个模型，在面对高难度逻辑问题时，要么返回正确答案，要么选择放弃，绝不产生错误解，同时其参数量和训练成本远低于先前的循环推理器或前沿大语言模型。

方法论

格推理 Transformer (LDT)

核心贡献是格推理 Transformer（LDT），这是一种旨在近似逻辑可靠推理的循环 Transformer 架构。

1. 抽象解释框架：
该模型将推理视为在信息状态的**格（lattice）**中下降的过程。

具体域（Concrete Domain, $C$ ）： 所有有效解的幂集（例如，所有有效的数独网格）。
抽象域（Abstract Domain, $A$ ）： 一个“网格幂集格”，其中每个单元格包含一组可行的候选项。
- 顶（Top, $\top$ ）： 表示无信息（所有候选项均可能）。
- 底（Bottom, $\bot$ ）： 表示不一致（无候选项可能）。
推理（Deduction）： 一个从 $\top$ 向信息量更大的状态移动的过程。一个状态坍缩至 $\bot$ 表明当前分支不存在有效解。

2. 架构：

循环 Transformer： 模型使用堆叠的 4 层注意力机制，在每次前向传播中展开进行 16 次内部迭代。
格编码： 抽象状态被编码为张量。对于网格问题（如数独），这是一种多热编码（multi-hot encoding），其中每个单元格具有二元 Sigmoid 值，表示特定候选项仍“存活”的置信度。
投影（Projection）： 在每次前向传播之间，潜在状态被投影到格表示并从中投影回来。这迫使每次前向传播都作为一个可靠的推理步骤。
冲突检测： 专用的 CLS 标记 Sigmoid 预测不一致性（ $\bot$ ），使模型能够检测不可满足的状态。

3. 训练过程（策略内求解循环）：
训练镜像推理过程，确保模型在测试时遇到的格状态分布与训练时所见一致。

求解循环： 一个随机搜索过程，在以下两者之间交替：
1. 推理： Transformer 优化格状态（消除候选项）。
2. 分支： 如果状态既非解也非冲突，模型随机“固定”一个具有多个候选项的单元格至单个值（从存活候选项的 Softmax 分布中采样）。
通过 $\alpha$ 算子的监督： 模型不是针对单一真实解进行训练，而是针对与当前状态一致的有效解集合的抽象进行监督。
- 目标 $\hat{y} = x \sqcap \alpha(\{y \in Y \mid y \text{ consistent with } x\})$ 。
- 这使得模型能够同时从多个有效解中学习（多解监督），避免了在存在多个解时因强制承诺于某个任意真实解而受到惩罚。
损失函数： 由以下部分组成：
- 用于候选项消除的非对称二元交叉熵（BCE）（严重惩罚错误消除以确保可靠性）。
- 用于冲突检测的对称 BCE。
- 用于已坍缩为单一候选项的单元格的交叉熵。

4. 推理：
推理运行一个并行求解过程。多条链同时探索搜索空间。如果一条链遇到冲突（由格状态或 CLS 标记检测），它会回溯或重启。该系统被设计为经验可靠（empirically sound）：如果它返回答案，则该答案正确；如果找不到路径，则选择放弃。

主要贡献

架构： 一种循环 Transformer，在每次迭代中将潜在状态投影到抽象格上，将前向传播转化为可靠的推理步骤。
策略内训练： 一种训练过程，其中格状态在模型自身的前向传播下演化，使训练状态与推理搜索状态保持分布一致。
$\alpha$ 算子： 一种监督机制，聚合与当前格状态一致的有效解。这创造了一种“策略内但由领域无关、状态依赖的目标进行监督”的机制，自然地处理具有多个有效解的问题。
计算权衡表征： 实证证据表明，增加训练计算量可显著缩短推理搜索时间（数量级提升），将负担从测试时搜索转移到训练时学习。

结果

作者在三个基准测试中评估了 LDT，将其与前沿大语言模型（Claude Opus 4.6、DeepSeek V4-Pro、GPT-5.4）及先前的循环推理器（HRM、TRM、Sotaku）进行了比较。

Sudoku-Extreme（极端数独）：
- 一个80 万参数的 LDT 在 Sudoku-Extreme 和 Snowflake Sudoku 上实现了100% 的准确率。
- 它在 4,000 个训练步后达到了经验可靠性（100% 正确或放弃）。
- 成本： 在单块 B200 GPU 上训练约 15 分钟，仅为先前方法成本的一小部分（例如，TRM 需要在 4 块 L40S GPU 上运行 36 小时）。
- 前沿大语言模型： 在所有基准测试中得分均为0%。
Snowflake Sudoku（雪花数独）：
- 该模型在未进行架构更改的情况下，泛化到了可变拓扑的六边形网格（阶数 $n=4$ 到 $8$），使用了固定的覆盖网格和掩码。
- 经过 4 分钟训练后实现了100% 的准确率。
Maze-Hard（高难度迷宫）：
- 一个180 万参数的变体在具有多个有效最短路径的 30x30 迷宫上实现了99.9% 的准确率。
- 使用多解监督（ $K=512$ ）比单解监督（ $K=1$ ）提高了性能。
- 前沿大语言模型再次得分为0%。

效率： LDT 展示了强大的权衡：额外的训练计算量大幅减少了推理所需的向前传播次数（搜索步数）。

意义与主张

该论文声称，LDT 通过将推理视为格上的定点计算，成功弥合了神经网络与自动推理之间的差距。

可靠性： 与可能产生幻觉的标准 LLM 不同，LDT 被设计为经验可靠的。它要么返回经过验证的正确答案，要么选择放弃，绝不返回误报。
效率： 使用这种特定的策略内、基于格的方法训练的小模型（参数少于 200 万），在逻辑基准测试中优于更大的循环推理器，并能避免前沿大语言模型的失败。
泛化性： 该方法在格结构方面是领域无关的。虽然实例化于组合谜题，但该架构理论上可适用于任何允许推理算子的抽象域。
局限性： 作者指出，LDT 目前最适合具有清晰、固定逻辑规则的任务。它在 ARC-AGI 等任务中表现不佳，因为这些任务需要从少样本演示中推断规则本身，而在没有预定义推理算子的情况下，冲突头变得不可靠。缩小这一差距可能需要更深层的递归结构或针对生成解的程序的抽象域。

总之，LDT 为结构化逻辑问题提供了一种可扩展、可靠且高效的思维链推理替代方案，利用抽象解释来指导神经搜索。