🤖 AI

Reasoning Structure of Large Language Models

本文介绍了一种可扩展的基准测试和流水线，用于将非结构化推理轨迹转换为可验证的图，从而实现对推理结构和效率的定量分析，以便在传统的准确率和标记计数指标之外，更好地诊断失效模式并比较模型行为。

原作者： Frédéric Berdoz, Luca A. Lanzendörfer, Fabian Farestam, Roger Wattenhofer

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Frédéric Berdoz, Luca A. Lanzendörfer, Fabian Farestam, Roger Wattenhofer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观察两位厨师尝试烤制完全相同的蛋糕。最后，两位厨师都交给你了一个完美、美味的蛋糕。如果你只看最终成品，你可能会认为他们做的是同样的工作。但如果其中一位厨师遵循了精确的、一步一脚印的食谱，而另一位厨师在厨房里闲逛，尝试了十种不同的原料，烤焦了几批蛋糕，最后只是偶然撞到了正确的配方呢？

长期以来，当我们测试 AI “推理”模型时，我们只看最终的蛋糕（答案）或者它们用多少词来描述过程（Token 数量）。这篇论文认为，这就像仅凭蛋糕的味道来评判一位厨师，却忽略了他们是真的懂得烹饪，还是仅仅运气好。

以下是研究人员如何揭开幕后真相的简单解释：

1. 谜题游乐场

研究人员没有要求 AI 写文章或解决模糊的谜语，而是给了它们 21 个不同的逻辑谜题（比如“帐篷”谜题，你必须根据严格的规则将帐篷放置在树木旁边）。这些谜题就像是脑力的受控健身房。它们有明确的规则，且无法作弊；你要么解开它，要么解不开。研究人员让这些谜题变得越来越难，就像在杠铃上增加重量一样。

2. 将文字转化为地图

当 AI 解决一个谜题时，它通常会写下一长串的思想流（即“痕迹”）。研究人员构建了一个特殊的工具，可以将这种杂乱的文本流转化为一张视觉地图（图表）。

节点（点）： 每个点代表 AI 提出的一个事实或主张（例如，“这个位置有一棵树”）。
边（线）： 线条连接各个点，展示一个事实是如何引导出另一个事实的（例如，“因为这里有一棵树，所以那里必须有一个帐篷”）。

这把一段文字变成了一个可以被测量的结构化图表。

3. 新的评分卡：“推理效率”

研究人员引入了一个新的指标，称为效率 ( $\eta$ )。你可以把它理解为衡量 AI 思考有多“专注”。

高效率（激光）： AI 的地图看起来像一条笔直、狭窄的隧道。它收集必要的材料，并直接走向解决方案，没有徘中环顾。
低效率（迷雾）： AI 的地图看起来像一个杂乱的蜘蛛网。它探索许多死胡同，反复重复同样的事实，并在（可能）找到答案之前在问题的边缘徘徊。

4. 他们的发现

通过使用这张地图和效率得分，他们发现了一些旧有的“最终答案”评分所忽略的惊人事实：

词数多 $\neq$ 思考更好： 仅仅因为一个 AI 使用了更多的词（Token），并不意味着它在进行更好的思考。事实上，研究人员发现，多出来的词往往只是 AI 在“自我检查”或是在原地打转，而不是在真正解决问题。
“弥散”问题： 一些模型虽然得到了正确答案，但它们的地图非常杂乱、分散。它们就像一个侦探，虽然找到了罪犯，但在此之前先采访了 50 个无辜的人。而其他模型则是“专注型”的，能以清晰、直接的路径找到答案。
难度之墙： 随着谜题变得越来越难，AI 模型开始出现失败。即使研究人员允许它们使用海量的词汇（计算能力），这些模型仍然无法解决最难的谜题。事实证明，仅仅给 AI 更多的时间去“思考”（更多的 Token）并不能修复根本性的推理缺陷。
结构至关重要： “效率”得分可以区分出一个模型是聪明且专注，还是仅仅在靠猜测和尝试，即便两者的最终得分相同。

核心结论

这篇论文为我们观察 AI 思考提供了一种新方式。我们不再仅仅问：“它得到正确答案了吗？”我们现在可以问：“它是如何得到答案的？”

这就像是一个背诵答案表的学生与一个真正理解数学原理的学生之间的区别。研究人员构建了一个工具来观察其中的“理解”部分，通过绘制逻辑步骤的地图，证明了 AI 如何推理与它回答了什么同样重要。

技术摘要：大语言模型的推理结构

问题陈述

大推理模型（LRMs）通过利用长思维链（CoT）轨迹实现的增加的测试时计算量，在复杂任务上展现出了令人印象深刻的性能。然而，目前的评估范式过度依赖于一维指标，如最终答案准确率和 Token 数量。作者认为这些指标是不充分的，因为它们混淆了本质上不同的推理行为。相同的得分可能会掩盖“弥散探索”（低效、分散的推理）与“聚焦演绎”（高效、结构化的推理）之间的区别。此外，仅仅分配更多的计算量（Token）并不能保证更好的性能，因为模型经常表现出“过度思考”或“轨迹级崩溃”现象，即额外的 Token 转化为验证开销，而非改进逻辑流。目前缺乏可扩展的、结构化的方法来分析最终输出之外的中间推理过程。

方法论

本文引入了一个框架，将非结构化的文本推理轨迹转换为结构化的、可验证的推理图，从而实现对推理拓扑结构的定量分析。

1. 可扩展基准测试

作者利用了一套源自 Simon Tatham 谜题集的 21 个确定性 2D 网格谜题（例如：Tents, Sudoku, Lightup, Galaxies）。选择这些谜题是因为其具有“易于学习，难于精通”的特性、完全指定的规则以及明确的验证方式。该基准测试包含四个难度等级（琐碎、人类简单、人类普通、人类困难），并具有可调节的网格大小和线索密度，允许进行受控的缩放研究。

2. 图提取流水线

核心创新在于一个将自由形式文本转换为有向无环图（DAG） $G = (V, E)$ 的流水线：

节点（断言）： 流水线从推理轨迹中提取“原子断言”（例如：“单元格 (3,1) 是 tent”）。断言按状态（陈述、推导、假设）和范围（主线 vs. 假设分支）进行分类。
边（依赖关系）： 流水线识别演绎依赖关系，将前提与结论联系起来。这是通过结合确定性模式匹配和基于 LLM 的提取，随后进行规则提取以将断言映射到特定谜题逻辑规则的混合方法实现的。
验证： 断言针对可执行的谜题环境进行验证。静态断言（如谜题规则、最终放置位置）通过确定性方式验证。状态相关断言经过仔细处理以避免级联错误。

3. 推理指标

基于图表示，作者定义了几个指标：

结构拓扑： 指标包括图深度、直径以及支持解的图比例（ $|V_{sol}|/|V|$ ）。
推理流效率 ( $\eta$ )： 这是主要贡献。作者将推理过程建模为 DAG 上的吸收马尔可夫链。他们计算了逻辑流的“结构熵” ( $H_{str}$ $H_{s t r}$ )，该指标衡量模型注意力在图中的分散程度。
$\eta = \frac{\log |V| - H_{str}(G)}{\log |V| - \log |C^*|}$
其中 $|V|$ $∣ V ∣$ 是总断言数， $H_{str}(G)$ $H_{s t r} (G)$ 是结构熵， $|C^*|$ $∣ C^{*} ∣$ 是实现解所需的最小断言集大小。
- $\eta \approx 1$ 表示高度聚焦的推理（低熵，流集中在解路径上）。
- 较低的 $\eta$ 表示弥散推理（高熵，流分散在周边或冗余断言中）。

关键结果

该框架被应用于评估跨越谜题集的尖端模型和开源模型（GPT-5, Qwen3 235B, DeepSeek V3.2, Kimi K2）。

准确率 vs. 结构： 随着谜题难度增加，所有模型的准确率急剧下降（例如，GPT-5 从 83.8% 降至 5.7%），同时 Token 数量显著上升（从 ~4k 增加到 ~60k）。然而，Token 使用量的增加与推理质量的提升并不相关。
Token 数量是糟糕的代理指标： 研究发现，Token 数量与推理效率 ( $\eta$ ) 基本上不相关 ( $r = -0.05$ )。额外的 Token 主要体现为增加的验证开销 ( $|V_{ver}|/|V_{sol}|$ )，而不是扩展核心解支持链。
效率区分行为： 指标 $\eta$ $η$ 成功分离了准确率和 Token 数量所混淆的模型与行为。
- 聚焦 vs. 弥散： 具有较高 $\eta$ 的模型表现出集中的逻辑流。具有较低 $\eta$ 的模型通过分支、绕路和冗余结构进行“图膨胀”。
- 失败模式： 失败的轨迹明显效率较低（ $\eta$ 下降超过 50%），并将推理分散在更大、更弥散的图中，且第一个错误出现得较早。
- 相关性： 更高的效率与断言准确率以及支持解的图比例呈正相关。它也与更晚出现的首次错误深度相关。
缩放极限： 即使拥有巨大的 Token 预算，最难的场景仍然在很大程度上无法解决，这表明当前的推理缩放存在根本性限制，仅靠分配更多计算量无法解决。

重要性与主张

本文声称提供了一个实用的工具，用于诊断传统指标无法发现的失效模式并比较推理结构。

超越准确率： 该工作证明了结构化测量（特别是 $\eta$ ）揭示了产生解的方式的差异，即使模型达到了相同的准确率或使用了相似的 Token 预算。
诊断效用： 通过将轨迹转换为可验证的图，该框架允许研究人员区分“求解”与“徘徊”或过度的验证。它有助于识别早期错误级联和低效行为。
泛化性： 虽然断言提取是针对特定谜题的，但结构层（图构建、马尔可夫链分析和 $\eta$ 指标）是领域无关的。作者认为该框架可扩展到任何具有可验证中间步骤的场景，如数学推理（符号验证）和代码生成（单元测试）。
未来影响： 作者假设，如果提取变得足够可靠，图特征信号（如 $\eta$ ）可以作为后训练（例如，塑造奖励）中的辅助反馈，以鼓励以解为中心的推理，同时保持正确性。

本文保持了审慎的态度，承认了其局限性，例如对 LLM 提取的依赖（这会引入潜在的方差，尽管稳定性检查显示方差较低）以及对领域特定断言定义的需要。它将该指标定位为一种诊断工具，而非单一的排行榜分数。