技术摘要：TSLM：用于发散性思维的树结构语言建模

问题陈述

当前的语言大模型（LLMs）从根本上是作为顺序生成器运行的，即基于线性历史对下一个 token 进行概率建模（$p(y|x) = \prod p(y_t | x, y_{<t})$）。虽然近期的推理模型（如 o1, DeepSeek-R1）通过扩展推理轨迹展示了令人印象深刻的能力，但它们仍受限于这种顺序本质。这种架构迫使模型进行“线性承诺”（linear commitment）以遵循单一路径，使得系统性地探索多种备选方案、从早期错误中恢复或将无关的探索路径解耦变得困难。

现有解决该问题的方案主要分为两类，两者均存在显著局限性：

1. 顺序建模： 模型生成单一的确定性路径，限制了对备选方案的探索。
2. 外部搜索（例如 Tree-of-Thoughts）： 这些方法使用外部编排来采样多个独立的轨迹。然而，这种方法存在分布破碎、共享前缀计算冗余以及分支间缺乏协调的问题。此外，外部搜索方法在问题复杂度增加时（例如在较大的 Gridworld 环境中性能显著下降）往往无法实现稳健的扩展。

识别出的核心挑战在于：模型无法在单次生成过程中连贯地构建多样化的探索分支，从而导致要么过早做出承诺，要么进行低效且破碎的并行采样。

方法论：树结构语言建模 (TSLM)

作者引入了树结构语言建模 (TSLM)，这是一个使语言模型能够通过监督学习原生生成并管理树状推理的框架。

核心机制

TSLM 修改了标准的语言建模目标，使其能够通过单次前向传递（或一系列连贯的传递）生成完整的搜索树，而非独立的轨迹。

• 基于 Token 的序列化： 模型使用特殊 token 将树结构编码为与标准 Transformer 架构兼容的线性序列：
  • [SEP]：表示一个可以进一步展开的可行动作。
  • [FAIL]：表示一个不可行的动作（死路）。
  • [GOAL]：标记期望的目标状态。
  • [BOS]/[EOS]：标记子节点展开的序列边界。
• 条件依赖： 不同于标准顺序模型中每个 token 都依赖于整个前缀，TSLM 采用了选择性上下文解耦。一个节点的生成仅取决于其祖先路径和在同一节点内先前生成的兄弟节点，而不依赖于无关的子树。这使得模型能够系统地学习分支结构，而不会产生冗余计算。
• 训练目标： 模型在包含成功路径和失败尝试的完整搜索树上进行训练。损失函数是应用于序列化序列的标准交叉熵损失，旨在教导模型：
  1. 在每个决策点生成多个动作。
  2. 分配适当的可行性标记（[SEP], [FAIL], [GOAL]）。
  3. 系统地构建探索结构。

数据构建

• 结构化任务： 对于具有预定义搜索树的任务（如棋类游戏），模型被训练为直接复现该树结构。
• 开放式任务： 对于没有显式树结构的任务（如 GSM8K, ProntoQA），作者采用了引导法（bootstrapping method）。他们使用监督模型（如 Tree-of-Thoughts 采样）生成伪搜索树，将已知的金标准轨迹（gold trajectories）作为高优先级分支纳入，并使用奖励函数对剩余分支进行排序。

推理过程

在推理期间，TSLM 生成一个连贯的树结构。随后，它解析结构化 token 以识别可行分支（[SEP]），并将这些分支分叉为独立的序列进行并行扩展。这实现了系统性的探索（例如通过广度优先搜索 BFS），同时在内部维持完整的搜索拓扑，避免了外部搜索方法中固有的冗余采样问题。

核心贡献

1. 新颖框架： 引入了 TSLM，这是一个基于 token 的序列化框架，使顺序语言模型能够通过在连贯的搜索轨迹上进行监督学习来学习树状推理。
2. 性能提升： 在多种任务中展示了持续的性能提升：
   • Game of 24： 达到 100% 准确率（对比顺序基准模型的 17%）。
   • Gridworld（外推能力）： 在未见的 20×20 网格上达到 91.5% 的准确率（对比 Tree-of-Thoughts 的 42.7%），展示了超越训练复杂度的稳健外推能力。
   • 开放式推理： 在 ProntoQA 和 GSM8K 上增强了性能。
3. 涌现能力： 发现了通过学习完整探索模式而产生的全新能力：
   • 不可解问题检测： TSLM 可以识别并终止于不可解实例（例如 100 个 Game of 24 不可解案例中的 97 个），而不会产生幻觉，这是顺序基准模型所不具备的能力。
   • 稳健的外推： 能够在不重新训练的情况下，将能力泛化到更大的环境和更高的分支因子。
4. 新的缩放范式： 从“并行采样 $k$ 个独立轨迹”转向“在单个连贯树内探索 $k$ 个分支”。这种方法提供了更优的推理效率和更高的收敛精度。

实验结果

作者将 TSLM 与几种基准模型进行了对比：序列克隆 (SC)、过程克隆 (PC)、GRPO (强化学习) 以及 Tree-of-Thoughts (ToT)。

• 结构化规划 (Game of 24)： TSM 实现了 100% 的 pass@1 准确率，显著优于 SC (17%)、PC (47%) 和 GRPO (15%)。即使与 ToT@100 (pass@100 指标) 相比，TSLM (pass@1) 也取得了更优的结果。
• Gridworld 扩展性： 在域内 (10×10) 测试中，TSLM 达到了 100%。至关重要的是，在域外 (20×20) 测试中，TSLM 保持了 91.5% 的准确率，而 ToT 则崩塌至 42.7%。这突显了 TSLM 能够内化比外部搜索算法更具泛化性的搜索程序。
• 开放式推理： 在 GSM8K 上，TSLM (61.6% pass@1) 匹配或略微超过了 ToT (62.3% pass@100) 和 PC (55.9%)，同时计算效率显著更高。
• 效率： 与面临由于冗余采样和缺乏计算共享导致的“时间爆炸”问题的 ToT 相比，TSLM 展示了显著更快的推理时间。TSLM 在生成的单个树内共享了公共前缀的计算。

重要性与主张

本文挑战了普遍观点，即语言模型的强大推理能力必须依赖强化学习 (RL) 或复杂的推理时搜索编排。相反，作者认为，通过对树状格式推理轨迹进行适当的监督学习，可以为增强推理和规划提供一条更直接、更高效的路径。

作者提出的关键影响包括：

• 搜索内化： 通过在完整树上进行训练，模型内化了系统性的探索策略，从而比外部搜索方法具有更好的泛化能力。
• 效率： TSLM 提供了一种新的测试时缩放范式，它在单个连贯结构内探索更多分支，避免了独立并行采样的计算冗余。
• 稳健性： 该方法使模型能够处理不可解问题，并在复杂度增加时进行扩展，而不会出现外部搜索方法中常见的性能剧烈下降。

作者将 TSLM 定位为不仅仅是一个性能改进，而是对语言模型如何进行推理的方式的一次根本性转变，并指出“瓶颈”不在于推理计算量，而在于训练期间对搜索空间的系统性构建。