🤖 AI

Parason: Revealing Subtask and Trial Parallelism in LLM Reasoning

本文介绍了 Parason，这是一个通过结构化语法和专门的训练算法来识别并利用子任务并行性和尝试并行性，从而显著加速大语言模型推理的框架，在保持准确性的同时，在复杂的数学基准测试上实现了约 1.7 倍的加速。

原作者： Zhengyang Zhang, Zijian Zhang, Jiaxuan Gao, Shusheng Xu, Yi Wu, Song Han, Ligeng Zhu

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhengyang Zhang, Zijian Zhang, Jiaxuan Gao, Shusheng Xu, Yi Wu, Song Han, Ligeng Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型在解决复杂问题方面已变得异常出色，从破解困难的数学谜题到编写复杂的代码。这种能力通常源于一个简单的策略：让模型思考更长的时间。通过在给出答案之前生成一段长长的、循序渐进的思维链，这些系统可以处理棘难的逻辑并避免简单的错误。然而，这种方法存在一个显著的物理限制。这些模型标准的工作方式就像一个人按顺序逐字阅读书籍，严格遵循先后顺序。每一个想法都必须等待前一个想法完成后才能开始。当问题极其困难时，思维链可能会延伸至数十万字，这意味着用户可能需要等待几分钟、几小时甚至几天才能得到一个答案。这种延迟使得该技术无法应用于像编程助手或交互式导师这样对速度要求极高的实时工具。

研究人员长期以来一直怀疑，答案在于并行思考。与其采用一条长长的单线思维，不如想象一支专家团队同时在问题的不同部分开展工作。一些现有的系统尝试通过将一个大任务分解为若干个较小的、独立的碎片，分别解决每个碎片，然后组合结果来实现这一点。虽然这很有帮助，但这种方法忽略了智能推理真正运作的核心部分。在面对真正困难的问题时，一个聪明的思考者不仅仅是分解问题，他们还会尝试不同的想法，观察哪些失败了，并保留那些奏效的想法。他们同时探索多条路径，舍弃死胡同，并沿着有希望的方向前进。本文介绍了一个名为 Parason 的新系统，它教会语言模型正是这样做，将缓慢的、单列排队的思考过程转变为快速的多车道高速公路。

研究人员首先分析了来自先进模型的数千条推理轨迹，以观察它们究竟是如何思考的。他们发现，思考过程不仅仅是单一的步骤线条，而是两种截然不同的活动类型的混合。第一种类型类似于建筑施工队：一个团队负责打地基，另一个负责搭建框架，第三个负责安装屋顶。所有这些任务都是必要的，并且可以同时进行。研究人员称之为“子任务并行”（subtask parallelism）。第二种类型则更像是同时测试多种理论的侦探：侦探尝试一个嫌疑人，发现并不符合，于是立即尝试另一个，而同时一名同事在检查第三种可能性。在这些路径中，只需要其中一条正确即可破案，但侦探必须探索所有路径才能找到正确的那一个。研究人员称之为“试验并行”（trial parallelism）。

他们的发现令人惊讶。在最困难的问题中，“侦探”式的思考方式——即尝试许多不同的想法并丢弃失败案例——占据了大部分的工作量。事实上，对于一些最先进的模型，这种基于试验的探索占据了超过三分之二的推理步骤。以往只专注于将任务分解为较小碎片的系统，本质上忽略了这些模型解决难题最常见的方式。它们是在为“建筑施工队”进行优化，而真正的核心工作却是由“侦探”完成的。

为了解决这个问题，该团队构建了一个框架，教导模型识别何时应该拆分任务，以及何时应该同时尝试多个想法。他们创建了一套特殊的规则，类似于一种结构化语言，允许模型说：“这里有三种解决此问题的方法，我将同时尝试它们。”随后，系统并行运行这些尝试，并收集结果。如果某次尝试失败，模型只需继续执行下一个，而无需等待失败的尝试完成后才开始下一个。这与旧的方法相比是一个重大的转变，在旧方法中，模型必须完成一个想法，意识到错误后，再一个接一个地开始下一个。

训练过程使用了一种奖励机制，鼓励模型既要正确，又要快速。模型不仅因得出正确答案而受到表扬，还因其组织思考的方式能够让计算机更快地完成工作而受到表扬。通过同时运行这些并行分支，该系统有效地缩短了得出结论所需的时间。在针对困难数学竞赛的测试中，这种新系统与标准的顺序处理方法相比，实现了约 1.7 倍的平均加速，同时保持了同样高水平的准确度。这意味着一个原本可能需要十分钟解决的问题，现在大约只需六分钟，且不会牺牲解题质量。

研究人员还观察到，问题越难，这种并行方法带来的帮助就越大。在最困难的问题上，节省的工作量是最多的。这是因为难题自然会产生更多的死胡同，并需要更多对不同可能性的探索。通过允许模型并行探索这些可能性，而不是一个接一个地进行，该系统将曾经漫长、缓慢的等待变成了一个高效的过程。这项研究表明，人工智能推理的未来不仅在于思考得更久，还在于同时向多个方向思考，模仿人类专家应对世界上最复杂挑战的方式。

技术摘要：Parason —— 揭示大语言模型推理中的子任务并行与尝试并行

1. 问题陈述

近期大语言模型（LLM）推理的进展，如思维链（CoT）提示词以及 OpenAI o1 和 DeepSeek-R1 等系统，已经证明增加测试时计算量可以显著提高复杂数学和逻辑任务的性能。然而，标准的自回归解码执行这些长推理轨迹是顺序进行的。这为困难问题造成了严重的延迟瓶颈，因为在这些问题中，推理轨迹可能会增长到数十万甚至数百万个 token，使得“思考更久”的策略在交互式智能体和延迟敏感型应用中变得不切实际。

虽然并行推理提供了一种自然的补救方案，但现有系统主要侧重于子任务并行（Subtask Parallelism），即将高层任务分解为独立的块（例如，计算总和的不同部分）。这种方法忽略了一种普遍存在的并行形式：尝试并行（Trial Parallelism）。在尝试并行中，模型并行地探索多个推测性的、相互竞争的假设，以验证哪条路径有效，这种行为在正确路径未知的困难推理中非常常见。以往的方法通常将所有并行分支视为独立的完整轨迹，或者未能区分必要的子任务与推测性的尝试，从而导致冗余计算或缺乏对延迟的控制。

2. 方法论：Paraso 框架

作者引入了 Parason，这是一个揭示并利用子任务并行与尝试并行的训练与推理协同设计框架。该方法由三个核心组件组成：

A. 并行推理的语义分类法

论文根据执行语义区分了两种互补的并行形式：

子任务并行 (AND-branch)： 问题被分解为独立的子目标（ $g_1, \dots, g_k$ ）。所有分支都是必要的，其结果必须聚合以形成最终答案。这是以往自适应并行系统中的主要形式。
尝试并行 (OR-branch)： 模型对解题路径存在不确定性。它发起竞争性的尝试（ $a_1, \dots, a_k$ ）来测试不同的假设。与子任务不同，并非所有分支都是必要的；系统将探索性的轨迹聚合到推理历史中，以保留有用的结果。这模拟了强推理器“尝试、检测死胡同并修正”的行为。

对 DeepSeek-R1 和 DeepSeek-V4 在 Humanity's Last Exam (HLE) 上的推理轨迹进行实证分析表明，尝试并行占据了并行化推理步骤的大部分（65.5%–73.8%），在难题上显著超过了子任务并行。

B. 结构化并行轨迹格式 (CFG)

为了使这些模式可执行，Parason 定义了一个上下文无关语法（CFG），将顺序推理轨迹转换为结构化并行轨迹。

标签（Tags）： 该格式使用特定标签：<Parallel> 用于标记区域，<Outlines> 用于描述区域用途，<Subtask> 和 <Trial> 用于标记分支类型，以及 <Thread> 用于存储分支结果。
执行： 这种结构允许推理引擎解析轨迹，为每个分支（子任务或尝试）分发独立的执行器，并将结果返回给主轨迹，而无需修改模型架构。该系统集成了 SGLang 并使用 XGrammar 来强制执行有效的标签嵌套。

C. 并行感知强化学习 (PA-GRPO)

作者提出了 PA-GRPO，一种多目标强化学习算法，旨在优化准确性、延迟和并行度使用。轨迹 $i$ 的奖励函数 ( $R_i$ ) 定义为：
$R_i = -1 + 2 \times \mathbb{1}(\text{correct}_i) \times \left( 1 - \alpha f\left(\frac{T_i - \mu_T}{\sigma_T}\right) + \beta_{\text{subtask}} f\left(\frac{R^{\text{subtask}}_i - \mu_s}{\sigma_s}\right) + \beta_{\text{trial}} f\left(\frac{R^{\text{trial}}_i - \mu_r}{\sigma_r}\right) + \min(\rho \cdot \eta(s), \rho_{\text{clip}}) \right)$

正确性（Correctness）： 主要信号；错误的答案会获得负的基础奖励。
延迟惩罚（Latency Penalty）： 惩罚关键路径的 token 数 ( $T_i$ )，以鼓励更短的实际运行时间。
并行激励（Parallelism Incentives）： $\beta_{\text{subtask}}$ 和 $\beta_{\text{trial}}$ 鼓励模型利用各自的并行模式。作者指出，这些模式的目标不同：尝试并行通过增加搜索宽度来交换总 token 数（提高准确性），而子任务并行则通过压缩最长路径来降低延迟。
加速奖励（Acceleration Reward）： 一个剪切项，倾向于相对于总生成长度减少关键路径。

3. 核心贡献

并行推理分类法： 论文指出尝试并行是当前并行推理系统中缺失的一个环节，并证明了在困难推理任务中（在 HLE 和 OpenMath 数据集中超过 50%），它构成了并行化计算的主要部分。
Parason 框架： 该系统通过工具调用将顺序轨迹转换为受语法约束的并行轨迹，使其能够被标准推理引擎执行，而无需对运行时进行深度修改。
PA-GRPO 算法： 一种强化学习目标，共同优化答案正确性、沿最长 token 路径的延迟以及子任务与尝试并行的平衡利用。
实证验证： 实验表明，Parason 在数学基准测试（AIME24, AIME25, Math500, AMC）上实现了平均约 1.7× 的加速，同时保持了极具竞争力的准确性。在延迟受限的设置下（例如 2048 个 token），Parason 显著优于标准的监督微调（SFT）基线。

4. 结果

准确性： 在 AIME25 (70.6%) 和 AMC (97.5%) 上，Parason 在列出的并行系统中达到了最先进的结果（使用 8B 模型），在某些指标上甚至超越了更大的 32B 基线模型。
延迟与加速：
- 系统实现了平均 1.7× 的 token 级加速比。
- 在延迟受限的场景（2048 token 预算）下，表现最好的子任务感知模型在 AIME24 上达到 34.7% 的准确率，而仅使用 SFT 的基线仅为 16.8%。
- 题目越难，可并行的工作量越多；虽然生成的总 token 数随难度增加，但最长 token 路径增长缓慢，在不同难度水平下保持了稳定的 1.70–1.74× 加速比。
消融实验： 研究表明，尝试奖励 ( $\beta_{\text{trial}}$ ) 在提高准确性方面最为有效，而子任务奖励 ( $\beta_{\text{subtask}}$ ) 在降低延迟方面更为有效。

5. 重要性与主张

论文声称 Parason 代表了一种范式转变，即不再仅仅将推理视为一个顺序过程或简单的任务分解。通过明确识别并利用尝试并行，该框架解决了当前并行推理系统中的“缺失环节”。

作者指出，他们的工作：

弥合了理论与实践之间的鸿沟： 与以往报告理论加速或需要复杂引擎修改的工作不同，Parason 使用 CFG 和工具调用执行，可以直接在 SGLang 等现代推理引擎中运行。
改善了延迟-准确性帕累托前沿（Pareto frontier）： 它证明了困难的推理不一定需要更长的串行等待时间；大量的计算可以被移出关键路径。
揭示了困难推理的本质： 研究结果表明，困难推理不仅关乎分解（子任务），还关乎探索和完善不确定的路径（尝试），而之前的系统在很大程度上忽略了这一行为。

论文最后指出了一些局限性，特别是目前的评估侧重于数学推理和 8B 规模的模型，未来需要在更广泛的领域和模型规模上验证这些模式。