Native Parallel Reasoner: Reasoning in Parallelism via Self-Distilled Reinforcement Learning
本文介绍了原生并行推理器（NPR），这是一个无需教师框架，通过自蒸馏渐进式训练、并行感知策略优化以及重构的执行引擎，使大语言模型能够自我进化出真正的并行推理能力，在无需回归自回归解码的情况下实现显著的性能提升和高达4.6倍的推理加速。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位才华横溢但非常传统的学生。这位学生擅长解决问题，但他们是按部就班地一步步解决，就像从左到右阅读一本书。他们从不跳步，也从不同时尝试两种不同的解决方案。这就是目前大多数人工智能模型的工作方式：它们以直线方式思考。
这篇论文介绍了一种名为原生并行推理器（Native Parallel Reasoner, NPR）的新系统。请将 NPR 想象成不是那个读书的学生，而是一个在同一个房间里工作的侦探团队。他们不是等侦探 A 完成线索后侦探 B 才开始，而是所有人同时处理谜题的不同部分，然后汇聚起来破案。
以下是论文中解释他们如何教导这个“团队”协同工作的三个主要步骤：
1. 当前人工智能的问题
作者指出，当前的人工智能在尝试并行思考时面临三大难题：
- 错误的工具：用于运行人工智能的软件引擎是为直线流程构建的。试图强迫它们进行分支处理，就像试图在铁轨上开车；要么会损坏，要么会卡住。
- 浪费精力：早期的并行思考尝试非常笨拙。这就像让五个人解决一道数学题，但他们不是共享草稿纸，而是每个人都必须从头重新书写整个问题。这使他们变得更慢，而不是更快。
- “教师”陷阱：以往的方法依赖一个超级聪明的“教师”人工智能来向学生展示如何进行并行思考。但学生只是模仿了教师的线性思维，并试图将其硬塞进并行格式中。这就像告诉一个只会走路的人去跑马拉松，只是让他们“走快点”。他们无法发明一种新的移动方式。
2. 解决方案：三阶段训练营
NPR 系统教导人工智能成为真正的并行思考者，而无需教师。他们采用了一种“自蒸馏”方法，意味着人工智能自我教学。
第一阶段：学习规则（“格式”阶段）
想象人工智能是一个混乱的艺术家。在这一阶段，研究人员给予它一套奖励机制：“如果你按照特定的、有组织的网格作画，你就会得到一颗金星；如果你随意涂鸦，你就会受到惩罚。”人工智能此时还不知道如何解决问题；它只是学会了将思维组织成结构化的“映射 - 处理 - 归约”格式（计划 -> 执行 -> 总结）。它学会了并行思考的形态。第二阶段：热身（“练习”阶段）
既然人工智能已经知道了规则，它就开始练习。研究人员让人工智能生成成千上万个答案，但他们会丢弃那些糟糕的答案（错误的或不遵循规则的）。他们只保留完美且结构化的答案，并用它们来“微调”人工智能。这就像教练只向团队展示练习赛中最好的战术动作，以便他们能记住完美的队形。第三阶段：实战（“强化”阶段）
这是巨大的飞跃。人工智能现在被投入到一个真正的游戏中，必须解决难题。它尝试不同的并行策略。如果它快速找到解决方案，就会获得奖励。如果它陷入困境，它就会学会尝试不同的分支。至关重要的是，研究人员构建了一个特殊的**"NPR 引擎”**（一种新型软件），它充当裁判的角色。它确保人工智能不会通过滑回“逐个”思考来作弊，并管理内存，以防团队耗尽空间。
3. 结果：更快、更聪明
论文在八种不同类型的困难推理测试（如数学竞赛和逻辑谜题）上测试了这个新的“侦探团队”。
- 真正的并行性：与其他有时假装并行但实际上只是线性思考（“伪装”）的模型不同，NPR 实现了100% 真正的并行思考。它从未作弊。
- 速度：因为它实际上是在并行思考，所以速度快得多。在最难的问题上，它比旧的线性模型快 4.6 倍。这就像一个人步行前往目的地与一队汽车同时驾车前往目的地之间的区别。
- 准确性：它正确解决的问题比由人类教师训练或其他并行方法训练的模型更多。
核心要点
论文声称，通过让人工智能自我学习如何分配注意力并同时处理多条路径，我们可以创造出不仅在解决复杂谜题方面更聪明，而且在速度上显著更快的人工智能。他们不仅仅是强迫人工智能看起来像并行；他们帮助它进化出一种原生的并行思考能力，就像一块终于得到正确锻炼的肌肉。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。