💬 NLP

Adaptive Latent Agentic Reasoning

该论文提出了自适应潜性代理推理（Adaptive Latent Agentic Reasoning, ALAR），这是一种双模态框架，通过利用紧凑的潜性推理处理常规步骤，并为复杂决策保留显式的思维链，从而在保持或提高任务准确性的同时，显著减少了 Token 生成量。

原作者： Dongwon Jung, Peng Shi, Yi Zhang, Junshan Zhang, Muhao Chen

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dongwon Jung, Peng Shi, Yi Zhang, Junshan Zhang, Muhao Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一位非常聪明但过于话痨的私人助理来帮你解决问题。

问题：“过度思考型”助理
目前的先进人工智能助手（被称为“大语言推理模型”）就像是那些在做任何事情之前都必须写一篇长篇详细日记的助理。

场景： 你问：“天气怎么样？”
当前的人工智能： “好的，我需要思考。首先，我应该考虑到你在询问天气。我应该回想天气是会变化的。我应该记住我需要调用一个工具。我现在要制定一个计划来检查天气工具……”（写了500字的内心独白）。
问题所在： 这非常缓慢，并且浪费大量的数字空间（Token）。对于简单的任务，这种冗长的“大声思考”是不必要的。但对于困难的任务，AI确实需要这种深度思考。目前的问题在于，这些AI会对所有事情——无论是简单的问题还是复杂的谜题——都使用同样沉重、冗长的思考方式。

解决方案：ALAR（自适应潜性代理推理）
这篇论文介绍了一种名为 ALAR 的新系统。你可以把 ALAR 理解为教会了那位助理一种新的超能力：静默思考（Silent Thinking）。

ALAR 给助手提供了两种模式：

“耳语”模式（潜性推理）： 对于常规任务（比如查询天气或开门），助手会在自己的脑海中进行静默思考。它不会写下任何东西，只是处理信息并执行动作。这很快，且占用极少的空间。
“言语”模式（显性推理）： 当任务真正困难时（比如解决复杂的数学问题或规划多步骤的旅行），助手会切换到“言语”模式。它会写出完整的、详细的日记条目，以确保逻辑正确。

它是如何学习的：“行动”技巧
教人工智能进行静默思考是很困难的，因为你无法给它的“静默想法”评分（因为它们是看不见的）。

论文的方法（基于动作的锚定自我蒸馏）： 想象一位大师级厨师（老师）写下了食谱的每一个步骤。学生（AI）被要求烹饪这道菜，但不需要写下步骤。
研究人员不是去检查学生的笔记，而是只检查最终的菜肴味道是否正确。如果学生做出了和老师一样美味的饭菜，系统就假设学生的静默思考是正确的。
通过只关注动作（最终结果），人工智能学会了如何在不需要写出“为什么”的情况下做正确的事。

“智能开关”（自适应模式选择）
系统还学习了何时进行模式切换。

训练过程： 如果 AI 在快速得到正确答案的同时使用“静默模式”，它会获得奖励。但如果它在处理难题时尝试使用“静默模式”却失败了，它就会受到惩罚。
结果： AI 学会了成为一名变色龙。它在 80-90% 的简单步骤中使用静默思考（节省了大量的时间和空间），但在遇到困难时会自动切换到大声、详细的思考模式。

研究结果：更快、更聪明
研究人员在两个主要任务上测试了它：搜索（在互联网上寻找答案）和工具使用（使用软件工具执行任务）。

搜索： AI 使用的词汇量（Token）减少了 43.6%，同时获得了相同或更好的答案。
工具使用： AI 使用的词汇量惊人地减少了 84.6%，同时实际上得到了更多的正确答案。

简单来说
这篇论文认为，我们并不需要人工智能助手在每一步都对它们自己“大声说话”。通过教会它们在处理简单工作时进行静默思考，并在遇到难题时才开口，我们可以让它们变得更快、更高效，而不会损失智能。这就像是在告诉你的助理：“不要为每一件小事都写一部小说；直接去做就好。但如果遇到了大问题，请花点时间把它写下来。”

技术摘要：自适应潜空间智能推理 (Adaptive Latent Agentic Reasoning, ALAR)

1. 问题陈述

大语言推理模型 (LRMs) 已证明，扩展思维链 (CoT) 推理能显著提升复杂任务的表现。然而，当将这种行为应用于在多轮交互环境（如搜索、工具使用）中运行的 LLM 智能体 (LLM agents) 时，会引入实质性的低效问题。目前的智能体在每个决策步骤都会生成冗长的文本推理，且无论当前回合的实际复杂度如何，都会分配统一的推理力度。

这种“过度思考”导致了：

Token 效率低下： 推理 Token 会在多轮对话中于上下文窗口内不断累积，增加了延迟和成本。
结构性失配： 许多智能体回合仅需轻量级的内部计算即可根据外部观测选择下一步动作，但它们仍会产生完整的显式 CoT 轨迹。
现有方案的局限性： 当前的 Token 压缩方法（如剪枝、长度预算）是在显式 CoT 接口内运作的。它们缩短了文本，但未能消除对文本推理 Token 的需求，无法解决对于常规决策仍需生成任何文本所带来的结构性低效问题。

2. 方法论：自适应潜空间智能推理 (ALAR)

作者提出了 ALAR，这是一个双模态框架，允许智能体在常规回合使用紧凑的潜空间推理 (compact latent reasoning)，并仅在需要深度审议时才选择性地升级到显式 CoT。

2.1 核心架构

双模态策略： 在每个回合 $t$ $t$ ，智能体直接从其策略中采样一个模式 $m_t \in \{<LAT>, <THINK>\}$ $m_{t} \in {< L A T >, < T H I N K >}$ 。
- **潜空间模式 ($ $)：** 智能体在隐藏状态空间中生成长度固定的$ K $个连续思维序列 ($ z_t$)，而非离散 Token。这些思维通过投影层 $f_\phi$ 进行自回归处理，随后智能体选择动作。
- 显式模式 ($$)： 智能体生成标准的变长文本 CoT ( $c_t$ )。
面向动作的推理： 不同于单次推理（其中潜空间思维导向最终答案），ALAR 的潜空间推理旨在支持与环境耦合的轨迹中的中间动作选择。

2.2 训练流水线

该框架采用两阶段优化程序：

第一阶段：动作锚定自蒸馏 (Action-Anchored Self-Distillation, AASD)

训练潜空间推理具有挑战性，因为连续的隐藏状态无法直接受变长文本 CoT 的监督。AASD 通过以下方式解决此问题：

教师-学生设置： 基础 LRM 在显式模式下充当教师，在潜空间模式下充当学生。
动作锚定： AASD 不再将潜空间思维与文本 CoT 对齐，而是训练学生去复现教师随后的动作。教师的 CoT 区间被替换为学生轨迹中的潜空间块。
目标函数： 损失函数最大化给定状态 ( $s_t$ ) 和潜空间块 ( $z_t$ ) 时，教师锚定动作 ( $a_t$ ) 的对数似然。这使得投影器 $f_\phi$ 能够在不受到教师文本结构约束的情况下，在隐藏状态空间中发现产生正确动作的最优轨迹。

第二阶段：自适应推理 GRPO (Adaptive Reasoning GRPO, AR-GRPO)

为了学习何时使用潜空间推理与显式推理，作者引入了一种强化学习方法：

模式预热： 通过简短的有监督微调 (SFT) 初始化策略以探索两种模式，因为 AASD 最初会使模型偏向于潜空间推理。
非对称奖励： 轨迹奖励 $R(\tau)$ $R (τ)$ 仅在任务成功得以保持时鼓励使用潜空间推理：
- 如果轨迹正确 ($EM=1 $)，奖励随潜空间回合比例 ($ f(\tau)$) 的增加而增加。
- 如果轨迹错误，奖励则惩罚过度使用潜空间推理的行为。
多样性与长度控制： 多样性奖励鼓励在训练早期探索不同的模式混合方式，而长度缩放因子则惩罚过长的显式推理片段。

3. 核心贡献

ALAR 框架： 一种双模态推理架构，结合了潜空间推理与自适应模式选择，使智能体能够跳过不必要的文本推理，同时在复杂步骤中保留显式审议能力。
动作锚定自蒸馏 (AASD)： 一种新颖的自蒸馏技术，通过面向环境的动作作为监督锚点，在没有直接潜空间状态监督的情况下训练潜空间智能推理。
AR-GRPO： 一种优化每回合模式选择的强化学习方法，在不损害任务成功率的前提下，奖励潜空间推理的效率。

4. 实验结果

作者在智能体搜索（6 个开放域 QA 基准测试）和工具使用（BFCL 基准测试）领域对 ALAR 进行了评估，并将其与 O1-Pruner、ThinkPrune 和 ShorterBetter 等基线进行对比。

搜索领域 (Search-R1 3B/7B)：
- ALAR 在实现相当或略微提升的精确匹配 (EM) 准确率的同时，减少了 22.1% 至 43.6% 的生成 Token（第二阶段）。
- 第一阶段（纯潜空间）实现了高达 52.5% 的 Token 减少，且保持了竞争力的准确率。
- 基于文本的压缩基线增益有限（仅减少 4–10%），因为基础模型本身已经产生了相对紧凑的 CoT。
工具使用领域 (Qwen3-4B-Thinking)：
- ALAR 展示了卓越的表现，在减少 84.6% Token 的同时，将平均准确率从 86.1% 提升至 89.2%。
- 这表明基础模型过于冗长，而 ALAR 成功地用潜空间计算取代了不必要的文本。
自适应行为分析：
- 任务难度： 模型在较难的基准测试（如 Bamboogle, 2Wiki）上更频繁地使用显式推理，而在较易的数据集（如 NQ, TriviaQA）上则高度依赖潜空间推理。
- 回合位置： 显式推理集中在第一回合（初始规划），而后续回合则主要采用潜空间模式。

5. 重要性与主张

论文声称 ALAR 通过从根本上改变推理的底层媒介（而非仅仅压缩文本），改善了 LLM 智能体的准确率-效率权衡。

推理的异质性： 结果支持了以下假设：智能体推理的需求是异质的；常规回合通常只需要足够的内部计算（潜空间）来选择动作，而只有特定步骤（如初始规划或复杂分解）才需要显式 CoT。
超越压缩： 通过替换推理接口本身，ALAR 实现了文本压缩方法无法达到的 Token 削减水平（在工具使用领域高达 84.6%）。
实用性： 该方法证明，只要能够动态分配潜空间与显式模式之间的推理资源，就可以在不牺牲性能的前提下，显著提高 LLM 智能体的效率。

6. 局限性

作者承认存在以下几点局限性：

范围： 本研究侧重于涉及外部环境（搜索、工具）的智能体任务，并未评估如数学或编程等单次推理（single-pass）领域，在这些领域中额外的推理 Token 可能与最终答案的准确性直接相关。
教师偏差： 潜空间策略会继承 AASD 中成功的教师轨迹所具备的覆盖范围和偏差。
可解释性： 潜空间推理降低了中间步骤的透明度，这在需要动作辩护（action justification）的高风险场景中可能是不利的。
固定粒度： 当前实现使用了固定的潜空间块长度 ( $K=4$ ) 和离散的模式选择，这为未来的精细化控制留下了空间。