Recursive Multi-Agent Systems

以下是论文《递归多智能体系统》（RecursiveMAS）的详细技术总结。

1. 问题陈述

当前的大语言模型（LLMs）由于容量有限、生成视野短浅或解空间探索效率低下，往往难以应对复杂任务。虽然多智能体系统（MAS）通过将专业化智能体组织成协作工作流来解决这一问题，但现有方法面临显著局限：

• 文本介导的延迟：标准多智能体系统依赖智能体之间显式的文本生成与交换。这在递归或迭代设置中引入了巨大的延迟和 Token 开销，因为智能体必须等待其他智能体完成文本生成后才能继续。
• 训练低效：优化整个多智能体系统十分困难。更新所有模型参数计算成本高昂，且序列文本依赖关系常导致反向传播过程中的梯度消失，阻碍了对复杂协作动态的学习。
• 静态适应：许多现有方法依赖提示工程（Prompt Engineering）或迭代上下文优化，这虽能改善对齐，但无法从根本上进化智能体的内部推理能力或系统的协作结构。

作者提出：智能体协作本身能否通过递归进行扩展？这种扩展能否通过在潜在空间（Latent Space）而非文本空间操作来更高效地实现？

2. 方法论：RecursiveMAS

本文提出了RecursiveMAS，这是一个将整个多智能体系统构建为统一潜在空间递归计算的框架。RecursiveMAS 不再将智能体视为交换文本的独立实体，而是将其视为递归循环中的层级，传递并优化潜在表示（隐藏状态），而非 Token。

核心架构组件

1. 潜在思维生成（内循环）：

   • 每个智能体执行自回归生成，生成的不是 Token，而是潜在思维（连续隐藏状态嵌入）。
   • 内递归链接（$R_{in}$）将智能体最后一层的输出连接回其下一步的输入嵌入空间。这使得智能体能够在不解码为文本的情况下，迭代优化其内部推理状态。
   • $R_{in}$ 是一个轻量级的 2 层残差投影模块：$R_{in}(h) = h + W_2 \sigma(W_1 h)$。

2. 跨智能体协作（外循环）：

   • 异构智能体（不同模型大小/架构）通过外递归链接（$R_{out}$）连接。
   • $R_{out}$ 将一个智能体的潜在状态转换为下一个智能体的嵌入空间，实现不同模型类型间的无缝信息传递。
   • 系统形成闭环：智能体 $A_1 \to A_2 \to \dots \to A_N \to A_1$。仅最后一轮递归中的最后一个智能体将潜在状态解码为最终文本输出。

3. 内 - 外循环训练范式：

   • 内循环训练：每个智能体单独预热。内层 $R_{in}$ 被训练以将智能体生成的潜在思维与真实答案的语义分布对齐（使用余弦相似度回归）。这确保智能体能生成有意义的潜在状态。
   • 外循环训练：整个系统协同优化。外层 $R_{out}$ 模块使用共享的基于梯度的信用分配机制进行训练。梯度通过完整的递归计算图（跨越所有智能体和递归轮次）进行反向传播，使用最终输出的标准交叉熵损失。这使得系统能够学习如何进行迭代协作。

理论优势

论文为潜在空间递归提供了两个关键理论依据：

• 运行时复杂度：RecursiveMAS 用潜在空间投影（$O(d_h^2)$）替代了昂贵的词汇空间解码（$O(|V|)$）。由于隐藏维度 $d_h$ 远小于词汇表大小 $|V|$，复杂度显著降低。
• 梯度稳定性：理论分析表明，基于文本的递归由于 Softmax 操作和熵约束， suffers from 梯度消失（梯度范数 $\approx 0$）。相比之下，RecursiveMAS 通过潜在空间中的残差连接保持稳定的、近乎恒定的梯度（范数 $\approx 1$），促进了有效的深度递归训练。

3. 主要贡献

1. 系统级递归：首个将递归扩展原则从单一模型扩展到异构多智能体系统的框架，将整个多智能体系统视为统一的潜在空间循环。
2. 轻量级递归链接：一种新颖的、参数高效的模块（$R_{in}$ 和 $R_{out}$），能够在不更新基础大语言模型庞大参数的情况下，实现潜在思维生成和跨智能体状态转移。
3. 内 - 外循环优化：一种两阶段训练算法，将智能体能力（内层）与系统协作（外层）解耦，实现整个系统的稳定协同优化。
4. 泛化性：该框架与架构无关，支持多种协作模式，包括顺序执行、混合专家（Mixture-of-Experts）、蒸馏以及工具集成推理。

4. 实证结果

作者在 4 种不同的协作模式和多样化的模型家族（Qwen, Llama, Gemma, Mistral）上，针对9 个基准测试（数学、科学、医学、搜索、代码）评估了 RecursiveMAS。

• 准确率：与先进的单智能体和多智能体基线（包括基于文本的递归系统）相比，RecursiveMAS 实现了平均 8.3% 的准确率提升。
  • 在推理密集型任务上提升显著：AIME2025 提升 +18.1%，AIME2026 提升 +13.0%。
• 效率（速度）：
  • 推理加速：与基于文本的递归多智能体系统相比，实现了1.2 倍至 2.4 倍的端到端推理加速。随着递归深度增加，加速效果更明显，因为基于文本的系统受累于累积的 Token 生成成本。
  • Token 减少：与基于文本的基线相比，Token 使用量减少了34.6% 至 75.6%，因为大多数交互发生在压缩的潜在空间中。
• 扩展定律：
  • 递归深度：随着递归轮次（$r=1, 2, 3$）的增加，性能持续提升。
  • 训练与推理：更深的训练递归将性能前沿向上推移，而更深的推理递归则进一步利用已学习的潜在结构。
• 成本：训练 RecursiveMAS 的成本显著低于单智能体的全量微调甚至 LoRA 微调，因为仅更新了轻量级的递归链接模块（约占总参数的 0.31%）。

5. 意义

RecursiveMAS 代表了多智能体系统设计与训练范式的转变：

• 效率：它解决了多智能体协作的"Token 税”问题，使得复杂任务的迭代推理在没有不可接受的延迟或成本的情况下成为可能。
• 可扩展性：它证明了系统级性能可以通过加深递归循环来扩展，类似于单一模型随深度扩展的方式，但应用于协作生态系统。
• 稳定性：通过将协作移至潜在空间，它克服了历史上困扰基于文本系统的深度递归训练中的梯度不稳定问题。
• 泛化性：该框架在不同智能体拓扑结构（顺序、并行、蒸馏）上的泛化能力，表明了一种稳健、通用的扩展智能体协作的方法。

总之，RecursiveMAS 证明了潜在空间递归是多智能体系统可行且优越的扩展维度，为构建更强大、更高效且可训练的合作式人工智能提供了一条路径。