技术摘要：AMATA——面向知识密集型问答的自适应多智能体轨迹对齐

1. 问题陈述

尽管大语言模型（LLMs）取得了显著进展，但在知识密集型问答（QA）中生成事实一致的响应仍然充满挑战。当前模型难以克服幻觉问题，且在弥补长尾知识缺口方面存在局限。虽然检索增强生成（RAG）通过访问外部知识提供了一种缓解策略，但其受限于检索不准确以及因上下文变长而导致的推理延迟增加。

现有的知识密集型问答多智能体方法通常归为三类范式，每类均有其独特的局限性：

1. 模块化训练：独立地对智能体进行子任务微调。这种方法缺乏全局优化，导致误差传播，且无法补偿智能体间的相互依赖。
2. 端到端训练：在单一框架内联合优化所有智能体。虽然实现了协同适应，但统一的梯度更新往往掩盖了异构智能体不同的专业化需求，导致过度同质化。
3. 全局 - 局部训练：结合独立的子任务优化与联合微调。然而，这些方法往往无法捕捉动态的智能体间依赖关系，而这对多样化任务至关重要（例如，高置信度问题无需验证步骤，或忽略上下文的僵化执行序列）。

本文解决的核心问题是缺乏一种能够根据特定问题需求动态调整智能体参与度的框架，同时建模智能体之间复杂且依赖上下文的关联，以提升推理性能和 Token 效率。

2. 方法论：AMATA 框架

作者提出了AMATA（自适应多智能体轨迹对齐），这是一个旨在改进智能体级对齐并捕捉动态智能体间依赖关系的框架。该系统利用六个专用智能体：意图重构器、知识检索器、知识过滤器、知识定位器、响应生成器和答案验证器。

该方法论基于两项主要创新：

A. 轨迹内偏好学习

现有方法通常将所有智能体视为具有同等相关性。AMATA 引入了一种机制，针对每个具体问题动态优化智能体的参与度。

• 机制：系统学习特定于问题的智能体偏好分布。对于每个“智能体 - 问题”对，根据该智能体对当前输入的效用分配一个偏好分数（例如，<检索器：5> 对比 <验证器：1>）。
• 实现：这些分数与智能体描述拼接作为前缀，并与问题配对进行微调。这使得单一模型能够通过增强自适应前缀分数的监督微调（SFT）来捕捉异构智能体的能力，而无需为每个智能体准备单独的数据集。
• 目标：优先处理关键智能体（例如，复杂查询中的知识工具），并抑制冗余智能体（例如，高置信度答案中的验证器），从而减少 Token 消耗。

B. 智能体间依赖学习

多智能体系统表现出依赖上下文的特性，即触发关键智能体需要协调执行相关联的智能体。

• 机制：作者引入了**依赖感知直接偏好优化（DA-DPO）**模块。与比较单一胜/负样本对的标准 DPO 不同，DA-DPO 学习对上下文敏感的执行排名。
• 实现：
  • 构建偏好样本以显式编码智能体间依赖关系。
  • 轨迹被标注为联合偏好分数，反映多智能体序列的全局最优性。
  • 算法根据“依赖良好度”（智能体分数与成功结果的相关程度）选择前 K 个获胜样本，并将剩余样本视为失败示例。
  • 使用列表式 Plackett-Luce 偏好模型来优化策略，优先选择具有稳健智能体间协调的轨迹。
• 目标：使 LLM 能够以高可靠性推断最优的多智能体执行序列，确保依赖型智能体（例如，检索器 $\rightarrow$ 过滤器 $\rightarrow$ 定位器）以连贯且感知依赖的方式执行。

训练流程

该框架经历两阶段训练过程：

1. 轨迹内学习：通过偏好前缀机制优化模型以感知智能体效用（$L_{Intra}$）。
2. 智能体间依赖学习：将基础智能体预测损失与 DA-DPO 损失（$L_{Inter}$）相结合，以增强多智能体协作（$L_{total} = \alpha_1 L(T) + \alpha_2 L_{Inter}$）。

3. 主要贡献

1. 自适应智能体定制：一种根据问题复杂度动态调节智能体影响力的新方法，摆脱了静态工作流或统一的智能体相关性模式。
2. 依赖感知优化：引入 DA-DPO，捕捉跨智能体工具依赖并学习相对执行排名，解决了先前多智能体系统中的“误差传播”和“僵化排序”问题。
3. 效率与性能：该框架在实现高推理性能的同时，通过动态跳过不必要的智能体（例如验证器）并优化执行路径，显著降低了 Token 开销。

4. 实验结果

AMATA 在五个既定的知识密集型问答基准测试中进行了评估：HealthQA、ARC-Choice、PopQA、SQuAD 1.1 和 ASQA。

• 性能：AMATA 始终优于基线方法，包括普通问答方法、知识增强框架（如 Self-RAG、RADIT）以及基于 LLM 的轨迹系统（如 SMART、GiGPO、SPA-RL）。它在所有任务上实现了平均 +4.02% 的性能提升。
• 效率：与强基线相比，该方法将 Token 消耗开销降低了约 70%。这归功于自适应偏好学习，避免了调用不必要的智能体。
• 消融研究：移除智能体间依赖损失（$L_{Inter}$）导致性能下降最为剧烈，证实了建模智能体关联的重要性。同样，移除特定智能体（如过滤器或验证器）会降低性能，验证了完整智能体集及其特定角色的必要性。
• Token 分析：与 SMART 等全局 - 局部基线相比，AMATA 保持了相当的 Token 开销，但在准确率上显著优于它。基于 RL 的方法（如 GiGPO）由于多次 rollout 会话，显示出更高的 Token 消耗（+70%）。

5. 意义与主张

本文主张，AMATA 通过将智能体交互从静态或统一优化的模式转变为自适应、依赖感知的轨迹对齐，在多智能体问答领域迈出了重要一步。

• 动态适应：该框架成功证明，高置信度问题不需要验证步骤，而复杂知识问题需要特定的知识智能体链。AMATA 自动学习这些动态特性。
• 可扩展性与效率：通过在不牺牲准确性的情况下减少约 70% 的 Token 消耗，该方法解决了部署复杂多智能体系统的实际成本障碍。
• 泛化能力：作者指出，该框架在推理时作为零样本、自适应性系统运行，一旦学习到了“协作策略”，无需针对新领域预先存在训练轨迹。

作者在局限性方面保持了谦逊，承认实验主要在 7B 参数模型上进行，且用于 DPO 的胜/负样本数量有限。他们建议，扩展到更大的模型（例如 70B）并增加样本多样性，可以进一步提升复杂任务的性能。