技术摘要：多智能体大语言模型对话中的决策协议

问题陈述

虽然通过扩展大语言模型（LLM）规模在历史上驱动了性能提升，但这种方法面临着收益递减、成本高昂以及环境问题。因此，研究人员正在探索推理时策略，以在不增加模型规模的情况下增强任务性能。多智能体系统（MAS）通过将任务分配给专业化智能体提供了一条充满前景的途径。然而，MAS 的一个关键瓶颈是决策协议：即多个智能体如何协作、讨论并选择最终解决方案的机制。现有的框架通常依赖单一的决策策略，或者缺乏系统性比较不同协议（例如：投票、共识、评判）在不同任务领域（基于知识型 vs. 基于逻辑型）中表现的模块化能力。本论文旨在解决理解特定决策机制如何影响 LLM 性能、响应多样性如何影响这些协议，以及决策在不同信息条件下稳定性等方面的空白。

方法论

本研究引入了 MALLM (Multi-Agent Large Language Model)，这是一个全新的开源框架，专门设计用于模拟多智能体对话式任务求解。MALLM 以模块化和高效性为设计核心，支持异步处理并能轻松集成 HuggingFace 数据集。

框架架构

MALLM 通过四个主要模块编排讨论：

1. 自动人格生成器 (Automatic Persona Generator)： 为智能体分配相关的角色（如“工程师”、“历史学家”），以解锁特定的领域知识，这些角色由 LLM 本身动态生成。
2. 响应生成器 (Response Generators)： 定义智能体如何交互。变体包括：自由文本（中立）、批判（强制对他人进行批评）、推理（仅分享逻辑而不给出最终答案）以及 简化型（减少上下文）。
3. 讨论范式 (Discussion Paradigms)： 控制信息的流动。选项包括：记忆模式（全员可见）、接力模式（顺序可见）、报告模式（以协调员为中心）、辩论 以及 集体完善（同时进行独立的完善）。
4. 决策协议 (Decision Protocols)： 这是核心贡献，分为三类：
   • 基于共识 (Consensus-Based)： 智能体必须按顺序达成一致。变体包括：多数制 (50%)、绝对多数制 (66%) 和全体一致制 (100%)。
   • 基于投票 (Voting-Based)： 智能体进行若干轮讨论后进行投票。变体包括：简单投票、排序投票、累积投票和赞成票投票。
   • 评判决策 (Judge Decision)： 一个中立的智能体评估所有最终方案及其推理过程，从而产生单一裁决。

实验设置

实验使用了 Llama 3 8B 和 Llama 3 70B 模型。评估涵盖了两个领域的七个数据集：

• 基于知识型 (Knowledge-Based)： MMLU, MMLU-Pro, GPQA。
• 基于逻辑型 (Logic-Based)： StrategyQA, MuSR, Math-lvl-5, SQuAD 2.0。
  研究采用了抽样策略以确保 95% 的置信水平，并进行了三次独立试验以计算标准差。

核心贡献

1. MALLM 框架： 一个全新的、模块化的框架，能够系统地比较决策协议，并内置了对人格生成、多样化讨论范式和并行执行的支持。
2. 系统的协议比较： 在知识型和逻辑型任务中对共识、投票和评判协议进行了全面评估，超越了单一协议的研究。
3. 多样性与稳定性分析： 研究了独立方案生成、响应多样性以及信息变化（如置信度分数、讨论历史）如何影响决策质量和智能体稳定性。

结果

1. 任务性能与协议适用性

• 领域依赖性： 没有单一协议能在所有任务中表现最优。
  • 共识协议在知识密集型领域（MMLU, GPQA）表现出色，在这些领域中，分享事实并达成一致能获得更好的结果。
  • 投票和评判协议在逻辑型任务（StrategyQA, MuSR, Math-lvl-5）中表现更好，这可能是由于这类任务需要个体推理或权威选择，而非强制达成一致。
• 模型规模影响： 较小的模型（Llama 3 8B）相比基准线，通过多智能体讨论展现出显著的性能提升。较大的模型（Llama 3 70B）具有更高的基准线且提升幅度较小，这表明多智能体系统对于增强较小的、资源受限的模型特别有效。
• 效率： 与投票协议（通常需要 3 轮以上）相比，共识协议达成决策所需的轮数更少（1–2 轮），因此计算成本更低。

2. 响应多样性的影响

• 独立起草： 强制每个智能体独立生成初始方案（而非迭代单个草案）在大多数协议中都提高了性能。
• 集体完善： “集体完善”范式（限制主动的轮次间通信并促进独立思考）带来了最高的准确率提升。
• 批判 vs. 推理： 虽然“批判型”提示增加了答案的多样性（降低了相似度得分），但并未显著提高性能，有时甚至会降低讨论质量。“推理型”提示（仅分享逻辑）则降低了性能，这可能是由于缺乏多样化的初始方案。

3. 信息变化与稳定性

• 微小变化的极低影响： 决策阶段的变化——例如添加置信度分数（通过提示词、对数概率或基于一致性）、提供额外的外部事实，或改变匿名性（公开或私密投票）——并未显著改变任务性能。所有变化均保持在一个标准差范围内。
• 鲁棒性： 决策协议对于在最终决策步骤中提供的细微信息变化具有鲁棒性。

4. 最终方案的挑战

• 智能体置信度： 当智能体在群体决策后受到单独质疑时，如果提供了讨论历史（推理过程），它们更有可能坚持原有的群体答案。如果没有讨论历史，质疑率则更高。
• 性能下降： 使用单个智能体对最终方案进行挑战（移除多智能体上下文）通常会导致任务性能下降，这表明协作推理过程对于方案的有效性至关重要。

5. 计算时间

多智能体讨论本质上是昂贵的。

• 基准线： 单智能体推理。
• CoT 基准线： 约为单智能体计算成本的 10 倍。
• 投票/评判协议： 由于存在多轮讨论和决策步骤，其计算成本约为 CoT 基准线的 15 倍。
• 共识协议： 由于轮数较少，其计算成本约为 CoT 基准线的 5 倍。

意义与主张

本文主张决策协议是多智能体系统中一个关键的、可调节的组件，可以显著增强任务性能，特别是对于较小的模型。研究表明：

• 协议选择必须具备任务感知能力： 共识协议在知识检索方面更优，而投票/评判协议在逻辑推理方面更佳。
• 多样性是关键： 鼓励独立的初始方案比强制智能体去批判或完善单一路径效果更好。
• 简单往往足够： 在投票阶段加入复杂的元素（如置信度分数或外部事实）相对于标准协议而言，收益微乎其微。
• 存在权衡： 虽然多智能体系统提高了准确率，但它们也带来了巨大的计算成本（5 倍至 15 倍），需要根据资源约束进行仔细权衡。

该工作总结道，MALLM 为研究人员探索这些权衡提供了必要的设施，并强调虽然多智能体讨论功能强大，但其效率高度取决于决策协议的选择和任务的性质。