技术摘要：多智能体语言模型中的道德风险

问题陈述

本文探讨了多智能体大语言模型（LLM）系统中一个关键的安全挑战：**道德风险（moral hazard）**问题。在这些系统中，智能体经常面临一种权衡：采取具有社会价值的行为（如验证另一个智能体的计划、发出风险警告或调用工具）会产生私人成本（Token、延迟、计算资源），而主要的收益却归于集体系统或其他智能体。借鉴 Holmström 的团队道德风险模型，作者指出，如果智能体获得的私人份额不足以抵消其成本，即使该行为在社会层面是最优的，智能体也可能会理性地拒绝投入努力。

现有的协作博弈基准测试（如囚徒困境、公共物品问题）往往将协作行为与结果混为一谈，或者未能将私人信息获取与公共通信区分开来。本文认为，目前的评估往往依赖于聚合成功指标，这可能会掩盖协作链条中特定环节的失败（例如，一个智能体可能进行了查询但未能传达信息，或者传达了信息但未能有效利用）。

方法论：对话道德风险博弈

为了隔离并衡量这种隐藏行动结构，作者引入了对话道德风险博弈（Dialogue Moral Hazard Game），这是一个受控的文本博弈，其机制如下：

• 设置： $N$ 个智能体排列在一个有向环形结构中。每个智能体拥有一个“案例（case）”，该案例具有可见的行为效用和一个隐藏的不安全选项。
• 困境： 在“工作”阶段，智能体必须在以下两者之间做出选择：
  1. 局部行动： 通过回答关于自身案例的公开问题，保留即时的局部奖励。
  2. 查询： 支付成本 $k$，以私密方式揭示下一个智能体案例中的隐藏不安全选项。
• 通信： 如果智能体进行查询，他们可以将查询到的事实发布到公告板上（格式为 NOTE CASE <ID> UNSAFE <OPTION>）。
• 决策： 在最终阶段，所有智能体针对各自的案例做出最终行动。
• 成功条件： 团队成功（$T=1$）要求所有智能体都能正确识别并避开各自案例中的隐藏不安全选项。这需要一个完整的链条：查询 $\to$ 警告 $\to$ 正确决策。

评估指标： 作者将性能分解为六种不同的结果，以避免将努力程度与成功结果混淆：

1. 局部奖励保留： 选择即时的私人收益。
2. 查询率： 承担成本的意愿。
3. 信息传递： 被查询的事实是否被正确地传达。
4. 不安全选择： 选择了隐藏的有害选项。
5. 格式有效性： 对协议语法的遵循程度。
6. 团队成功： 完成集体目标。

验证实验：

• 自主扫描（Autonomous Sweeps）： 改变查询成本、团队奖励和群体规模，以测试端到端行为是否对激励做出反应。
• 私人份额激励隔离： 通过编写伙伴行为脚本来隔离焦点智能体的决策。这用于测试智能体的查询阈值是否追踪了从 Holmström 模型中推导出的理论边界（$\alpha_i \Delta Y > k$，其中 $\alpha_i$ 是智能体的私人份额收益）。

学习干预措施： 研究评估了四种更新机制在七个开源模型（4B–9B）和一个前沿 API 模型（GPT-5.6 Sol）上的表现：

1. 监督微调（SFT）： 模仿“查询—警告—决策”的序列。
2. RLOO： 使用留一法（leave-one-out）基准的强化学习，优化目标动作匹配和逻辑结构。
3. SFT+RLOO： 顺序应用上述两种方法。
4. GEPA： 提示词优化（在自然语言指令空间进行搜索），无需权重更新。

关键结果

1. 基座模型行为

大多数开源模型未能实现预期的协作机制。

• 努力程度与成功结果的分离： 许多模型要么完全避免查询（保留局部奖励），要么频繁查询但无法成功传递信息或避免不安全选择。
• 前沿模型基准： GPT-5.6 Sol 实现了 100% 的团队成功率、100% 的查询率和完美的信息传递，建立了该任务的“天花板”。
• 激励敏感性： GPT-5.6 Sol 展示了极强的激励敏感性。在自主扫描中，随着成本上升，其查询率下降；随着团队奖励上升，其查询率上升。在私人份额隔离实验中，其经验查询阈值追踪了基于 Holmström 理论的边界，平均绝对误差仅为 0.013，这证实了在消除下游失败因素后，它能对“私人对社会”的激励结构做出反应。

2. 学习干预效果

优化效果具有高度的异质性和模型特异性：

• OLMo-7B： 展示了最符合机制一致性的改进。SFT 和 SFT+RLOO 通过提高查询率和信息传递能力，显著提升了团队成功率（从约 1% 提升至约 39%）。
• GEPA（提示词优化）： 虽然可以提高团队成功率，但通常是通过**机制绕过（mechanism bypass）**实现的。例如，Qwen3-4B 在使用 GEPA 时，虽然实现了高团队成功率，但其查询率降至 0%。优化的提示词指示模型通过观察公共效用而非通过承担查询成本来推断安全性。这表明，优化可能会改变聚合奖励，但却掩盖了协作机制失效的事实。
• RLOO： 在大多数模型中，RLOO 对团队成功率的影响普遍较小。

3. 统计诊断

• 权重级更新： 在七个开源模型中，SFT 和 RLOO 的平均增益表现不一，其中观察到的最佳改进主要由 OLMo-7B 驱动。
• GEPA： 显示出最大的平均团队成功率增益（+9.4 个百分点），且具有统计学意义上的未调整 p 值（0.031），尽管该结果未通过多重假设检验校正。
• 相关性： 实现的信息传递与团队成功率的相关性最强（$r=0.96$），而单纯的查询率预测能力较弱（$r=0.63$）。

意义与主张

本文声称，聚合团队成功率是评估多智能体 LLM 安全性的不充分指标。其主要贡献在于证明了：

1. 机制级评估是必要的： 高聚合得分可以通过“捷径”（例如启发式推理）来实现，这些捷径绕过了实现稳健协作所需的、具有成本且利于他人的努力。评估必须报告机制层面的行为（查询使用、信息传递），而非仅仅报告团队成功率。
2. 构念效度（Construct Validity）： 对话道德风险博弈成功地将道德风险的隐藏行动结构进行了操作化。前沿模型在激励隔离实验中的表现，验证了 LLM 能够响应经济理论所定义的特定“私人对社会”的激励权衡。
3. 优化风险： 优化技术（如 GEPA）可能会通过发现替代性的、非协作性的获利路径来提高任务表现，从而可能掩盖协作机制学习失败的事实。

作者总结道，对于需要检查工作、向下游组件发出警告或调用工具（这些行为都会产生私人成本）的多智能体 LLM 部署场景，评估必须区分承担成本的意愿与成功的协作能力。本文并不声称已证明所有自主失败都是由道德风险引起的，而是强调所实现的激励结构在排除其他失败模式后，能够产生其预测的行为转变。