技术摘要：用于预测市场结算的多智能体 AI 预言机系统设计与评估

1. 问题陈述

预测市场通过聚合集体智慧来预测不确定事件，但其效用取决于预言机（Oracle）——即根据现实世界结果进行合约结算的机制——的可靠性。目前的预言机设计面临着一个根本性的权衡：全自动系统（如 Chainlink）速度快且具扩展性，但在处理主观或模糊的结果时表现不佳；而人工仲裁系统（如 UMA、Kalshi）虽然准确度高，但会产生显著的延迟和成本。

近期的研究表明，单一大语言模型（LLM）预言机可以作为中间层，在处理结构化数据时具有较高的准确性，但会继承诸如幻觉、时间推理错误以及缺乏自我修正机制导致的谄媚（Sycophancy）等失效模式。本文针对多智能体预言机架构中的空白进行了研究，探讨了 LLM 集成是否能比单模型基准提高结算准确度，以及在何种条件下这种提升会发生。具体而言，本研究旨在确定多智能体系统是能够减轻单个模型的失效，还是会引入新的失效模式，例如说服性错误传播。

2. 研究方法

2.1 数据集与证据层

本研究使用 KalshiBench v2 对系统进行评估，该数据集包含来自 Kalshi 的 1,189 个已结算的预测市场问题，并具有经过验证的现实世界结果。为防止训练数据污染，数据集经过过滤，仅包含在 2025 年 5 月 1 日之后关闭的市场（晚于所用模型的训练截止日期）。

• 证据检索： 所有智能体通过 Exa（一种基于嵌入的搜索引擎）共享一个共同的证据层。查询结果按发布日期进行过滤，以确保证据反映的是结算时可获得的信息。这种设计将推理能力与检索质量隔离开来。
• 类别： 数据集涵盖 16 个类别，包括政治（26.16%）、体育（22.62%）和娱乐（19.34%）。

2.2 智能体配置

采用了三种不同的 LLM 作为预言机智能体：

1. GPT-5 Nano (OpenAI)
2. DeepSeek-V3 (DeepSeek)
3. Llama-3.3-70B-Instruct-Turbo (Meta)

2.3 评估的架构

将两种多智能体架构与单 LLM 基准进行了对比：

• 架构 A（独立聚合）： 智能体独立并行地解决问题。结果通过多数投票或置信度加权投票来确定。这模拟了像 Chainlink 这样的去中心化预言机网络。
• 架构 B（审议共识）： 智能体进行结构化的两轮辩论。在第一轮中，智能体独立回答。在第二轮中，它们审查同行匿名后的推理过程，并可能修正自己的答案。最终结果由分层多数投票决定。

2.4 评估指标

• 结算准确度： 相对于地面真值（Ground Truth）的二元正确性。
• 错误相关性： 错误向量的皮尔逊相关系数以及条件错误概率（$P(B \text{ 错误} | A \text{ 错误})$）。
• 升级分析： 利用智能体间的一致性（全票通过 vs 分歧）和平均置信度分数构建覆盖率-准确度权衡曲线，以确定向人工仲裁路由的阈值。

3. 核心贡献

1. 对多智能体架构的实证比较： 本研究首次对用于预测市场结算的独立聚合与审议共识进行了系统性评估，这是一个具有直接经济后果的领域。
2. 失效模式分类学： 本文识别并表征了五种不同的失效机制：
   • 检索失败： 上游缺失关键证据。
   • 时间推理错误： 误解了有时限要求的证据。
   • 幻觉： 捏造主张或对标准进行解释。
   • 共享偏差： 所有模型对当前证据存在相关的误解。
   • 说服性错误传播： 这是审议系统中特有的失效模式，即在辩论过程中，自信地错误的模型改变了正确模型的判断。
3. 原则性的升级框架： 研究提出了混合 AI-人工系统的路由标准，根据智能体间的分歧程度和置信度水平定义决策规则，以优化自动化速度与人工仲裁成本之间的权衡。

4. 结果

4.1 准确度表现

• 独立聚合（架构 A）： 使用置信度加权投票实现了最高的准确度，达到 83.43%。这比表现最好的单模型基准（DeepSeek，82.42%）提升了 1.01 个百分点。
• 审议共识（架构 B）： 与多智能体辩论文献的预期相反，审议降低了性能至约 76.11%。这一结果低于每一个单模型基准。表现最好的审议结果（DeepSeek）比最差的个体基准（Llama）低了 4 个百分点以上。
• McNemar 检验： 架构 A 的表现显著优于架构 B（$p < 10^{-10}$），它正确解决了 117 个 B 错失的问题，而 B 仅修正了 A 错失的 37 个问题。

4.2 错误相关性与理论极限

• 相关错误： 模型间的错误相关性处于中等到高等水平（$r = 0.529–0.689$）。DeepSeek 和 Llama 显示出最高的相关性（$r = 0.689$）。
• 孔多塞天花板（Condorcet Ceiling）： 由于这些相关性，观察到的多数投票准确度（82.93%）远低于如果错误相互独立时预期的理论孔多塞天花板（约 91%）。这表明当一个模型出错时，其他模型往往会因为相同的底层原因（如证据模糊）而出错。

4.3 类别级分析

• 高性能领域： 文档齐全的类别如**体育（92.9%）和金融（93.3%）**表现出高准确度，接近当前单 LLM 能力的极限。
• 低性能领域： 模糊类别如**加密货币（66.1%）和公司（58.0%）**在所有架构下都难以实现提升，这表明问题在于基础难度而非架构缺陷。
• 审议影响： 审议在“公司”等信息密集型类别中偶尔有所帮助，但在其他类别中通常会降低准确度，原因是存在说服性错误传播。

4.4 升级框架

• 一致性作为信号： 智能体间的一致性是准确度的最强预测因子。全票通过的决策准确度达到 88.34%，而分歧（2-1）投票的准确度则降至 57.82%。
• 高置信度一致性： 对全票通过且高置信度（平均置信度 > 0.91）的问题进行过滤，在 47.4% 的数据集上达到了 97.87% 的准确度。
• 路由策略： 本文提出了一个混合系统，其中全票通过且高置信度的问题自动结算，而分歧或低置信度的问题则升级至人工仲裁。

5. 重要性与主张

本文主张，虽然多智能体系统通过独立聚合能带来微小但具有统计学意义的提升，但审议共识对于预言机结算是适得其反的。审议系统的性能下降归因于说服性错误传播和 LLM 谄媚现象，即在辩论环境下，自信地错误的推理会导致正确的模型修改其答案。

研究结论认为，多智能体系统的收益从根本上受到相关推理错误的限制。在需要解释模糊的现实证据而非进行可验证逻辑推导的领域，基于辩论的架构可能会放大错误的论点。因此，本文提倡使用带有置信度加权投票的独立聚合作为更优的架构，并辅以原则性的升级框架，将不确定的案例路由至人工仲裁。这种方法使混合预言机系统能够在处理大部分问题（47%）时实现近乎完美的准确度，同时有效管理成本和延迟。