💻 computer science

Preference Optimization Drives Monoculture in LLM Prediction Markets

本文表明，直接偏好优化（DPO）会导致预测市场中的大语言模型智能体产生高度相关的误差，从而形成一种“单文化”现象，这极大地减少了有效独立预测者的数量，并削弱了市场的集体准确性。

原作者： James Begin, Brendan Gho, Suman Muppavarapu, Tyson Tsay, Atharva Mohan, Afnan Shaik, Ruizhe Li, Vasu Sharma, Archana Vaidheeswaran

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： James Begin, Brendan Gho, Suman Muppavarapu, Tyson Tsay, Atharva Mohan, Afnan Shaik, Ruizhe Li, Vasu Sharma, Archana Vaidheeswaran

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，预测市场就像一场规模宏大、赌注极高的“猜答案”游戏。在一个健康的比赛中，你希望拥有一群想法各异的人。如果一个人因为忘记了一个事实而猜错了，另一个人因为读错了问题而猜错了，他们的错误会相互抵消。人群的平均猜测会变得极其准确。这之所以奏效，是因为每个人的错误都是相互独立的——就像一群鸟，每只鸟都沿着自己的路径飞行。

这篇论文探讨的是：如果整个群体都是由机器人（AI智能体）组成的，而且这些机器人都是使用完全相同的蓝图建造并接受了同一个老师的教导，会发生什么？

答案令人惊讶：所有的机器人都会在同一时间犯下完全相同的错误。

以下是利用简单的类比对该论文研究结果进行的拆解：

1. “克隆军团”问题

研究人员测试了一个拥有10个AI智能体的市场。他们原本预期这个市场会比单个AI更聪明，因为通常情况下，十个脑袋总比一个好。

现实情况： 这个由10个AI组成的市场表现甚至比单个AI独自工作时还要差。
类比： 想象你有10个同卵双胞胎，他们上过同一所学校，读过同样的书，还接受过同一个严厉老师的教导。如果你问他们一道数学题，而他们全都做错了，那并不是因为他们数学不好，而是因为他们都被教导了同一种错误的方法。
结果： 尽管有10个智能体，但他们的表现就像只有 1.4 个独立思考者。通过增加机器人，市场并没有变得更聪明；它只是对自己共同的错误变得更加自信了。

2. 罪魁祸首：“老师的宠儿”（偏好优化）

为什么这些机器人表现得如此相似？论文指出，这归因于一种特定的训练技术，称为直接偏好优化（DPO）。

类比： 把DPO想象成一位老师，他告诉学生：“不要只给我任何一个答案。给我那个听起来最礼貌、最安全、且最符合我心意的答案。”
影响： 当你用这种相同的“老师”来训练许多不同的AI模型时，它们都会学会压抑自己独特、古怪或具有创造性的想法，并收敛到一种单一的、“安全”的回答方式上。
论文的证据： 研究人员进行了一项对照实验。他们将机器人分为两组。一组仅仅是被教授事实（SFT）；另一组是在学习事实的基础上，又被教授了“要安全/礼貌”的规则（DPO）。
- “仅学习事实”的一组犯了不同的错误（低相关性）。
- “追求安全”的一组犯了相同的错误（高相关性）。
- 结论： 试图让AI变得“更好”或“更安全”的行为，实际上正是让它们想法趋同的原因。

3. 增加更多机器人并无帮助

你可能会想：“如果10个机器人不行，那我们试试40个！”

现实情况： 增加机器人毫无作用。市场的准确度保持平稳。
类比： 如果你有一个指向西边偏差一点点的指南针，拥有100个这样的指南针并不能帮你找到北。它们会一起指向西边。论文发现，无论你添加多少个相同的模型机器人，其“有效”聪明思考者的数量始终卡在约1.4左右。

4. 如何修复：混合品牌

论文测试了打破这种“单一种植”（即只有一种作物生长的田地）的方法。

解决方案： 将不同类型的AI模型混合在一起（例如，将“Llama”机器人与“Qwen”机器人混合）。
类比： 与其让房间里坐满了完全相同的双胞胎，不如让来自不同背景、不同学校和不同文化的人聚在一起。即使他们了解相同的知识，处理问题的方式也会有所不同。
结果： 混合不同的AI模型显著降低了“趋同性”。市场变得更加有效，表现得像是拥有约2.2个独立思考者，而不是1.4个。

5. “自我监管”的市场

论文还观察了当“坏人”试图欺骗市场时会发生什么。

发现： 由于诚实的机器人非常自信且意见统一，市场价格移动得非常快。一个坏人必须花费巨资才能改变价格以对抗人群。
类比： 想象有100个人都在大喊“天空是蓝色的！”如果一个人试图喊叫“不，它是绿色的！”，他需要一个巨大的扩音器（以及大量的钱）才能被听到。系统自然会阻碍坏人尝试，因为对抗人群的成本太高了。

总结

论文警告我们，当我们构建更多的AI智能体来进行交易、预测或决策时，我们必须保持警惕。如果我们用同样的“安全”规则来训练它们，它们就会停止成为多元化的群体，转而变成一个单一种植模式（Monoculture）——一个步调一致、整齐划一的群体。

好消息是： 我们可以通过混合不同的AI模型来解决这个问题。
坏消息是： 仅仅增加相同AI模型的数量并不会让系统变得更聪明，只会让它变得更加固执己见。

简而言之：多样性不仅仅是AI市场的一个“加分项”；它是防止它们集体失败的唯一手段。

技术摘要：偏好优化驱动 LLM 预测市场中的单一文化现象

1. 问题陈述

预测市场依赖于参与者误差相互独立的理论假设；在此条件下，市场价格会收敛于群体最优估计（Wolfers & Zitzewitz, 2004; Hanson, 2003）。然而，随着大语言模型（LLM）智能体成为 Kalshi 和 Polymarket 等平台上的活跃交易者，一个关键问题随之而来：当“群体”由共享相同训练流水线的 LLM 组成时，误差独立性是否仍然成立？

现有文献将相关误差归因于从众行为或信息级联等行为现象。本文提出了一个结构性原因：对齐训练本身，特别是直接偏好优化（DPO），迫使模型向共享的偏好输出分布靠拢。这创造了一种“偏好优化单一文化”（preference-optimization monoculture），使得尽管智能体实例各异，却表现出同生共死、同盈同亏的特征，从而削弱了市场的集体智慧。

2. 研究方法

作者使用受控实验设置来验证这一假设：

市场机制： 使用对数市场评分规则（LMSR），流动性参数 $b=100$ ，包含两个结果。
交易协议： 向 $N$ 个智能体（ $N$ 从 1 到 40）提出 50 个二元问题（TruthfulQA）。智能体进行顺序交易，仅在所表达的置信度超过当前市场价格时进行投注。财富在问题之间持续存在，允许准确的智能体积累资本。
指标：
- 成对误差相关性 ( $\rho$ )： 智能体二元误差向量之间的 Pearson 相关系数。
- 有效预报者数量 ( $N_{eff}$ )： 计算公式为 $N_{eff} = \frac{N}{1 + (N-1)\rho}$ 。该指标量化了一组具有相关性的 $N$ 个智能体的独立预报能力。
实验变量：
- 规模化： 测试相同模型的 $N \in \{5, 10, 20, 40\}$ 个智能体。
- 模型多样性： 比较同模型对与跨模型对（Llama, Qwen, Mistral, GLM）。
- 因果消融： 使用来自 Princeton NLP 和 AllenAI Tulu 3 流水线的相同权重检查点，隔离特定训练阶段（预训练/ICL、监督微调 (SFT) 以及 DPO）的影响。
- 缓解策略： 测试温度多样性、角色多样性（认识论角色）以及跨模型混合。

3. 核心贡献与结果

A. 单一文化效应
研究发现，经过 DPO 微调的 LLM 智能体表现出高度的成对误差相关性 ( $\rho \approx 0.70$ )。

收益递减： 十个相同模型的智能体提供的预报能力仅相当于 $\approx 1.4$ 个独立预报者 ( $N_{eff} \approx 1.38$ )。
准确率持平： 将智能体数量从 5 个增加到 40 个并未提高市场准确率（保持在 66.0–69.6% 之间），未能达到单个独立智能体的水平（70.2%）。
误差分布： 实证数据表明，与独立性下的二项分布相比，数据在一致性（所有智能体同时正确或同时错误）处出现峰值。

B. DPO 的因果识别
通过受控消融实验，本文将相关性主要归因于偏好优化（DPO）：

Princeton NLP 消融： 使用相同的 SFT 权重，转向 DPO 使相关性增加了 $\Delta\rho = +0.46$ （尽管 SFT 基准的准确率接近随机水平）。
Tulu 3 消融： 在具有实际准确率水平的情况下，从 SFT 转向 DPO 使相关性增加了 $\Delta\rho = +0.24$ （8B 模型）和 $+0.28$ （70B 模型）。
结论： 预训练创造了“知识单一文化”，但对齐流水线（特别是 DPO）将其放大为“答案单一文化”，因为它将策略推向奖励模型所偏好的分布模态。

C. 缓解策略
论文测试了三种减少相关性的策略：

跨模型多样性： 混合不同的模型家族（如 Llama 和 Qwen2.5）将 $\rho$ 从 0.68 降至 0.40，将 $N_{eff}$ 从 1.4 提升至 2.2。这是最有效的缓解手段。
角色多样性： 分配不同的认识论角色（怀疑论者、贝叶斯主义者等）在不损失准确率的情况下将 $\rho$ 降低至 0.44。
温度多样性： 增加温度虽然降低了 $\rho$ ，但带来了显著的准确率损失（下降 4.4%）。

D. 对抗鲁棒性

LMSR vs. 辩论（Debate）： 在对抗性设置中（例如 1 个诚实智能体对抗 9 个恶意智能体），LMSR 市场优于多智能体辩论。辩论在对抗压力下会崩溃（1v9 时准确率为 44.0%），而 LMSR 由于其凸成本函数维持了较高的准确率（59.6%），该函数对扭转强共识施加了极高的资本成本。
自我威慑： 配备价格阈值跳过规则的对手在诚实共识很强时会主动放弃交易，从而进一步稳定了市场。

4. 意义与主张

论文声称，LLM 预测市场的完整性正受到标准对齐流水线的根本性破坏。

结构性失效： LLM 市场中“群体智慧”的失效不是规模问题，而是偏好优化的结构性后果。
完整性指标： 作者提出将 $N_{eff}$ 作为市场平台的一个关键完整性指标。一个拥有 1,000 个相同模型的智能体市场，其提供的信息量实际上仅相当于 $\approx 1.4$ 个独立智能体。
多样性要求： 随着 LLM 变得更加趋同，基于它们构建的市场也会变得更加单一化。为了恢复市场效能，平台必须优先考虑跨模型多样性或角色多样性，而非仅仅增加相同智能体的数量。

论文得出结论，虽然 LMSR 提供了对抗操纵的鲁棒性，但它无法克服由共享对齐训练引入的内在相关性，因此有必要改变构建用于预测任务的多智能体系统的方式。