🤖 AI

Wisdom Of The (AI) Crowd: Investigating Artificial Swarm Intelligence In Large Language Models

本文表明，通过在不同架构内部及跨架构之间聚合多个大语言模型的输出，可以显著降低估计误差并揭示对不确定性的元认知意识，从而为组织决策提供一种可扩展的人类集群智能替代方案。

原作者： Justin Brenne, Christian Meske

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Justin Brenne, Christian Meske

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大思路：AI 能通过“众包”获得更聪明的答案吗？

想象一下，你正在尝试猜测一头巨型公牛的重量。如果你只问一个人，他可能会错得很离谱。但如果你问 100 个人并取他们猜测的平均值，结果通常会非常准确。这就是著名的“群体智慧”（Wisdom of the Crowd）。

几十年来，人类一直在使用这个技巧。但召集 100 个人既慢又贵，而且很难组织。

这篇论文提出了一个新问题：我们能否利用像 GPT-5、Gemini 和 Claude 这样的大型语言模型（LLM）来创建一个“人工群体”？ 与其询问 100 个人类，我们是否可以问一个 AI 30 次，或者问三个不同的 AI 各 10 次，从而得到比只问一个 AI 更好的答案？

实验过程：“猜谜游戏”

研究人员设置了一个受控的游戏来测试这一点。他们没有问 AI 像“谁是总统？”这样简单的问题，因为 AI 只是记住了这些事实。相反，他们给了它们 8 个棘手的估算问题，这些问题需要进行猜测和推理，例如：

“从头开始重建整个纽约市地铁系统的成本是多少？”
“一辆汽车在其寿命周期内会消耗多少加仑汽油？”
“某家特定公司的股价明年会是多少？”

他们把 AI 当作一群人来对待。他们使用了三种主要策略：

独奏艺术家（The Solo Artist）： 他们向一个特定的 AI（例如，仅使用 GPT-5）重复提问同一个问题 30 次。因为 AI 具有一定的随机性（就像人类会有“状态不好”或“状态很好”的一天），它会给出 30 个略有不同的答案。
专家小组（The Panel of Experts）： 他们向三个不同的 AI（GPT-5、Gemini 和 Claude）各提问 10 次同一个问题。
大平均值（The Grand Average）： 他们将所有这些答案汇总并取平均值，以观察这个“群体”是否比任何单个个体更聪明。

研究发现

1. 群体更聪明（在大多数情况下）
就像人类一样，“人工群体”通常比任何单个 AI 的猜测都更准确。

类比： 想象三个朋友在猜罐子里有多少颗软糖。一个猜 500 颗，一个猜 1,000 颗，一个猜 2,000 颗。平均值是 1,166 颗。如果真实答案是 1,100 颗，那么平均值比任何一个朋友的猜测都要接近。
结果： 通过对答案取平均值，误差显著下降。在某些情况下，“群体”的准确度比单个 AI 的猜测高出多达 37%。

2. “回声壁效应”问题（The "Echo Chamber" Problem）
当他们询问同一个 AI 30 次时，虽然有所帮助，但不如询问不同的 AI 有效。

类比： 如果你问同一个人 30 次，他可能会只是把同一个错误重复 30 次，或者他的“坏心情”可能会让这 30 次猜测都朝着错误的同一个方向偏移。
结果： 混合使用不同类型的 AI（“专家小组”）效果最好，因为它们会犯不同种类的错误，而这些错误会相互抵消。

3. “置信度计量器”有效
研究人员要求 AI 不仅要给出一个数字，还要给出一个“置信区间”（即它们认为答案可能存在的范围）。

类比： 想象一位气象预报员说：“会下雨，我有 90% 的把握是在下午 1 点到 3 点之间。”
结果： AI 在了解自己何时不确定方面表现得惊人地好。当它们给出一个宽泛的范围（例如，“可能在 10 到 100 之间”）时，它们通常错得很离谱。当它们给出一个狭窄的范围（例如，“肯定在 40 到 42 之间”）时，它们通常是对的。这表明 AI 对自身的确定性具有某种形式的“自我意识”。

4. 并非所有的猜测都是平等的
“群体”在处理具有历史规律性的问题时表现最好，比如股票价格或经济趋势。

类比： 猜测 7 月份的平均气温很容易，因为你有过去 10 年的数据。但要猜测一个从未建造过的假设性新地铁系统的成本就非常困难。
结果： AI 群体擅长预测趋势，但在面对完全没有过去数据可以借鉴的全新、具有创造性的“假设性”场景时，则显得力不从心。

核心结论

这篇论文证明了 AI 可以模仿“群体智慧”。通过询问多个 AI 模型（或多次询问一个模型）并对它们的答案取平均值，你可以获得比依赖单个 AI 更准确的结果。

它还表明，这些 AI 模型可以告诉我们它们何时是在盲目猜测（通过给出宽泛的置信范围），这对于任何试图利用 AI 进行决策的人来说都是一个非常有用的工具。然而，这种“超级群体”在有数据或历史记录可以引导猜测时效果最好，而非纯粹的想象。

技术摘要：人工智能群体的智慧：调查大型语言模型中的人工集群智能

问题陈述
人类集群智能（即“群体智慧”）表明，集体判断通常优于个人估计，但这一现象在成本、协调、时间和易受社会偏见影响方面面临着显著的可扩展性限制。虽然判别式人工智能系统长期以来一直利用集成学习（如 Bagging、Boosting）来提高准确性，但目前仍存在一个关键的研究空白，即尚不清楚生成式人工智能（特别是大语言模型，LLMs）是否能够近似实现集群智能效应。现有文献缺乏系统的调查，以探讨通过聚合来自 LLM 的输出（无论是通过对单个模型的重复采样，还是通过结合异构模型）是否能在不确定性任务上降低估计误差，并达到与人类集体相媲美的效果。

研究方法
作者针对三款专有 LLM（GPT-5、Gemini 2.5 Pro 和 Claude Sonnet 4.5）进行了包含 960 次手动执行提示词的受控实验。研究采用了被试内设计，涵盖了八个在不确定性和可验证事实依据之间取得平衡的估计任务：

任务构成： 五个费米问题（需要对诸如全球收入或地铁重建成本等数量进行数量级推理的任务）和三个经济估计问题（基于匿名化的历史财务数据，如股价和订阅用户数）。
聚合模式：
- 模型内聚合 (A1–A3)： 每个模型针对每个任务独立进行 30 次提示，以捕捉内部随机方差。
- 模型间聚合 (B1)： 一种结合了三个模型各 10 次运行的异构集群（共 30 次运行），用以评估跨模型的多样性。
指标： 研究测量了单个模型及聚合后（中位数/平均值）估计值的平均绝对误差 (MAE) 和平均绝对百分比误差 (MAPE)。此外，作者还分析了自报 90% 置信区间的校准度，并计算了相对区间宽度与相对估计误差之间的 Spearman 秩相关系数，以评估元认知意识。

核心贡献

LLM 集群的概念化： 本文提出了“LLM 集群”（LLM Swarms）这一新概念，将人类集体的集群智能原则应用于人工系统。作者将其定义为通过重复采样单个模型或结合不同架构和规模的多个模型而生成的集成系统。
概念验证方法论： 作者建立了一个严谨的实验框架，用于评估 LLM 集群在不确定性估计任务中的表现。该方法避免了简单的资料检索（通过使用费米问题和匿名经济数据），同时保持了可验证的事实依据。
聚合效益的经验证据： 该研究提供了首个系统性的经验证据，证明聚合 LLM 输出可以降低估计误差。研究表明，无论是模型内采样还是模型间的异构性，都能显著提升决策质量。

结果

误差降低： 聚合过程在所有模型和任务中一致地降低了误差。MAPE 的降幅从微乎其微的改进到高达 37.41 个百分点的显著增益不等（在异构模式 B1 的任务 F2 中观察到）。
任务依赖性： 聚合的有效性高度取决于任务特征。具有历史统计锚点（Historical Statistical Anchors）的经济预测任务（Eco1–Eco3）比需要无参考点抽象推理的费米问题（F1–F5）展现出了更一致且更显著的改进。
模型方差： Claude Sonnet 4.5 表现出较低的内部方差（高一致性），这限制了其在模型内聚合方面的收益；相比之下，GPT-5 和 Gemini 2.5 Pro 则表现出更大的随机多样性。
置信区间： 虽然单个模型往往无法达到预期的 90% 校准率，但异构聚合（B1）成功地在所有八个任务中将事实依据纳入了聚合置信区间内。
元认知意识： 在自报置信区间的宽度与估计误差之间观察到了正相关性（Spearman's $\rho$ = 0.242–0.568, 所有 $p < 0.001$ ）。这表明 LLM 具备某种形式的元认知意识，即会对更不确定的估计分配更宽的区间，其中 GPT-5 的相关性最强（ $\rho = 0.568$ ）。

意义与主张
本文声称建立了集体智能与生成式人工智能交叉领域的一个新研究方向。作者认为，LLM 集群为决策支持提供了一种可扩展、低成本且快速的替代方案，特别是在对时间敏感的情境下。作者指出，虽然由于共享训练偏差以及单模型采样中的“回声壁效应”，LLM 可能无法完美复制人类的集群动态，但异构聚合可以有效地减轻单个模型的误差。

研究对研究结果的定性较为审慎，将其视为初步证据而非最终解决方案。作者强调，“人工智能群体的智慧”并非普适的，而是取决于任务结构（例如是否存在统计锚点）和模型多样性。作者总结道，理解这些聚合策略对于部署生成式人工智能的组织至关重要，并建议人工集群可以提供“二阶集群智能”——即对本身就是集体人类知识产物的系统进行聚合。然而，他们也提醒道，幻觉、黑盒推理以及缺乏真正的认知多样性（与人类相比）仍然是高风险应用面临的重要挑战。

大思路：AI 能通过“众包”获得更聪明的答案吗？

实验过程：“猜谜游戏”

研究发现

核心结论

类似论文