💻 computer science

Wisdom of the LLM Crowd: A Large Scale Benchmark of Multi-Label U.S. Election-Related Harmful Social Media Content

该研究发布了名为 USE24-XD 的大规模数据集，其中包含近 10 万条 2024 年美国大选期间的 X 平台帖子，通过结合六个大语言模型（LLM）的“群体智慧”与人工验证，高效构建了涵盖阴谋论、煽动性言论等五类有害内容的多标签标注基准，并揭示了标注者人口统计学特征对内容判断主观性的影响。

原作者： Qile Wang, Prerana Khatiwada, Carolina Coimbra Vieira, Benjamin E. Bagozzi, Kenneth E. Barner, Matthew Louis Mauriello

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qile Wang, Prerana Khatiwada, Carolina Coimbra Vieira, Benjamin E. Bagozzi, Kenneth E. Barner, Matthew Louis Mauriello

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在2024 年美国大选的喧嚣中，试图给互联网上那些“有毒”的言论做一次大规模的**“体检”**。

想象一下，社交媒体（比如 X，以前的 Twitter）就像一个巨大的、嘈杂的超级集市。在这个集市里，每天有成千上万的人在叫卖各种信息：有的是在讲真话，有的是在开玩笑，有的是在造谣，还有的在煽动仇恨。

研究人员（来自特拉华大学等机构）面临一个巨大的难题：怎么从这堆积如山的“噪音”中，快速、准确地找出那些有害的“坏苹果”？

如果全靠人工去一个个看，就像让几个人在几百万吨的货物里挑拣，既慢又贵，而且每个人挑的标准还不一样（有人觉得这是玩笑，有人觉得这是攻击）。

为了解决这个问题，他们想出了一个聪明的办法：“众包 AI 智慧”。

1. 他们做了什么？（建立“超级集市”档案）

首先，他们收集了大约10 万条在 2024 年大选期间发布的帖子，建立了一个名为 USE24-XD 的数据库。这就像是从超级集市里随机抓了一把样本，准备进行深度分析。

2. 他们怎么分类？（给“坏苹果”贴标签）

他们把有害内容分成了5 种类型，就像给坏苹果贴不同的标签：

阴谋论 (Conspiracy)： 比如“选举被偷了”、“背后有秘密组织”。
耸人听闻 (Sensationalism)： 用夸张、吓人的话博眼球，比如“世界末日要来了”。
猜测/谣言 (Speculation)： 没有证据的瞎猜，比如“某候选人肯定要输了”。
仇恨言论 (Hate Speech)： 骂人、攻击特定群体，甚至煽动暴力。
讽刺 (Satire)： 用幽默或反话来批评政治（这个最难分，因为有时候像真话，有时候是笑话）。

3. 核心实验：AI 裁判 vs. 人类裁判

这是论文最精彩的部分。他们请了6 个不同的顶级 AI 大模型（比如 GPT-4o, Gemini, Llama 等）当“裁判”，让这 6 个 AI 去给这 10 万条帖子打分。

AI 裁判团（Wisdom of the LLM Crowd）：
这就好比请了 6 个不同背景的专家一起看。如果 6 个专家里有 3 个以上说“这是阴谋论”，那就认定它是。
- 发现： AI 们非常团结，它们之间的意见一致性比人类还要高！特别是对于“猜测”和“阴谋论”，AI 的准确率非常高（召回率高达 90%）。
- 优势： 速度快、成本低、不累。
人类裁判团（众包工人）：
为了验证 AI 准不准，他们又请了 34 个真人（在亚马逊众包平台上）来给一部分帖子打分。
- 发现： 人类裁判之间经常吵架。比如，一个保守派的人可能觉得某句话是“仇恨言论”，而一个自由派的人可能觉得只是“观点不同”。
- 关键洞察： 人的政治立场和背景会直接影响他们怎么给帖子贴标签。这说明，所谓的“标准答案”其实很难做到完全客观。

4. 他们发现了什么？（有趣的结论）

AI 比人类更“稳”： 在判断有害内容时，AI 们像训练有素的机器士兵，步调一致；而人类裁判则像性格各异的路人，容易受情绪和立场影响。
AI 可以当“超级助手”： 虽然 AI 不能完全替代人类（特别是在判断“讽刺”这种需要幽默感的内容时），但如果把几个 AI 的意见综合起来（少数服从多数），它们的表现甚至能超过人类裁判的平均水平。
有害内容无处不在： 在他们检查的帖子里，60% 的帖子至少被贴上了一个“有害”的标签。这意味着，网络上的有害信息不是偶尔出现的“特例”，而是普遍存在的“常态”。
人的偏见是真实的： 研究证实，如果你让不同政治立场的人去审核新闻，他们眼中的“有害内容”是完全不同的。这提醒我们，在制定审核规则时，必须考虑到人的主观性。

5. 总结：这篇论文有什么用？

这就好比他们开发了一套**“智能安检系统”。
以前，我们要在机场（互联网）里人工检查几亿个包裹（帖子），累死也查不完。现在，他们证明了可以用一群 AI 组成的“安检队”**，通过“少数服从多数”的投票机制，快速、低成本地筛查出大部分危险物品。

虽然这套系统还不能 100% 完美（特别是对于幽默和讽刺），但它大大降低了成本，并且提供了一个公开的数据库（USE24-XD），让全世界的研究者都能用来训练更好的系统，保护我们的民主选举不被谣言和仇恨淹没。

一句话总结：
研究人员用6 个 AI 裁判代替了34 个真人裁判，在 2024 年美国大选的社交媒体上，成功识别出了大量的有害信息。他们发现AI 比人类更团结、更稳定，但也揭示了人类的判断深受政治立场影响。这套方法为未来治理网络谣言提供了一把高效、低成本的“新钥匙”。

这是一份关于论文《Wisdom of the LLM Crowd: A Large Scale Benchmark of Multi-Label U.S. Election-Related Harmful Social Media Content》（LLM 众智：大规模多标签美国选举相关有害社交媒体内容基准）的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：选举期间的虚假信息（Misinformation）和有害政治内容（如阴谋论、仇恨言论、煽动性内容）严重威胁民主进程。早期检测这些内容对于遏制其传播至关重要。
现有局限：
- 现有数据集往往规模较小，或仅关注单一类型的“假新闻”，缺乏对多种有害内容形式（如讽刺、推测、煽动性言论）的综合标注。
- 人工标注成本高昂、耗时且存在主观不一致性，难以应对社交媒体海量数据的处理需求。
- 虽然大语言模型（LLM）被用于自动标注，但缺乏系统性的评估，即不同 LLM 在标注多样化有害内容时的表现差异、与人类标注的一致性，以及如何利用 LLM 群体智慧（Wisdom of Crowds）来优化标注质量。
研究目标：
1. 评估不同 LLM 在分类潜在有害在线内容方面的有效性。
2. 探究 LLM 作为辅助标注工具的模式，并分析人类标注者的人口统计学特征（如政治意识形态）如何影响标注行为。

2. 方法论 (Methodology)

研究提出了 USE24-XD 数据集及一套结合 LLM 与人类众包的标注流程（如图 1 所示）。

2.1 数据集构建 (USE24-XD)

数据来源：从 X (Twitter) 平台收集了 97,696 条帖子。
时间跨度：2024 年 10 月 17 日至 2025 年 7 月 16 日（覆盖 2024 年美国大选周期）。
筛选标准：包含关键词"election"和"2024"，仅保留原创帖子，去重并清洗（去除 URL、提及等）。
元数据：包含时空元数据、用户位置（自报）、互动指标等。

2.2 标注类别 (Multi-label Categories)

定义了五个独立的多标签二分类任务，涵盖“信息危害”和“社会/解释性危害”：

阴谋论 (Conspiracy)：夸大事实、秘密政治图谋、被压制的候选人等。
煽动性/耸人听闻 (Sensationalism)：使用夸张、恐吓语言，旨在增加参与度。
推测 (Speculation)：缺乏可信证据的大胆断言或预测。
仇恨言论 (Hate Speech)：针对个人或群体的攻击、侮辱、煽动暴力。
讽刺 (Satire)：使用幽默、反讽批评公众人物或政策（需区分与有害内容的界限）。

2.3 标注流程

LLM 标注：
- 模型选择：6 个主流 LLM（分为轻量级和全量级），包括 GPT-4o/Mini, Gemini-2.0/2.5, Llama-3.1/3.3。
- 策略：零样本学习（Zero-shot），温度设为 0 以保证一致性，使用结构化输出。
- 众智聚合：对 6 个模型进行组合，采用**多数投票（Majority Voting）**策略生成共识标签。
人类标注 (Ground Truth)：
- 平台：Amazon Mechanical Turk (MTurk)。
- 规模：34 名标注者，随机抽取 1,000 条帖子（约 1%）进行标注，每条帖子由 3 人独立标注。
- 质量控制：严格筛选标注者资格（如 MTurk Master 状态、高通过率），并收集人口统计学数据（政治倾向、居住地等）。
评估指标：
- 一致性指标：Cohen's Kappa ( $\kappa$ ), Krippendorff's Alpha ( $\alpha$ ), 百分比一致性。
- 性能指标：Precision, Recall, F1-score（以人类多数投票为基准）。

3. 关键贡献 (Key Contributions)

USE24-XD 数据集发布：发布了包含近 10 万条帖子的大规模、多标签、经过严格清洗的美国选举有害内容数据集，填补了该领域高质量基准数据的空白。
LLM 标注能力的系统性评估：首次大规模对比了 6 种不同架构的 LLM 在五种细微有害内容类别上的表现，并验证了“众智”策略（多模型投票）能显著提升标注的一致性和准确性。
揭示标注中的主观性来源：通过实证分析发现，人类标注者的政治意识形态和党派归属显著影响其对“推测”和“仇恨言论”等类别的判定，揭示了“地面真值”并非完全客观，受人口统计学特征影响。
低成本、可扩展的标注框架：证明了利用 LLM 群体投票作为辅助工具，可以在保持高召回率（最高达 0.90）的同时，大幅降低人工标注成本，为大规模社交媒体内容分析提供了可行方案。

4. 主要结果 (Results)

4.1 LLM 与人类的一致性

LLM 内部一致性：LLM 之间的标注一致性（Inter-rater reliability, IRR）普遍高于人类标注者。
- 优化后的 LLM 组合平均 Krippendorff's $\alpha$ 为 0.70。
- 人类标注者（按类别最佳组合）平均 $\alpha$ 为 0.62。
- 在“阴谋论”类别上，LLM 间的一致性最高（ $\kappa \approx 0.75$ ）；“讽刺”类别一致性最低。
LLM 与人类对比：
- 以人类多数投票为基准，LLM 在推测 (Speculation) 类别上表现最佳，召回率高达 0.90。
- 在讽刺 (Satire) 类别上表现最差（召回率约 0.49），表明该类别边界模糊，对模型和人类都极具挑战性。
- 多模型投票（3 个或 5 个模型）通常比单个模型表现更好，且优于人类标注者的一致性。

4.2 人口统计学对标注的影响

政治意识形态：显著影响标注行为。
- 推测 (Speculation)：受意识形态影响最大。中间派和独立人士更倾向于标记为“推测”，而保守派标记较少。
- 仇恨言论 (Hate Speech)：保守派比自由派更倾向于将内容标记为仇恨言论。
- 趋势：从自由派到保守派，标记为“仇恨言论”的概率呈单调上升趋势，而标记为“推测”的概率呈下降趋势。
居住地：农村地区的标注者更倾向于标记“耸人听闻”内容。
结论：标注者的世界观会系统性地塑造对有害内容的判断，这意味着“地面真值”本身带有主观偏差。

4.3 成本效益分析

LLM 标注成本远低于人工（例如 GPT-4o Mini 标注 1000 条仅需约 $0.09，而人工需约$ 130）。
LLM 处理速度更快，且通过多数投票策略，无需微调即可达到接近甚至超越人类标注一致性的水平。

5. 意义与启示 (Significance)

方法论创新：提出了一种结合 LLM 众智与人类监督的混合标注框架，解决了大规模有害内容检测中成本与质量的矛盾。
现实洞察：研究发现近 60% 的选举相关帖子至少被标记为一种有害内容，表明有害内容在在线讨论中普遍存在，而非边缘案例。
未来方向：
- 未来的标注系统应考虑到标注者的人口统计学偏差，或开发基于人口统计特征的 LLM 角色（Personas）来模拟不同视角的标注。
- 该数据集和框架为研究选举中的信息生态、检测算法的鲁棒性提供了重要基准。
资源开放：USE24-XD 数据集已公开，支持后续关于社交媒体、民主健康及 AI 伦理的研究。

总结：该论文不仅提供了一个高质量的大规模选举有害内容数据集，还通过实证研究证明了利用多模型 LLM 的“众智”策略可以有效替代或辅助昂贵的人工标注，同时深刻揭示了人类标注中的主观性偏差，为构建更公平、高效的社交媒体内容治理系统提供了理论依据和技术路径。