🤖 machine learning

Gaming Consensus: Coordinated Manipulation in Crowdsourced Fact-Checking

本文揭示了协同用户可以基于矩阵分解策略性地操纵众包事实核查系统，以伪造合成共识，作者据此在 X 的社区附注算法中开发并部署了特定的缓解措施。

原作者： Nikil Roashan Selvam, Jay Baxter, Sophie Hilgard, Brad Miller, Keith Coleman, Ellen Vitercik, Sanmi Koyejo

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Nikil Roashan Selvam, Jay Baxter, Sophie Hilgard, Brad Miller, Keith Coleman, Ellen Vitercik, Sanmi Koyejo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个巨大的、全球性的城市广场，任何人都可以通过在一条传闻旁边贴上一张便条来写下：“事实上，真相是这样的。”这就是 X（原 Twitter）、Meta 和 TikTok 等平台上的**“社区笔记”（Community Notes）**的工作方式。其目标是在没有单一的“老板”或编辑来决定什么是真理的情况下，阻止虚假信息的传播。

这个系统并没有使用一个“老板”，而是使用了一个聪明的投票机器，叫做**“桥接算法”（Bridging Algorithm）**。

问题所在：“回声壁”式投票

在普通的投票中，如果 1,000 个观点一致的人都投了“有帮助”，那么这条笔记就会胜出。但在一个充满不同观点的城市广场中，这是很危险的。一群机器人可以伪装成 1,000 个志同道合的朋友，来强行推行一个虚假的事实。

因此，系统改变了规则：只有当通常持有不同政见的人都认为一条笔记“有帮助”时，该笔记才会胜出。

如果一名保守派和一名自由派都认为某条笔记是准确的，它就会被展示出来。
如果只有保守派认为它是准确的，即使有 1,000 名保守派支持，它也会保持隐藏状态。

这被称为**“桥接”（Bridging）**。这就像试图在河流上架起一座桥；你需要两岸都有锚点才能将其固定住。

发现：“操纵桥梁”

本研究中的研究人员问道：“坏人能骗过这个系统吗？”

他们发现，答案是肯定的，一个协调一致的团体可以“操纵”这座桥。他们并没有破解计算机代码或破坏安全锁，而是找到了如何表现得像一群具有多样性的人的方法。

把这个系统想象成一张巨大的地图，每个人都是地图上的一个点。

旧方法： 要想获胜，你需要地图上不同位置的 1,000 个点都投出“是”。
攻击手段： 研究人员展示了极少数的坏人（不到 10 人）如何首先通过“训练”他们的账号，使这些账号看起来像是居住在地图不同位置的人。

两步走的诡计：

第一阶段（伪装）： 攻击者利用他们的虚假账号对其他笔记进行特定方式的评分。这骗过了系统，让系统认为：“哦，账号 A 是个自由派，而账号 B 是个保守派。”他们本质上是在给自己涂上不同的颜色，以看起来像是一群多元化的人群。
第二阶段（陷阱）： 一旦系统相信这些账号是持有不同观点的不同个体，攻击者就会针对特定的目标笔记全部投出“有帮助”。因为系统认为这些是持有不同意见的人达成的共识，于是便搭建起了桥梁，并将该笔记展示给所有人。

令人震惊的转折：“否”也可以意味着“是”

他们发现中最令人困惑的部分是一个数学上的奇特现象。有时，为了让一条笔记看起来更有帮助，你实际上需要投出**“没有帮助”**。

类比： 想象一个跷跷板。如果左边的人都在用力向下压，右边就会上升。但如果你在最左边增加一个人向上推（投“没有帮助”），它实际上可以改变整个跷跷板的倾斜方式，从而让中心点（得分）上升。
简单来说：如果一条笔记正受到一个非常特定、狭隘的群体评价，增加一个看起来属于该狭隘群体的“差评”，在数学上可以误导系统，让系统认为该笔记实际上得到了更广泛的认可。

需要付出多少代价？

研究人员使用来自 X 的真实数据进行了模拟实验。他们发现：

你可以在大约 10.7% 的低质量笔记上骗过系统。
一个协调一致的团体只需要不到 10 票即可做到这一点。
代价是多少？大约每条笔记 30.50 美元（主要只是维持这些虚假电话号码活跃的成本）。

解决方案：“随机样本”防护

论文解释说，X 的团队已经修复了这个问题。他们增加了一个新规则，叫做**“人口样本过滤”（Population Sample Filtering）**。

类比： 想象一位老师在批改试卷。老师不是让全班同学都来投票决定答案，而是从教室后排随机抽取一小部分学生来检查作业。

如果那群“虚假”的攻击者试图投票，他们可能会被选中。
但如果他们试图操纵投票，系统会检查这个“随机样本”是否与“全体同学”的意见一致。如果随机样本持有异议，这条笔记就不会被发布。

这使得操纵系统变得更加困难且成本更高，因为攻击者不能只针对特定的笔记；他们必须说服整个人口的一个随机切片，而这要难得多，也难以伪造。

总结

论文表明，虽然“桥接”系统很聪明，但它会被那些学会戴上不同面具的行动者所欺骗。然而，通过理解这种诡计运作的精确方式，平台增加了一层新的防御机制（随机采样），以保持桥梁的稳固并确保真相的可见性。

技术摘要：众包事实核查中的协同操纵

问题陈述
众包事实核查系统（如 X 的社区注记、Meta 的社区注记，以及 TikTok 和 Google 的类似实现）旨在不依赖中心化编辑控制的情况下，大规模应对虚假信息。这些系统依赖一种“桥接”（bridging）机制：只有当一条注记获得来自不同观点用户的支持时，它才会公开可见，而非仅仅依靠简单的多数票。驱动这一共识的核心算法是矩阵分解（matrix factorization），该算法学习用户和注记的低维潜在表示（嵌入）。

本文所探讨的核心问题是矩阵分解组件对协同操纵（coordinated manipulation）的脆弱性。虽然桥接算法在理论上能够抵御简单的基于数量的攻击（例如虚假点赞），但作者研究了对手是否可以通过策略性地伪造“合成共识”（synthetic consensus）来操纵潜在因子空间。具体而言，论文探讨了一个协调小组是否可以通过控制用户账号来模拟多样化的观点，从而误导算法，为一条低质量的注记分配一个高“帮助性”截距（helpfulness intercept）。

方法论
作者基于 X 社区注记开源代码和延迟数据（48 小时滞后）开发了一个严谨的对抗框架。攻击被建模为两个阶段：

第一阶段：建立多样化的因子位置（逆问题）
- 目标： 对手控制 $k$ 个账号，必须将它们定位在潜在因子空间中多样化的位置，以模拟对立的观点。
- 机制： 由于用户嵌入是由其评分历史决定的，对手需要解决一个逆问题。通过仅根据文本预测现有注记的潜在参数（因子 $f_n$ 和截距 $i_n$ ），对手可以计算出对这些注记进行最优评分（0、0.5 或 1），从而引导其控制的账号向特定的目标因子向量（ $f^{target}$ ）移动。
- 预测模型： 作者训练了一个浅层多层感知器（MLP），利用 Voyage 嵌入的注记文本来预测矩阵分解算法会分配给该注记的潜在参数（ $f_n, i_n$ ）。
第二阶段：为目标注记协调支持
- 目标： 一旦受控账号占据了潜在空间中的多样化位置，它们便协同行动，将特定的目标注记 $n^*$ 评为“有帮助”（Helpful）。
- 机制： 由于算法认为这些账号代表了不同的视角（基于第一阶段的历史记录），它们的意见一致的正向评分会被解读为“桥接共识”，从而推动目标注记的截距（ $i_{n^*}$ ）超过可见性阈值（ $\tau$ ）。

核心贡献

新型对抗攻击： 本文提出了首次严谨的分析，证明协调小组可以通过操纵潜在因子空间来伪造多样化共识，而无需利用软件漏洞。
两阶段策略： 一种正式化的攻击策略，包括在潜在空间中进行战略性定位以及随后的协同投票。
反直觉的理论洞察： 分析表明，在特定的几何条件下，将一条注记评为**“无帮助”（0）**在数学上反而可以增加其帮助性截距，这与直觉相反。
操纵抗性得分（MRS）： 一个量化将注记推向共识阈值所需的额外评分数量的指标。
成本模型： 一个用于估算执行攻击所需的努力（财务和计算）的定量模型，识别出账号维护是主要的成本因素。

实证结果
利用截至 2025 年 1 月的 X 社区注记历史生产数据，作者进行了 100 个对抗账号的模拟实验：

定位可行性： 对抗账号成功地在因子谱系中定位了自己（跨度为 $[-0.4, 0.4]$ ），验证了第一阶段的可行性。
操纵成功率： 研究发现，在截距低于中位数（且至少有 10 条现有评分）的注记中，高达 10.7% 的注记可以使用少于 10 次协同评分被操纵至共识阈值之上。
成本分析： 操纵单条注记的估计成本约为 30.50 美元，主要由维护账号的成本（约每月 3 美元）构成，而非投赞成票或训练模型的成本。
反直觉发现： 理论推导证实，在某些场景下，来自极端投票者的“无帮助”评分可以使潜在空间中最佳拟合线的斜率变陡，从而提高注记的截距。

意义与主张
本文声称展示了基于桥接的核查系统中核心矩阵分解逻辑的一个根本性漏洞。其意义在于揭示了：如果对手能够预测注记参数并策略性地策划其评分历史，那么旨在确保多样化共识的机制（潜在因子建模）本身就可能被利用。

作者强调，这项工作是作为斯坦福大学与 X 社区注记团队之间的开放研究合作进行的。研究结果已用于在发表前开发并部署于 X 的生产系统中以进行缓解。具体而言，论文重点介绍了**人口样本过滤（population sample filtering）**的部署，该技术通过基于随机评分子集重新计算质量得分，使攻击成本随人口规模线性增加。

作者总结道，虽然矩阵分解组件存在脆弱性，但可以通过其他组件（如滥用检测和采样）来增强系统的鲁棒性，从而在不牺牲实现公众研究与改进所需的透明度和开放性的前提下，提高操纵成本。这项工作旨在呼吁进一步开发既能保证安全性，又能平衡有效众包事实核查所需的易接近性的防御措施。