💬 NLP

UCSC NLP at SemEval-2026 Task 10: Boundary-Aware Span Extraction and RoBERTa Classification for Conspiracy Detection

UCSC NLP 团队针对 SemEval-2026 Task 10 (PsyCoMark) 开发的系统采用了具有硬负采样（hard-negative sampling）的边界感知跨度提取技术以及基于 RoBERTa 的分类方法，用于检测阴谋论标记和文档，并分别取得了第 7 名和第 11 名的排名，同时强调了对类实体角色（entity-like roles）的稳健检测能力与对抽象角色边界敏感性的对比。

原作者： Dom Marhoefer, Milos Suvakovic, Glenn Grant-Richards, Aidan Pinero, Ryan King

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dom Marhoefer, Milos Suvakovic, Glenn Grant-Richards, Aidan Pinero, Ryan King

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜团的侦探，但你寻找的不是指纹，而是让一个故事听起来像阴谋论的特定“成分”。这篇论文描述了加州大学圣克鲁兹分校的一个团队如何构建一个计算机程序来精确完成这项任务，以参加名为 SemEval-2026 的竞赛。

以下是他们工作的详细分解，使用了简单的类比：

两个主要任务

这次竞赛有两个截然不同的挑战，该团队利用两个独立的“侦探特工”（AI 模型）来应对这些挑战。

1. 成分猎人（子任务 1）

目标： 找出句子中扮演阴谋故事角色的特定部分。这些角色包括：
- 行动者（The Actor）： 谁在做坏事？
- 受害者（The Victim）： 谁受到了伤害？
- 行为（The Action）： 做了什么坏事？
- 证据（The Evidence）： 提供了什么“证据”？
- 后果（The Effect）： 产生了什么可怕的结果？
挑战： 仅仅找到“杰弗里”这个词是不够的。计算机必须精确知道这个短语从哪里开始，到哪里结束。例如，是“泄露了内幕”这一动作，还是整个短语句“向摩萨德行动泄露了内幕”？
诀窍： 团队教会了计算机成为一名“边界完美主义者”。他们告诉它：“如果你猜错的短语起始或结束位置哪怕只有一点点偏差，都不算数。”他们还使用了一种叫做**难负采样（Hard-Negative Mining）*的技术。想象一下，老师给学生看一张猫的照片并说：“那是猫。”然后，老师展示了一张看起来很像猫的、非常毛茸茸的狗的照片，并说：“这不是*猫。”这有助于学生学习两者之间的细微差别。计算机学会了识别真正的阴谋标记与那些看起来很像但并不完全符合定义的短语之间的区别。

2. 故事法官（子任务 2）

目标： 阅读整篇文档并做出判断：这是一个阴谋论吗？它肯定不是吗？还是无法判断？
诀窍： 这个模型并不观察第一个侦探发现的具体成分。相反，它像人类读者一样阅读整个故事，寻找整体的“氛围”或语调。它学会了区分批评性的新闻报道（虽然可能提到行动者和受害者，但并不是阴谋论）与真正的阴谋叙事（虽然使用了相同的角色，但带有可疑且隐秘的语调）。

他们是如何做到的

该团队使用了名为 RoBERTa 的强大 AI 大脑。你可以把它想象成一位博学多才的图书管理员，他读过几乎所有的互联网内容，并且理解词语是如何组合在一起的。

对于成分猎人： 他们没有只是要求图书管理员逐一标注单词。相反，他们要求图书管理员查看每一个可能的文本块（长度不超过 32 个单词），并询问：“这个块是否符合‘证据’的定义？”他们训练图书管理员对这些块的起始和结束日期变得极其挑剔。
对于故事法官： 他们将整个故事交给图书管理员，并要求给出一个简单的判决：是、否，或可能。

结果

当团队将他们的侦探投入正式比赛时：

成分猎人 在所有队伍中排名 第 7。它非常擅长寻找“行动者”和“受害者”（如人的姓名），但有时在处理更抽象的部分（如“行为”或“后果”）时会遇到困难，因为这些短语的边界更加模糊。
故事法官 排名 第 12。它相当擅长区分阴谋故事和普通新闻故事。

他们学到了什么（“顿悟”时刻）

精准度很难： 计算机犯下的最大错误是把短语的起始或结束位置弄错了一点点。如果“证据”是单词“报告”，计算机有时会猜成“一份报告”或“根据一份报告”。竞赛规则非常严格：如果你没有得到完全一致的词汇，你就得零分。
两个头脑单独工作比在一起更好： 团队决定不让两个侦探在工作时互相交流。他们认为：“如果第一个侦探犯了错，我们不希望第二个侦探被这个错误所干扰。”他们保持了各自独立，只在最后才合并他们的答案。
“无法判断”的问题： 竞赛设有第三个选项，即“无法判断”。然而，最终的评分规则忽略了这个类别。这意味着计算机在测试当天的表现与它在练习期间的表现看起来略有不同，仅仅是因为规则在终点线前发生了微调。

总结

加州大学圣克鲁兹分校的团队构建了一个既像精密的编辑又像敏锐观察者的系统。他们证明了虽然计算机在识别阴谋论的“成分”方面做得越来越好，但在处理这些成分的精确“边界”方面仍然存在困难。然而，它们在感知故事的整体“情绪”以判断其是否为阴谋方面表现出色。

技术摘要：UCSC NLP 在 SemEval-2026 Task 10 (PsyCoMark) 中的表现

问题定义

本文针对 SemEval-2026 Task 10 (PsyCoMark) 进行研究，该任务侧重于检测英文文本中的阴谋论叙事。该任务分为两个截然不同的子任务：

子任务 1（阴谋标记提取）： 识别并提取对应于五个特定语义角色的文本片段：行动者 (Actor)、行动 (Action)、影响 (Effect)、证据 (Evidence) 以及 受害者 (Victim)。挑战在于这些角色结构既出现在阴谋论话语中，也出现在非阴谋论（批判性）话语中；其区别在于框架构建和认识论立场，而非仅仅是这些角色的存在。
子任务 2（文档级阴谋检测）： 将整个文档分类为三类之一：是 (Yes)（阴谋论）、否 (No)（非阴谋论）或 无法判断 (Can't tell)。

数据集由 4,100 多条 Reddit 提交内容组成。文中指出一个关键难点是标记的密集标注以及中度的类别不平衡，特别是在文档级标签方面。

方法论

作者提出了两个基于 RoBERTa-large 的独立系统，两者分别进行训练，不进行参数共享或跨任务特征迁移。

子任务 1：边界感知型片段提取

作者并未采用词元级（token-level）标注，而是将任务表述为对枚举候选片段进行的多标签片段分类。

架构： 模型枚举所有最大长度为 $L=32$ $L = 32$ 个词元的候选片段。对于每个片段 $(i, j)$ $(i, j)$ ，通过拼接以下内容构建上下文表示：
- 起始和结束词元的嵌入 ( $h_i, h_j$ )。
- 片段内词元的平均池化嵌入 ( $\bar{h}_{i:j}$ )。
- 编码片段宽度的学习嵌入 ( $w_{emb}$ )。
- 紧邻左侧和右侧词元的上下文嵌入 ( $h_{i-1}, h_{j+1}$ )。
  该 6 组件向量（维度 6144）被传递至一个两层 MLP 以预测五个角色。
训练策略：
- 标注： 为了强化精确的边界学习，仅当候选片段与金标准片段的交并比 (IoU) $\ge 0.95$ 时，才将其标记为正样本。
- 采样： 使用三层采样策略来处理过多的负向片段：(1) 所有与金标准对齐的片段，(2) 硬负样本（具有部分重叠的片段，IoU $\in [0.50, 0.75)$ ），以及 (3) 随机的非重叠负样本。
- 损失函数： 使用带权重的二元交叉熵损失（per role weighted）以应对类别不平衡问题。
解码： 预测结果经过后处理，包括基于验证集调优的逐角色概率阈值处理，以及基于包含关系的非极大值抑制 (NMS)。NMS 根据包含率和 IoU 阈值剔除重叠片段，随后合并由微小字符间隙分隔的同角色相邻片段。

子任务 2：文档分类

架构： 使用 RoBERTa-large 的 [CLS] 词元表示的标准序列分类方法。
训练： 模型使用交叉熵损失和标签平滑 ( $\alpha=0.05$ ) 进行微调，以减少过度自信。采用分层 90/10 训练-验证集划分。
独立性： 该模型仅在原始文本上运行，在训练和推理过程中均忽略来自子任务 1 的片段预测。

关键结果

子任务 1： 系统在官方测试集上排名第 7，宏 F1 (macro F1) 为 0.2251（评估时使用词元级 IoU $\ge 0.5$ $\geq 0.5$ ）。
- 内部验证： 模型在验证集上实现了解码后的微 F1 (micro F1) 为 0.6501（使用字符级 IoU $\ge 0.3$ ）。
- 性能差异： 性能下降归因于更严格的词元级评估指标，以及抽象角色（行动、影响、证据）对边界标准的敏感性。实体类角色（行动者、受害者）表现出更高的鲁棒性。
子任务 2： 系统排名第 12，加权 F1 (weighted F1) 为 0.7694（官方测试集）。
- 注：官方评估排除了“无法判断”实例，基于 608 个样本计算指标，这与三分类的验证设置不同。

意义与主张

论文声称其主要贡献在于阴谋标记提取的具体形式化方案以及对边界敏感性的分析。

硬负样本挖掘： 作者指出，使用硬负样本（部分重叠片段）对于防止模型预测过宽的片段至关重要，从而使边界定位更加精准。
独立性 vs. 耦合性： 该系统证明了虽然标记提取与文档分类在本质上相关，但可以进行独立建模。文档分类器在没有显式角色特征的情况下仍取得了具有竞争力的性能，这表明可以直接从原始文本中学习到阴谋信号。
评估对齐： 论文强调，性能对开发指标与官方评估协议之间的对齐高度敏感。开发阶段宽松的字符级 IoU 标准与最终评估中严格的词元级 IoU 标准之间的差异，是导致验证集与测试集得分差异的主要原因。
局限性： 作者谦逊地承认，由于语义抽象性和可变片段长度，抽象角色仍然难以处理。他们指出，固定的最大片段长度 ( $L=32$ ) 可能会对较长的多从句标记造成召回率上限。

研究结论认为，虽然目前的系统可以学习阴谋信号，但未来的改进可能需要角色与分类的联合建模、结构化片段解码，以及心理语言学特征的集成，以更好地区分阴谋论式的框架构建与批判性叙事。