AILS-NTUA at SemEval-2026 Task 10: Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection

本文介绍了 AILS-NTUA 团队在 SemEval-2026 任务 10 中提出的一种新型代理大语言模型流水线，该方案通过动态判别思维链（DD-CoT）和“反回声室”架构分别解决心理语言学标记提取与阴谋论支持检测中的语义歧义及客观报告误判问题，并在两个子任务中显著提升了性能指标。

要点

这篇论文介绍了一个由雅典国立技术大学（NTUA）团队开发的AI 系统，专门用来做两件事：

1. 揪出阴谋论的“蛛丝马迹”（比如谁在策划、做了什么、受害者是谁）。
2. 判断这段话是不是真的在“相信”阴谋论，还是仅仅在“报道”阴谋论。

为了让你更容易理解，我们可以把整个系统想象成一个高科技的“侦探事务所”，专门处理互联网上的谣言和阴谋论。

🕵️‍♂️ 核心挑战：AI 也会“人云亦云”

以前的 AI 就像是一个刚入行的实习记者。

• 如果看到文章说“有人声称地球是平的”，实习记者可能会误以为作者在相信地球是平的，于是给文章贴上“阴谋论”的标签。
• 但实际上，作者可能只是在报道这个荒谬的说法，或者在讽刺它。
• 这就叫“记者陷阱”（Reporter Trap）：把“提到阴谋论”和“支持阴谋论”搞混了。

此外，AI 还经常指鹿为马。比如在被动句“公众被媒体操纵了”中，普通 AI 可能会把“公众”当成幕后黑手（Actor），但实际上“媒体”才是那个操纵者。

🏛️ 解决方案：一个分工明确的“侦探团队”

为了解决这些问题，作者没有训练一个超级大脑，而是设计了一个多智能体（Agentic）流水线。你可以把它想象成一个法庭或侦探事务所，里面有几个性格迥异的专家在协同工作。

第一阶段：S1 —— “法医取证组” (提取线索)

任务：从长文中精准地找出阴谋论的关键词句（比如“谁”、“做了什么”、“后果”）。

• 传统做法：让 AI 直接读文章并圈出重点。AI 经常圈错位置，或者把整句话都圈进去（太长了），甚至把没发生的事也圈出来（幻觉）。
• 他们的创新（DD-CoT）：
  • 动态辩论：AI 在圈出线索前，必须先自我辩论。它不仅要说出“为什么这是线索”，还要强行想出一个反方观点（比如：“为什么这不是受害者而是策划者？”）。这就像让侦探在抓人前先问自己：“我是不是搞错了？”
  • 铁面无私的“校对员”：AI 圈出的文字，必须逐字逐句和原文完全匹配。如果 AI 想自己改写几个字，系统会直接驳回。这就像法医在提取指纹，必须保证指纹是原封不动的，不能有任何修饰。

第二阶段：S2 —— “反回声室法庭” (判断立场)

任务：判断这段话是“相信阴谋论”还是“客观报道”。

• 传统做法：让 AI 直接给个结论。AI 容易受情绪影响，或者看到“阴谋”两个字就兴奋，导致误判。
• 他们的创新（反回声室架构）：
  • 平行陪审团（Parallel Council）：系统不会只问一个 AI，而是同时派出四个性格不同的陪审员，他们互不串通，独立投票：
    1. 检察官 (Prosecutor)：专门找“有罪证据”。只要看到一点阴谋论的味道，就主张“这是阴谋论”。
    2. 辩护律师 (Defense Attorney)：专门找“无罪证据”。他会仔细看：“等等，这句话里有没有‘据说’、‘声称’、‘据报道’？如果有，那作者只是在转述，不是相信。”
    3. 字面主义者 (Literalist)：只看字面意思，不看潜台词。如果作者没明说，就判无罪。
    4. 侧写师 (Profiler)：分析语气和心理学特征。比如作者是不是在用极端词汇煽动情绪？
  • 校准法官 (Calibrated Judge)：最后，一位法官听取四个陪审员的辩论。如果四个陪审员吵得不可开交（比如 2 比 2），或者证据模棱两可，法官会采取保守策略：宁可放过一个可疑的，也不冤枉一个客观报道的（默认判“非阴谋论”）。

🎯 为什么这个系统很厉害？

1. 把“思考”和“定位”分开了：

   • 以前的 AI 既要思考“这是什么”，又要负责“在哪里”，容易顾此失彼。
   • 这个系统让 AI 只管思考（找逻辑），让一个死板的程序（确定性验证器）只管找位置（确保文字完全匹配）。就像让侦探负责推理，让书记员负责记录，互不干扰。

2. 专门对付“记者陷阱”：

   • 通过让“辩护律师”专门寻找“据报道”、“声称”等词汇，系统成功学会了区分“有人在撒谎”和“有人在报道谎言”。

3. 结果惊人：

   • 在任务 1（找线索）上，他们的表现比基础模型提升了一倍（从 0.12 涨到 0.24）。
   • 在任务 2（判断立场）上，表现提升了49%（从 0.53 涨到 0.79）。
   • 在开发榜上排名第 3，在测试榜上排名第 10（非常接近第一名）。

🚧 还有什么不足？

虽然这个系统很聪明，但它也有“盲区”：

• 高级讽刺和反讽：如果有人在用极其夸张的语气模仿阴谋论者来嘲笑他们（比如“哦，当然，地球肯定是平的，毕竟我们都在被外星人控制”），AI 有时候还是会分不清这是在开玩笑还是在信以为真。这就像人类有时候也分不清朋友是在开玩笑还是真生气一样。
• 缺乏上下文：它只看单篇文章，不知道作者以前发过什么，也不知道这条评论是在什么话题下发的。如果能看到更多背景信息，它可能会更准。

💡 总结

这篇论文的核心思想是：不要指望一个超级 AI 全能，不如让一群各司其职的 AI 专家互相“吵架”和“制衡”。

通过让 AI 扮演不同的角色（检察官、律师、法官），并强制它们进行自我辩论和严格校对，这个系统成功地在复杂的网络语言中，精准地揪出了阴谋论的“真身”，同时避免了误伤那些客观报道新闻的好人。这就像给 AI 装上了一套防错机制和多角度思考系统。

技术摘要

1. 问题背景与挑战

• 任务定义：
  • **子任务 1 **(S1)：从文本中提取表达核心阴谋论标记的文本片段（Span Extraction）。标记类型包括：行动者 (ACTOR)、行动 (ACTION)、后果 (EFFECT)、受害者 (VICTIM) 和证据 (EVIDENCE)。
  • **子任务 2 **(S2)：判断 Reddit 评论是否“支持”阴谋论（Conspiracy Endorsement）。
• 核心挑战：
  • 语义与结构的混淆：传统分类器往往将语义推理与结构定位（字符级偏移）混为一谈，导致幻觉（Hallucination）和定位不准。
  • **“记者陷阱” **(Reporter Trap)：模型容易将客观报道、辟谣或讽刺性内容误判为对阴谋论的支持（即混淆了“提及阴谋论”与“支持阴谋论”）。
  • 心理语言学复杂性：阴谋论通常通过微妙的语言策略（如归因、模糊性、情感唤起）表达，需要细粒度的心理语言学分析，而非简单的关键词匹配。
  • 认知偏差：LLM 本身存在认知偏差，容易受到说服性语言的影响，甚至生成虚假信息。

2. 方法论：双阶段代理流水线

该团队提出了一种解耦设计，将语义推理（LLM 负责）与确定性操作（确定性算法负责）分离。

2.1 子任务 1：基于 DD-CoT 的标记提取

为了解决语义歧义和字符级定位的脆弱性，提出了 **动态判别思维链 **(Dynamic Discriminative Chain-of-Thought, DD-CoT) 框架。

• 核心机制：
  • 显式判别：对于每个候选片段，模型不仅要给出标签，还必须陈述支持该标签的证据，并提出针对至少一个混淆标签的反驳论据（例如：为什么这是“行动者”而不是“受害者”）。这迫使模型在决策边界上进行明确区分。
  • **自我修正循环 **(Self-Refine)：包含四个节点：生成器 (Generator) -> 增强批评者 (Enhanced Critic) -> 修正器 (Refiner) -> 确定性验证器 (Deterministic Verifier)。
  • 确定性锚定：LLM 仅负责生成语义标记字符串，具体的字符偏移量（Start/End Index）由确定性验证器通过精确匹配算法（包括大小写不敏感、归一化、模糊匹配等五级匹配级联）计算。这消除了“幻觉片段”和索引错误。
• 检索策略：采用**分层对比检索 **(Stratified Contrastive Retrieval)，平衡正负样本，并针对稀有标记类型（如 EVIDENCE, VICTIM）进行加权，确保提示词中包含具有指导性的案例。

2.2 子任务 2：反回声室架构 (Anti-Echo Chamber)

为了解决“记者陷阱”和立场模糊问题，设计了一个对抗性的**并行委员会 **(Parallel Council) 架构。

• **法医分析器 **(Forensic Profiler)：在 LLM deliberation 之前，通过确定性节点计算轻量级语言信号（如归因密度、 shouting 分数、JAQing 模式等），作为结构化警告注入。
• **并行委员会 **(Parallel Council)：四个独立的“陪审员”角色接收相同的输入（文档、S1 标记、检索上下文、法医警告），但互不可见彼此输出：
  1. **检察官 **(Prosecutor)：寻找支持阴谋论的证据。
  2. **辩护律师 **(Defense Attorney)：寻找反驳证据（如报道、辟谣、讽刺线索）。
  3. **字面主义者 **(Literalist)：严格检查字面含义和举证责任。
  4. **立场分析员 **(Stance Profiler)：分析确定性、框架和群体动态。
• **校准法官 **(Calibrated Judge)：聚合委员会的投票。采用保守的裁决规则，当证据模糊或矛盾时，默认判定为“非阴谋论”。法官不仅看票数，还结合法医信号和陪审员的推理逻辑进行加权决策。
• 对比检索：专门挖掘“硬负样本”（包含阴谋论词汇但立场为否定的文本），强制模型关注立场线索（如归因动词）而非主题重叠。

3. 关键贡献

1. 首个代理 LLM 方法：首次提出基于代理 LLM 的方法，用于心理语言学阴谋论标记提取和立场检测。
2. DD-CoT 框架：引入强制性的反证推理，解决语义歧义，显著提升了对“行动者”等角色的识别精度。
3. 解耦架构：将语义推理与确定性定位解耦，实现了高可靠性的字符级准确输出。
4. 反回声室设计：通过对抗性委员会和校准法官，有效克服了“记者陷阱”，区分了客观报道与阴谋论支持。
5. 全面实证分析：包括消融实验、延迟分析以及向 8B 参数开源模型（Qwen-3-8B）的迁移性验证。

4. 实验结果

• 性能提升：
  • **S1 **(标记提取)：在开发集上，Macro F1 从基线 (Zero-shot) 的 0.12 提升至 0.24（提升 100%）。在测试集上达到 0.21。
  • **S2 **(阴谋检测)：在开发集上，Macro F1 从 0.53 提升至 0.79（提升 49%）。
  • 排名：S1 在开发集排名第 3，测试集排名第 10（与第一名差距小于 0.05 F1）；S2 分别排名第 13 和 24。
• 消融研究：
  • DD-CoT：使 ACTOR 的 F1 提升了 2.7 个点，解决了被动语态中的主体歧义。
  • 并行委员会：显著提高了召回率（+16.4%），同时通过对比检索将假阳性率降低了 50%。
  • 自我修正：S1 中最大的性能增益来源（+6.7% F1），主要修正了边界错误。
• 开源模型迁移：在 Qwen-3-8B 上简化架构后，仍能取得具有竞争力的结果（S1 F1 0.16, S2 F1 0.63），证明了核心推理逻辑的可迁移性。

5. 意义与局限性

• 意义：
  • 证明了工作流结构（Workflow Structure）可以替代单纯的模型规模扩展，在处理复杂的心理语言学任务时，多智能体协作和结构化推理比单纯的大模型更有效。
  • 提供了一种可解释的、基于心理语言学证据的 NLP 范式，能够深入分析阴谋论的生成机制。
  • 为检测虚假信息和阴谋论提供了新的技术路径，特别是针对“记者陷阱”这一长期存在的难点。
• 局限性：
  • 高语境讽刺：对于高度依赖语境的讽刺（Poe's Law）和隐含立场，系统仍面临挑战，这通常需要超出单文档范围的 discourse-level 上下文（如用户历史、线程结构）。
  • 未进行微调：仅通过提示工程和代理编排，未对模型进行任务特定的微调，可能限制了边界精度。
  • 计算成本：多智能体流水线增加了延迟（S1 延迟增加约 3 倍，S2 增加约 6 倍）和 Token 消耗。

总结

AILS-NTUA 团队通过构建一个解耦的、多代理协作的 LLM 系统，成功地将心理语言学理论转化为可计算的特征提取和立场判别任务。其核心创新在于利用DD-CoT解决语义歧义，利用反回声室架构解决立场误判，为 SemEval-2026 Task 10 设定了新的基准，并为未来可解释的阴谋论检测研究提供了重要参考。