💬 NLP

ClimateCheck 2026: Scientific Fact-Checking and Disinformation Narrative Classification of Climate-related Claims

本文介绍了 2026 年 ClimateCheck 竞赛，该任务通过扩展训练数据并新增虚假叙事分类子任务，利用检索增强与大语言模型等技术验证气候相关声明，同时揭示了传统评估指标在部分标注场景下的偏差及不同气候谣言的可验证性差异。

原作者： Raia Abu Ahmad, Max Upravitelev, Aida Usmanova, Veronika Solopova, Georg Rehm

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Raia Abu Ahmad, Max Upravitelev, Aida Usmanova, Veronika Solopova, Georg Rehm

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一个名为 ClimateCheck 2026 的“科学打假”比赛。你可以把它想象成一场**“气候谣言侦探大赛”**。

在这个比赛中，参赛者们（也就是“侦探”）的任务是：面对社交媒体上关于气候变化的各种说法（比如“冰川根本没在融化”或“海平面上升是被夸大的”），利用科学文献（也就是“证据库”）来验证这些说法是真还是假，并分析这些谣言背后隐藏的套路。

为了让你更容易理解，我们用几个生活中的比喻来拆解这篇论文的核心内容：

1. 比赛背景：为什么需要这场“侦探大赛”？

现在的互联网上，关于气候变化的谣言满天飞。以前，自动打假系统就像是在杂货铺里找证据（比如查维基百科或普通网页），但这对于复杂的科学问题来说，就像是用渔网去捞针，不够精准。

ClimateCheck 2026 这次升级了，它要求侦探们必须去专业的科学图书馆（学术摘要库）里找证据。这就像是从“在大街上问路人”升级到了“直接查阅专家的手稿”。

2. 比赛的三大任务（侦探的三件法宝）

这次比赛给侦探们布置了三个主要任务：

任务一：找证据（检索）
- 比喻：就像你在图书馆里，手里拿着一张写着“冰川融化”的便条，你需要在成千上万本书里，迅速找出那几本真正讨论这个问题的书。
- 挑战：科学文章写得非常专业，有时候用词很晦涩，就像侦探在找一本用密码写成的书。
任务二：判真假（验证）
- 比喻：找到了书之后，你要读一下，然后给那个谣言贴标签：
  - 支持 (Supports)：书里说“你说得对”。
  - 反驳 (Refutes)：书里说“你完全错了”。
  - 信息不足 (NEI)：书里根本没提这事儿，或者提了但不够清楚。
- 难点：最难的是判断“反驳”。有时候谣言说得很像那么回事，但科学证据其实是在悄悄否定它，这需要很强的逻辑推理能力。
任务三：识破套路（叙事分类）
- 这是今年的新亮点！
- 比喻：以前我们只关心这句话是真是假。现在，侦探们还要分析：这个谣言属于哪种“套路”？
- 比如，有些谣言是“否认派”（说根本没变暖），有些是“淡化派”（说变暖也没坏处），还有些是“阴谋论派”（说科学家在造假）。
- 这就好比警察抓小偷，不仅要抓人，还要知道他是惯犯，属于哪个犯罪团伙，这样以后才能更精准地防范。

3. 比赛结果：谁赢了？

参赛情况：有 20 支队伍报名，8 支队伍提交了最终答案。
获胜秘诀：
- 不要只靠“大力出奇迹”：并不是模型越大、算力越强就越好。
- 策略很重要：表现最好的队伍，就像老练的侦探，他们懂得“分步走”：先粗筛，再精读，最后用逻辑推理。他们使用了“多层级”的搜索和“结构化”的思考方式，而不是盲目地让大模型去猜。
- 新发现：有些队伍发现，如果先识别出谣言的“套路”（任务三），再去做真假判断（任务二），效果会更好。这就像知道小偷是“入室盗窃”还是“街头扒窃”，就能更准确地判断他可能藏在哪里。

4. 遇到的困难与“盲点”

证据不全的尴尬：
- 比喻：想象一下，图书馆里有些书虽然相关，但管理员（标注员）还没来得及给它们贴标签。传统的评分系统会认为“没贴标签的书”是没用的，但这可能冤枉了那些找到了好书的侦探。
- 创新：这次比赛引入了一种**“智能评分器”**（Ev2R），它能像经验丰富的老编辑一样，即使书没贴标签，也能通过内容判断这本书是不是真的有用。这避免了因为“标签没贴全”而误判侦探的能力。
有些谣言“无解”：
- 最有趣的发现：研究发现，有些类型的谣言（比如“科学本身不可信”或“解决方案没用”），很难用科学文献去反驳。
- 比喻：如果有人说“科学家都在撒谎，所以别信任何科学书”，那你拿再多的科学书去反驳他，他都会说“看，这就是你们撒谎的证据”。这是一种逻辑死循环。
- 启示：这意味着未来的打假系统不能只靠“找书”，对于这种攻击科学本身的谣言，可能需要人类专家介入，或者换一种策略。

5. 总结：这对我们意味着什么？

这篇论文告诉我们，自动打假正在变得更聪明、更专业。

从“泛泛而谈”到“精准打击”：未来的打假系统会直接查阅科学文献，而不是随便搜搜网页。
不仅看“真假”，还要看“套路”：识别谣言背后的叙事结构，能帮我们更系统地应对 misinformation（错误信息）。
承认局限性：有些谣言（特别是攻击科学可信度的）很难用纯技术手段解决，我们需要人机协作。

总的来说，ClimateCheck 2026 就像是为未来的“气候真相守护者”们搭建了一个高级训练场，让他们学会如何在信息的海洋中，精准地捞出真相，识破那些精心包装的谎言。

这是一份关于 ClimateCheck 2026 共享任务的详细技术总结。该任务旨在通过科学文献自动验证气候相关的社交媒体声明，并识别其中的虚假信息叙事。

1. 问题定义 (Problem Definition)

随着气候变化在线 discourse 的普及，自动事实核查（AFC）面临巨大挑战。现有的 AFC 系统多基于通用来源（如维基百科），但在处理科学话题时，直接利用学术文献作为证据至关重要。然而，科学文献具有术语专业、篇幅长、推理复杂、依赖引用及证据时效性变化等特点，使得自动化验证困难重重。

此外，气候虚假信息往往不是孤立的错误陈述，而是围绕特定的修辞叙事模式（Rhetorical Narratives）聚集。现有的数据集通常只关注声明级别的验证，缺乏将“证据检索”、“声明验证”与“虚假信息叙事分类”统一起来的基准。

ClimateCheck 2026 旨在解决以下核心问题：

科学证据检索与验证：给定气候声明，从学术摘要库中检索相关证据，并判断证据是支持（Supports）、反驳（Refutes）还是信息不足（NEI）。
虚假信息叙事分类：识别声明背后所属的特定气候否认叙事类型（基于 Coan et al., 2021 的 CARDS 分类法）。
评估偏差：在标注不完整（Incomplete Annotations）的情况下，如何公平地评估检索系统的性能。

2. 方法论与数据集 (Methodology & Dataset)

2.1 数据集开发

规模扩展：在 2025 版基础上，训练数据增加了约 3 倍。
- 任务 1（检索与验证）：包含 958 个独特声明，4927 个“声明 - 摘要”对（CAPs）。每个声明关联 1-5 个摘要，标注为 Supports/Refutes/NEI。
- 任务 2（叙事分类）：同一组 958 个声明被标注了 27 种具体的否认叙事标签（分为 5 个主要叙事组），采用多标签方案（Multi-label）。
标注质量：
- 任务 1 的标注一致性（Cohen's $\kappa$ ）为 0.73。
- 任务 2 的叙事分类在主要组别上的一致性较高（Krippendorff's $\alpha \approx 0.697$ ），但在细粒度子叙事上存在挑战（ $\alpha \approx 0.651$ ），反映了叙事解释的主观性。

2.2 评估框架

官方指标：
- 任务 1.1 (检索)：Recall@K (K=2, 5) 和 Binary Preference (Bpref)。
- 任务 1.2 (验证)：加权 Precision, Recall, F1。最终得分结合了 F1 和 Recall@5，以惩罚仅在小样本上表现好的系统。
- 任务 2 (叙事)：Macro F1（因类别不平衡）。
针对不完整标注的评估 (Ev2R 框架)：
- 由于无法标注所有检索到的摘要，作者引入了 Ev2R (Evaluating Evidence Retrieval) 框架的变体。
- 该框架包含两个组件：
  1. 基于参考的组件：将检索到的摘要和黄金标准摘要分解为原子事实，计算 F1 对齐度。
  2. 代理参考组件：使用微调的 DeBERTa 模型预测“声明 - 证据”对的真实性置信度，作为证据质量的代理信号。
- 此方法用于评估那些未包含在黄金标注集中的检索结果，揭示了传统指标可能存在的偏差。

2.3 基线系统 (Baselines)

任务 1：采用多阶段检索管道（BM25 初筛 -> E5 语义重排序 -> MiniLM 交叉编码器重排序），验证使用在多个 NLI 数据集上微调的 DeBERTa 模型。
任务 2：使用 Qwen3-8B 进行监督微调（LoRA），采用指令跟随格式。

3. 参赛系统与主要结果 (Results)

共有 20 个注册团队，8 个提交系统，4 个团队提交了系统描述。

3.1 任务 1：检索与验证

检索表现：大多数系统采用多阶段密集重排序（Dense Re-ranking）结合交叉编码器（Cross-encoder）集成。尽管数据量增加，但检索性能提升有限，表明实现细节比数据量更关键。
验证表现：
- ClimateSense 团队表现最佳，使用零样本（Zero-shot）GPT-oss-120b 进行验证，优于微调的 DeBERTa 交叉编码器。
- DFKI-IML 团队比较了“中间推理”（IR）和“事后合理化”（PR），发现 IR 范式更稳定。
- 错误分析：系统普遍难以区分 Refutes（反驳）和 NEI（信息不足）。许多系统将部分相关证据误判为支持（Supports），导致对虚假信息的误判（False Affirmation）。

3.2 任务 2：叙事分类

表现：ahilbert 团队表现最佳，结合了 Qwen3 的零样本思维链（CoT）提示和原生推理模式。
策略：有效的系统通常采用分层推理（先识别粗粒度叙事组，再细分子标签）。
成本权衡：ahilbert 团队指出，基于推理的方法（CoT）虽然提升了性能，但能耗是零样本推理的 25 倍。
错误模式：系统倾向于少预测标签（Under-prediction），且容易混淆主要叙事组之间的边界（Top-level category boundaries）。

3.3 跨任务分析 (Cross-Task Analysis)

检索与叙事无关：检索难度（Recall@5）在不同叙事组之间没有显著差异，说明科学证据的检索是叙事无关的（Narrative-agnostic）。
验证难度与叙事强相关：
- Group 3（气候影响并非坏事）最容易反驳。
- Group 4（气候解决方案无效）和 Group 5（气候运动/科学不可靠）最难反驳。
- 原因：Group 5 的声明是认识论层面的（攻击科学本身的可信度），使用科学摘要来反驳“科学不可靠”存在逻辑上的自指悖论，这是基于证据的 AFC 的结构性局限。

4. 关键贡献 (Key Contributions)

统一基准：首次构建了将学术证据检索、声明验证和虚假信息叙事分类统一在同一组声明上的基准数据集，支持联合策略研究。
改进的评估框架：针对科学事实核查中常见的标注不完整问题，适配并应用了 Ev2R 框架，揭示了传统基于 Recall 的指标可能因标注偏差而低估某些系统的检索质量。
实证发现：
- 揭示了验证难度对叙事类型的依赖性（特别是认识论类声明难以通过科学证据反驳）。
- 证明了结构化推理（如分层分类、思维链）比单纯增加模型规模或数据量更有效。
- 指出了当前系统在区分“反驳”与“信息不足”以及处理细粒度叙事分类上的系统性偏差。

5. 意义与未来展望 (Significance & Future Work)

系统设计启示：未来的事实核查系统不应是线性的，而应考虑**叙事感知（Narrative-aware）**的验证策略。对于不同类型的叙事（如经验性声明 vs. 认识论攻击），应采用不同的验证策略（如引入非学术证据或人工审核）。
评估的重要性：在无法进行穷尽标注的领域，必须结合自动评估框架（如 Ev2R）来补充传统指标，以避免优化偏差。
局限性：
- 数据集仅限英语。
- 验证任务简化为单对单（声明 - 摘要），未考虑多跳推理（Multi-hop）和跨文档冲突证据。
- 细粒度叙事标注的主观性限制了自动系统的性能上限。

总结：ClimateCheck 2026 不仅推动了科学事实核查技术的进步，更重要的是揭示了当前基于证据的自动化方法在面对复杂修辞叙事时的结构性局限，为未来设计更智能、更具适应性的事实核查系统指明了方向。