💬 NLP

FactAppeal: Identifying Epistemic Factual Appeals in News Media

该论文提出了名为 FactAppeal 的新任务与数据集，旨在识别新闻中事实陈述如何通过外部来源或证据进行认知锚定，并提供了包含细粒度证据特征标注的 3226 条英语新闻句子，同时评估了多种大语言模型在该任务上的表现。

原作者： Guy Mor-Lan, Tamir Sheafer, Shaul R. Shenhav

发布于 2026-03-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Guy Mor-Lan, Tamir Sheafer, Shaul R. Shenhav

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 FACTAPPEAL 的新项目，它的核心任务就像是给新闻文章装上一副“透视眼镜”，不仅能看清新闻里说了什么事实，还能看清这些事实是靠什么“靠山”站住脚的。

为了让你更容易理解，我们可以把新闻写作想象成法庭上的辩论，或者你在向朋友转述一个八卦。

1. 核心问题：新闻是怎么让人“信”的？

想象一下，如果有人在街上大喊：“明天会下雨！”

普通说法：你可能会半信半疑。
有“靠山”的说法：如果他说：“气象局的专家（权威）看了雷达图（证据），说明天会下雨。”
更具体的说法：如果他说：“我亲眼看到（目击者）乌云密布，而且我朋友（参与者）刚收到暴雨预警。”

这篇论文发现，以前的 AI 研究主要关注这句话是不是事实（比如：明天真的会下雨吗？），但忽略了这句话是怎么被“包装”成事实的。

FACTAPPEAL 的任务就是去分析这种“包装”过程：

这句话里有没有引用来源？
来源是谁？是专家、目击者，还是官方文件？
是直接引用（“他说：'……'"）还是间接转述（“他说他看到了……"）？

2. 他们做了什么？（FACTAPPEAL 数据集）

研究团队从 2020 到 2022 年的英文新闻中，人工挑选并标注了 3,226 个句子。这就像是一个巨大的“新闻解剖实验室”。

他们给每个句子贴上了非常细致的标签，就像给新闻做“体检报告”：

事实本身：这句话是在陈述一个客观事实，还是表达个人感受？（比如“我觉得很冷”就不是事实，只是感受）。
有没有“靠山”：这个事实是凭空说的，还是引用了别人？
“靠山”的类型（这是最精彩的部分）：
- 亲历者 (Active Participant)：比如“我（当事人）当时就在现场”。
- 目击者 (Witness)：比如“我（路人）看到有人摔倒了”。
- 官方 (Official)：比如“环保局（官方机构）表示……"。
- 专家 (Expert)：比如“科学家（专家）认为……"。
- 直接证据 (Direct Evidence)：比如“这张照片（证据）显示……"。
- 二手报告 (News Report)：比如“据 AP 通讯社报道……"。

举个生动的例子：

原文：“马斯克说：‘星舰有一天会降落在火星上。’"

普通 AI：可能只看到“马斯克”和“火星”。

FACTAPPEAL 的 AI：会分析出——这是一个事实陈述，但它没有引用权威来源来证明“能降落”，马斯克只是在发表观点。所以，这里虽然引用了人，但并没有用他的“权威性”来为“能降落”这个事实背书。

3. 他们怎么测试 AI？

他们训练了各种 AI 模型（从较小的模型到像 Gemma 2 9B 这样的大型生成式模型），让它们来玩这个“找靠山”的游戏。

任务：给 AI 看一句话，让它标出哪里是事实，哪里是引用，引用的是谁，是直接引用还是转述。
结果：最好的模型（Gemma 2 9B）表现不错，准确率达到了 73% 左右。但这说明这依然是一个很难的任务，因为人类语言太微妙了，有时候一句话里既有事实又有观点，还有模糊的引用。

4. 为什么这很重要？（现实意义）

想象一下，如果我们能自动识别新闻里的“靠山”：

打击假新闻：如果一条假新闻声称“某专家说疫苗有害”，但 AI 发现它引用的“专家”其实是个无名小卒，或者根本没有引用具体的人，AI 就能立刻报警：“注意！这里没有真正的权威背书！”
理解舆论：我们可以分析，现在的新闻是更倾向于相信“专家”（外部权威），还是更倾向于相信“亲历者”（内部情感）？这能帮助我们理解社会信任的流向。
更聪明的事实核查：以前的核查是“查这句话对不对”，现在的核查可以是“查这句话是怎么被证明对的”。

5. 总结

简单来说，FACTAPPEAL 就像是一个新闻界的“侦探助手”。

以前的侦探只关心“案发现场发生了什么”（事实本身）；现在的侦探不仅关心现场，还关心“是谁告诉你的”、“他是怎么知道的”、“他有没有资格这么说”。

这项研究通过给新闻句子做精细的“解剖”，帮助我们更透明地看清：在这个信息爆炸的时代，新闻里的每一个“事实”，究竟是如何被构建和包装出来的。这对于我们在这个充满噪音的世界里保持清醒，识别信息的真伪，具有非常重要的意义。

这是一份关于论文 FACTAPPEAL: Identifying Epistemic Factual Appeals in News Media 的详细技术总结。

1. 研究背景与问题定义 (Problem)

在虚假信息泛滥和媒体信任度下降的时代，理解事实性主张（Factual Claims）是如何被构建和获得可信度的至关重要。现有的自然语言处理（NLP）研究主要集中在主张检测（Claim Detection）和主张验证（Claim Verification），即判断一个陈述是否为事实以及其真伪。然而，这些方法往往孤立地看待陈述内容，忽略了赋予主张可信度的认识论结构（Epistemic Structures）。

核心问题：
新闻中的事实主张通常通过引用外部来源（如专家、证人、官方报告或直接证据）来增强其可信度。目前的任务缺乏一种机制来识别：

一个句子是否包含事实性主张？
如果是，它是如何通过认识论诉求（Epistemic Appeals）来锚定外部来源或证据的？
这些诉求的具体特征是什么（如来源类型、引用方式、来源的资历等）？

2. 方法论 (Methodology)

为了解决上述问题，作者提出了FACTAPPEAL，这是一个手动标注的英文新闻数据集，并定义了认识论诉求识别（Epistemic Appeal Identification）这一新任务。

2.1 数据集构建 (Dataset)

规模：包含 3,226 个来自 2020-2022 年英文新闻文章的句子。
标注粒度：采用跨度级（Span-level）标注，允许区分同一文本中的事实主张、无诉求的事实、非事实成分以及多个认识论来源。
标注体系：
- 事实性判断：区分“无诉求的事实”（Fact Without Appeal）和“有诉求的事实”（Fact With Appeal）。
- 来源标注（Source）：识别支持主张的来源，并标注其属性：
  - 是否具名：Named vs. Unnamed。
  - 来源类型：分为内部来源（Internal，与事件有直接联系）和外部来源（External，基于一般专业知识）。具体类别包括：
    - 内部：积极参与者 (Active Participant)、目击者 (Witness)、直接证据 (Direct Evidence)、官方 (Official)。
    - 外部：专家 (Expert)、专家文档 (Expert Document)、新闻报道 (News Report)。
  - 来源属性：标注来源的头衔、职位或作为认识论凭证的信息。
- 诉求特征：
  - 引用方式：直接引用 (Direct Quote) vs. 间接引用/转述 (Indirect Quote)。
  - 其他元数据：诉求时间 (Appeal Time)、诉求地点 (Appeal Location)、接收者 (Recipient)。
一致性：标注者间一致性（IAA）较高，整体 IoU 为 0.74，Cohen's Kappa 为 0.82。

2.2 建模策略 (Modeling Strategies)

作者对比了两种主要的建模方法：

基于编码器的令牌级多标签分类（Token-level Multi-label Classification）：
- 使用预训练的 Transformer 编码器（RoBERTa, DeBERTa v3, ModernBERT）。
- 将标注转化为 18 个二值标签（对应不同的标签类型和修饰符）。
- 使用 Focal Loss 进行微调。
基于生成式解码器的序列到序列模型（Generative Decoder Models）：
- 将标注表示为 XML 风格的标签，模型任务是根据原始句子生成带标注的句子。
- 使用较小的预训练大语言模型（LLM）进行微调，包括 Gemma 2 (2B/9B), Llama 3.1 8B, Mistral v0.3 7B。
- 采用 QLORA (4-bit 量化) 进行高效微调。
- 评估指标为词级别的精确率、召回率和 F1 分数。

3. 关键贡献 (Key Contributions)

新任务定义：提出了“认识论诉求识别”任务，超越了传统的事实检测，关注主张背后的支撑结构和可信度来源。
FACTAPPEAL 数据集：提供了首个细粒度、跨度级的新闻事实诉求标注数据集，涵盖了丰富的来源类型和引用方式。
细粒度分类体系：建立了一套基于来源性质（内部/外部）和来源类型（专家、证人、官方等）的层级分类法，并区分了直接/间接引用。
实证基准：系统评估了从传统编码器到生成式 LLM 在复杂认识论推理任务上的表现，揭示了当前模型的局限性。

4. 实验结果 (Results)

最佳模型：基于 Gemma 2 9B 的生成式模型表现最佳，在测试集上达到了 0.73 的宏观 F1 分数。
模型对比：
- 生成式模型（尤其是较大的 LLM）在捕捉细粒度特征方面略优于编码器模型。
- 编码器模型在不同标签类别上的性能波动较大（标准差较高），且其性能与标签的出现频率相关性更强（ $\rho_s = 0.72$ ），表明编码器更容易受到数据不平衡的影响。
- 生成式模型在低频标签（如“直接证据”、“目击者”）上的表现相对更稳健，受频率影响较小。
具体指标：
- 对于“事实性”判断（Fact w/o Appeal / Fact with Appeal），所有模型表现均较好（F1 > 0.83）。
- 对于细粒度的来源类型（如 Active Participant, Witness），F1 分数较低（部分低于 0.60），表明这是一个极具挑战性的子任务。
- 直接/间接引用的分类表现较好（F1 > 0.77）。

5. 意义与影响 (Significance)

对事实核查的推动：FACTAPPEAL 不仅关注“说了什么”，还关注“为什么可信”。通过识别来源类型和引用方式，可以开发更智能的事实核查工具，能够评估证据的质量（例如，区分专家证词与匿名传闻）。
话语分析与社会科学：该数据集为研究知识如何在媒体中流动、不同政治群体如何利用不同的认识论框架（如诉诸权威 vs. 诉诸直接经验）来构建共识或分歧提供了量化工具。
NLP 任务扩展：证明了生成式 LLM 在处理复杂的、需要推理的标注任务（如识别认识论结构）方面具有潜力，同时也指出了当前模型在处理罕见来源类型时的不足。
未来方向：作者建议将标注扩展到段落或整篇文章级别，以捕捉更复杂的论证结构，并将该框架推广到多语言和其他类型的 discourse（如社交媒体）。

总结

FACTAPPEAL 通过引入细粒度的认识论结构分析，填补了当前事实检测领域的空白。它不仅提供了一个高质量的数据集，还通过实验表明，虽然生成式大模型在处理此类复杂任务上表现最佳，但准确识别具体的来源类型和引用方式仍然是 NLP 领域的一个重大挑战。这项工作为构建更透明、更可信的自动化事实核查系统奠定了重要基础。