💻 computer science

CRED-1: An Open Multi-Signal Domain Credibility Dataset for Automated Pre-Bunking of Online Misinformation

该论文介绍了 CRED-1，这是一个开源的多信号领域可信度数据集，它整合了公开许可源列表与域名年龄、网络流行度、事实核查频率及安全威胁等四种计算信号，旨在支持隐私保护的客户端预辟谣应用以在内容交付阶段自动识别在线虚假信息。

原作者： Alexander Loth, Martin Kappes, Marc-Oliver Pahl

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexander Loth, Martin Kappes, Marc-Oliver Pahl

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 CRED-1 的新工具，你可以把它想象成互联网世界的"食品成分安全标签"或"餐厅卫生评级"，只不过它是专门用来给网站打分的。

为了让你更容易理解，我们用几个生活中的比喻来拆解这篇论文的核心内容：

1. 它是什么？（一个“黑名单”小册子）

想象一下，你走进一家大超市（互联网），货架上摆着成千上万种商品（网站）。有些商品是新鲜健康的，有些则是过期的、甚至有毒的（虚假信息网站）。

以前，如果你想避开那些“有毒”商品，你得靠自己去查，或者依赖某些昂贵的私人侦探（商业公司）提供的名单。
CRED-1 就是作者团队制作的一本免费、公开、透明的“避坑指南”。它列出了 2,672 个已知有问题的网站域名，并给每个网站打了一个0 到 1 的信用分：

0 分：就像“剧毒食品”，完全不可信（比如纯粹的假新闻、阴谋论）。
1 分：就像“有机认证食品”，非常可靠。
0.5 分：就像“加工食品”，虽然能看，但里面可能掺了调料（有偏见或半真半假）。

2. 它是怎么做出来的？（像侦探一样搜集线索）

作者没有凭空捏造这些分数，而是像侦探一样，把两条线索拼在一起，再补充四个“背景调查”：

线索 A & B（基础名单）：他们把两个已有的公开名单（OpenSources.co 和 Iffy.news）合并了。这就像把两个老饕的“避雷清单”合二为一。
线索 C（年龄）：查一下这个网站注册了多久。就像查一家餐厅开了多少年，虽然老店不一定好吃，但刚注册几天的“快闪店”往往更可疑。
线索 D（人气）：查一下它在互联网上的排名（Tranco 榜单）。就像看一家餐厅是不是在“米其林指南”前列，虽然人气高不代表一定好，但完全没名气的小网站风险可能更高。
线索 E（纠错记录）：查一下有没有人专门去“打假”过这个网站（Google Fact Check）。如果一家餐厅总被卫生局通报，那它的分数肯定低。
线索 F（安全警报）：查一下它有没有挂病毒或搞诈骗（Google Safe Browsing）。

打分规则：
作者把这些线索像调鸡尾酒一样混合在一起。如果一个网站被多个来源标记为“假新闻”，或者被 Fact Check 打假过很多次，它的分数就会急剧下降。

特别规则：如果一个网站被 Google 标记为“有病毒/诈骗”，不管它其他方面表现多好，直接给个极低分（0.05），就像直接拉进黑名单。

3. 它有什么用？（手机里的“隐形保镖”）

这个数据集最大的亮点是小巧且隐私友好。

小巧：整个名单只有 145KB（比一张高清照片还小），可以塞进你的手机或电脑浏览器插件里。
隐私：因为它就在你的设备上运行，不需要把你的浏览记录上传到云端服务器。就像你出门前自己看一眼“避坑指南”，而不是把你要买什么告诉超市经理。

应用场景：
当你打开一个新闻链接时，浏览器插件会瞬间查一下这个域名在 CRED-1 里有没有记录。

如果有记录且分数低，插件会弹窗提醒你：“嘿，这个网站经常发假消息，请小心！”
这就是论文里说的"预辟谣"（Pre-bunking）：在假新闻伤害到你之前，先给你打个预防针。

4. 一些有趣的发现（侦探笔记）

作者在研究中发现了一些反直觉的事情：

老网站也可能是骗子：很多人以为假网站都是刚注册的“小混混”。但数据显示，很多假新闻网站已经“经营”了 14 年之久！它们像伪装成老店的骗子，让人放松警惕。
假新闻和病毒是两码事：大多数传播假新闻的网站并没有病毒（只有 2 个被标记）。它们是在“合法”的框架下散布谎言，而不是直接攻击你的电脑。
很少被专门打假：虽然这些网站很坏，但只有极少数（2.5%）被 Fact Check 机构专门针对过。这意味着大部分假网站其实是在“法外之地”游走的。

5. 它的局限性（说明书里的“免责声明”）

主要是英语：这份名单主要针对英语网站，对中文或其他语言的网站覆盖较少。
只列“坏蛋”：它只收录了已知有问题的网站。如果一个网站不在名单里，并不代表它一定是好人，只是还没被收录进来。
依赖源头：它的准确性取决于最初那两个名单的质量。

总结

CRED-1 就像是一个由社区共同维护的、免费的、装在口袋里的互联网“食品安全员”。它不试图阻止你说话，也不审查内容，只是在你点击链接的那一刻，悄悄告诉你：“这家‘餐厅’的卫生评级可能不太行，请三思而后食。”

这项工作的核心精神是透明和开源：任何人都可以查看它的代码，验证它的分数，甚至把它改进得更好，而不是把它藏在某个大公司的黑盒子里。

以下是基于论文《CRED-1: An Open Multi-Signal Domain Credibility Dataset for Automated Pre-Bunking of Online Misinformation》的详细技术总结：

1. 研究背景与问题 (Problem)

随着在线虚假信息（Misinformation）和错误信息（Disinformation）的泛滥，传统的基于内容的事实核查（Fact-checking）往往滞后于信息的传播。

核心痛点：现有的解决方案多依赖专有数据库（如 NewsGuard），缺乏透明度、不可复现且成本高昂；或者缺乏针对“内容交付阶段”的自动化预辟谣（Pre-bunking）机制。
目标：构建一个开源、可复现、基于多信号融合的域名级可信度数据集，旨在支持在客户端（如浏览器扩展）进行隐私保护的自动化预辟谣，在用户接触内容之前拦截不可信来源。

2. 方法论 (Methodology)

CRED-1 数据集的构建分为两个主要阶段，整个流程完全使用 Python 标准库实现，无需外部依赖包，确保可复现性。

2.1 数据源获取与合并 (Phase 1)

多源融合：整合了两个开源许可的源列表：
1. OpenSources.co：包含 825 个域名的分类列表（虚假、偏见、阴谋论等）。
2. Iffy.news Index：基于 Media Bias/Fact Check (MBFC) 的 2,040 个域名，标记为事实报道水平低或极低。
预处理：对域名进行标准化（小写、去除 www. 前缀、去除尾部斜杠）和去重。
冲突处理：当同一域名出现在两个源中且分类冲突时，采用**“就低原则”**（即分配可信度更低的类别）。
最终规模：合并后得到 2,672 个唯一域名。

2.2 信号增强 (Phase 2)

为每个域名计算四个独立的增强信号，以丰富可信度评估维度：

域名年龄 (Domain Age)：通过公共 RDAP 协议查询注册日期。
网络流行度 (Web Popularity)：匹配 Tranco Top-1M 列表中的排名，用于衡量流量。
事实核查频率 (Fact-check Frequency)：调用 Google Fact Check Tools API，统计该域名关联的 ClaimReview 事实核查声明数量。
威胁情报 (Threat Intelligence)：调用 Google Safe Browsing API，检测是否被标记为恶意软件或社会工程攻击。

2.3 评分模型 (Scoring Model)

构建了一个加权混合模型计算综合可信度分数 $S$ （范围 0.0 - 1.0）：
$S = w_{cat} \cdot s_{cat} + w_{iffy} \cdot s_{iffy} + w_{fc} \cdot s_{fc} + w_{tranco} \cdot s_{tranco} + w_{age} \cdot s_{age} + w_{fill} \cdot s_{cat}$

权重分配：
- 基础类别分数 ( $s_{cat}$ )：权重 0.50（最高，作为基准）。
- Iffy.news 分数 ( $s_{iffy}$ )：权重 0.15。
- 事实核查信号 ( $s_{fc}$ )：权重 0.15（基于对数函数，声明越多分数越低）。
- Tranco 排名 ( $s_{tranco}$ )：权重 0.05。
- 域名年龄 ( $s_{age}$ )：权重 0.05（20 年以上饱和）。
- 缺失补偿：若某信号缺失，其权重回退到类别分数权重。
硬性覆盖规则：若被 Google Safe Browsing 标记为威胁，分数强制封顶为 0.05。

3. 关键贡献 (Key Contributions)

首个开源多信号域名可信度数据集：CRED-1 是首个将开源列表与实时 API 信号（年龄、流行度、事实核查、威胁情报）结合的大规模数据集。
完全透明与可复现：
- 代码仅使用 Python 标准库，无外部依赖。
- 数据基于公开 API 和开源列表，无需专有数据库。
- 提供完整的构建脚本（build_dataset.py, enrich_dataset.py），可在 30 分钟内复现。
隐私优先的部署设计：
- 提供紧凑的 JSON 格式（仅 145 KB），支持在移动端和浏览器扩展中进行本地（On-device）部署。
- 无需服务器端查询，保护用户隐私。
负信号数据集设计：明确标注该数据集仅包含已知有可信度问题的域名。未出现在数据集中不代表可靠，这避免了误判风险。

4. 实验结果与数据特征 (Results)

数据规模：覆盖 2,672 个域名，分为 6 个类别（虚假、阴谋论、不可靠、讽刺、混合、可靠）。
类别分布：
- 混合类 (Mixed) 占比最大 (50.0%)，包含 1,335 个域名。
- 不可靠 (Unreliable) 占 22.0%。
- 虚假 (Fake) 占 18.4%。
- 仅有 8 个域名 (0.3%) 被归类为“可靠”。
分数分布：
- 综合分数均值 0.299，标准差 0.170。
- 分布呈双峰状：31.7% 的域名分数低于 0.2（主要是虚假和阴谋论），50.0% 的域名分数在 0.4-0.6 之间（混合类）。
信号覆盖洞察：
- 域名年龄：中位数为 14 年，表明许多虚假信息网站是长期存在的，这与网络钓鱼（通常为新注册域名）不同。
- 事实核查：仅 2.5% (67 个) 的域名有 Google 事实核查记录，说明大部分虚假信息未被专门核查。
- 恶意软件关联：仅 0.07% (2 个) 域名被标记为恶意软件，证实了虚假信息网站通常利用“技术合法”的边界传播误导内容，而非直接进行恶意攻击。

5. 意义与影响 (Significance)

自动化预辟谣 (Pre-bunking)：CRED-1 填补了内容交付阶段的自动化干预空白，允许浏览器扩展在用户加载页面时即时拦截低可信度域名。
研究基准：为虚假信息检测、内容审核工具开发以及媒体素养教育提供了标准化的“地面真值”（Ground Truth）。
去中心化与民主化：打破了专有数据库的垄断，使研究人员、开发者和教育工作者能够独立验证、扩展和使用可信度数据。
补充现有工作：与受控虚假信息生成和 AI 生成内容的人类评估研究相结合，完善了端到端的虚假信息检测管道。

局限性：

主要覆盖英语语言环境，非英语来源覆盖不足。
数据具有时效性（截至 2026 年 2 月），域名可信度会随时间变化。
继承上游源（OpenSources.co, Iffy.news）的潜在偏差。

综上所述，CRED-1 是一个具有高度实用价值和学术意义的开源资源，通过多信号融合和轻量级设计，为实现隐私保护的自动化虚假信息防御提供了坚实的基础设施。