A Multi-View Media Profiling Suite: Resources, Evaluation, and Analysis
本文介绍了 MBFC-2025 数据集以及一个多视角媒体画像套件,该套件利用多样化的表征与融合策略,在检测新闻机构的政治偏见与事实性方面取得了最先进的成果。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象互联网是一座庞大而喧嚣的新闻机构之城。其中一些如同可靠、灯火通明的图书馆;另一些则像是兜售荒诞谣言的嘈杂集市。长期以来,要分辨哪些是前者、哪些是后者,需要人类侦探逐篇阅读每篇文章、核查每个来源,并做出判断。这种方法既缓慢又昂贵,且无法同时处理成千上万个新闻网站。
本文介绍了一种新的“多视角媒体画像套件”,其本质是一支高科技侦探团队,旨在自动为这些新闻机构画像。该团队不再仅依赖单一方式来判断新闻来源,而是从五个不同的角度同时审视这座“城市”。
以下是他们构建侦探工具包的方式,用通俗易懂的语言解释:
1. 新地图(数据)
首先,团队需要一张更完善的地图。以往的地图仅覆盖约 900 家新闻机构。作者们创建了一张名为MBFC-2025的庞大新地图,涵盖约2,600 家新闻机构。他们利用一个名为“媒体偏见/事实核查”(Media Bias/Fact Check)的专家小组的评级,将这些机构在 5 点量表上进行标注(例如,政治偏见从“非常左”到“非常右”,真实性从“非常高”到“非常低”)。
2. 五种侦探透镜(视角)
为了理解一家新闻机构,团队不仅阅读新闻,还通过五种不同的“透镜”或视角来观察它:
- 透镜 1:受众重叠(Alexa 图)。想象一下询问:“当人们访问这家新闻网站时,还会访问哪些其他网站?”如果阅读《纽约时报》的人也经常访问《华盛顿邮报》,系统就会在它们之间画一条线。这有助于将相似的机构归为一类。
- 透镜 2:链接之网(超链接图)。这考察的是谁链接了谁。如果《福克斯新闻》链接了《CNN》,或者反之,这就建立了一种连接。这就像在派对上看到谁和谁是朋友。
- 透镜 3:AI 的直觉(LLM 图)。团队让一个智能 AI(大型语言模型)思考:“如果我喜欢这家新闻网站,我可能还会喜欢哪另外 5 家网站?”AI 的建议基于语义相似性创建了一张新地图,即使这些网站之间没有明确的链接。
- 透镜 4:机构之声(文章)。这是新闻机构实际撰写的文本。系统分析其文章的语气和框架。
- 透镜 5:公共记录(维基百科)。这考察的是其他人在维基百科上关于该新闻机构写了什么。它提供了历史背景以及对该机构声誉的总结。
3. 大脑(融合策略)
棘手之处在于如何整合这五种不同的视角。有时“受众”视角说了一件事,而“链接”视角却说了另一件事。
- 旧方法(静态融合):想象一个委员会,每个人都投票,然后你只取平均值。如果一个人感到困惑,平均值就会变得混乱。
- 新方法(基于强化学习的融合):作者尝试了一种更聪明的方法。他们使用了一个强化学习(RL)智能体。把这个智能体想象成管弦乐队中的一位聪明指挥家。指挥家不是让所有乐器以相同的音量演奏,而是倾听音乐并决定:“现在,小提琴(文章视角)正在演奏最重要的部分,所以我要调大它的音量。鼓(链接视角)今天有点走调,所以我要调小它的音量。”
这位“指挥家”会动态地学习针对每家具体新闻机构最应信任哪个视角,而不是采用一刀切的规则。
4. 结果(他们的发现)
团队在两个数据集上测试了他们的系统:较小且较旧的数据集(ACL-2020)和他们新的、更大的数据集(MBFC-2025)。
- 政治偏见更容易识别:这就像在蓝色汽车海洋中识别一辆红色汽车;所使用的语言通常非常清晰。系统在这方面表现非常出色,取得了最先进的成果(迄今为止最好的分数)。
- 事实性更难判断:确定一个故事是否真实,就像大海捞针。这需要深入的背景信息。系统表现良好,但这比识别偏见更难。
- 指挥家获胜:“聪明指挥家”(基于强化学习的融合)始终优于旧的“平均投票”方法。它证明了动态决定信任哪些信息比简单地将所有内容混合在一起更好。
- 更多视角并不总是更好:有趣的是,添加过多的视角有时会让系统感到困惑。最佳结果通常来自结合 2 或 3 个强有力的视角,而不是将所有数据碎片都扔进混合中。
总结
简而言之,这篇论文建立了一个庞大的新闻机构新数据库,并创建了一个智能系统,通过观察其受众、链接、AI 相似性、写作风格和声誉来为其画像。关键创新在于一位“聪明指挥家”,它能够动态地学习如何权衡这些不同的线索,从而实现了迄今为止最准确的新闻偏见和真实性自动画像。
重要说明:作者明确指出,他们的工作侧重于来源层面的画像(即对整个新闻机构进行评判)。他们警告称,在没有更广泛背景的情况下,不应将其用于评判单篇文章或具体主张,并且他们当前的数据主要集中在以美国为中心的政治类别上。他们还指出,虽然他们利用 AI 来构建地图,但最终系统旨在用于研究和分析,而非为用户过滤内容。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。