Robust Fake Information Detection via Semantics-Preserving Adversarial Training and Uncertainty-Aware Adaptive Decision

想象一下，互联网就像一个巨大且繁忙的城镇广场，每个人都在那里大声叫喊着新闻、谣言和故事。在这个混乱的广场中，存在着“事实核查员”——这些是聪明的计算机程序，旨在倾听每一次叫喊，并立即判断其为真还是为假。长期以来，这些事实核查员就像是只为特定考试而学习的学生。如果骗子仅仅改变了故事中的几个词，事实核查员就会感到困惑，并误认为谎言是真的。发生这种情况是因为计算机过于关注词汇的“风格”（比如使用宏大、可怕的词汇或听起来非常有信心），而不是故事本身的“含义”。科学家们试图解决的核心问题是：我们如何构建一个即使在骗子试图伪装故事时也不会被欺骗的事实核查员？

这就是张茹（Ru Zhang）的一项新研究所发挥作用的地方。研究人员构建了一个超级聪明的检查员，名为 SPAT-UAD。你可以把它想象成一名侦探，他不只是死记硬背测验答案，而是学会了无论问题如何包装都能识破真相。论文指出，通过训练计算机去看穿“伪装”——例如拼写错误、虚假的“专家”引言或枯燥的改写——该系统即使在互联网试图欺骗它时，也能保持冷静和准确。研究发现，这种新方法在识别伪装下的谎言方面比旧方法表现得更好，尤其是在谎言被高度伪装的情况下。

问题所在：“伪装”游戏

想象一下你正在和朋友玩“对或错”的游戏。你的朋友说了一个谎：“我早餐吃了一个整整的披萨。”你立刻识破了，因为这听起来很荒谬。但接着，你的朋友又尝试了另一种说法：“根据多方消息来源，一项近期研究表明，我今天早上摄入了大量的披萨。”突然间，这听起来变得更加严肃且正式了。或者，他们加了一个拼写错误：“我早餐吃了一个整整的 pizaa。”

旧的计算机检测器就像是只学习了第一句话的学生。当朋友改变措辞或加入华丽的短语时，计算机就会感到困惑，可能会想：“噢，这听起来很正式，所以一定是真的！”或者“噢，这里有个拼写错误，所以一定是假的！”问题在于，互联网上的骗子非常擅长这些技巧。他们可以把一个虚假的故事改写得看起来很中立，加入虚假的“专家”引言，或者仅仅改变拼写以足以迷惑计算机，同时保持谎言的内容完全不变。

解决方案：“防伪装”侦探

论文介绍了一种训练这些计算机侦探的新方法：SPAT-UAD。这个名字虽然拗口，但理念很简单。它拥有两个主要超能力：

1. 语义保持对抗训练（“伪装演习”）：
   想象一位武术大师在训练他的学生。大师不仅练习应对普通的对手，还会从各个角度出拳，甚至变换光线或戴上口罩。学生由此学会观察“真实的招式”，而不是仅仅看“服装”。

   在这项研究中，计算机的训练方式也是如此。对于它看到的每一条真实新闻，计算机还会看到同一篇新闻的三个“伪装”版本：

   • 一个带有微小的拼写错误或替换了单词的版本。
   • 一个加入了虚假“专家”短语（如“报告显示……”）的版本。
   • 一个剥离了情感化词汇、听起来枯燥且中立的版本。

   计算机被告知：“这三个看起来不同的故事实际上是同一个故事。你必须给出相同的答案。”这迫使计算机停止关注表面的花招，转而理解核心含义。

2. 不确定性感知自适应决策（“信心检查”）：
   有时，即使是最优秀的侦探也不敢百分之百确定。旧的计算机每次都会以同样的信心程度给出“真”或“假”的判断，即使故事看起来很奇怪或令人困惑。

   SPAT-UAD 则不同。它内置了一个“信心计”。如果计算机看到一个看起来可疑或令人困惑的故事，它会说：“我不确定这个，”并在做出决定前变得更加谨慎。如果它非常有信心，它就会快速做出决定。这被称为“自适应阈值”。这就像一名保安，会让经常光顾的访客轻松通过，但会拦截并检查那些看起来紧张或戴着面具的人。

研究发现：结果

研究人员将这种新的侦探方法与 14 种其他计算机方法进行了对比测试，测试样本涵盖了关于政治、新冠肺炎（COVID-19）和突发新闻的三大类真实世界假新闻和谣言集。他们不仅仅是在干净、正常的文本上测试计算机；他们还在经过大量伪装（包括拼写错误、虚假引用和中立改写）的文本上进行了测试。

以下是数据说明：

• 重大胜利： 新的 SPAT-UAD 方法在“鲁棒性得分”（衡量处理伪装能力的指标）上获得了 74.4 分。排名第二的竞争对手仅获得了 69.0 分。这是一个 5.4 分 的跨越，这在这一领域是非常巨大的进步。
• 重任表现： 当文本被高度伪装（“重度条件”）时，SPAT-UAD 的正确率达到了 68.2%。排名第二的方法仅为 60.7%。这意味着当骗子竭尽全力隐藏真相时，SPAT-UAD 能够更好地识破谎言。
• 信心度： 该新方法在表达“不确定性”方面也表现得更好。其“校准误差”（衡量其信心是否诚实的指标）仅为 0.054，而其他方法往往过度自信，误差在 0.112 或更高。

为什么这很重要

这项研究表明，仅仅让计算机变得更聪明是不够的；它们需要学会忽略谎言的“服装”。研究人员发现，成功的最大原因在于“伪装演习”（针对伪装版本进行训练）。如果没有它，计算机的表现会大幅下降。

然而，论文也指出了该方法“不做”的事情。它不观察图片，不追踪谁分享了故事，也不理解复杂的讽刺或反讽。它纯粹是一个基于文本的工具。此外，研究人员指出，虽然这种方法在识别“重新包装”的谎言方面表现出色，但如果谎言本身改变了事实（例如将“200万”改为“2千”），它可能会遇到困难。

简而言之，SPAT-UAD 表明，要在充满套路的世界上捕捉假新闻，我们需要能够看透文字、理解真相背后的本质，而不论骗子如何对其进行包装的检测器。这是向更智能、更可靠的互联网迈进的一步，但研究人员提醒我们，在处理极其狡猾的情况时，人类的监督仍然必不可少。