Generative-AI Rewriting and the Robustness of Health Misinformation Detection: A Cross-Dataset Evaluation of Failure Mechanisms and Mitigation

在数字时代，健康信息的传播速度与点击一下的速度一样快，但误导性信息也是如此。多年来，科学家们一直致力于开发计算机程序，旨在充当“守门人”，通过扫描在线文本来区分可靠的医疗建议与危险的谬误。当文本呈现出常规形态时，这些程序表现得相当出色，在标准测试中往往能获得近乎完美的评分。然而，随着生成式人工智能的兴起，一种新的脆弱性出现了。这些强大的工具可以针对一个特定的观点——无论真伪——进行彻底的重写，在保持核心含义完全不变的同时，改变措辞、句子结构和语气。这种“洗白”信息的能力产生了一个关键问题：如果一个计算机程序是基于文本的写法来识别谎言，那么当一个精密的 AI 将谎言改写成听起来像是一篇可信且中立的文章时，会发生什么？数字健康工具的安全取决于能否回答这个问题，因为如果一个系统无法识别被重写的谎言，可能会让人们暴露在有害建议之下；而如果一个系统将重写的真相误认为谎言，则可能使至关重要的信息失声。

曼彻斯特都会大学的一位研究人员通过一项受控的计算实验，正是为了测试这种场景。该研究聚焦于两种截然不同的健康危机：COVID-19 大流行和近期的猴痘疫情。研究人员提取了大量关于这些主题的真实世界帖子（其中一些被证实为真，另一些被证实为假），并使用生成式 AI 工具为每个帖子创建了三个不同版本。其中一个版本被重写为中立且易于阅读的形式，另一个版本被重新组织得听起来更具逻辑性和证据支持，第三个版本则被调整得更具紧迫感或说服力，同时确保底层的医学观点保持不变。随后，这些重写后的版本被输入到九种不同类型的检测软件中（从简单的统计模型到复杂的神经网络），以观察它们是否仍能识别出真相。

结果揭示了当前一代检测器存在的惊人脆弱性。在文本被重写之前，软件表现极其出色，几乎在所有情况下都能正确识别真实与虚假信息。但一旦文本被 AI 修改，大多数系统的性能便迅速崩溃。在 COVID-19 数据集上，检测器的平均准确率从接近完美的 0.987 骤降至 0.428 到 0.479 的区间。这意味着，在文本被重写后，计算机在标准设置下做出正确二元决策的能力显著下降，尽管它们将可靠信息排在误导性信息之前的底层能力仍然明显优于随机猜测。这种失败在不同系统或不同类型的文本之间并不均匀。在 COVID-19 测试中，主要问题在于软件开始以惊人的比例将可靠的真实信息标记为虚假，从而有效地使可信来源失声。相比之下，在猴痘数据集上，主要的失败则恰恰相反：软件停止了对谎言的捕捉，导致重写的误导性信息如同真理一般混入其中。

研究还通过检查 AI 如何改变文本，探讨了这些失败发生的原因。研究发现，导致检测器失效的最显著因素并非一定是情感基调或所使用的特定论点，而是写作的结构性变化。当 AI 缩短文本或使句子变得更加复杂、难以阅读时，检测器出错的可能性就会显著增加。这表明，该软件过度依赖于原始文本写作方式的特定表面模式，而非真正理解其中的医学事实。当这些模式被改变时，软件就迷失了方向。

为了应对这一弱点，研究人员测试了一种防御策略：在这些检测器投入部署之前，先利用这些重写版本对其进行训练。通过向软件提供原始文本及其 AI 重写版本的示例，其目标是教会系统无论如何表述都能识别真相。这种方法在猴痘数据上效果显著，检测器识别重写谎言的能力大幅提升，所有九个模型都表现出了更好的性能。然而，这种修复方案在 COVID-19 数据上的表现并不一致，且在针对完全不同的疾病主题进行测试时，并未能帮助软件表现良好。这表明，虽然针对重写文本进行训练可以增强系统在特定语境下的鲁棒性，但它目前还无法创造一种能够应对所有健康话题或所有类型 AI 重写的通用护盾。

研究结论指出，仅仅在标准测试中获得高准确率，已不足以保证健康误导信息检测器在现实世界中使用是安全的。生成式 AI 在不改变原意的情况下重写内容的能力，暴露了现有系统的深层脆弱性，导致它们要么漏掉危险的谎言，要么错误地指责真实的客观事实。虽然利用这些重写示例来训练检测器为提高其韧性提供了一条充满希望的路径，但该方案目前还不是一个完整的解决方案。研究表明，未来的工具不仅要针对原始文本进行测试，还要针对文本可以发生变化的多种形态进行测试，以确保保护公众健康的数字防线即使在误导性信息的语言不断演变时依然有效。