Beyond speculation: Measuring the growing presence of LLM-generated texts in multilingual disinformation

技术摘要：超越推测：衡量多语言虚假信息中大语言模型生成文本的日益增长的存在感

问题陈述
大语言模型（LLM）的快速发展及其通过用户友好界面（如 ChatGPT）实现的易用性，加剧了人们对利用其生成虚假信息的担忧。虽然研究证实了 LLM 生成错误内容的能力，但在现实世界虚假信息活动中实际部署的程度在很大程度上仍是未知的。学术界对此存在分歧：一些人认为由于自然生态系统的限制，这种恐惧被夸大了；而另一些人则认为特定的“长尾”语境面临着被忽视的风险。目前，缺乏经验性的证据来量化现有真实世界虚假信息数据集中机器生成文本的流行程度，尤其是在不同语言、平台和时间段内。

研究方法
为了填补这些空白，作者使用两组截然不同的数据集进行了全面的经验分析：

1. 基准数据集： 多语言标记数据集（如 MULTITuDE、MultiSocial、SemEval、GenAI、MIX），包含人类编写与机器生成的文本真值。这些数据集用于评估检测方法在分布外（out-of-distribution）数据上的鲁棒性和性能。
2. 真实世界虚假信息数据集： 四个被认为包含虚假信息、误导信息或宣传内容的数据集：
   • MultiClaim： 专业事实核查的多语言社交媒体帖子（截至 2024 年 3 月）。
   • FakeNews： 关于美国选举的英语新闻文章（2023 年 4 月至 10 月）。
   • USC_X： 一个抽样的多语言美国选举 Twitter/X 数据集（2024 年 5 月至 11 月）。
   • FIGNEWS： 关于以色列-加沙战争的多语言 Facebook 帖子（2023 年 10 月至 2024 年 1 月）。

检测框架：
本研究采用了基于 Gemma-2-9b-it 模型微调的两个检测器，并利用 QLoRA 进行高效微调：

• Gemma_GenAI： 在 GenAI 数据集的训练集部分进行微调。
• Gemma_MultiDomain： 在 MULTITuDE 和 MultiSocial 的合并训练集部分进行微调。

为了确保鲁棒性，作者采用了**组合置信度检测（combined confident detection）**策略。如果一个检测器预测正类概率为 100%（概率为 1.0），且另一个检测器未预测负类为 100%（概率 > 0.0），则该文本被归类为机器生成。为了减轻特定语言中的假阳性问题，如果 Gemma_GenAI 检测器的正向预测在基准数据上超过 0.1 的假阳性率，则取消其对阿拉伯语、德语、意大利语和俄语的预测资格。

对于流行度估计，作者还追踪了平均得分（Mean Score）（即文本为机器生成的平均概率），以在不依赖严格分类阈值的情况下观察趋势。

关键结果
本研究提供了关于现实世界虚假信息背景下 LLM 生成内容的首次经验证据，揭示了以下内容：

• 时间演变： 在 ChatGPT（2022 年 11 月）公开发布后，机器生成内容呈现明显的上升趋势。在 MultiClaim 数据集中，被检测为机器生成的文本比例从 2021 年的 0.93% 上升到 2023 年的 1.85%（相对增长 99%）。到 2024 年，该比例达到 2.15%。检测器的平均得分在 2021 年至 2023 年间也显著增加。
• 语言差异： 流行程度在不同语言之间并不统一。虽然英语和西班牙语在检测到的文本绝对数量上最高，但 波兰语 (4.7%) 和 法语 (4.2%) 在 MultiClaim 数据集中显示出最高的机器生成内容相对比例。在 FIGNEWS 数据集中，法语文本的 LLM 生成率超过 10%，而英语约为 4.7%。
• 平台差异： 不同社交媒体平台之间存在差异，Instagram 的比例最高（1.5%），其次是 Facebook（1.29%）和 Twitter/X（0.64%）。
• 特定数据集发现：
  • FakeNews： 2.61% 的“真实”标记文本和 3.27% 的“虚假”标记文本被识别为机器生成。
  • FIGNEWS： 3.16% 的文本被检测为机器生成，其中被标记为“偏袒以色列”（Biased against Israel）的文本流行度较高（5.11%），高于“偏袒巴勒斯坦”（Biased against Palestine）的文本（3.13%）。
  • USC_X (2024 年选举)： 流行度从 2024 年 1 月的 0.44% 上升到 2024 年 11 月的 2.39%，这与美国选举时期相吻合。
• 检测性能： 在基准数据集上，组合检测方法实现了高精确度（范围在 93.58% 至 99.85% 之间），确保了所识别的正样本极有可能是真实的机器生成内容。

意义与贡献
该论文声称对该领域有三个主要贡献：

1. 经验验证： 它超越了推测，通过对现实世界虚假信息数据集中 LLM 存在的首次全面评估，证实了机器生成内容已成为一种可衡量的现实（在 2024 年达到约 2.15%）。
2. 模式识别： 研究表明，LLM 的滥用并非均匀分布，而是遵循针对特定语言（如波兰语、法语）和平台的目标模式，这表明“长尾”语境确实存在脆弱性并需要特别关注。
3. 方法论框架： 作者建立了一个稳健的分析框架，利用微调的检测器和基于置信度的聚合方法来衡量分布外数据的流行度，为未来的监测提供了一种可复制的方法。

结论
作者得出结论，虽然 LLM 用于虚假信息的规模尚未显著超过合法用途，但对其滥用的担忧是有道理的。记录在案的机器生成内容增加（特别是在经过事实核查的声明和选举相关的讨论中），强调了持续调查、改进检测方法以及建立可信度评估系统的紧迫性，以维护信息完整性。研究结果表明，主动监测应侧重于高流行度的语境，例如特定的语言和平台，以有效地应对 AI 驱动的虚假信息。