🤖 machine learning

Unsupervised Anomaly Detection of Information Operations Users via Behavioral and Language Patterns

本文介绍了 TENSOR，一种新颖的无监督框架，它通过时间点过程对信息操作用户的协同时间行为进行建模，并利用基于大语言模型文本内容分析得出的定量评分来优化这些信号，从而在真实世界数据集上超越了现有方法。

原作者： Sishun Liu, Sajal Halder, Ke Deng, Yan Wang, Xiuzhen Zhang

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Sishun Liu, Sajal Halder, Ke Deng, Yan Wang, Xiuzhen Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网就像一个巨大的、繁忙的城镇广场，数以百万计的人在那里聊天、分享新闻以及争论政治。通常情况下，大多数人只是普通的民众（我们称之为“控制组用户”），过着自己的生活。但有时，一小群隐秘的角色（被称为“信息操作”或“IO”用户）会进入这个广场。他们不是来聊天的；他们是来操纵对话、传播谎言并制造麻烦的，而且他们通常像一个训练有素的合唱团一样协同作战。

问题在于，这些操纵者非常擅长伪装。他们试图看起来像普通人，但他们有一种秘密的节奏和特定的说话方式，这会出卖他们。

旧有的寻找方法（以及为什么它们失败了）

以前，侦探们尝试通过两种方式来抓捕这些操纵者：

“寻找名单”法（监督学习）： 他们使用一份已知的坏人名单来训练计算机。但只要坏人改变了他们的策略（他们变化得非常快），计算机就会感到困惑，无法识别新的手段。
“步调一致”法（无监督聚类）： 他们假设坏人总是以完美的同步方式行动，就像一支行进乐队。如果两个人在完全相同的时间发布了完全相同的内容，他们就会被标记。但在现实中，坏人们更聪明；他们并不总是步调一致地行动，因此这种方法漏掉了许多他们。

新的解决方案：TENSOR

论文的作者构建了一个新的侦探工具，叫做 TENSOR。可以将 TENSOR 想象成一个由两部分组成的安保系统，它同时观察两件事：人们何时发布内容以及他们说了什么。

第一部分：节奏观察者（时间点过程）

想象一个盯着城镇广场内人们移动时机的安全警卫。

普通人发布内容的时间是随机的：可能在早上，可能在午餐时间，也可能在深夜。他们的节奏是混乱且自然的。
坏人通常有一种奇怪的、协调的节奏。他们可能会发布得太快，或者他们可能在同一秒钟发布，因为他们正在遵循某种剧本。

TENSOR 使用一种数学工具（称为时间点过程）来学习广场的“心跳”。它学习正常节奏是什么样子的。当它看到某种过于完美或过于奇怪的节奏时，就会拉响警报。

难点在于： 这个安全警卫遇到了一个问题。用于训练的数据（警卫研究的人员名单）是“受污染的”。这就像试图教一个警卫什么是“正常”，但这个班级里包含了几个伪装成正常人的坏人。警卫可能会不小心将坏人那种奇怪的节奏学习为“正常”。

第二部分：语言侦探（大语言模型，LLM）

为了修复警卫的错误，TENSOR 请来了第二位专家：一个大语言模型（LLM）。可以将它想象成一位超级聪明的文学评论家，他读过数百万本书，知道人类真实的嗓音与机器人剧本之间的区别。

LLM 阅读人们发布的实际文字。它不仅看时间，还看风格。

这个人是在谈论他的猫、他的工作和政治吗？（很可能是控制组用户）。
这个人是否只谈论一个特定的政治话题，使用奇怪且重复的短语，并忽略其他一切？（很可能是 IO 用户）。

整合在一起：“证据函数”

这是神奇的秘诀所在。TENSOR 不仅仅让两位专家进行投票；它使用一个特殊的公式（称为证据函数）来结合他们的意见。

节奏观察者说：“这个人的时间点很可疑。”
语言侦探说：“这个人的话听起来像是个剧本。”
证据函数利用语言侦探的意见来纠正节奏观察者。

如果节奏观察者因为从训练数据中学习到了坏人而感到困惑，语言侦探就会介入并说：“等等，看看这些文字。这绝对是一个坏人，即使他的时间点看起来有点正常。”这使得 TENSOR 即使在训练数据“不干净”的情况下，也能识别出坏人。

他们的发现

研究人员在来自五个不同国家（埃及、中国、伊朗、俄罗斯和阿联酋）的真实世界数据上测试了 TENSOR。他们将 TENSOR 与其他方法进行了对比，发现：

TENSOR 表现最好： 它捕捉到了更多的坏人，并且比旧方法犯的错误更少。
两部分缺一不可： 如果他们移除了“语言侦探”（LLM）或“节奏观察者”（时间分析），系统的表现就会变差很多。它需要“何时”和“什么”两者结合才能发挥作用。
它能适应不同的“大脑”： 他们测试了 TENSOR 与不同 AI 模型（即不同类型的“语言侦探”）的兼容性，发现它几乎在所有模型下都能很好地工作。

核心结论

TENSOR 是一种寻找互联网操纵者的新方法，它不需要预先准备一份名单来确定谁是谁。它的原理是注意到坏人们拥有一种奇怪的“舞蹈”（时间）和一种虚假的“声音”（语言）。通过使用 AI 来检查声音并纠正舞蹈分析，即使在他们试图混入人群时，也能识别出这些操纵者。

技术摘要：用于无监督信息操作（IO）用户检测的 TENSOR

问题定义

本文研究了社交网络（SN）中信息操作（IO）用户检测的挑战。IO 是通过虚假信息和仇恨言论操纵公众舆论的有组织尝试，通常由一小群协调一致的用户发起。现有检测方法的主要难点在于其泛化能力：

监督式和半监督式方法依赖于标记数据集，而这些数据集在应对快速演变的 IO 活动时存在滞后性，导致其对未见的 IO 无效。
现有的无监督方法通常依赖于过度简化的协调假设（例如基于相似性的聚类），这些假设在实践中可能并不成立，或者无法捕捉复杂的时序动态。
数据污染问题： 一个关键问题是，用于异常检测的训练数据往往是“受污染的”，这意味着旨在代表“正常”（控制组）用户的数据集不可避免地包含了一小部分 IO 用户。在这样的数据上训练模型会导致模型将异常视为正常，从而降低性能。

作者将 IO 用户检测建模为一个无监督异常检测问题，旨在仅利用用户的发布时间线（由时间戳 $t$ 和内容 $c$ 组成）来识别 IO 用户（标签为 0）与控制用户（标签为 1）。

方法论：TENSOR

提出的解决方案是 TENSOR（基于时间行为与语言信号的信息操作识别）。这是一个多模态、无监督的框架，结合了行为模式（时间维度）和语言模式（文本维度）来检测异常。该架构由两个核心组件组成，并通过一个调整框架进行集成：

1. 用于行为模式的时间点过程 (TPP)

功能： TPP 将用户的发布时间线建模为一个随机过程。它捕捉条件强度函数 $\lambda^*(t)$ ，即在给定历史记录的情况下，事件在时间 $t$ 发生的概率。
训练： TPP 模型（具体为自注意力霍克斯过程，SAHP）是在包含控制用户和 IO 用户的受污染数据集 $T$ 上进行训练的。
机制： IO 用户通常表现出协调的行为（例如，在特定间隔发布内容或大量灌水），这与有机用户不同。TPP 根据观测到的时间戳的负对数似然计算得分： $f(x_i) = \exp(-\frac{1}{M_i} \log p(t_i))$ 。
局限性： 由于训练数据是受污染的，TPP 模型可能会将 IO 模式学习为“正常”分布的一部分，从而降低其区分异常的能力。

2. 用于语言模式的大语言模型 (LLM)

功能： 使用 LLM 在分析用户发布内容 ( $c_i$ ) 的同时结合时间线，以生成“证据”得分。
提示词工程： 通过零样本（zero-shot）系统指令提示 LLM 扮演社交媒体分析师的角色，区分“IO 账号”（协调的、国家支持的）和“控制账号”（有机的）。
证据函数： LLM 的原始文本输出通过语义相似度映射策略转换为定量得分 $T(t_i, c_i)$ 。该输出与参考文本（“IO 账号” vs. “控制账号”）进行比较，以生成概率分布。为了确保对 LLM 非确定性的鲁棒性，通过抽取并平均 $N$ 个样本来生成 $\bar{T}_N(t_i, c_i)$ 。

3. 基于证据的后验调整 (EPHAD)

为了解决训练集污染问题，TENSOR 通过用于异常检测的基于证据的后验调整框架 (EPHAD) 集成了 TPP 和 LLM 组件。

该框架并非重新训练 TPP，而是在测试阶段利用 LLM 衍生的证据来调整 TPP 的输出。
最终决策得分通过使用 LLM 证据对 TPP 得分进行指数倾斜（exponentially tilting）来计算：
$\hat{f}(x) = f(x) \exp(\bar{T}_N(t_i, c_i) / \beta)$
其中 $\beta$ 是温度参数。
这使得系统能够利用 LLM 对语言模式的理解，来纠正由受污染训练数据在 TPP 中引入的偏差。

核心贡献

新颖的建模方式： 本文将 IO 用户检测建模为一个无监督异常检测问题，摆脱了需要滞后标记数据的监督式方法的限制。
多模态集成： TENSOR 是首个结合利用时间行为模式（通过 TPP）和语言模式（通过 LLM）进行无监督 IO 检测的方法。
缓解数据污染： 本文首次将 EPHAD 框架创新性地应用于 IO 检测领域。它有效地减轻了因在受污染数据集（即训练集中存在 IO 用户）上训练而导致的性能下降，通过使用基于 LLM 的证据函数来调整 TPP 推理。
零样本能力： 该方法不需要针对 LLM 组件的标记 IO 数据进行训练，而是依赖于零样本提示和语义相似度。

实验结果

作者在五个真实的 IO 数据集（埃及、中国_1、伊朗_1、俄罗斯_1、阿联酋）上评估了 TENSOR，涵盖了 15 个国家的 26 个标记 IO。这些数据集具有高度不平衡性（IO 用户极少，控制用户极多）。

性能： TENSOR 在大多数指标（精确率、召回率、F1、AUC 和 AUPRC）上均优于三个基准模型——用户嵌入聚类（User Embedding Clustering）、在线特征行为语言（BLOC）以及纯 LLM 零样本检测器。
消融实验：
- 去除 LLM 证据函数会显著降低性能，证实了语言模式的必要性。
- 去除 TPP（仅使用 LLM）会导致性能较差，证实了时间动态的重要性。
- 使用随机证据函数的表现不如标准 TPP，证明了 LLM 提供了真实的信号。
敏感性分析：
- LLM 选择： TENSOR 在不同的 LLM（包括推理模型如 gpt-oss-120B 和非推理模型如 llama3.3-70B）上均保持稳定且有效，尽管较大的推理模型通常能带来略好的结果。
- 温度 ( $\beta$ )： 性能对温度参数 $\beta$ 具有敏感性。虽然默认值 $\beta=0.5$ 效果良好，但作者指出最优值因数据集而异（通常在 0.3 左右），这表明该超参数存在进行无监督优化的潜力。

意义与主张

本文声称 TENSOR 通过将重点转向协调的 IO 活动与有机用户行为之间的内在摩擦，为传统的监督式模型提供了一种更具韧性的替代方案。其主要意义在于：

克服泛化差距： 通过采用无监督方式，它可以在无需针对新数据集重新训练的情况下检测新的、未见的 IO。
解决污染问题： 它提供了一种实用的机制，可以在现实世界（必然包含污染）的数据上训练异常检测器，而不会让模型将异常学习为正常。
实用性： 该方法对于 LLM 是“免训练”的（使用冻结权重），并且仅依赖于单步 TPP 训练，使其能够适配各种现有的 TPP 和 LLM 架构。

作者总结道，虽然温度参数 $\beta$ 的无监督优化仍是一个未来的研究方向，但 TENSOR 目前为现实世界高度不平衡场景下的无监督 IO 用户检测建立了新的 SOTA（最先进）基准。