🤖 machine learning

RAD: Rule-Augmented Relational Anomaly Detection

本文提出了 RAD，一种规则增强的关联异常检测框架，该框架将异构图表示学习与源自随机森林路径的精炼符号规则相结合，以在保留关系结构并结合行为证据的同时，有效地识别多表数据库中的异常，并在一个涵盖网络安全和电子商务数据集的新基准测试中展示了优于现有基准方法的卓越性能。

原作者： Noah Dahle, Anne Tumlin, Ngoc Tran, Xenofon Koutsoukos, Tyler Derr

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Noah Dahle, Anne Tumlin, Ngoc Tran, Xenofon Koutsoukos, Tyler Derr

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代组织庞大且轰鸣的服务器中，数据并非以整齐、单一的列形式存在。它存在于一个复杂的连接网络中，用户、机器、交易和登录尝试都像蔓延的网络中的节点一样相互关联。几十年来，计算机科学家一直试图在这堆草中寻找那根针：即那个预示着安全漏洞、欺诈企图或客户即将流失的罕见且可疑的事件。寻找这些“针”的传统方法是将整个网络“压平”成一个长长的数字列表，通过剥离连接性来使数据更容易处理。但这种方法往往会丢弃那些让事件变得可疑的关键线索。一次登录本身可能看起来完全正常，但如果将其置于特定机器、特定时间以及用户近期历史的背景下观察，就会变得极具危险性。寻找这些隐藏模式的方法，需要一种既能尊重数据结构，又能理解定义危险的具体规则化行为的方法。

范德堡大学的一个研究小组开发了一种名为 RAD 的新系统，旨在解决这个确切的问题。RAD 不再通过压平数据来丢失其形状，而是将数据库视为一张活生生的关系地图，就像一张城市地图，其中每栋建筑都是一个人，每条道路都是他们之间的连接。该系统的创新之处在于它结合了两种不同的思维方式：人工智能从网络模式中学习的能力，以及描述特定不良行为的人类定义的规则的清晰度。研究人员发现，通过在 AI 开始分析网络之前，将这些清晰、逻辑性的规则直接喂给 AI 的学习过程，系统在识别其他方法会错过的罕见、危险事件方面，表现得显著更好。

为了理解为什么这很重要，请考虑识别网络攻击的挑战。在典型的数据库中，单次登录尝试只是一个数据行。但在现实中，这次登录是一个故事的一部分。如果一个用户在从未使用的电脑上、在通常不工作的时刻、从一个与其历史记录不符的地点进行登录，那么这一行数据就变成了一个警告信号。传统的工具经常会错过这一点，因为它们孤立地观察这一行数据。研究人员在三种截然不同的数据类型上测试了他们的新系统：来自大型组织的庞大网络安全日志、来自在线零售商的客户评论数据库，以及来自一家大型服装品牌的购物交易数据库。在每种情况下，目标都是相同的：将最可疑的事件排在列表的最顶端，以便人类分析师能够快速找到它们。

RAD 系统按照精心编排的序列运行。首先，它获取复杂的、多表结构的数据库，并构建一个详细的连接图谱，保留每个用户、机器和事件的独特身份。然后，它创建一个简化的、临时的视图来搜寻特定的规则。利用一种标准的机器学习技术，它扫描数据以寻找通常会导致问题的逻辑条件，例如“在十分钟内登录了四台以上机器的用户”或“在长期活动后停止评论产品的客户”。这些不是模糊的猜测；它们是直接从数据本身推导出的具体、可解释的规则。

这正是该系统与旧方法分道扬镳的地方。RAD 不仅仅是在最后的结果检查中使用这些规则，而是将它们直接注入到 AI 开始深度分析之前的网络图谱核心。想象一下，网络图谱是一群人正在互相传递纸条以了解他们的处境。在之前的系统中，规则就像是在群体已经做出决定后才传达的最后一条纸条。而在 RAD 中，规则是在一开始就交给这些人的，从而塑造了他们倾听彼此的方式以及他们理解自身位置的方式。这使得系统能够学习到一种已经意识到特定危险行为的数据表示。

这种方法的测试结果令人瞩目。在与现有方法对比测试时，RAD 始终优于那些仅依赖压平数据或使用缺乏这些特定规则之网络图谱的系统。这种改进在网络安全领域最为显著，系统能够比以前更准确地识别可疑的登录事件。在零售环境中，它成功标记了那些很可能意外停止使用服务的客户，这是一项极具挑战性的任务，因为他们的行为在最后时刻之前往往看起来都很正常。研究人员发现，该系统将最危险事件排在顶部的能力得到了显著提升，这至关重要，因为在现实世界的安全和商业领域，分析师无法审查每一个警报；他们只有时间查看前几个。

研究还揭示了关于这些系统运作方式的一些重要细微差别。研究人员测试了尝试重建整个网络图谱（本质上是要求 AI 预测应该存在哪些连接）是否有助于系统发现异常情况。他们发现，这并不总是有效；在某些情况下，试图重建图谱实际上会分散系统执行其主要任务（寻找坏人）的注意力。同样，他们测试了使用先进的语言模型来精炼规则是否会产生影响。他们发现，虽然这些模型有助于清理和组织规则，但核心力量来自于规则本身的初始发现，而非精炼步骤。这表明，最有效的策略是发现清晰、简单的行为模式，并将它们直接输入网络分析，而不是依赖于事后的复杂调整。

最终，这项工作证明，在复杂数据中寻找异常情况的最佳方法是尊重数据的结构，同时明确地教导系统去寻找什么。通过将网络分析的深度学习能力与符号规则的精确性相结合，RAD 提供了一种看待我们数字生活中隐藏危险的新方式。它表明，当我们不再将数据视为一串扁平的数字列表，而是将其视为一个相互连接的故事时，我们就能找到那些一直存在、只待被理解的威胁。研究人员已将其代码和数据开放供他人使用，希望这种方法能帮助各地的组织在危机发生前更好地识别出那些意想不到的情况。

技术摘要：RAD：规则增强型关系异常检测

1. 问题定义

本文探讨了关系异常检测（Relational Anomaly Detection），这是一个不同于标准表格或图异常检测的任务。在许多领域（如网络安全、欺诈检测、医疗保健），数据存储在多表关系数据库中，其中的异常往往取决于跨表、多跳、时间性以及依赖于模式（schema）的交互作用，而非孤立的特征值。

现有方法面临两个主要局限性：

扁平化（Flattening）： 通过连接（joins）和聚合将关系数据转换为单一特征矩阵，这掩盖了实体身份、模式角色和多跳依赖关系，使得难以检测依赖于关系上下文的异常。
纯关系学习（Pure Relational Learning）： 虽然关系深度学习保留了结构，但它通常缺乏将符号行为证据（例如，分析师定义的规则或启发式方法）整合进学习表示中的机制。此外，标准的关系学习框架通常是为监督预测设计的，而非用于在严重类别不平衡的情况下对稀有异常进行排序。

目标是学习一个异常评分函数 $s: V_{target} \to \mathbb{R}$ ，该函数能够利用目标的属性及其关系上下文，将异常目标实体的排名高于正常实体，同时整合符号行为规则。

2. 方法论：RAD 框架

作者提出了 RAD（Rule-Augmented Relational Anomaly Detection，规则增强型关系异常检测），这是一个结合了异构图表示学习与精炼符号规则信号的框架。该过程包含四个阶段：

2.1 关系图构建

将关系数据库转换为一个异构图 $G = (V, E, \tau, \rho)$ ，其中：

行变为具有特定类型 ( $\tau$ ) 的节点。
主外键关系变为类型化边 ( $\rho$ )。
这保留了实体身份和模式定义的逻辑关系，避免了扁平化带来的信息丢失。

2.2 规则挖掘与验证

RAD 从目标实体的辅助扁平化特征视图中挖掘符号规则。该视图仅用于规则发现，不用于最终的关系表示。

挖掘： 在扁平化视图上训练随机森林分类器。提取从根到叶的路径，并将其转换为合取谓词（例如， $x_j \leq c \land x_k > c$ ）。
精炼： 采样一部分规则，并可选地使用 LLM（大语言模型） 进行精炼，通过剪枝、收紧或泛化谓词，将其转化为紧凑、可解释的类 SQL WHERE 子句。LLM 不负责分配标签或分数；它充当一种提议机制。
验证： 在训练/验证数据上执行生成的谓词。根据支持度（support）、置信度（confidence）和提升度（lift）对这些谓词进行过滤，剔除涉及标识符、未来信息或未达到覆盖阈值的规则。
特征注入： 最终的规则集被转换为二进制特征 ( $r_k(v) \in \{0, 1\}$ )，并在图编码之前直接注入到目标节点的特征向量中。这使得符号证据能够在消息传递过程中塑造学习到的节点嵌入，而不是作为事后调整。

2.3 异构图编码器

RAD 采用了一个两层异构 GraphSAGE 编码器，并使用均值聚合。

目标节点接收规则增强后的特征向量 $\tilde{x}_v = [x_v \parallel r(v)]$ 。
非目标节点保留其原始特征。
编码器执行关系感知的消息传递，在合并之前分别为每种关系类型聚合消息。这在保留模式信息的同时学习了规则感知的表示。

2.4 异常评分与训练目标

模型通过结合三个目标来学习异常评分：

属性重构： 最小化原始（规则增强后的）特征与从节点嵌入重构的特征之间的误差。这鼓励编码器保留属性和规则信息。
边重构（可选）： 使用二元交叉熵损失来预测节点间边的存在性。论文指出，这是依赖于数据集的，并非在所有情况下都有益。
成对排序监督： 当存在异常标签时，应用成对排序损失（softplus），以确保异常节点的得分高于正常节点。这对于处理严重的类别不平衡以及优化 AUPRC 等检索指标至关重要。

总损失为 $L = L_{attr} + \alpha L_{struct} + \beta L_{rank}$ 。

3. 基准测试与数据集

作者引入了一个关系异常检测基准测试，涵盖三个场景：

LANL 网络安全： 使用认证事件、用户、机器和进程日志进行事件级异常检测。异常为红队认证事件。
Amazon 评论流失： 源自 RelBench，该任务识别那些在没有前期活动下降的情况下，评论行为意外结束的客户。
H&M 购买流失： 与 Amazon 类似，但基于购买交易和商品元数据。

该基准提供了统一的目标定义、异常标签构建（专门过滤掉“预期内”的流失）以及基于排序的评估协议。

4. 实验结果

实验在三个数据集上进行，将 RAD 与以下模型进行了对比：

表格基准： 孤立森林（Isolation Forest）、Deep SVDD、自动编码器（Autoencoders）、DRL（扁平化输入）。
关系基理解： 未进行规则增强的相对深度学习（RDL）GNN。
监督基准： 在扁平化特征上训练的 MLP（使用地面真值标签）。

主要发现：

整体性能： RAD 在基准测试的 AUROC 和 AUPRC 平均排名上表现最佳。它显著优于扁平化表格检测器和关系基准，特别是在对不平衡异常检测至关重要的 AUPRC 和 Precision@k 上。
规则增强： 将规则特征直接注入图中（消息传递前）比不使用规则或使用事后融合的变体能显著提高异常检索性能。
结构重构： 边重构并非在所有情况下都有益。禁用它（no-BCE）通常会产生更好的性能，尤其是在 LANL 数据集上，这表明采样的图拓扑可能会引入噪声或伪影，从而干扰异常信号。
LLM 精炼： LLM 辅助的规则精炼主要起到压缩和去重的作用。它提高了 LANL 的性能，但与原始随机森林规则相比，在 Amazon 和 H&M 上的提升微乎其微。
流行度敏感性： 性能趋势在不同的异常流行率（0.5%, 1.5%, 3.0%）下保持稳定，表明该基准测试对于用于“非预期”流失的特定过滤阈值具有鲁棒性。

5. 意义与贡献

论文声称有三个主要贡献：

形式化定义： 它正式区分了关系异常检测与标准的表格及图异常检测，强调了建模跨表、多跳和依赖于模式的交互作用的必要性。
框架 (RAD)： 它提出了一个将符号规则与深度学习连接起来的新颖框架。通过在消息传递之前将挖掘的规则注入目标节点，RAD 允许符号行为证据主动塑造关系表示，而不仅仅是作为解释或事后过滤器。
基准套件： 它引入了一个结合了网络安全事件检测与两个电子商务流失任务的统一基准套件，为评估关系数据库中的异常排序提供了标准化协议。

作者得出结论，关系异常检测最好被视为表示、评分和行为证据的联合问题。结果表明，将异构图学习与规则衍生特征相结合，可以显著提高在严重类别不平衡下检索稀有异常的能力。

6. 局限性

论文承认存在以下局限性：

标签依赖： 规则挖掘阶段需要带标签的数据来进行随机森林训练以及计算支持度/置信度/提升度，这限制了其在完全无标签设置下的即时应用。
衍生标签： Amazon 和 H&M 的“非预期流失”标签是基于活动过滤器的衍生构建，而非原始数据集中的地面真值异常。
可扩展性： 由于数据集规模较大，对 LANL 的评估使用了采样的子图，且一些基准模型在该任务上表现出较高的方差。
未来工作： 作者建议未来的研究方向包括扩展到更大的数据库、无监督规则发现，以及直接在复杂的多跳结构上定义规则，而非仅仅基于扁平化摘要。