🤖 machine learning

LLM as Detector: An In-context Learning Approach for Tabular Anomaly Detection

本文提出了 LLM-Detector，这是一个利用上下文学习将普通表格数据转换为用于代码生成评分引擎的结构化提示词的新型框架，从而在无需微调或神经网络训练的情况下，实现对多样化数据集的高效异常检测。

原作者： Tu Anh Hoang Nguyen, Dang Nguyen, Thuc Duy Le, Trung Le, Sunil Gupta

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Tu Anh Hoang Nguyen, Dang Nguyen, Thuc Duy Le, Trung Le, Sunil Gupta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代数据中心那广阔而寂静的轰鸣声中，一种特定的麻烦往往隐藏在众目睽睽之下。它不是一场戏剧性的爆炸或一个显眼的错误，而是电子表格中数字与类别之间一种微妙的不协调。这就是表格数据的世界——记录着从银行交易、医疗记录到服务器日志和保险索赔等一切信息的数字账本。几十年来，计算机一直承担着从数百万条合法交易中寻找单笔欺诈交易，或从数千名健康患者中寻找一名病患的任务。挑战在于，这些“异常值”很少表现为明显的错误。它们表面上往往看起来完全正常，却违反了支配不同信息片段之间如何相互关联的隐藏规则。一个人的年龄、收入和税率通常遵循一种可预测的模式；当它们不符合这一模式时，即使每个单独的数字本身看起来都合理，也预示着问题的存在。

多年来，捕捉这些隐藏错误的标准方法是构建复杂的数学模型，让模型学习什么是“正常”，然后标记任何偏离该模式的情况。近年来，科学家们尝试使用大语言模型——即那些可以写文章或回答问题的强大人工智能系统——来识别这些错误。其核心思想是，如果你能教会计算机像阅读句子一样阅读一行数据，它可能比计算器更能理解数字背后的故事。然而，这些早期的尝试面临着一个重大障碍：它们要么运行太慢，无法满足实时处理的需求；要么需要针对新数据对 AI 进行重新训练，而这既昂贵又耗费计算资源。它们难以处理现实世界数据中常见的数字与文本类别的复杂混合，且在处理过程中往往会丢失数据的含义。

来自澳大利亚大学的研究团队提出了一种解决这一难题的不同方法，他们不将人工智能视为一个需要被训练的学生，而是将其视为一个被赋予蓝图的资深建筑师。他们不再强迫 AI 从零开始学习或记忆示例，而是要求它根据“正常数据”的摘要编写一个定制程序。研究人员将这种新方法称为 LLM-Detector。该方法依赖于“上下文学习”（in-context learning）的概念，这使得大语言模型只需通过清晰的规则描述和少量示例即可执行复杂任务，而无需改变其内部大脑或经历漫长的训练过程。

该过程始于提取大量的正常、健康数据（例如数千条合法的银行记录），并将其浓缩为三种关键类型的信息。首先，系统计算每一列的统计特征，记录平均值、典型范围以及不同类别的常见程度。其次，它绘制因果关系图，理清哪些信息依赖于其他信息；例如，它会学习到高收入通常与特定的税率档位相关联。第三，它选择一小组具有代表性的实际数据点作为“锚点”，展示数据的典型形状和分布。随后，这三个元素被打包成一个详细的提示词（prompt），并发送给大语言模型。

模型读取该提示词后，作为一个代码生成器，会编写出一个专门针对该数据集的完整、可执行的计算机程序。这个程序并非凭空猜测，而是一套指令，它准确知道如何检查统计异常、如何识别变量间破裂的关系，以及如何衡量一个新数据点距离正常人群中心的距离。一旦程序编写完成，它就会被保存并应用于新的、未见的数据。每当有新记录到达时，该程序会立即计算出一个“异常得分”，这个数字指示了该记录的可疑程度。如果得分很高，则意味着该记录违反了 AI 从正常数据中推导出的规则。

研究人员在二十四个不同的数据集上测试了这种方法，涵盖了从小型医疗记录到大规模网络安全日志的各种类型。他们将自己的方法与十五种其他最先进的方法进行了对比，其中包括传统的统计工具、深度学习模型以及之前利用语言模型处理此类任务的尝试。结果显示，该方法始终优于其他方法，尤其是在处理混合了数字和文本类别的数据集时。平均而言，该方法的检测准确度得分达到了 0.7407，高于次优方法。至关重要的是，这种性能的提升并未带来沉重的计算成本。由于 AI 只编写一次代码，随后便退居幕后，因此该系统运行速度极快，处理数据仅需不到一秒钟，而其他方法则可能需要数分钟甚至数小时。

研究还探讨了系统的不同部分是如何促成其成功的。他们发现，仅提供统计数字虽然有帮助，但加入变量间的关系图谱后，系统捕捉微妙错误的能力显著增强。引入代表性正常数据示例进一步精炼了系统理解数据整体形状的能力。研究人员还测试了不同的底层 AI 模型，发现虽然更强大的模型表现略好，但“编写定制程序”这一核心设计逻辑在各类模型中均表现出色。这表明，该方法的威力源于其结构化设计——即将数据转化为一套逻辑规则——而非仅仅依赖于某种特定的 AI 类型。

通过将异常检测问题转化为代码生成任务，研究人员创造了一个既强大又实用的系统。它不需要通常与高级人工智能相关的庞大计算能力，也不需要在数据变化时进行重新训练。它只是阅读了关于“正常”的故事，编写了一本用于识别“例外”的规则手册，然后将这本手册应用于现实世界。这种方法为需要监控海量数据风险的行业（从预防金融欺诈到保障计算机网络安全）提供了一条充满前景的路径，证明了有时寻找“大海捞针”最有效的方法，是教会计算机如何制造一块更好的磁铁。

技术摘要：作为表格异常检测检测器的 LLM

问题定义

本文研究了无监督设置下的表格异常检测 (Tabular Anomaly Detection, TAD)，在这种设置中，模型必须仅利用正常训练数据 ( $D_{normal}$ ) 来识别异常记录。作者强调，TAD 的挑战性在于，异常往往表现为跨特征依赖关系或因果机制的违背，而非简单的边缘数值偏差。

现有方法面临以下局限性：

基于重构的方法（如 Autoencoders, DeepSVDD）通常关注重构保真度，未能强制执行显式的特征间一致性。
基于密度的方法（如 Isolation Forest, KNN）将异常视为离群点，难以处理在数值上看似合理但在结构上不一致的样本。
先前的基于 LLM 的方法（特别是 AnoLLM 和 LLM-DAS）要么由于逐样本推理/微调导致高昂的计算成本，要么无法同时处理混合数据类型、计算效率和因果建模问题。

方法论：LLM-Detector

作者提出了 LLM-Detector，这是一个利用大语言模型 (LLM) 的上下文学习 (in-context learning) 能力来合成可执行异常检测引擎的框架。至关重要的是，该 LLM 无需进行微调；相反，它作为一个确定性的代码合成器，以从训练集中提取的结构化正常状态知识为条件进行工作。

该框架分为两个截然不同的阶段运行：

1. 知识到代码 (提示词构建与代码生成)

正常训练数据 ( $D_{normal}$ ) 被转化为紧凑的“正常状态知识包”并注入 LLM 提示词中。该数据包由三个结构化组件组成：

统计剖面 ( $p_{stats}$ )：每个特征的边缘摘要。对于数值型特征，包括均值、方差和经验边界；对于类别型特征，包括经验类别概率。
因果知识 ( $p_{causal}$ )：一个代表特征依赖关系的有向无环图 (DAG)，使用 Peter-Clark (PC) 算法进行估计。它捕捉了父变量与子变量之间的条件关系。
蒸馏原型 ( $p_{distill}$ )：通过 K-Means 聚类和最近邻映射获得的具有代表性的正常样本子集。它们作为多变量密度检查的几何锚点。

LLM 接收包含这些剖面的提示词、一个生成 Python 评分引擎的目标以及特定的要求（例如：输出有界、确定性执行）。LLM 输出一个实现评分逻辑的 Python 脚本。

2. 代码到评分 (测试时推理)

生成的 Python 脚本在测试样本 ( $D_{test}$ ) 上执行，以计算异常评分 $S(x) \in [0, 100]$ 。该评分是三个部分的聚合：

离群评分 ( $S_{outlier}$ )：衡量边缘偏差。数值特征根据其相对于均值的标准化偏差进行惩罚；类别特征根据低经验概率进行惩罚。
因果违背评分 ( $S_{causal}$ )：检测结构不一致性。它检查当因果父变量保持正常时，子特征是否异常，从而指示破坏了依赖机制。
密度评分 ( $S_{density}$ )：利用蒸馏原型和协方差估计，计算测试样本相对于正常流形的马氏距离 (Mahalanobis distance)。

最终评分是经过边界限制和校准的，允许在不需要评分过程中提供标签信息的情况下，直接对样本进行比较。

核心贡献

框架创新：引入了 LLM-Detector，它将上下文学习视为一种合成可执行、领域特定异常检测逻辑的机制，而无需进行模型训练或微调。
结构化知识分解：将正常状态知识形式化为统计剖面、因果关系和蒸馏原型。论文证明，注入这种结构化知识能够实现生成因果结构引导的评分逻辑。
实证验证：在 24 个多样化的表格数据集（12 个混合类型，12 个仅连续型）上，针对 15 种最先进的基准方法（包括经典统计方法、深度学习模型和最新的基于 LLM 的方法）进行了广泛评估。

实验结果

性能：LLM-Detector 在所有数据集上实现了最高的平均 AUC-ROC。
- 混合类型数据集：实现了 0.7407 的平均 AUC-ROC，超过第二名（AnoLLM 为 0.6972）约 5%。
- 仅连续型数据集：达到了顶尖性能 (0.91)，展示了对全连续空间的泛化能力。
消融研究：
- 结合三种知识类型（统计 + 因果 + 蒸馏）效果最佳，证实了通过同时考虑边缘、结构和多变量因素来检测异常效果最好。
- 该方法在不同 LLM 后端（DeepSeek, GPT, Gemini）之间具有鲁棒性，尽管 Gemini-3.0 表现最佳，因为它具有更优越的长上下文推理和代码合成能力。
- 性能在 100 个蒸馏样本时趋于稳定，表明超过此点后收益递减。
效率：该方法在测试时具有很高的计算效率。与需要大量 GPU 时间的训练型方法（如 AnoGAN, AnoLLM）不同，LLM-Detector 的推理简化为执行一个轻量级的、预先合成的 Python 脚本。

重要性与主张

论文声称 LLM-Detector 为现实世界的表格异常检测提供了一个实用的解决方案，通过以下方式实现：

消除对 LLM 微调的需求，从而降低计算成本并避免大规模模型重训，同时仍能利用正常训练集提取知识。
原生处理混合数据类型（类别型和连续型），通过文本上下文和语义推理实现，避免了传统数值骨干网络在编码类别变量时常产生的语义失真。
实现因果推理，无需显式的地面真值标签，通过利用数据驱动的因果发现来检测机制违背。
提供可解释性和确定性，因为输出是一个基于显式统计和因果规则的可执行程序，而非“黑盒”神经网络预测。

作者总结道，他们的设计弥合了原始统计数据与可执行的、具备因果感知能力的检测规则之间的鸿沟，通过原则性的上下文学习代码生成，实现了强大且稳定的性能。