Text-ADBench: Text Anomaly Detection Benchmark Based on LLM Embeddings
本文介绍了 Text-ADBench，这是一个综合性的文本异常检测基准测试，它利用来自多种语言模型的嵌入来证明，嵌入质量是性能的主要驱动因素，同时表明在使用来自大语言模型（LLM）的嵌入时，基于深度学习的方法相比传统的浅层算法并无优势。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在浩瀚的数字信息景观中，文本是主要的流通货币。从新闻文章、社交媒体帖子到科学摘要和私人邮件，语言承载着我们交流的分量。然而，在这片文字的海洋中，往往隐藏着暗流：试图销售假冒商品的垃圾信息、模仿信任同事的欺诈邮件，或是旨在制造混乱的虚假信息。寻找这些异常现象对于保持我们数字世界的安全与功能至关重要。几十年来，研究人员一直试图构建能够自动识别这些偏差的系统。挑战在于语言本身的性质；与数字表格或清晰的图像不同，文本是无结构的、复杂的且具有高度变异性的。一个句子在一种语境下可能是正常的，而在另一种语境下则可能极其可疑。为了教会计算机理解这一点，科学家们首先必须研究如何将单词转化为机器可以处理的格式，将句子转化为能够捕捉其含义的数学表示。
最近，新一代强大的语言模型已经涌现，它们能够以惊人的深度理解人类语言。这些模型在海量文本上进行了训练，能够生成捕捉微妙意义和语境的词汇与句子表示。这引发了研究界的一个自然问题：如果这些模型如此擅长理解语言，那么它们是否也能成为识别那些“不属于这里”之物的关键？来自香港中文大学（深圳）的研究团队致力于通过创建一个综合测试平台来回答这个问题，以评估这些现代工具在异常检测方面的表现。他们不仅观察了一种模型或一种类型的文本；相反，他们构建了一个庞大的基准测试，测试了几十种不同的语言模型在各种现实世界数据集上的表现，涵盖了从新闻动态、电影评论到科学论文和垃圾邮件过滤器等多种领域。
研究人员构建了一个两步走的流程来测试他们的想法。首先，他们将数千个文本样本输入到各种语言模型中，包括早期系统、像 LLaMA 和 Mistral 这样的开源巨头，以及来自 OpenAI 的专业化模型。这些模型将文本转换为数值向量，本质上为每个句子创建了一个独特的“指纹”。为了使这些指纹可用，团队尝试了不同的信息压缩方法，例如对句子的各个部分取平均值，或者专注于最后一个词。在第二步中，他们将这些数值指纹交给了一套异常检测算法。其中一些算法是简单且历史悠久的统计方法，用于寻找远离群体的数据点；另一些则是复杂的深度学习系统，旨在从零开始学习复杂的模式。其目标是观察哪种“语言模型与检测算法”的组合能够最好地识别出每个数据集中的“异类”。
这一广泛测试的结果揭示了一个令人惊讶且违反直觉的事实。研究人员发现，语言模型表示的质量是成功的最重要因素。当使用由最新的大语言模型生成的高质量嵌入（embeddings）时，即使是最简单、最传统的检测算法也表现得异常出色。事实上，那些通常因其复杂性而被认为更优越的复杂深度学习检测器，在与这些强大的文本表示相结合时，并没有表现出比简单的“浅层”方法更高的性能优势。该研究明确排除了这样一种观点，即当输入数据已被现代语言模型充分理解时，仍需要更复杂的检测机制。大模型提供的优质文本表示如此有效，以至于简单的算法就能达到顶尖水平，这表明繁重的工作是由语言模型完成的，而非检测器。
另一个重要的发现源于不同模型与算法在各类数据集上的表现方式。研究人员观察到了一个强有力且可预测的模式，即一种方法的表现可以可靠地预测另一种方法的表现。这种“低秩”（low-rank）特征意味着这些系统的行为并非混沌，而是遵循一种结构化的逻辑。这一发现具有实际意义：它表明在未来，研究人员和从业者可能不需要在新的数据集上测试每一种模型与算法的组合。相反，他们可以利用一小部分结果来准确预测一个新系统的表现，从而节省大量的时间和计算资源。这一洞察将一个庞大且昂贵的评估过程转变为一种更高效的选择策略。
团队还将基于嵌入的方法与另一种方法进行了对比，即直接要求大语言模型扮演“裁判”的角色，根据一套指令阅读文本并判断其是否异常。虽然这种“基于提示词”（prompt-based）的方法在涉及清晰情感转变的任务（如区分正面或负面的电影评论）中表现良好，但在处理涉及垃圾邮件、欺诈或科学异常等更复杂的任务时，其表现通常逊于基于嵌入的方法。基于嵌入的方法被证明更加稳健，因为它依赖于数据在模型内部空间中的几何结构，而非模型遵循特定指令的能力。
最终，这项工作为该领域提供了基础性的资源。通过发布所有数据、预计算的文本表示以及实验中使用的代码，研究人员创建了一个供他人构建的共享平台。他们的工作证明，提升异常检测水平的路径并不一定需要构建更复杂的检测器，而是要利用现代模型中已有的强大语言理解能力。这项研究证实，当你拥有了一张高质量的数据地图时，你并不需要一个复杂的指南针；一个简单、可靠的工具通常就足以完成任务。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。