Domain Knowledge-Enhanced LLMs for Fraud and Concept Drift Detection
本文提出了一种领域知识增强型大语言模型（LLM）框架，该框架将结构化见解与两阶段检测系统相结合，以有效地识别欺骗性对话并将概念漂移分类为良性或欺诈，在 SEConvo 数据集上实现了 98% 的准确率，同时在高性能自然语言处理（NLP）应用中超越了零样本基准模型。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，互联网就像一个巨大而繁忙的数字城镇广场。在这个广场上，人们聊天、分享评论并进行商业交易。但就像任何真实的城镇一样，这里也有捣蛋鬼。有些人就像在街角派发的“假新闻”传单，试图用夸张的故事来欺骗你。另一些人则像是圆滑的骗子，他们会等待你放松警惕，然后再向你要钱包。问题在于，这些捣蛋鬼正变得越来越聪明。他们不仅仅使用旧有的伎俩；他们还会改变自己的声音、话题和风格，以便混入其中。在计算机科学领域，这种不断的转变被称为“概念漂移”（Concept Drift）。这就像变色龙改变颜色，不仅是为了隐藏，更是为了模仿它所栖息的那朵特定的花。
为了捕捉这些数字骗子，科学家们一直在构建“侦探”——即被称为“大语言模型”（LLM）的计算机程序。把这些大语言模型想象成超级聪明的机器人，它们几乎读过了互联网上的所有内容。它们非常擅长理解语言，但有时也会感到困惑。如果没有特定的引导，它们可能会误将一次无害的话题转换视为诈骗，或者更糟的是，由于骗子稍微改变了剧本使其看起来很正常，它们可能会漏掉一场骗局。这篇论文提出了一个简单但强大的问题：如果我们给这些机器人侦探一份基于现实世界知识（关于骗子实际行为方式）的特定“小抄”或一套规则，是否能帮助它们更好地识别伪装，即使骗子试图改变他们的策略？
这篇论文的作者 Ali Şenol、Garima Agrawal 和 Huan Liu 决定构建一种新的侦探团队来回答这个问题。他们不仅仅依赖机器人的通用知识；他们创建了一个将机器人的大脑与结构化的“领域知识”（Domain Knowledge）指南相结合的系统。这个指南就像一本专门的培训手册，教导机器人具体应该寻找什么，例如过度热情的赞美、突然要求的信用卡号码，或是与对话语境不符的奇怪正式语言。
他们的系统通过三个巧妙的步骤运作，就像一个高科技安检站。首先，一个“领域知识”机器人会检查一段对话从一开始是否看起来虚假或具有欺骗性。如果某些内容看起来可疑，对话就会进入第二个站点：“漂移检测器”（Drift Detector）。这个站点充当运动传感器，观察对话是否突然以奇怪的方式改变了话题或语气（那就是“概念漂移”）。最后，如果检测到变化，第二个“领域知识”机器人会介入，以弄清楚变化发生的原因。这仅仅是一个无害的话题切换（良性），还是骗子试图转向一种新花招（对抗性）？
研究人员通过两种方式测试了这个想法。首先，他们查看了静态虚假评论（如虚假的 Yelp 评论），以观察给予机器人一份小抄是否有所帮助。他们发现这带来了巨大的差异。例如，一个名为 DeepSeek 的模型在使用了小抄后，准确率从 56% 跃升至 90%。另一个模型 Claude 则从 87% 提升到了 95%。
随后，他们转向了更具挑战性的任务：多轮对话，即人们随着时间推移进行的往复交谈。他们使用了一个名为 SEConvo 的数据集，其中包含真实的和虚假的对话。在这里，结果更加令人印象深刻。当他们使用完整的三个步骤系统配合 LLaMA 模型时，该系统在识别欺诈以及正确判断对话转变是无害还是恶意方面，达到了惊人的 98% 的准确率。这比那些没有使用这些专门机器人或小抄的旧方法要好得多。
论文指出，虽然这些智能机器人功能强大，但在高风险情况下，它们仍需要人类专家的帮助才能真正可靠。通过向它们输入关于欺诈行为如何运作的特定、结构化的知识，该系统不仅变得更加准确，而且也更擅长解释它为何将某段对话标记为可疑。作者总结道，这种方法是迈向维护在线空间安全的重要一步，证明了当机器人的大脑与人类对欺骗行为的理解相结合时，你会得到一个更加敏锐的侦探。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。