Domain Knowledge-Enhanced LLMs for Fraud and Concept Drift Detection

本文提出了一种领域知识增强的 LLM 框架，该框架将结构化洞察与两阶段检测流程相结合，以有效识别欺骗性对话并将概念漂移分类为良性或欺诈性，在实现 98% 准确率的同时，相较于零样本基线展现出更优越的鲁棒性。

要点

以下是用简单语言和创意类比对这篇论文的解读。

核心难题：擅长“变形”的骗子

想象你是一家繁忙俱乐部（互联网）的保安。你的任务是识破试图混入的假客人（骗子）。

过去，骗子很容易辨认，因为他们戴着显而易见的伪装。但现在，骗子就像变形者。他们起初会像平常一样谈论天气或食物（良性对话），然后突然转换话题，试图窃取你的信用卡或欺骗你（欺诈）。

这种话题或语气的突然转变被称为**“概念漂移”**。

• 问题所在：有时，普通人也会转换话题（例如，先聊天气，然后请求搭车）。普通的保安可能会感到困惑，误以为正常的话题转换是诈骗，或者更糟糕的是，因为诈骗始于正常对话而漏掉了真正的骗局。
• 旧工具：传统的计算机程序就像只死记硬背“坏词”列表的保安。如果骗子使用新词汇或转换话题，保安就会漏掉他们。
• 新工具（大语言模型）：大语言模型（LLMs）就像能够阅读和理解复杂故事的保安。然而，它们有时会感到困惑，会胡编乱造（幻觉），或者不了解你俱乐部的具体规则。

解决方案：“专家指南”系统

这篇论文的作者建立了一个三人保安团队来抓捕这些变形骗子。他们不仅仅是给 AI 一个通用的大脑，而是给了它一本专门的说明书（领域知识），帮助它理解骗子使用的具体诡计。

以下是他们系统的逐步工作原理：

1. 第一道防线：“虚假评论”检测器

在应对复杂对话之前，他们首先在虚假评论（如虚假的 Yelp 或亚马逊评论）上测试了该系统。

• 类比：想象一名保安在检查宾客名单。如果没有帮助，保安可能会认为一条非常热情的评论只是一个开心的顾客。
• 升级：团队给保安提供了一份“可疑迹象”清单（例如：“赞美是否过于夸张？”“听起来是否像机器人？”“是否有奇怪的 buzzwords？”）。
• 结果：当保安拥有这份清单时，他们识别虚假评论的能力大幅提升。例如，其中一个 AI 模型（Claude）仅通过使用清单，准确率就从 87% 提升到了95%。

2. 第二道防线：“漂移”警报（OCDD）

一旦系统开始监控实时对话，它就需要知道话题是否正在发生变化。

• 类比：想象对话是一条河流。通常，水流平稳。突然，河流撞上一块岩石并改变了方向。
• 工具：他们使用了一种名为**OCDD（单类概念漂移检测器）*的统计工具。该工具尚不试图理解词语的含义*；它更像是一个运动传感器。如果对话的“流动”发生过于剧烈的变化，警报就会拉响。

3. 第三道防线：“专家解读员”

当警报拉响时，第二道更聪明的防线（第二个大语言模型）就会介入。

• 职责：这位保安审视突然的变化并问道：“这是无害的话题转换（比如谈论天气），还是一个陷阱（比如网络钓鱼尝试）？”
• 秘密武器：就像第一道防线一样，这位保安也拥有专门的说明书。它知道，如果有人在谈论工作后突然索要你的信用卡，那是一种特定的欺诈模式。
• 结果：该系统成功区分了无害的话题转换和恶意的诈骗。

结果：谁赢得了比赛？

团队使用真实对话数据集（SEConvo）测试了该系统，并将其与旧方法进行了比较。

• 冠军：LLaMA 模型（一个开源 AI）是明星选手。当获得“专门说明书”（领域知识）后，它达到了98% 的准确率。它远胜于旧的“保安团队”（传统机器学习模型），后者仅能达到约 82% 的正确率。
• 教训：赋予 AI 关于骗子如何行事的具体知识，使其比单纯让其自行猜测更加聪明、可靠且值得信赖。

总结

可以将这篇论文视为一份如何训练保安的指南。

1. 不要只依赖记忆：旧保安（传统机器学习）会忘记新诡计。
2. 不要只依赖原始智能：聪明的保安（大语言模型）可能会困惑或胡编乱造。
3. 给他们一张作弊条：通过向 AI 灌输关于欺诈的具体规则和模式（领域知识），它就能成为一名超级保安，能够发现其他保安会漏掉的、隐蔽的、会变形的骗子。

这篇论文证明，当你将智能 AI 与人类对欺诈战术的理解相结合时，你就能得到一个准确率极高且能解释为何抓到了骗子的系统。

技术摘要

技术摘要：面向欺诈与概念漂移检测的领域知识增强型大语言模型

1. 问题陈述

由于语言模式的演变和概念漂移（Concept Drift, CD），在动态数字平台上检测欺骗性对话日益具有挑战性。概念漂移指的是语义或主题的转变，这些转变会随时间改变交互的上下文或意图。这些转变可能掩盖恶意意图或模仿正常对话，使得准确分类变得困难。

尽管大语言模型（LLMs）在自然语言任务中表现出强大的性能，但在高风险、对风险敏感的场景中仍面临显著局限：

• 上下文歧义：难以区分真实的主题转变（良性漂移）与操纵性的转折（对抗性漂移）。
• 幻觉：在缺乏特定领域基础时，倾向于生成错误信息。
• 缺乏适应性：传统机器学习（ML）模型依赖固定特征，难以应对多轮对话中流动且模糊的本质。
• 可解释性：许多模型的“黑盒”性质使得难以理解为何某次对话被标记，而这是欺诈检测的关键要求。

作者认为，欺诈检测与概念漂移不应被视为孤立的任务，因为欺诈性对话通常涉及语气或意图的微妙转变，这些转变与良性过渡相似。

2. 方法论

本文提出了一种领域知识（DK）增强的双 LLM 框架，旨在联合建模欺骗与漂移。该方法分两个阶段执行：

阶段一：虚假评论检测（静态设置）

• 目标：验证领域知识在提升 LLM 对静态、单轮欺骗性内容分类性能方面的价值。
• 数据集：Yelp 虚假评论数据集（20,000 条评论：15,000 条真实，5,000 条虚假）。
• 方法：
  1. 模式发现：初始 LLM 对标注数据的分析识别出了虚假评论的特定语言标记（例如：夸张的赞美、模糊的情感、不自然的措辞、行话的过度使用）。
  2. 结构化提示：将这些识别出的模式编码为结构化提示。
  3. 评估：在两种条件下测试 LLM（ChatGPT、DeepSeek、LLaMA、Claude）：(1) 零样本（无领域知识）和 (2) 领域知识（DK）增强。

阶段二：欺诈与漂移检测（流式对话）

• 目标：检测欺骗性多轮对话并分类语义转变的性质。
• 数据集：SEConvo 数据集（400 个多轮对话：40 个用于训练，360 个用于测试）。
• 架构：包含三个组件的流水线：
  1. DK-LLM 模块 1：检测对话是否包含虚假或欺骗性内容。
  2. 漂移检测单元（OCDD）：一个基于单类支持向量机（SVM）训练的单类概念漂移检测器，使用非恶意对话进行训练。它识别对话流中的统计偏差（语义转变）。
  3. DK-LLM 模块 2：如果 OCDD 检测到漂移，则第二个 LLM 利用特定领域线索（例如：索取个人身份信息 PII、紧迫感、过度奉承）来解释该转变，将漂移分类为良性（例如：离题、垃圾信息）或对抗性（例如：网络钓鱼、操纵）。

3. 主要贡献

本文概述了四项主要贡献：

1. 领域知识增强的双 LLM 框架：一种模块化架构，将结构化的领域洞察集成到双 LLM 系统中，以同时检测欺诈、识别概念漂移并分类漂移类型——这些任务通常被孤立处理。
2. 三阶段检测流水线：一个结构化的工作流程，包括用于初始欺骗标记的 DK-LLM、用于语义转变检测的 OCDD，以及用于漂移分类的第二个 DK-LLM。这增强了流式对话中的鲁棒性和可解释性。
3. 结构化领域提示的影响：实证证据表明，将特定领域知识嵌入提示设计中，显著提升了在合成（虚假评论）和现实世界（SEConvo）数据集上的性能与可解释性。
4. 综合基准测试：在零样本和领域引导设置下，对多种 LLM 骨干（ChatGPT、Claude、LLaMA、DeepSeek）进行了广泛评估，确定了欺诈与漂移检测的最佳配置。

4. 实验结果

该研究评估了多项指标（准确率、精确率、召回率、F1 分数）下的性能，比较了有无领域知识（DK）的模型以及与传统集成基线的表现。

• 阶段一（Yelp 数据集）：

  • Claude：在 DK 加持下，准确率从 87% 提升至95%。
  • DeepSeek：显示出显著增益，准确率从 56% 上升至90%。
  • LLaMA：小幅提升，从 52% 增至 58%。
  • ChatGPT：边际改善（54% 至 56%），表明其对提示设计变体的敏感性。

• 阶段二（SEConvo 数据集）：

  • LLaMA 成为最稳健的模型，在 DK 加持下在所有指标（准确率、精确率、召回率、F1 分数）上均达到98%，相比其 90% 的基线有显著提升。
  • DeepSeek 将其 F1 分数从 73% 提升至 80%。
  • 与集成模型对比：DK 增强的双 LLM 框架（LLaMA）显著优于传统集成模型（kNN、SVM、Imp-Kmeans），后者准确率为 82%。LLM 方法提供了更优越的语义深度和上下文推理能力。

5. 意义与主张

作者声称，他们的工作证明了将领域知识集成到 LLM 工作流中的可行性，从而在复杂、实时的检测场景中实现高精度和可解释性。

• 增强的鲁棒性：该框架有效处理了欺骗与漂移之间的相互依赖性，减少了由良性主题转变引起的误报。
• 可解释性：通过将异常检测（OCDD）与语义解释（LLM-2）分离，系统为其分类提供了清晰的推理依据，如示例输出所示，能够识别具体的网络钓鱼手段。
• 模型敏感性：结果强调，并非所有 LLM 对领域提示的反应都相同；LLaMA 和 Claude 显示出最显著的增益，这可能归因于它们在以对话为中心语料库上的训练以及令牌级推理能力。
• 局限性：作者谦逊地承认，LLM 在处理讽刺、文化习语和情感模棱两可的语言方面仍存在困难，这可能导致误报。他们还指出，与传统模型相比，计算成本更高，建议未来在提示压缩或混合轻量级架构方面开展工作。

本文结论认为，尽管延迟和成本是权衡因素，但准确率和可解释性的提升使得该方法适用于高风险应用，如网络安全、在线市场和客户服务平台。