🤖 AI

Let Relations Speak: An End-to-End LLM-GNN Soft Prompt Framework for Fraud Detection

本文提出了 LLM-GNN 软提示框架（LGSPF），这是一种端到端方法，利用软提示和并行图神经网络编码器来桥接图结构与语义空间，以克服文本稀缺和特征失真问题，从而在多关系欺诈检测中实现最先进的性能并增强可解释性。

原作者： Zhixing Zuo, Huilin He, Jiasheng Wu, Dawei Cheng

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhixing Zuo, Huilin He, Jiasheng Wu, Dawei Cheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比，对论文《让关系发声：一种用于欺诈检测的端到端 LLM-GNN 软提示框架》的解释。

核心难题：“沉默”的图

想象你是一名试图抓捕欺诈者的侦探。通常，你手头有一份装满笔记、电子邮件和聊天记录（文本）的文件，能告诉你发生了什么。但在金融欺诈领域，隐私法规往往意味着你没有这些笔记。你只拥有一张庞大的数字网络："A 交易发生在下午 2 点”、“用户 B 购买了物品 C"、“他们相距 5 英里”。

这就是论文中所谓的弱文本属性图（Weak-TAG）。它是一个没有附带任何文字的关联网络。

两难困境：

旧 AI（GNN）： 它们就像数学巫师。它们非常擅长审视数字网络并发现模式，但极不擅长解释为何某事可疑。它们是“黑盒”。
新 AI（LLM）： 它们就像能阅读、推理并阐述想法的杰出侦探。但它们习惯于阅读故事和句子。如果你喂给它们一堆原始数字，它们会感到困惑。它们试图将这些数字转化为文字（例如“数字 45.23……"），这会破坏其含义，使它们迷失方向。

解决方案：LGSPF（“沉默翻译器”）

作者提出了一种名为LGSPF的新系统。它就像一个通用翻译器，在不强迫数字变成笨拙文字的情况下，将“数学巫师”（GNN）与“杰出侦探”（LLM）连接起来。

以下是其工作原理，分步说明：

1. 并行团队（GNN 编码器）

想象欺诈网络中存在不同类型的连接：“同一张信用卡”、“同一 IP 地址”和“同一位置”。

旧方法： 你可能会将所有这些连接混为一团。
LGSPF 方法： 它雇佣了一支由专业侦察员组成的团队（并行 GNN）。
- 侦察员 A 只查看“同一张信用卡”的连接。
- 侦察员 B 只查看“同一位置”的连接。
- 侦察员 C 只查看“同一 IP"的连接。
- 每位侦察员仅基于其特定类型的连接，为嫌疑人创建一份独特的“成绩单”（嵌入）。这确保了没有任何细节丢失。

2. “软”握手（软提示）

这是论文中最具创意的技巧。

困难的方式（其他人所做的）： 试图强迫 LLM 阅读这样的句子：“该用户有 3 个邻居，其中 2 个是欺诈者，距离为 5.4 英里。”这就像试图通过列出每个像素的十六进制代码来描述一幅画。既混乱又丢失了“氛围”。
LGSPF 的方式（软提示）： 系统不编写文字，而是创建不可见的、魔法般的令牌（像秘密握手）。
- 它对侦探说：“这里有一个代表‘信用卡’模式的秘密令牌，这里还有一个代表‘位置’模式的秘密令牌。”
- 这些令牌不是文字；它们是对模式的直接、高质量的数学总结。
- LLM 不必“阅读”数字；它只需通过这些令牌“感受”模式。这就像递给侦探一张证据的高清照片，而不是照片的文字描述。

3. 联合训练（端到端优化）

通常，你先训练数学巫师，然后将结果交给侦探。如果巫师犯了错，侦探无法修正。

LGSPF 方式： 他们训练整个团队。
- 侦探（LLM）查看证据后说：“我不确定这是欺诈。”
- 系统将该反馈回传给侦察员（GNN）。
- 侦察员调整他们的报告，使其对侦探来说更清晰。
- 他们不断重复此过程，直到完美同步。这被称为端到端优化。

为何重要（结果）

作者在三个真实世界的欺诈数据集（亚马逊评论、Yelp 评论和模拟信用卡交易）上测试了该方法。

竞争对手： 传统的纯数学 AI 表现尚可。而“硬提示”LLM（试图将数字转化为文字）惨败，因为它们因缺乏文本而陷入混乱。
获胜者： LGSPF 击败了所有人。它不仅猜得更准，而且对数字之间关系的理解要深刻得多。
“顿悟”时刻： 由于 LLM 的参与，该系统实际上可以解释为何它认为某事是欺诈。它将欺诈检测从“黑盒”（我们知道是欺诈，但不知道原因）转变为“行为识别”（我们知道是欺诈，因为用户的行为符合已知的诈骗者模式）。

总结类比

想象你正试图在拥挤的房间里识别一名小偷。

旧 GNN 就像一台能看到移动但无法告诉你此人奔跑是因为迟到还是因为偷窃的监控摄像头。
旧 LLM 就像一名需要书面警方报告的侦探。如果你给它们一份坐标列表，它们会迷路。
LGSPF 就像一条心灵感应链接。它将来自摄像头的原始视觉数据瞬间翻译成侦探能理解的“感觉”，并让侦探运用大脑得出结论：“那个人跑得太快，不像是普通顾客；他们在偷窃。”

该论文声称，这种方法是在拥有数据但没有文本的情况下发现欺诈的最新最先进方法。

技术摘要：让关系发声：面向欺诈检测的端到端 LLM-GNN 软提示框架

1. 问题陈述

本文解决了在**弱文本属性图（Weak-TAG）**场景中部署大语言模型（LLM）进行欺诈检测的挑战。在现实世界的欺诈检测系统（如金融网络、在线评论）中，严格的隐私和安全约束往往导致图中仅包含纯数值特征，而缺乏丰富的文本数据。

现有方法在此背景下面临两个主要局限：

对文本的依赖：大多数当前的基于 LLM 的方法严重依赖丰富的文本属性，导致在缺乏文本数据时失效。
硬提示导致的特征扭曲：试图绕过文本依赖的开创性方法通常使用“硬提示”将图结构线性化为自然语言。这一过程扁平化了复杂的拓扑结构，导致结构 - 语义错位和特征扭曲，因为在转换为离散文本的过程中，固有的关系语义丢失了。
多关系复杂性：欺诈活动通常涉及复杂的多关系交互。当前的图神经网络（GNN）方法难以捕捉不同边类型之间的深层语义信息，而现有的 LLM-GNN 框架通常依赖冻结的 LLM 或轻量级线性投影器，无法在结构编码与语义推理之间建立深度对齐。

2. 方法论：LGSPF 框架

作者提出了LLM-GNN 软提示框架（LGSPF），这是一种端到端架构，旨在弥合多关系图结构与 LLM 语义空间之间的差距，且无需依赖文本属性。该框架通过三个相互关联的阶段运行：

A. 多关系图特征编码

为了捕捉多关系下的结构模式，LGSPF 采用并行 GNN 编码器。

解耦：原始多关系图被分解为 $m$ 个同质子图，每个子图对应一种特定的关系类型。
独立分支：为每个子图部署一个独立的 GNN 分支（实例化为 GraphSAGE）。关键在于，各分支之间不共享权重，从而允许提取每种关系类型的独特结构语义。
投影：所有 GNN 分支输出的嵌入被投影到 LLM 的嵌入维度（ $d_{emb}$ ），以促进无缝集成。
聚合：模型使用全批量邻域聚合（而非小批量采样），以确保确定性的消息传递并防止结构信息丢失。

B. 软提示与语义映射

LGSPF 利用软提示，而不是将图结构转换为自然语言描述（硬提示）。

混合模板：构建一个统一的提示模板，包含自然语言指令（ $T_{inst}$ , $T_{desc}$ , $T_{quest}$ ）和特殊令牌（ $s_1, \dots, s_m$ ）。
词汇扩展：LLM 的词汇表被扩展以包含这些特殊令牌（ $S = \{s_1, \dots, s_m\}$ ），它们作为不同关系类型的接口。
动态注入：在前向传播过程中，由并行 GNN 提取的连续结构嵌入（ $h_{v_i, r_j}$ ）动态替换提示序列中对应特殊令牌的初始嵌入。这使得 LLM 能够直接处理连续的高维结构张量，绕过基于文本序列化的离散化和碎片化问题。

C. 端到端优化

该框架将欺诈检测视为因果语言建模范式下的条件文本生成问题。

联合训练：系统以端到端方式进行优化。LLM 的语义反馈通过梯度反向传播传递回 GNN 编码器。
参数效率：为了管理计算成本，低秩自适应（LoRA）仅应用于 LLM 的注意力层，而 GNN 参数保持可训练。
目标：损失函数最小化生成的文本（例如“欺诈”或“正常”）与真实标签之间的差异，确保深层的结构 - 语义对齐。

3. 主要贡献

本文概述了三项主要贡献：

LGSPF 框架：提出了一种专为 Weak-TAG 场景下的欺诈检测设计的端到端 LLM-GNN 软提示框架，有效地将多关系图结构与 LLM 语义空间连接起来。
架构创新：引入了用于细粒度多关系特征提取的并行 GNN 编码器，一种无需特征扭曲即可无缝连接图结构与 LLM 推理的软提示机制，以及用于深层结构 - 语义对齐的端到端训练范式。
实证验证与可解释性：展示了在三个不同的欺诈检测基准（Amazon、YelpChi、S-FFSD）上的最先进性能。此外，该框架被证明增强了欺诈行为的语义可解释性，使检测从黑盒预测转向行为识别。

4. 实验结果

实验在三个数据集上进行：Amazon（产品评论）、YelpChi（酒店/餐厅评论）和S-FFSD（模拟金融交易）。所有数据集均经过处理，仅包含数值节点特征，以模拟 Weak-TAG 设置。

性能：LGSPF 在所有数据集上均取得了最先进性能，显著优于经典 GNN 基线（如 GCN、GAT、CARE-GNN）和文本扁平化 LLM 基线（包括 Zero-shot 和 Instruct-LLM 变体）。
- 在Amazon数据集上，LGSPF 实现了 0.9805 的 AUC，而最佳 GNN 基线（BWGNN）为 0.9717。
- 在YelpChi上，LGSPF 实现了 0.9208 的 AUC，超过了最佳 GNN（RGTAN 为 0.9194）。
- 在S-FFSD上，LGSPF 实现了 0.8719 的 AUC，优于最佳 GNN（GTAN 为 0.8299）。
消融研究：
- 移除 LLM 主干（替换为 MLP）或移除自然语言描述（仅使用孤立图令牌）会导致性能显著下降，证实了 LLM 的推理能力和文本描述提供的语义锚点的必要性。
- 移除端到端联合优化（冻结 GNN）也会导致性能下降，突显了将结构特征与 LLM 认知空间对齐的优势。
敏感性分析：发现 70 亿参数 LLM 主干（Qwen2.5-7B）在推理能力和适应效率之间提供了最佳平衡。对于 GNN 编码器，邻域聚合深度 $K=2$ 产生了峰值性能，避免了在更深层（ $K \ge 3$ ）出现的过平滑问题。
可解释性：在 YelpChi 上的单关系实验表明，虽然单个关系提供特定见解，但集成的多关系视图（Full view）显著优于单视图的平均值，证明了模型挖掘多关系之间内在关联的能力。

5. 意义与主张

本文声称，LGSPF 通过解决 LLM 在 Weak-TAG 环境中面临的“语义困境”，代表了图欺诈检测的重大进步。通过利用连续软提示而非离散文本化，该框架保留了通常在硬提示方法中丢失的高维结构信息。

作者强调，他们的工作推动该领域超越了简单的黑盒预测，转向透明的行为识别。通过利用 LLM 的深层语义推理能力来解释复杂的多关系拓扑，LGSPF 不仅提高了检测准确率，还增强了欺诈行为的可解释性。这在缺乏丰富文本数据的隐私敏感领域尤为宝贵，为未来的欺诈检测系统提供了一种有前景的范式。

作者承认了超大规模图在计算可扩展性方面的局限性，以及当前对静态图的依赖，并指出未来的工作将探索动态时序图和更大的基础模型。