💻 computer science

LLM-Augmented Knowledge Graph Reasoning with Disentangled Multimodal Fusion for Explainable E-Commerce Conversion Predictio

本文提出了LADMF，一个将大语言模型增强的知识图谱推理与解耦多模态融合以及反事实因果注意力相结合的统一框架，旨在显著提高电子商务转化率预测的准确性，并生成人类可读且忠实的解释。

原作者： Meili Zhang, Weibo Shi

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Meili Zhang, Weibo Shi

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在经营着一家规模巨大的在线商店。你的目标是猜出哪个顾客会购买哪件产品。但你遇到了一个问题：你拥有的信息太多了。你有商品的图片、描述、顾客评论、顾客点击过的内容，还有一个展示产品之间相互关系的庞大地图。

过去的方法就像是在用消防水龙头喝水一样，信息量大到难以招架。计算机会将所有这些不同类型的信息混合在一起，变成一个巨大的、混乱的堆。它可能会因为你点击了一张面包的照片而猜你会买烤面包机，但它无法告诉你为什么做出这个猜测，或者这仅仅是一个幸运的巧合。

这篇论文介绍了一个名为 LADMF 的新系统。你可以把它想象成为你在线商店工作的一位超级聪明、有条理的侦探。它是如何工作的，可以分为三个简单的技巧：

1. “分院帽”（解耦多模态融合）

想象你有一个装满衣服的篮子。有些衣服是红色的，有些是蓝色的，有些是羊毛的，有些是棉质的。如果你只是把它们全部扔进一个堆里，你就没法找到任何东西了。
LADMF 使用一个“分院帽”将这些“衣物”分成两堆：

“真实原因”堆： 对购买行为真正起作用的东西，比如“我喜欢这个品牌”或“我需要这个特定的功能”。这些是跨越照片、文本和历史记录的共享信号。
“噪声”堆： 仅仅是巧合的东西，比如“照片是在明亮的阳光下拍摄的”或“字体是蓝色的”。这些是针对单一数据类型的特定信息，可能会误导计算机。

通过将“真实原因”与“噪声”分离，该系统不再会被偶然出现的模式所迷惑。

2. “图书管理员”（LLM 增强型知识图谱）

现在，想象这家商店有一个连接各种产品的巨大事实库（知识图谱），但这个图书馆缺了几页。它知道“索尼生产耳机”，但不知道“索尼也生产音箱”，因为相关数据缺失了。
LADMF 雇佣了一位图书管理员（大语言模型，或者说是一个会读书的 AI）来填补这些缺失的页面。

图书管理员阅读上下文并建议新的连接，例如“这根 USB 线与那个音箱是兼容的”。
至关重要的是，图书管理员不仅仅是在瞎猜；它扮演着事实检查员的角色。它查看产品之间的路径，并判断：“这条路径在逻辑上是通顺的，”或者“这条路径是幻觉；请忽略它。”这确保了系统只遵循逻辑严密的线索。

3. “如果……会怎样？”侦探（跨模态因果注意力）

这是最聪明的部分。旧系统只会说：“我看到了一个点击，所以我预测一次购买。”它们就像天气预报员说：“下雨了，因为草湿了。”
LADMF 则在玩一个**“如果……会怎样？”**（反事实）的游戏。

它会问：“如果我移除了该商品的图片，顾客还会购买吗？”
如果答案是“不买”，那么图片就是真实的原因。
如果答案是“会买”，那么图片就只是一个干扰项。

这使得系统能够提供忠实的解释。它不仅仅是告诉你“你会买这个”，它还能解释说，“你会买这个是因为你热爱索尼品牌，而不单纯是因为这张照片看起来很漂亮。”

结果

作者在三个巨大的在线购物数据集（亚马逊、淘宝和京东）上测试了这个全新的侦探系统。

更准确的预测： 它比以往任何方法都更准确地预测了购买行为（准确率提升了约 3%）。
更好的解释： 当人类阅读系统为预测给出的理由时，他们认为这些理由比旧系统给出的理由更值得信赖且更有用。
鲁棒性： 即使在关于用户的数据很少的情况下（例如面对新客户），它依然表现出色，因为它不会被“噪声”所迷惑。

总结

LADMF 是一种全新的在线购物预测方式，它能够：

分类好线索与坏噪声。
使用 AI 图书管理员来填补缺失的事实并检查逻辑。
**询问“如果……会怎样？”**来证明为什么一次购买极有可能发生，从而为店主提供一个清晰、诚实的预测理由。

该论文声称，这使得系统更加准确，最重要的是，它对于自己为何做出决策的过程更加诚实。

技术摘要：用于可解释电商转化预测的 LADMF 框架

1. 问题定义

本文探讨了电商转化预测的挑战，即在给定异构信号（点击流、图像、文本描述、属性和历史行为）的情况下，估计用户是否会购买某件商品。作者指出了现有最先进方法中三个相互交织的局限性：

纠缠的多模态表示： 当前的融合方法往往将模态共享的因果信号与模态特有的伪噪声混合在一起，导致预测和解释的不稳定性。
不忠实的注意力机制解释： 知识图谱（KG）模型（如 KGAT）中的注意力权重是针对准确性而非因果充分性进行优化的，这使得它们作为解释时并不可靠。
语义鸿沟： 知识图谱中提取的推理路径与人类可理解的理性逻辑之间存在脱节。盲目地提示大语言模型（LLM）生成解释往往会导致幻觉问题。

目标是开发一个统一的框架，该框架需具备高准确性、在稀疏数据下的高效性、通过人类可理解的逻辑进行的可解释性，以及对伪相关性的鲁棒性。

2. 方法论：LADMF 框架

作者提出了 LADMF（LLM 增强的解耦多模态框架），这是一个由四个紧密耦合的组件组成的统一模型：

2.1 模态编码器

原始信号被编码为嵌入向量：

视觉： 冻结的 CLIP-ViT 骨干网络。
文本： 用于标题、描述和评论的 BERT-base。
行为： 针对用户交互序列（物品、时间戳、动作类型）的时间自注意力编码器。

2.2 解耦多模态融合 (DMF)

该模块将用户和物品的联合表示分解为：

模态共享子空间 ( $z_{sh}$ )： 捕捉因果性的、模态不变的信号。
模态特定子空间 ( $z_m$ )： 捕捉各模态（视觉、文本、属性、行为）特有的细微差别。
约束条件：
- 距离相关性解耦： 使用距离相关性 ($dCor$) 强制要求共享因子与特定因子之间、以及不同特定因子之间保持正交性，以确保真正的统计独立性。
- 多模态信息瓶颈 (MIB)： 在给定共享因子的情况下，最小化特定因子与目标标签之间的互信息，确保特定因子仅贡献独特的信息。

2.3 LLM 增强的知识图谱推理 (LKGR)

该模块解决 KG 稀疏性和语义鸿沟问题：

KG 补全： 使用冻结的 LLM（LLaMA-3-8B），通过提示词结合局部物品邻域来生成候选语义三元组，并通过一个可学习的评分器进行验证，随后将其添加到图中。
路径重评分： 枚举推理路径，并使用冻结的 LLM 根据语义合理性进行评分。最终的路径权重结合了结构得分（来自关系图注意力网络 R-GAT）和语义得分 ( $\rho(\pi)$ )，以过滤掉在结构上合理但在语义上不合理的路径。

2.4 跨模态因果注意力 (CMCA)

旨在用具有因果基础的机制取代标准注意力机制：

反事实干预： 该模块通过对比事实得分与通过 do-算子 得到的反事实得分来计算注意力权重。这涉及用非目标模态的边际期望（经验均值池化）来替换它们。
机制： 注意力权重 $\tilde{\alpha}_{ij}$ 计算为事实得分减去缩放后的反事实得分后的 softmax 值。这估算了特定模态对预测的平均处理效应 (ATE)。
理论保证： 作者证明了 CMCA 权重提供了路径级平均处理效应的上界，确保注意力机制忠实于特征的因果影响。

2.5 目标函数

模型使用复合损失函数进行训练：

二元交叉熵 ( $L_{BCE}$ )： 用于转化预测。
解耦损失 ( $L_{dCor}$ )： 强制实现因子分离。
信息瓶颈损失 ( $L_{MIB}$ )： 防止模态主导。
路径忠实度损失 ( $L_{path}$ )： 使推理路径的分布与预测标签对齐，鼓励那些在因果上支持预测的路径。
购买感知对比损失 ( $L_{ctr}$ )： 强制要求转化正样本对在嵌入空间中比仅点击的负样本对更接近（硬负样本）。

3. 核心贡献

统一框架： 首个同时执行多模态因果解耦和 LLM 增强型 KG 推理的框架，用于转化预测，并通过共享潜空间进行耦合。
跨模态因果注意力 (CMCA)： 引入了一种干预感知的注意力算子，通过从事实得分中减去反事实得分来实现。作者证明了这实现了路径级平均处理效应的上界。
LLM 集成路径评分： 设计了冻结 LLM 路径评分器结合路径忠实度损失，以生成与预测显式对齐的自然语言解释，从而减轻幻觉。
实验验证： 在三个公开基准数据集（Amazon-Electronics, Taobao-CTR, JD-Conversion）上进行了广泛实验，展示了其卓越的性能和解释质量。

4. 实验结果

模型在三个数据集上使用标准指标（AUC、Log-loss、HR@10、NDCG@10）进行了评估，并通过人工评价进行解释质量评估（忠实度、合理性、多样性、有用性）。

定量性能： LADMF 在所有数据集上均取得了最佳结果。
- AUC 提升： 相比最强的基线 (G-Refer) 提升了 2.5%–3.4%。具体而言：Amazon-Electronics +2.95%，Taobao-CTR +3.00%，JD-Conversion +2.89%。
- Log-Loss： 相对对数损失降低了高达 7.3%。
- 排序指标： HR@10（最高 +7.16%）和 NDCG@10（最高 +8.37%）均有显著增益。
鲁棒性： 模型在冷启动和高稀疏场景（用户交互次数 <5 次）下表现出优异的性能，在每个稀疏度区间都超越了基线。
人工评价： LADMF 的解释显著优于基线模型（30 名标注者）：
- 忠实度 (Faithfulness)： +0.50 (4.42 对比 G-Refer 的 3.92)。
- 合理性 (Plausibility)： +0.46 (4.51 对比 4.05)。
- 有用性 (Usefulness)： +0.50 (4.58 对比 4.08)。
消融实验： 移除 CMCA 模块导致性能下降最剧烈（Amazon 上的 AUC 下降了 -1.82%），证实了因果注意力的必要性。移除 LLM 路径评分器也导致了显著下降（-1.93% AUC），凸显了语义对齐的价值。
效率： 虽然由于 LLM 增强导致训练速度比 KGAT 慢 1.4 倍，但由于 LLM 输出被缓存，推理延迟仅增加了 1.08 倍。

5. 重要性与声明

本文声称 LADMF 通过解决电商领域预测准确性与可解释性之间的权衡，推动了该领域的发展。通过结合 距离相关性解耦、多模态信息瓶颈、LLM 验证的 KG 增强 以及 反事实注意力，该框架实现了：

最先进的准确性： 在多种数据集上持续超越强基线。
忠实的解释： 生成的逻辑被人类评价者认为比传统的基于注意力的或纯生成式模型更具忠实性、合理性和有用性。
鲁棒性： 通过有效分离因果信号与噪声，在严重的稀疏性和冷启动条件下仍能保持性能。

作者也指出了局限性，特别是 LLM 补全 KG 的计算成本（通过缓存缓解）以及距离相关性损失随 Batch Size 呈二次方增长的问题。他们建议未来的工作方向包括使用参数高效适配器进行端到端的 LLM-in-the-loop 训练，以及利用反事实注意力信号进行公平性审计。