Dual-Path LLM Reasoning for Multimodal Few-Shot Knowledge Graph Completion
本文提出了 DuPLeR，一种双路径大语言模型（LLM）推理框架，该框架通过将多模态大语言模型衍生的先验知识与事实图结构相结合，利用校准的关系图和双层结构推理来减轻噪声并增强实体表示，从而实现鲁棒的少样本知识图谱补全。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图完成一个巨大的、不断增长的世界事实拼图，其中的每一块碎片都是两个事物之间的联系，比如“埃尔维斯·普雷斯利”与“摇滚乐之王”。这就是科学家们所称的知识图谱（Knowledge Graph）。它是一张关于万物如何相互关联的数字地图，为智能助手和搜索引擎提供动力。但问题在于：现实世界是混乱的。每天都有新事实涌现——新的名人、新的科学发现、新的流行语——而地图往往还没有足够的碎片来连接它们。这就是**知识图谱补全（Knowledge Graph Completion）**的问题：尝试猜测那些缺失的环节。
通常情况下，如果计算机见过这些碎片，它会表现得很出色。但如果交给它一块它从未见过的全新拼图碎片，且只有一两个附近的碎片作为提示呢？这就是**少样本（few-shot）或零样本（zero-shot）挑战。这就像是让你根据仅有的第一句话，去猜一个你从未读过的故事的结局。为了应对这一挑战，研究人员现在正借鉴大语言模型（LLM）**的技巧——这些超智能的AI聊天机器人几乎阅读了互联网上的所有内容。这些AI拥有一种关于事物通常如何连接的“直觉”。然而，这些AI有时会过于自信，从而产生幻觉（编造事实），或者在处理与文本不匹配的图片时感到困惑。核心问题在于：我们如何在利用这种AI“直觉”填补空白的同时，又不让它编造胡言乱语？
于是，由刘金兰及其同事提出的 DuPLeR 框架应运而生，它像是一个为这些缺失拼图碎片而设计的超级组织严密的侦探。DuPLeR 并没有简单地询问 AI“你觉得是什么？”然后听天由命，而是使用了一种巧妙的双路径策略，将 AI 的猜测与真实证据进行交叉核对。
首先，系统要求 AI 预测可能相连的事物类型（例如，猜测“音乐艺术家”很可能与“歌曲”相连）。但系统并不会盲目信任 AI。系统会构建一个“校准”后的地图，将 AI 的建议与已知的实际硬事实进行对比，并剔除不符的部分。这就像一位老师在批改学生的作文：他们保留了好的观点，但划掉了那些与证据不符的虚构细节。
接着，真正的魔法发生了，即双路径多模态增强（dual-path multimodal enhancement）。想象一下你正在进行嫌疑人辨认。
- 路径一（侦探的专注点）： 当系统观察当前问题的特定线索时，它使用一个“针对特定查询”的过滤器。它会询问 AI：“嘿，看着这个特定的关系，照片或文本描述中的哪些部分才是真正重要的？”它会忽略背景噪音，只专注于相关的视觉或文本提示。
- 路径二（通用知识）： 在侦探完成其特定工作后，系统会退后一步，重新审视整个画面。它会抓取嫌疑人的完整、未经处理的描述和图像，以确保它没有遗漏任何可能被特定过滤器丢弃的重要通用细节。
通过结合这两条路径——一条是针对特定问题的精准聚焦，另一条是保持全局视野——系统能够对缺失的环节做出更强大、更准确的预测。
研究人员在两个主要知识图谱基准测试的八个不同版本上对该系统进行了测试，模拟了计算机仅通过一个或三个示例（少样本）甚至零个示例（零样本）进行学习的情景。结果非常令人振奋：DuPLeR 持续优于旧的方法，甚至优于其他 AI 辅助方法。例如，在 FB15K-IMG-R 数据集上，在 1-shot 设置下，DuPLeR 实现了 71.77% 的 Hits@10 分数，显著超过了之前最好的 61.20%。在没有任何示例提供的零样本场景下，系统仍然能够提升预测能力，这表明这种双路径方法有助于 AI 在“盲飞”时仍能立足于现实。
这项研究表明，虽然 AI 可以为理解新事实提供有益的起点，但它需要来自实际数据的“现实检查”，以及一种平衡特定线索与通用知识的聪明方式。DuPLeR 并不声称已经解开了宇宙的拼图，但它提供了一种稳健的新方法，用于在信息匮乏时填补空白，确保我们的数字世界地图保持完整且可靠。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。