DualG-MRAG: Decoupling Macro-Reasoning and Micro-Matching for Multimodal Retrieval-Augmented Generation
DualG-MRAG 通过引入一种将全局结构推理（宏观推理）与细粒度证据匹配（微观匹配）分离的解耦双层框架，通过基于图的消息传递和动态规划解码来减少检索噪声并提高问答准确性，从而解决了现有多模态 RAG 系统在复杂推理任务中的局限性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图解开一个巨大的、多层级的谜团。你拥有一个装满了书籍、照片、图表和图表的巨大图书馆。一个标准的“智能助手”（AI）试图帮助你，但它经常会感到困惑。它可能会把一张猫的照片和一句关于狗的话语混淆在一起，然后自信满满地编造一个并不真实的故事。这是因为 AI 难以将不同类型的线索联系起来，尤其是当答案需要从一个文档跳转到另一个文档时，就像侦探在整个城市中追踪面包屑轨迹一样。这个研究领域被称为多模态检索增强生成（Multimodal Retrieval-Augmented Generation，简称 MM-RAG）。“多模态”意味着 AI 可以阅读和查看不同的事物（比如图像和文本）。“检索增强生成”意味着 AI 不仅仅是根据记忆进行猜测；它会外出，从图书馆中抓取正确的事实，然后根据这些事实编写答案。研究人员试图解决的核心问题是，如何让 AI 在不被噪音淹没或丢失隐藏联系的情况下，抓取到正确的线索。
于是，由北航大学研究人员提出的一个名为 DualG-MRAG 的新框架登场了，它像是一位拥有非常特定策略的卓越侦探。它并不试图同时阅读每一本书的每一页并观察每张照片的每一个像素（这会造成一片混乱），而是将工作分成了两个截然不同的团队：一个“宏观”团队和一个“微观”团队。
你可以把 宏观团队 想象成城市规划师。他们并不关心单栋房屋的微小细节；他们看的是大地图。他们绘制道路、社区以及不同部分之间的主要连接。在 AI 的世界里，这就是宏观图谱（Macro Graph）。它将大的概念和文档连接在一起，帮助 AI 理解“大局观”的故事以及一个文档如何引导至另一个文档。这能防止 AI 迷失在琐碎的细节中。
然后是 微观团队，他们的角色像是法医专家。一旦宏观团队指向了一个特定的社区，微观团队就会进行缩放观察。他们观察细微的细节：照片中织物的特定纹理、表格中的精确数字，或是图表上的微小标签。这就是微观图谱（Micro Graph）。他们的任务是在不被城市其他部分干扰的情况下，核实局部的证据。
DualG-MRAG 的魔力在于它保持了这两个团队的独立性，同时又让他们协同工作。在过去，AI 系统试图将所有东西混合成一个巨大的、混乱的图谱。这就像是试图在寻找特定一粒沙子的同时，还要绘制整个海岸线的轮廓——这太嘈杂且令人困惑了。DualG-MRAG 说：“不，让我们先绘制海岸线（宏观），然后再去寻找那粒沙子（微观）。”
为了让系统变得更加聪明，它使用了一个特殊的“查询驱动”引擎。想象一下，如果你问“红色的车停在哪里？”，引擎不会盲目地检查城市里的每一辆车，而是只沿着通往红车的道路发送信息。它使用图神经网络（GNN）来动态地传递这些信息，只遵循对你的特定问题有意义的路径。
最后，一旦找到了线索，系统并不会只是把一堆文档堆在 AI 面前。相反，它会构建一条清晰的、循序渐进的“推理路径”。这就像是 AI 拿到了一张藏宝图，上面写着：“从图书馆开始，找到那张汽车照片，然后查看下一份文件里的停车票。”这种明确的路径有助于 AI 生成更加准确的答案。
研究人员在一些涉及复杂问题的难题上测试了这个新的侦探系统，这些问题需要跨越图像、表格和文本进行跳转。他们发现，与之前的方法相比，DualG-MRAG 在寻找正确线索和正确回答方面的表现显著提升。例如，在名为 MMQA 的测试中，它在寻找正确答案的准确率上比现有的最佳系统有了明显的进步。它还做到了在不显缓慢的情况下完成任务，在许多情况下将响应时间保持在不到一秒内。这项研究表明，通过将“大局观”思考与“细节”检查分离，我们可以构建出在处理现实世界中混乱、混合的信息时既更聪明又更可靠的 AI。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。