Multi-Modal Generative Fuzzy System: Fuzzy Inference Guided Large Model Interactive Question Answering Framework
本文提出了多模态生成式模糊系统（MMGFS），这是一个将模糊推理与大模型相结合的新型框架，旨在通过协作反思与多跳推理来减轻模态偏差并增强多模态问答的推理深度，并在多种数据集上展示了卓越的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，机器在阅读文本和观察图像方面已经变得非常出色。它们可以描述一张照片或根据一段文字回答问题。但真正的挑战在于如何结合这些不同的感知方式。当人类提出一个复杂的疑问，需要同时查看医学影像、阅读患者病史并理解科学图表时，机器必须将这些独立的线索编织成一个单一且连贯的思想。这就是多模态问答（multimodal question answering）的领域。其难点不仅在于收集信息，还在于知道哪部分信息最为重要，如何处理不明确的部分，以及如何通过可能需要多个逻辑步骤的过程来进行推理。如果没有清晰的引导，这些系统往往会被冲突的细节所迷惑，或者无法进行深入挖掘以找到正确答案。
中国江南大学的研究人员开发了一种新方法来解决这些特定问题，创建了一个他们称为“多模态生成式模糊系统”（Multi-Modal Generative Fuzzy System）的系统。该系统并没有依赖单一的大型模型来猜测答案，而是构建了一个模仿人类专家处理不确定性和复杂推理方式的框架。其核心思想是将问题视为一个需要被拆解、从不同角度审视并通过仔细重新考量的过程，而不仅仅是一个简单的搜索查询。该系统旨在处理文本、图像、表格甚至生物序列，将它们视为一场对话中的不同声音，而这些声音最终必须就一个单一的真相达成一致。
该过程始于研究人员称之为“反刍”（rumination）的阶段。想象一支专家团队，每位成员都是一种数据类型的专家：一位阅读文本，另一位分析图像，第三位研究图表。他们不仅仅是简单地合并笔记，而是将各自的发现进行反复传递。如果文本说的是一回事，而图像暗示的是另一回事，系统就会暂停，并要求每位专家根据新的语境重新审视，以完善他们的理解。这种往复过程会持续进行，直到所有来源的信息趋于一致且矛盾得到解决。这一步至关重要，因为它能防止系统被任何单一格式中的不完整或误导性数据所误导，从而确保最终呈现的画面是完整且一致的。
一旦信息变得清晰，系统就会进入“模糊推理”（fuzzy reasoning）阶段。在日常语言中，这里的“模糊”并不意味着不精确或松散；相反，它指的是一种处理非黑即白情况的方法。一个问题可能部分属于医学领域，部分属于生物学领域。系统不会强迫自己只选择其中一个类别，而是承认该问题存在于两者之间的空间。随后，系统会将主问题分解为一系列更小、更易于管理的子问题，或称为“跳跃”（hops）。它执行第一个跳跃，获得一个答案，然后利用该答案来构思下一个问题。这使得系统能够建立起一条逻辑链，像追踪线索到达目的地一样，一层一层地剥开复杂性的外壳。
为了管理这条推理链，系统使用了一套规则，这些规则就像是大语言模型的指南。这些规则告诉模型如何根据当前推理步骤的需求，扮演领域专家的角色，例如社会学家或医生。系统还包含一个决定何时停止提问的机制。它会评估当前的答案是否充分，或者是否需要进一步的步骤。如果推理已完成，它就会停止；如果尚未完成，它会生成下一个问题并继续循环。这防止了系统漫无目的地游荡或过早停止，确保最终答案是经过彻底调查的结果。
最后，系统会将这些独立的推理线路汇聚在一起。由于不同的专家可能会有略微不同的解释，系统使用投票过程来寻找最可靠的答案。它会查看每个潜在答案的置信水平，并过滤掉那些看起来较弱或无关的答案。如果出现平局，它会通过进一步的交互，将竞争性答案中的最佳部分合并为一个精炼的响应。这个被称为“对抗性融合”（adversarial fusion）的最终步骤起到了质量控制的作用，确保最终输出不仅是一个猜测，而是一个有据可查的结论。
研究人员在各种数据集上测试了该系统，涵盖了从常识问题到专业医学和生物学任务。他们将该方法与现有技术进行了对比，包括传统的深度学习模型和其他基于大模型的系统。结果表明，该方法在准确性和一致性方面始终优于其他方法。更重要的是，该系统展示了更好的处理不确定性的能力，并能提供不仅正确而且逻辑严密的答案。通过将模糊逻辑的细致、逐步推理与现代大模型的强大语言能力相结合，多模态生成式模糊系统为机器理解人类日常提出的复杂、多维问题提供了一种全新的方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。