Synergistic Perception-Reasoning Governance: Grounding Medical MLLMs with Verifiable Anatomical Evidence
本文提出了协同感知-推理治理（Synergistic Perception-Reasoning Governance, SPRG），这是一个无需训练的框架，通过引入基于感兴趣区域（ROI）引导的视觉调制和坐标到标记（coordinate-to-token）语义锚定来注入可验证的解剖学证据，从而减轻医疗多模态大语言模型中的幻觉问题，并在多种基准测试中实现了准确率的显著提升和幻觉的有效减少。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个才华横溢但有时过于自信的医学生，他很擅长表达，但看 X 光片时偶尔会信口开河。这个学生可能会说：“我看到这里有一处骨折，”即便骨头看起来完好无损，仅仅是因为他想让自己显得很聪明，或者因为被图像中的背景噪音干扰了。在人工智能的世界里，这被称为幻觉（hallucination）。
本论文介绍了一种全新的“监督”系统，旨在阻止这些医疗 AI 模型凭空捏造事实，而无需对它们进行重新训练或教授新知识。以下是该系统的运作方式，通过简单的概念进行了拆解：
问题所在：“自信但错误”的 AI
目前的医疗 AI 模型（称为多模态大语言模型）就像那个学生。它们可以观察 X 光片并撰写报告，但有时会自信地描述并不存在的疾病或身体部位。现有的解决办法通常像是雇佣一整支新的教师团队（重新训练），或者构建一个庞大的事实库进行核对（外部数据库），这既昂贵又复杂。
解决方案：“证据注入”框架
作者提出了一种巧妙的、无需训练（training-free）的方法。你可以把它想象成在 AI 回答问题之前，给它戴上一副“真相护目镜”，并递给它一个“事实核查便签”。他们称之为协同感知-推理治理（Synergistic Perception-Reasoning Governance）。
以下是他们使用的三个主要技巧：
1. “聚光灯”（视觉侧重校准）
想象 AI 正在观察一张 X 光片，但它的视线有些模糊，并且正被照片边缘或背景所干扰。
- 做法： 他们使用了一个名为 MedSAM 的工具（一种智能分割工具），自动在医生询问的具体身体部位（例如心脏的“左心房”）周围画出一个框。
- 类比： 这就像是在那个特定的身体部位上打了一束聚光灯，并将房间的其他部分（背景噪音）变成了黑暗。
- 结果： AI 被迫只能关注框内的证据。如果框内显示的是“心脏”，AI 就无法幻觉出“腿部骨折”，因为聚光灯并没有照在那里。
2. “事实卡”（文本侧证据注入）
有时候，仅仅打光是不够的；AI 需要事实提醒。
- 做法： 他们提取那个框的坐标（例如，“这个框位于位置 X，大小为 Y，并覆盖了图像的 5%”），并将这些坐标转化为一段简单的文本句子。随后，他们将这句话直接粘贴到 AI 的提问中。
- 类比： 这就像是递给学生一张小抄，上面写着：“记住，心脏就在图像中的这个位置。”
- 结果： AI 的推理被“锚定”在了这些物理证据上。它无法在幻想中漫游，因为文本明确告诉了它证据的位置。
3. “智能交警”（任务感知动态路由）
并非所有的医疗问题都是一样的。有些问的是“心脏在哪里？”（需要聚光灯），有些问的是“是否有积液？”（需要事实卡），还有些是复杂的（两者都需要）。
- 做法： 他们构建了一个微小且快速的“交警”，先阅读问题。
- 类比： 如果问题关于位置，交警会让 AI 使用聚光灯。如果问题关于测量或症状，交警会递上事实卡。如果是复杂的放射科报告，交警会说：“两者都用！”
- 结果： AI 会根据具体工作获得最合适的工具，从而在准确性与自然语言表达之间取得平衡。
结果：减少谎言，增加真相
研究人员在多种不同的 AI 模型和医疗数据集（如胸部 X 光片）上测试了这个系统。
- 准确性： 他们发现，在特定的医疗问题上，AI 正确回答的频率提高了约 6%。
- 幻觉： 他们将捏造事实的情况减少了约 35%。
- 通用性： 它在不同的 AI 模型上都表现良好，证明这是一个灵活的解决方案。
总结
作者并没有试图重建 AI 的大脑，而是简单地在 AI 发言之前，给了它可验证的证据（“聚光灯”和“事实卡”）。通过强制 AI 观察实际证据并提醒它事实，他们阻止了 AI 自信地捏造事实，使其在医疗应用中更加安全可靠。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。