Med-CRAFT: An Information System for Explainable and Configurable Construction of Multimodal Medical QA Datasets
本文提出了 Med-CRAFT，这是一个通过将教学视频转化为结构化知识图谱和基于证据的问答对，从而自动创建具有可解释性、可配置性和溯源性的多模态医学问答数据集的信息系统。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个超级聪明的机器人如何理解一场复杂的烹饪节目。你不仅仅希望机器人能猜出食谱，你还希望它能确切知道大厨是在视频中的哪一秒加入了盐，为什么使用了特定的刀具，并能通过指向发生该动作的具体帧来证明这一点。这就是多模态医疗人工智能（Multimodal Medical AI）的世界——在这里，计算机试图通过结合声音、文本和动态图像的视频来学习，从而回答棘手的健康问题。但问题在于，教导这些机器人目前仍是一项杂乱且依赖人工的工作。这就像是试图通过把书乱扔进一堆里，然后指望它们能自动整理好来建造一座图书馆。通常情况下，机器人的答案只是运气好猜对了，或者更糟的是，出现了“幻觉”——即编造了一些听起来很合理但并不真实的内容。科学家们对此深感忧虑，因为如果医疗机器人出错，后果将非常严重。我们需要一种方法来构建不仅规模巨大且高质量，而且具有可追溯性（我们可以看到每一个事实的确切来源）和可配置性（我们可以通过调节难度来测试机器人的大脑）的训练数据。
于是，Med-CRAFT 诞生了，这是一个旨在解决这一混乱局面的“智能工厂”。请记住，Med-CRAFT 不仅仅是一个简单的问答机器人，它更像是一位严谨的建筑师与图书管理员的结合体。它不是简单地要求机器人“写一个关于这个视频的问题”，而是将原始的医疗教学视频分解成微小且易于处理的片段。它使用了一种名为**知识图谱（Knowledge Graph）**的特殊工具，这就像是医疗程序中一张巨大的、交互式的“家族树”。在这棵树中，每一个动作（如“清理伤口”）、每一种工具（如“棉签”）以及每一个身体部位（如“膝盖”）都是一个节点，而它们之间的关系则是树枝。
神奇之处在于 Med-CRAFT 构建这棵树的过程。它并不只是靠猜测；它会回到原始视频中，将树的每一根枝干都与特定的时间点、特定的帧或医生说出的特定单词联系起来。这被称为证据绑定（evidence binding）。这就像是在树的每一个事实上都贴上了时间戳和“证明链接”。一旦这棵树构建完成并经过验证，Med-CRAFT 就会化身为一名游戏设计师。它可以穿梭于这棵树中，创建不同难度的题目。一个“单跳（one-hop）”问题可能很简单：“使用了什么工具？”但一个“多跳（multi-hop）”问题则是一个谜题：“如果医生在 00:30 使用了这个工具，那么在 00:45 时伤口会发生什么，以及为什么？”
研究发现，该系统是提高效率和信任感的游戏规则改变者。当研究人员将 Med-CRAFT 与传统的纯人工方法及其他自动化工具进行对比测试时，结果显而易见。Med-CRAFT 在短短 24.6 小时内就生成了 432 个高质量且经过验证的问答对，而人类专家团队在 92.5 小时内仅完成了 112 个。更令人印象深刻的是，Med-CRAFT 将专家审查每个答案所需的时间从接近 50 分钟缩短到了仅 11.5 分钟。该系统不仅生成的题目更多，而且质量更高。Med-CRAFT 生成的问题中有 86% 被认定为“有据可查且有效”（意味着它们在医学上是正确的，并且有视频证据支持），而对于那些仅仅是让机器人直接写问题的系统，这一比例仅为 25%。
研究还表明，Med-CRAFT 具有极高的灵活性。研究人员可以告诉系统：“我希望 80% 的问题是简单的单步谜题，”或者“我希望 50% 的问题高度依赖视觉线索，”系统都能精准实现。当他们用这个生成的数据集去测试其他 AI 模型时，结果显示，即使是最聪明的现有机器人，在处理复杂的、多步骤的医疗推理时也会感到吃力，尤其是当它们必须将视觉证据与口头指令联系起来时。
简而言之，Med-CRAFT 不仅仅是在构建一个数据集；它是在构建一个透明、可审计且可控的数据集。它证明了通过将数据集创建视为一个结构化的工程过程——配备蓝图（知识图谱）、证明链接（证据绑定）和质量控制（人工审核）——我们可以创造出不仅制作速度更快，而且更加可靠的训练数据。它表明，医疗 AI 的未来不仅仅在于更大的模型，而在于更聪明、更具可追溯性的教学方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。