KHiM-Mamba: Injecting Pathology Knowledge into Mamba via Hidden-State Modulation for Whole Slide Image Analysis
KhiM-Mamba 是一种新颖的多实例学习架构，通过整合病理学知识和由大语言模型（LLM）衍生的语义描述来调制 Mamba 的隐藏状态，从而增强全切片图像分析，以此防止无关信息的累积，并在多种诊断任务中实现了最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
在现代医学领域，病理学家的最重要工具是一张包含微小人体组织样本的玻璃载玻片，这些样本经过放大，揭示了生命与疾病的细胞结构。如今，这些载玻片被扫描成巨大的数字图像，其规模之大，包含数十亿个像素，远非人类肉眼能够一眼看清。为了帮助医生在这些数字景观中进行导航，科学家们开发了人工智能系统，它们充当着不知疲倦的助手。这些系统将巨大的图像分解为数千个细小且易于处理的部分，分析每个部分中细胞的纹理和形状，然后尝试拼凑出一个全局性的诊断。挑战在于规模之大和噪声之多；一张载玻片可能包含数百万个细胞，但只有少数散落的集群持有诊断的关键，而其余部分则是健康的组织或无关的背景。如果计算机被大量无关信息分散了注意力，它可能会错过隐藏在角落里的关键线索。
研究人员最近转向了一种新型的人工智能架构，其灵感源自人类大脑如何随时间处理信息的序列过程，以处理这些巨大的数字载玻片。这种技术擅长记住它在长序列中早些时候看到了什么，并决定在向前移动时保留哪些信息。然而，来自香港和重庆的科学家发现，这些系统在应用方式上存在缺陷。他们发现，当这些人工智能模型扫描载玻片时，它们完全依赖于像素看起来的样子。如果一张载玻片的染色颜色略有不同——这是实验室中常见的变化——模型可能会感到困惑，将无害的颜色偏移视为重要的医学线索。这导致系统会在其记忆中累积无关细节，从而稀释了进行诊断所需的关键证据。为了解决这个问题，研究人员引入了一种新方法，将真正的医学知识直接注入到人工智能的记忆过程中，教导系统忽略噪声并专注于真正重要的内容。
由香港科技大学和重庆大学的研究人员领导的团队开发了一个名为 KHiM-Mamba 的系统。他们没有让人工智能在扫描载玻片时自行决定记住什么，而是给了它一本用病理学语言编写的指南。这本指南包含了关于不同类型的组织在健康或患病状态下看起来是什么样子的具体描述。当人工智能从载玻片的下一个小块移动到当前块时，它会查阅这本指南，以决定哪些信息值得存储在记忆中，哪些应该被丢弃。想象一下一位图书管理员，在整理一大堆书籍时，手里拿着一份要保留的书单和一份要忽略的书单；管理员不再需要猜测哪些书是重要的。在这种情况下，“图书管理员”是人工智能，“书”是微小的图像块，而“清单”是提供的大语言模型所提供的医学知识。
研究人员发现，以往利用语言来辅助人工智能诊断载玻片的尝试往往过于间接。那些方法要么是在分析开始前使用语言来挑选哪些载玻片需要查看，要么是在最后检查最终答案之后。这种新方法不同之处在于，它改变了人工智能思考的核心机制。它修改了记忆系统的内部“写入”和“读取”过程。当人工智能写入一段新记忆时，医学知识会告诉它去关注与疾病相关的特定形状和模式，而不是仅仅关注可能具有误导性的颜色或纹理。当人工智能从其记忆中读取信息以做出决策时，知识会引导它检索迄今为止积累的最相关的证据。这确保了系统构建出的载玻片表征是基于具有医学意义的联系，而不是被无关的视觉变化所干扰。
为了实现这一点，团队创建了一个智能系统，能够为载玻片的每个特定部分生成正确的医学描述。由于单张载玻片包含许多不同类型的组织，通用的描述是不够的。该系统使用强大的语言模型来观察一小块组织，识别它是哪种类型的组织，然后生成关于该组织在健康或患病时应该呈现样貌的精确、详细的描述。如果系统不确定组织类型，它会退回到更广泛、更安全的描述，以避免出错。这一动态过程确保了人工智能在解决拼图的每一个环节时，都能获得尽可能准确且具体的指导。
该方法的测试结果涵盖了涉及各种癌症类型和患者预后的十一个公共数据集。新系统始终优于现有的最佳方法。在人工智能必须区分不同类型的乳腺癌的任务中，它达到了比以往任何模型都高的准确度。在根据组织样本预测患者生存时间时，它提供了更可靠的风险评估，能更好地将患者分为高风险组和低风险组。或许最重要的一点是，该系统在测试来自使用不同染色技术的不同医院的载玻片时，表现出了极强的鲁棒性。虽然其他模型在面对这些变化时会表现挣扎，甚至在颜色发生轻微变化时失效，但新系统保持了其高性能。这表明，通过将人工智能植根于医学知识而非仅仅是视觉模式，它学会了观察疾病本身，而不仅仅是载玻片的外观。
研究还探讨了该系统在学习数据非常匮乏时的表现，这在标注样本稀缺的医学领域是一个常见问题。在人工智能仅通过八个或十六个疾病示例进行学习的测试中，这种新方法显著优于竞争对手。这表明，注入到系统中的医学知识起到了强大的基础作用，使其即使在训练数据极少的情况下也能进行有效学习。研究人员还确认，添加这一层知识并不会减慢系统的速度，也不会使其变得过于庞大而无法在标准计算机硬件上运行。该系统依然保持着快速高效，能够在数秒内处理数千个图像块。
通过重新思考人工智能处理医学图像的方式，这项工作证明了将视觉数据与明确的医学知识相结合，可以创造出一种更可靠、更准确的诊断工具。研究人员表明，解决大规模、多噪声数据的关键不仅在于建造更大的计算机，还在于教会计算机寻找什么。这种方法为计算病理学提供了一条新的路径，即目标是通过过滤掉无关信息并突出关键信息，来协助医生，确保最终的诊断是基于最强有力的证据。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。