Neuro-JEPA: Building and Evaluating Health-System Scale Neuroimaging Foundation Models with Mixture of Experts
Neuro-JEPA 是一个可扩展的多模态基础模型，它利用稀疏混合专家架构和在 155 万份临床 MRI 扫描上的潜变量预测学习，实现了在多种神经影像任务和医疗系统中卓越的鲁棒泛化能力，且其表现往往优于预训练数据量显著更多的更大规模模型。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
人类大脑是一个复杂的器官，了解其健康状况通常依赖于在不进行任何切开的情况下观察其内部。医生使用磁共振成像（MRI）来创建详细的大脑组织图像。这些图像并不完全相同；它们是使用不同的设置拍摄的，以突出不同的特征，就像调整相机的对焦以观察叶子的纹理或其中的水分一样。一种设置清晰地显示大脑结构，另一种强调液体，而第三种则抑制液体以使肿胀或疾病更加显著。对于人类专家而言，阅读患者的健康状况需要综合观察所有这些不同的视图，将来自每个视图的线索结合起来，以形成完整的诊断。然而，教计算机完成这项工作一直很困难。大多数人工智能系统被训练为一次只能观察一种类型的图像，从而忽略了不同视图之间丰富的联系。这导致了人类医生思维方式与当前计算机程序工作方式之间的差距。
纽约大学和斯坦福大学的一个研究小组构建了一种新型的人工智能，旨在弥补这一差距。他们创建了一个名为 Neuro-JEPA 的系统，该系统通过同时观察三种类型的 MRI 图像来学习理解大脑。该模型并非从少量的教科书案例中学习，而是研究了一个包含 155 万份大脑扫描图像的庞大档案，涵盖了近 43 万名患者。这些扫描数据来自一个大型医院系统，涵盖了从中风、肿瘤到阿尔茨海默症等神经退行性疾病的广泛病症。研究人员不仅是将数据喂给标准的计算机程序，还构建了一种专门的架构，使模型能够学习不同图像类型之间的关系。通过这种方式，该模型学会了创建一个跨越不同医院、不同扫描仪和不同疾病的统一大脑理解模型。
这项工作的成果表明，与之前的系统相比，新模型在理解大脑图像方面表现得显著更好。在进行数十项任务测试时（例如识别中风、预测患者的恢复情况，或确定一个人是否出现了早期痴呆症迹象），新模型始终优于现有的工具。即使在必须处理极少标注数据的情况下，它也取得了成功，而在医学领域，由于需要专家医生来标记图像进行训练，这通常是一个难题。在某些情况下，该模型的 AUC 比最先进的先前系统提高了多达 0.15，特别是在多发性硬化症和脑部炎症等疾病方面。至关重要的是，该模型在利用的训练数据不到其他领先模型三分之一的情况下就实现了这些结果，这表明模型的设计方式比单纯拥有更多数据更为重要。
研究人员还测试了该模型是否能够应对现实世界的挑战，例如观察来自不同医院的患者，或使用一种它从未见过的扫描类型。该模型在这些不同环境下保持了高性能，证明它学习的是大脑解剖学和疾病的一般原理，而不仅仅是记忆特定的图像。它甚至可以仅利用作为常规护理一部分的标准 MRI 扫描图像，来预测预后情况，例如患者住院时间的长短，或轻度记忆问题是否会进展为完全痴呆。这种能力至关重要，因为它允许医生从现有的常规扫描中获取更多信息，从而可能在无需昂贵或侵入性额外测试的情况下，更早地发现疾病或更有效地规划治疗方案。
为了构建这个系统，研究人员必须解决几个具体问题。他们发现，简单地复制用于其他类型数据的现有方法在处理大脑扫描时效果并不理想。他们发现，模型需要一种特殊的图像遮蔽方式来进行训练，以迫使它学习最重要的细节，而不是仅仅基于简单的模式进行猜测。他们还引入了一种机制，使模型能够将注意力集中在脑组织本身，忽略颅骨周围的空白空间，这使得学习过程更加高效。此外，他们使用了一种设计，允许模型针对图像的不同部分激活不同的“专家”，确保系统能够处理极其多样的大脑形状和病理情况。这种方法使模型能够有效地扩展规模，随着给予更多数据和计算能力，变得更加强大。
该研究明确挑战了“构建更好的医疗 AI 的唯一途径是收集更多数据”这一观点。虽然数据很重要，但研究人员证明，模型的设计和训练过程的质量才是决定性因素。他们展示了通过精心设计的模型，在经过筛选的 155 万份扫描图像上进行训练，其表现可以超越使用超过 500 万份扫描图像的模型。他们还排除了这些模型仅在训练所在的特定医院发挥作用的可能性，证明所获得的知识可以转移到其他机构，甚至可以转移到不同类型的医学成像中。这项工作表明，医学成像的未来不在于为每种疾病创建一个单独的计算机程序，而在于构建一个单一的、通用的系统，能够理解完整的大脑，并能随着新问题和新患者的出现而进行调整。
这项研究代表了使人工智能成为神经系统护理可靠伙伴的重要一步。通过展示单个模型如何从多样化的数据中学习并将其知识应用于广泛的临床问题，该团队提供了一个框架，最终可以支持医生做出更快、更准确的决策。该模型利用常规扫描预测疾病进展和患者预后的能力，为早期干预和慢性疾病的更好管理打开了大门。随着研究人员不断完善这些工具并将其训练范围扩大到更多样化的人群和成像类型，这些系统改善患者护理的潜力正在不断增长，推动该领域从实验原型向理解人类大脑的实用型通用工具迈进。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。