Generative AI and Foundation Models in Medical Image
本文概述了生成式人工智能和基础模型（包括扩散模型和大语言模型），讨论了它们的构建、在医学图像处理与支持中的应用，以及利用国家数据和计算资源开发高性能医疗人工智能的策略。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，计算机科学的世界就像一个巨大且繁忙的厨房。长期以来，厨师们（即计算机）非常擅长遵循严格的食谱来分类食材：“这是西红柿还是土豆？”或者“这堆洋葱具体在哪里？”这是“判别式人工智能”（Discriminative AI）的时代，机器的任务是观察一张图片并做出一个简单的选择。但最近，一种新型厨师进入了厨房：那就是“生成式人工智能”（Generative AI）。这位新厨师不再仅仅是分类，而是可以根据一句“做一碗汤”的简短便条，凭空变出一碗热气腾腾、美味可口的汤。它可以写故事、画图画，甚至发明新的食谱。这种转变之所以发生，是因为有了“基础模型”（Foundation Models），它们就像规模宏大、极其聪明的烹饪学校，已经品尝过数百万种菜肴，并学会了烹饪的一般规则，而不仅仅是死记硬背某一个特定的食谱。这为什么重要？因为在医学领域，这些新型厨师可以通过创建虚假的医学图像供医生练习、更快地撰写报告，或发现医生可能错过的疾病，从而帮助医生，挽救生命并让医疗保健变得更好。
这篇由 Oda Masahiro 撰写的论文深入探讨了这些新型“生成式人工智能”厨师是如何接受训练以在医学厨房中工作的，特别是针对 X 光片和 MRI 等医学图像。作者解释说，虽然旧式人工智能擅长发现事物，但新的“生成式人工智能”实际上可以“创造”新的图像和文本。论文重点介绍了两种主要类型的这类厨师：制造图像的（使用所谓的“扩散模型”，Diffusion Models）和编写文本的（使用“大语言模型”，即 LLMs）。
论文指出，这些新工具正在改变游戏规则。对于图像创建，作者描述了一个过程，就像雕塑家从一块充满噪声、布满静电感的纹理的大理石开始，慢慢凿去噪声，直到出现一个清晰、完美的雕像。这就是扩散模型的工作方式；它们从纯粹的混沌开始，逐渐将其精炼成真实的医学图像。论文指出，虽然我们不能直接使用这些 AI 生成的图像来诊断真实患者（因为它们不是真实的人），但它们在“数据增强”（data augmentation）方面非常有用。想象一下，视频游戏开发者通过创建成千上万个虚假敌人，来训练玩家在真正的战斗前的反应能力。通过使用这些 AI 生成的图像来训练其他 AI 系统，研究人员可以构建更智能的诊断工具，尤其是在难以获取真实患者数据，或者需要展示特定位置的疾病时。
对于文本，论文强调了大语言模型（LLMs），例如驱动 ChatGPT 的那些模型。这些模型被“喂食”了海量的文本——就像阅读了巨型图书馆里的每一本书一样——以学习语言的运作方式。论文提到，虽然通用模型很聪明，但它们需要专门的训练来理解医学术语。研究人员已经开发了专门针对医学书籍和期刊进行训练的版本，这些版本现在可以帮助医生自动起草放射科报告或总结病历。
论文中最令人兴奋的部分是“基础模型”的概念。与其为每一个任务都从头开始构建一个微小的机器人（比如一个专门用于发现肺部肿瘤的机器人，另一个用于心脏，另一个用于大脑），论文认为我们应该先构建一个巨大的、超级聪明的“基础模型”。这个庞大的模型从海量数据中学习通用模式。然后，只需一点额外的训练（称为“微调”，fine-tuning）或极少数的示例（称为“少样本学习”，few-shot learning），这一个模型就可以被改编用于许多不同的医学任务。论文建议，这是一种更高效的构建 AI 的方式，特别是对于缺乏足够数据来从零开始训练新模型的罕见疾病而言。
然而，论文也提出了谨慎和现实的提醒。它指出，构建这些庞大的模型需要三个巨大的要素：海量的数据、巨大的计算能力（数千块图形显卡）以及时间。作者指出，虽然大型科技公司拥有这些资源，但对于医学研究人员来说，获取这些资源更为困难。论文明确主张，为了开发出适用于特定人群（如日本患者）的 AI，我们需要使用国家级的数据和国家级超级计算机，而不是仅仅依赖于基于其他国家数据训练的模型。论文并未声称这些问题已经得到解决，而是建议，通过整合国家资源——收集数百万张医学图像并利用大学超级计算机——我们可以构建出这些强大的、针对本地定制的医学 AI 系统。作者总结道，只要我们能有效地组织数据和计算能力，这种方法不仅是一个梦想，更是一条现实的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。