Evaluation of Clinically Steerable Retinal Image Generation from Foundation Model Latent Spaces

想象一下，你正试图教一个机器人绘制人类眼睛的图像，不仅是为了好看，更是为了向医生准确地展示患者的健康状况。这就是医学影像的世界——在这里，计算机正在学习识别照片中人类肉眼可能会忽略的模式。为了实现这一点，科学家们使用了“基础模型”（foundation models），它们就像是读过数百万本医学教科书（在这里是指数百万张眼睛照片）且无需被告知答案的超级聪明学生。这些模型学习理解眼睛的“语言”，创建出一张关于健康与患病眼睛特征的隐藏地图。现在的重大问题是：我们能否利用这张隐藏地图，不仅去理解眼睛，还能去“创造”出全新的、虚构的眼睛照片，使其真实且准确到足以帮助培训其他医生或测试新疗法？如果我们能引导这些人工智能模型，去绘制具有特定特征（如高血压或心脏病史）的眼睛，我们就能在不需要真实患者的情况下生成无穷无尽的训练数据。但问题在于：仅仅因为人工智能认为自己画出了一个完美的患病眼睛，它对于人类医生或另一个计算机程序来说，真的看起来像是一个真实的患病眼睛吗？

这篇论文深入探讨了这一挑战，通过测试四种专门用于视网膜成像的“超级学生”型人工智能模型来进行研究。研究人员想要看看，是否可以将这些模型作为蓝图，来生成能够忠实携带特定健康信息（如年龄、性别或未来心脏病发作风险）的合成眼部图像。他们使用了一个巧妙的两步走策略：首先，他们教一个生成器根据健康数据（例如“这个人60岁且患有高血压”）来创造眼睛的“构思”，然后使用一个解码器将这个构思转化为一张全彩照片。

研究结果呈现出一种“惊叹”与“等等”并存的复杂局面。当研究人员使用创建这些图像的同一个人工智能模型来检查生成的图像时，结果非常出色。这些虚构图像就像完美的复印件；它们完整地携带了编码在人工智能大脑中的所有健康信息。如果人工智能被要求画一个60岁且患有高血压的人的眼睛，生成的图像会如此具有说服力，以至于该人工智能自身的内部测试会判定：“是的，这绝对是一个60岁且患有高血压的人。”事实上，这些基于基础模型的创作在保留这些细节方面，通常比标准的AI绘画工具表现得更好。

然而，当研究人员走出自己的“舒适圈”时，故事发生了转折。他们将这些精美的、由人工智能生成的眼部照片展示给一个完全不同的标准计算机程序（一个名为ResNet的分类器），而这个程序此前只见过真实的人类眼睛照片。突然间，魔力消失了。这些对于制造它们的AI来说看起来完美的虚构图像，却难以“欺骗”这个局外人。与处理真实照片时相比，这个标准程序在从合成照片中推断年龄或健康状况时要困难得多。这就像是人工智能学会了一种非常特殊的“眼睛语言”方言，只有它自己能听懂。虽然这些图像在人类眼中看起来很逼真，但它们缺失了其他计算机进行诊断时所依赖的细微、真实的纹理。

论文得出结论：尽管这些基础模型是创建可控且具备健康感知能力的眼部图像的强大工具，但在“人工智能认为什么是真实的”与“世界其他部分所看到的”之间，仍然存在着一种“翻译鸿沟”。其中一个名为URFound的模型（它同时接受了眼部照片和其他医学扫描图像的训练）在弥合这一差距方面做得最好，但即便它也不完美。作者建议，虽然我们正越来越接近于能够按需生成有用的医学数据，但我们仍需教导这些人工智能模型去学习一种与现实世界兼容的语言，而不仅仅是符合它们自身的内部逻辑。在这一差距被填补之前，我们必须谨慎，不能仅仅因为一张看起来完美的人工智能生成的医学图像，就假设它已经准备好在关键医疗任务中取代真实的患者数据。