DualDiT: A Conditional Dual-Output Diffusion Transformer for Joint OCT Image and Segmentation Mask Generation

想象一下，你正试图教一个机器人识别一种特定类型的水果，比如草莓，但你手里只有三张草莓的照片，却有成千上万张苹果的照片。机器人会感到困惑，认为每种红色的水果都是苹果。这是一个医学科学中的巨大问题，因为医生需要数以千计的有标签图像来训练计算机识别疾病，但获取这些图像既困难、昂贵，有时甚至是无法实现的，因为患者病例可能很罕见，或者数据受到隐私保护。为了解决这个问题，科学家们使用了“生成式人工智能”（Generative AI），这是一种像超级创意艺术家一样的计算机程序。它不仅仅是复制现有的图片，而是学习事物的外观规则，然后画出全新的、看起来极其真实的“假”图片，甚至能骗过人类。但棘手的地方在于，如果 AI 画了一颗假草莓，它还需要画出一张完美的地图，精确地显示种子在哪里。如果地图与水果不匹配，向其学习的机器人会变得更加困惑。

这正是研究人员在处理一种特殊的眼科扫描技术——OCT（光学相干断层扫描）时面临的挑战。这些扫描就像是视网膜（眼睛后部感光层）的超详细横截面。医生利用它们来发现疾病，但手动标注这些扫描中微小层级的过程需要专家花费数小时的工作，导致用于训练计算机的样本非常稀少。这篇你即将阅读的论文介绍了一种聪明的新型 AI 艺术家，名为 DualDiT。请不要把 DualDiT 仅仅看作一名画家，而要把它看作一位“双持”巫师：一只手拿着画图像的画笔，另一只手拿着画地图的模板。不同于以往那些试图分别生成图像和地图（往往导致错位或不匹配）的旧模型，DualDiT 学习的是同时创造两者，确保假眼部扫描中的图层与假地图完美对齐。研究人员在极其珍贵的、经过保存处理的小鼠眼部样本上测试了它，这些样本对于研究人类眼疾至关重要，但却极难进行扫描和标注。

双输出艺术家的魔力

由 Fernando García-Torres 及其同事领导的研究团队，旨在解决小鼠眼部扫描中的“数据短缺”问题。他们构建了一个名为 DualDiT（条件双输出扩散 Transformer）的新型 AI 模型。为了理解它的特别之处，想象你正在教一个孩子画房子。如果你给他们一张房子的照片和一张单独的屋顶图，他们可能会画出一个屋顶悬浮在空中的房子。旧的 AI 模型有点像那样，试图分别或以笨拙的方式生成图像和“掩码”（即重要部分的轮廓）。

然而，DualDiT 就像一个学会了同时画房子和屋顶的孩子，它明白屋顶必须坐落在墙壁之上。研究人员使用了一组以两种不同方式保存的小鼠视网膜数据集来训练这个 AI：一组保存在液体（生理性）介质中，另一组则嵌入在硬树脂中。这两种方法看起来略有不同，就像是在水中拍摄一条鱼与在盘子里拍摄一条鱼的区别。AI 被教导去识别这些差异，并生成符合特定风格（液体或树脂）的新假扫描图像。

结果：瞒过专家

团队将这个新 AI 与两种更传统的旧方法进行了对比测试：一种直接作用于原始像素（称为 DDPM），另一种作用于压缩后的“潜空间”（称为 LM）。他们使用一个名为 FID（Fréchet Inception Distance）的分数来衡量生成图像的真实度，数值越低意味着假图像与真图像越接近。

结果显而易见：DualDiT 胜出了。

• DualDiT 的 FID 分数为 56.14，空间 FID (sFID) 为 114.35。
• 旧的 DDPM 模型得分分别为 164.55 (FID) 和 254.52 (sFID)。
• LDM 模型得分分别为 102.21 (FID) 和 150.66 (sFID)。

用通俗的话说，DualDiT 生成的假图像比其他模型更接近真实情况。旧模型经常出错，比如画出的图层模糊不清，或者产生“幻觉”，让视网膜看起来像是不该有的形状。而 DualDiT 生成的图像清晰且细节丰富，看起来就像真实的鼠眼一样，甚至包含了使其看起来真实的微小斑点和纹理。

但真正的测试不仅在于图片是否漂亮，还在于它们是否真的能帮助计算机更好地学习。研究人员使用 DualDiT 生成的假图像来训练一个新的计算机程序，用于分割（勾勒出）视网膜图层。

• 当仅使用真实数据时，计算机的得分（Dice 分数）为 0.908。
• 当加入 DualDiT 的假图像进行训练后，得分跃升至 0.927。
• 而旧模型的效果并不理想甚至产生了负面影响；例如，当处理树脂嵌入样本时，DDPM 模型导致计算机的表现大幅下降。

人类测试：你能分辨真伪吗？

为了验证这些假图像是否真正具有说服力，研究人员将它们展示给了三位人类专家。专家们被要求观察混合了真实和假图像的样本，并猜测哪些是真是假。结果令人惊讶：在尝试将假图像识别为真图像时，专家的错误率达到了 46%。此外，他们也有 42% 的概率将真实图像误认为是假的。这表明 DualDiT 创建的图像如此逼真，以至于即使是受过训练的专业人士也无法可靠地分辨真伪。

这意味着什么（以及它不意味着什么）

论文指出，DualDiT 是一个强大的新工具，可以创建“合成数据”，以帮助在真实数据匮乏时训练医疗 AI。它证明了使用基于 Transformer 的架构（一种以理解长程连接而闻名的 AI 类型）在同时生成图像和地图的任务中，优于传统的基于 U-Net 的方法。

然而，作者也谨慎地指出，这目前还不是万能药。这项研究是在一个相对较小的数据集（约 340 片来自 10 只小鼠的扫描切片）上进行的，且图像分辨率为固定的 512 × 256 像素。虽然结果令人鼓舞，但作者表示，仍需在更大的数据集上进行更多测试，以确保这种方法适用于所有类型的眼部扫描。他们还提到，目前的设置需要大量的计算能力，这对于某些诊所来说可能是一个障碍。

简而言之，DualDiT 是一个高水平的“双持”艺术家，它能画出极其逼真的假鼠眼扫描图及其匹配的地图，甚至能瞒过专家并帮助计算机学得更快。它表明，通过教 AI 同时创建图像及其标签，我们可以克服医疗 AI 最大的瓶颈：缺乏带标签的数据。但像任何新工具一样，在它被信任用于诊断真实患者之前，还需要更多的练习和更大规模的测试。