MOSAIC: Modality-agnostic Spectral Alignment for Federated Image-level Weakly Supervised Tumor Segmentation under Client-specific Missing Modalities

在现代医学领域，最准确的诊断往往来自于结合不同类型的医学影像。医生可能会同时观察标准的 X 光片、磁共振扫描和专门的组织扫描，让一种影像的优势来补偿另一种影像的不足。这种被称为“多模态融合”的做法，能够提供更清晰的身体内部情况图景，尤其是在检测脑肿瘤等复杂病症时。然而，一个显著的障碍阻碍了这种强大的组合在全球范围内的应用：患者隐私。医院不能简单地将患者扫描件发送到中央服务器进行组合，因为严格的法律保护着个人医疗数据不离开当地机构。此外，即使医院同意合作，它们拥有的每位患者的影像集也极少完全相同。一家医院可能拥有一套完整的扫描序列，而另一家（可能在不同的国家或使用较旧的设备）可能只有几项。这种不一致性制造了一个谜题：那些旨在结合影像的工具往往会失效，因为它们期望每一个拼图碎片都完整存在。

研究人员长期以来一直在寻求一种方法，训练人工智能从这些分散、不完整的数据库中学习，而无需将原始数据从收集数据的医院移走。这种被称为“联邦学习”的方法，允许医院只分享它们的计算机学到的“教训”，而不是患者本身。然而，一个新的问题出现了：当计算机只能看到可用影像类型的一小部分，且它仅有的标签只是报告中简单的“是”或“否”，而非关于肿瘤形状的详细绘图时，你该如何教它识别肿瘤？挑战在于构建一个系统，使其能够在不损失准确性或损害隐私的情况下，从这些稀疏、私密且不完整的线索中学习。

印度科学理工学院的一个研究小组开发了一种名为 MOSAIC 的新框架，旨在解决这个确切的问题。他们的工作重点是训练人工智能，利用仅有的图像级标签（即指示是否存在肿瘤的简单指标），在不同医院拥有不同、不完整 MRI 扫描序列的情况下，对脑肿瘤进行分割（或勾勒轮廓）。研究人员发现，通过创建一个不关心缺失扫描件的具体身份，而是专注于数据底层模式的系统，他们可以在不需要通常使此类训练成为可能的详细注释的情况下，实现高准确度。

他们解决方案的核心在于系统如何处理缺失的部分。在典型场景下，如果一家医院缺乏特定类型的 MRI 扫描，计算机可能会尝试猜测这个缺失的扫描看起来是什么样的，或者干脆忽略它，这往往会导致错误。MOSAIC 系统采取了不同的方法。它使用一个专门的模块充当“翻译官”，将医院现有的任何扫描件转换为一种共享的、通用的语言。这种翻译是在每家医院本地进行的，因此原始图像从未离开现场。系统只需要知道存在多少种类型的扫描，而不需要知道它们具体是哪几种，这使得拥有独特扫描组合的医院无需任何特殊设置或重新训练即可加入网络。

为了确保所有医院尽管数据不同，但都在学习相同的“真相”，研究人员引入了一种通过频率模式对齐数据的方法。想象一下，每张医学影像都有一个由不同音调和节奏组成的独特音乐签名。虽然具体的音符可能会根据可用扫描的不同而变化，但音乐的整体节奏和结构保持一致。MOSமாகக் 系统倾听这些节奏模式（或光谱特征），而不是原始视觉细节。通过比较跨所有医院的这些紧凑且不可逆的频率模式，系统可以对齐它们对肿瘤外观的理解，而无需暴露实际的患者图像。研究人员称之为“光谱原型对齐”的方法，有效地弥合了拥有不同工具的医院之间的差距，确保即使在单个部分缺失的情况下，集体智能也能变得更加强大。

训练过程分为两个不同的阶段，以处理从简单的“是”或“否”标签中学习所带来的固有噪声。在第一阶段，系统根据可用扫描生成粗略的猜测，即“伪标签”，关于肿瘤可能所在的位置。由于数据是不完整的，这些初始猜测可能会很混乱或不准确。第二阶段是一个专门的精炼网络，它是第二层智能，负责接收这些粗略的猜测并对其进行清理。它结合了多种技术，包括一个提供稳定引导的“教师”模型，以及一个通过权衡不同线索来决定最终肿瘤形状的投票系统。这个两步走的过程使得系统能够突破弱监督通常的准确性限制，将粗糙、多噪的提示转化为精确、详细的肿瘤轮廓。

研究人员在涉及多家机构脑肿瘤的三种不同数据集上测试了他们的框架，包括 FeTS2022 挑战赛、针对脑膜瘤的 BraTS-MEN 数据集以及来自撒哈拉以南非洲的 BraTS-SSA 数据集。这些测试涉及了多种场景，即医院拥有不同的 MRI 扫描组合，从全套扫描到单项扫描不等。结果令人瞩目。仅使用图像级标签并在处理缺失扫描的情况下，MOSAIC 系统在 FeTS2022 数据集上实现了 0.84 的 Dice 分数（一个衡量预测肿瘤轮廓与实际肿瘤匹配程度的指标）。这一表现超越了所有依赖更详细监督（如边界框或点注释）的方法，甚至优于拥有所有合并数据的中心化模型。事实上，该系统的表现如此之好，以至于接近了需要专家手动绘制每个肿瘤边界的完全监督方法的准确度，尽管它仅使用了最简单的标签形式。

最重要的发现之一是该系统适应新的、未见过的医院的能力。由于翻译模块仅取决于可用扫描的数量而非其具体类型，因此一家新医院可以立即加入网络并开始贡献。研究人员证明，一家新机构可以在无需从头开始重新训练整个系统的情况下，加入一个已经训练好的网络，并达到与现有成员非常接近的表现。这种能力对于实际部署至关重要，因为医疗方案和设备可用性在现实中差异巨大且随时间变化。该系统还展现出了卓越的量化自身不确定性的能力，能够正确识别由于数据缺失导致其对肿瘤边界信心不足的情况，这一特性对于建立临床环境中的信任至关重要。

研究还探讨了使用不同对齐策略时会发生什么。研究人员将他们的基于频率的方法与其它试图通过匹配图像的简单平均值或标准差来对齐数据的方法进行了比较。他们发现，这些较简单的方法无法捕捉到区分不同类型医学扫描的复杂纹理特征。只有基于频率的方法——即观察数据的底层节奏模式——才能够成功对齐多样化的数据集。这表明，对于涉及不完整和异构数据的任务，观察数据的“音乐”比仅仅观察其“音量”要有效得多。

这项工作的意义延伸到了脑肿瘤之外。无需移动患者数据即可训练强大的医疗 AI 模型，同时适应不同医院拥有不同工具和细节水平的现实情况，解决了全球医疗领域的一个根本瓶颈。通过证明使用简单标签和不完整数据也能实现高准确度，研究人员为更多医院参与协作式 AI 研究开辟了一条路径。该系统既不需要昂贵、耗时的手动注释，也不要求每家医院都拥有相同的昂贵设备。相反，它创建了一个灵活、保护隐私的网络，使许多不完美来源的集体知识能够被合成为一个高度准确、可靠的模型。

最终，MOSAIC 框架证明了隐私和不完整数据带来的限制并不一定会成为进步的障碍。通过设计一个尊重现实世界约束（即数据孤岛、标签稀缺且设备各异）的系统，研究人员展示了构建一个不仅安全而且优于传统中心化方法的协作智能是可能的。这项工作表明，医学 AI 的未来不在于将所有数据收集在一个地方，而在于创建能够从全球医疗领域多样且碎片化的现实中学习的智能、适应性强的系统。