💻 computer science

BrainAnytime: Anatomy-Aware Cross-Modal Pretraining for Brain Image Analysis with Arbitrary Modality Availability

BrainAnytime 是一个统一的预训练框架，它利用带有跨模态蒸馏和图谱引导课程掩码的共享 3D 掩码自编码器，以实现对任意模态组合的鲁棒脑图像分析，在处理异质且不完整的临床成像数据方面显著优于现有模型。

原作者： Guangqian Yang, Tong Ding, Wenlong Hou, Yue Xun, Ye Du, Qian Niu, Shujun Wang

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Guangqian Yang, Tong Ding, Wenlong Hou, Yue Xun, Ye Du, Qian Niu, Shujun Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是BrainAnytime论文的解读，已用通俗易懂的语言并辅以生动的类比进行翻译。

核心难题：“未完成的拼图”

想象一位医生试图解开患者脑部健康的谜团（特别是寻找阿尔茨海默病的迹象）。通常，调查是像爬梯子一样分步进行的：

第一步： 拍一张基础照片（MRI 扫描）。
第二步： 如果不够清晰，再拍几张更专业的照片（不同的 MRI 序列）。
第三步： 只有当患者情况依然成谜时，才会拍摄一张非常昂贵、详尽的“分子”照片（PET 扫描），以显示实际的疾病化学物质。

问题所在： 由于这种分步流程，医疗数据库中的大多数患者都只拥有未完成的拼图。有些人只有第一张照片；有些人有前两张；只有少数幸运儿拥有全套照片。

目前大多数 AI 模型就像那些只有拥有所有教科书才能学习的学生。如果学生少了一本教科书，AI 就会崩溃或放弃。这在数据经常缺失的现实世界中是行不通的。

解决方案：BrainAnytime

研究人员构建了一种名为BrainAnytime的新 AI。它就像一位超级聪明的侦探，无论手中握有一线索、五线索，还是整个案件档案，都能解开谜团。

该 AI 是在来自五个不同大型数据库的近35,000 次脑部扫描数据上训练而成的。它学会了灵活应变，能够处理医生手头可用的任何图像组合。

工作原理：三大秘密超能力

为了让这位侦探如此出色，团队赋予了它三种特殊的训练技巧：

1. “通用翻译官”（Multi-MAE3D）

类比： 想象一位能讲英语、法语和日语的翻译。通常，每种语言都需要不同的翻译。而这款 AI 是一位能理解任何语言（MRI 或 PET）并瞬间切换的翻译。
作用： 它利用单一的“大脑”（共享计算机模型）来查看任何可用的图像。如果 PET 扫描缺失，它不会惊慌；它只需专注于它确实拥有的 MRI。它学会利用已知信息来填补空白。

2. “交叉核对”（RCMD）

类比： 想象两名侦探在处理同一案件。一名侦探拥有城市地图（MRI），另一名拥有犯罪报告清单（PET）。他们不断交换笔记。即使一名侦探缺少清单，他也能根据地图推测犯罪报告应该写什么，反之亦然。
作用： AI 学会了将结构照片（MRI）与化学照片（PET）之间的关联点连接起来。它教导模型：“如果 MRI 上大脑看起来像这样，那么在 PET 扫描上通常看起来像那样。”这有助于它在数据缺失时做出明智的推测。

3. “聚焦危险区域”（PACM）

类比： 备考历史考试时，你不会同等地死记硬背教科书中的每一个字。你会将精力集中在关于最重要战争的那些章节上。
作用： 阿尔茨海默病并不会均匀地影响整个大脑；它首先攻击特定区域（如负责记忆的海马体）。标准 AI 将大脑的每个部分同等对待。BrainAnytime 使用一种“课程”，告诉 AI：“暂时忽略大脑的安全部分；将你的学习精力集中在阿尔茨海默病首先侵袭的特定区域。”这使得 AI 在早期发现疾病方面更加出色。

结果：为何重要

研究人员在四种不同场景下（例如判断患者是否患有阿尔茨海默病或预测其记忆测试分数）将这位新侦探与其他 AI 模型进行了测试。

获胜者： BrainAnytime 击败了几乎所有其他模型，包括那些专为特定类型扫描设计的模型，或那些试图处理缺失数据的模型。
提升幅度： 在最艰难的测试中（区分健康人与早期阿尔茨海默病患者），BrainAnytime 的准确率比次优模型高出 6% 到 7%。
灵活性： 无论 AI 是只获得一次扫描还是全套五次扫描，其表现都优于那些需要特定输入组合的模型。

总结

BrainAnytime 是一种新的 AI 工具，它理解现实世界的医疗数据是杂乱且不完美的。它不再要求完美的扫描组合，而是学会利用任何可用的数据工作。通过教导 AI 在不同扫描类型之间进行“翻译”，并让其将注意力集中在大脑中最危险的部位，它创造了一种更可靠的工具，用于诊断脑部疾病，即使医生尚未拥有所有照片。

"BrainAnytime：面向任意模态可用性的脑图像分析的解剖感知跨模态预训练"技术摘要

问题陈述

神经退行性疾病（特别是阿尔茨海默病，AD）的临床诊断工作流程遵循“模态升级路径”。临床医生通常从常规结构成像（如 T1 加权 MRI）开始，选择性添加序列（如 FLAIR、T2）以细化鉴别诊断，并将分子成像（如淀粉样蛋白-PET）保留给不确定的病例。因此，真实世界队列中的患者数据特征表现为异质且通常不完整的模态子集。

当前的 AI 模型通常假设固定的输入模态，当数据可用性发生变化时，需要切换架构或重新训练。此外，现有的大规模脑成像预训练模型在此背景下往往存在三个局限性：

它们通常仅限于 MRI，未能学习到与淀粉样蛋白-PET（一种关键生物标志物）之间的显式桥梁。
它们假设固定的模态组合，与真实世界数据中随阶段变化的缺失模式不匹配。
标准的掩码自编码器（MAE）预训练依赖于空间均匀掩码，忽略了 AD 表现出选择性区域易感性（如海马体）而非均匀病理的事实。

方法

作者提出了BrainAnytime，这是一个统一的预训练框架，旨在支持在任意模态可用性下的脑图像分析。该框架在来自五个数据集（A4、DOD-ADNI、AIBL、BraTS23、NACC）的 34,899 个 3D 脑扫描上进行预训练，涵盖多序列 MRI 和淀粉样蛋白-PET。它在共享的 3D 掩码自编码器架构中集成了三个核心组件：

1. Multi-MAE3D（3D 多模态掩码自编码器）

架构： 一个共享的 Transformer 编码器处理任意可用的模态子集（T1、T2、FLAIR、PET）。
分词： 每种模态使用模态特定的 3D 卷积补丁嵌入。
处理缺失数据： 缺失的模态被完全掩码。为了保持令牌计数恒定，无论输入可用性如何，可见令牌预算均使用狄利克雷分布（Dir( $\alpha$ )）在观测到的模态之间重新分配。
解码： 每种模态都有一个轻量级解码器来重建所有补丁。训练损失（ $L_{MAE}$ ）仅在掩码补丁上使用带有每个补丁归一化的均方误差计算。

2. 互惠跨模态蒸馏（RCMD）

目标： 学习结构 MRI 与分子 PET 之间的对应关系。
机制： 一个指数移动平均（EMA）教师网络共享编码器架构。对于配对的 MRI-PET 样本，通过平均池化计算组级表示（ $z_{MRI}$ 和 $z_{PET}$ ）。
损失： 训练两个对称的 MLP 预测器（ $g_{M\to P}$ 和 $g_{P\to M}$ ）以预测跨模态教师特征。损失（ $L_{RCMD}$ ）最大化学生预测特征与教师特征在相反模态空间中的余弦相似度。

3. 病理感知课程掩码（PACM）

目标： 在重建过程中优先考虑疾病易感的解剖结构，而不是均匀掩码。
重要性评分： 静态评分源自通过 AAL116 图谱映射的神经病理学先验（Braak 分期）。动态评分通过聚合 EMA 解剖教师注意力图获得。这些被组合以生成补丁重要性评分。
课程计划： 采用三阶段策略：
1. 早期阶段：均匀随机掩码。
2. 中期阶段：温度参数（ $\tau$ ）通过余弦衰减退火，逐渐锐化掩码分布以偏向高重要性区域进行掩码（即迫使模型重建关键区域）。
3. 晚期阶段：固定温度。
选择： 使用 Gumbel-top-k 技巧选择补丁，确保高重要性补丁更有可能被掩码并因此被重建。

训练与微调：
总损失为 $L = L_{MAE} + \lambda \cdot \mathbb{1}_{[paired]} \cdot L_{RCMD}$ 。对于下游任务，仅使用学生编码器并配合轻量级任务头。在推理过程中，缺失的模态保持为零并被注意力块屏蔽，确保模型无需架构更改即可处理任意子集。

主要贡献

统一框架： 单个模型能够接受任意模态子集（从单独的 T1 扫描到完整的多模态检查），无需重新训练或切换架构。
跨模态学习： 通过互惠蒸馏显式学习 MRI 与 PET 之间的结构 - 分子对应关系，弥合结构证据与病理证据之间的差距。
解剖感知预训练： 引入课程掩码策略，将模型的重建努力引导至 AD 显著神经解剖结构，解决了标准 MAE 中均匀掩码的局限性。
可扩展预训练： 成功在模拟临床缺失模式的大规模异质数据集（34,899 次扫描）上进行预训练。

实验结果

该模型在四个下游任务（CN vs. AD、CN vs. MCI、MMSE 回归、年龄预测）上进行了评估，跨越五种临床驱动的模态设置（从仅 T1 到 T1+T2+FLAIR+PET）。

性能： BrainAnytime 优于特定模态模型（如 3D ResNet、M3T）、双模态融合方法、大规模脑基础模型（BrainIAC、SAM-Brain3D）以及不完整多模态学习方法（Flex-MoE、FuseMoE）。
关键指标：
- CN vs. AD： 平均准确率达到 89.4%（次优基线 Flex-MoE 为 84.2%），相对于最强的缺失模态基线实现了 6.2% 的相对提升。
- CN vs. MCI： 平均准确率达到 67.2%（MoE-retriever 为 60.6%），相对提升 7.0%。
- 回归： 在所有模态设置下，在 MMSE 和年龄预测方面均表现出优越性能。
鲁棒性： 受试者内鲁棒性研究证实，随着添加更多模态，性能持续提高（例如，CN vs. AD 的 F1 分数从仅 T1 的 65.0% 增加到全输入的 80.4%），证明了模型有效利用可用数据的能力。
消融实验： 单独移除 RCMD 或 PACM 均导致性能下降，证实了跨模态蒸馏和解剖感知掩码的必要性。

意义

该论文声称，BrainAnytime 解决了临床现实（分阶段、不完整的数据采集）与当前 AI 范式（固定输入模型）之间的关键差距。通过使单个模型能够灵活接受任何可用的成像数据，它与临床模态升级路径相一致。该框架表明，结合跨模态蒸馏和病理感知掩码的预训练能够产生一个鲁棒的基础模型，显著优于现有基线，特别是在数据不完整或模态缺失的场景中。这种方法为在真实临床环境中部署 AI 提供了实用解决方案，因为在这些环境中，很少能为每位患者提供完整的多模态数据。