技术摘要：用于 3D 医学图像处理的轻量化深度学习：系统性综述

问题陈述

三维（3D）深度学习通过利用体积数据实现高分辨率解剖表示，显著推进了 CT、MRI 和 PET 等医学影像分析领域。然而，最先进的 3D 模型（如 3D U-Net、V-Net 以及 Transformer 变体 Swin UNETR）计算密集度极高，需要高端 GPU、大规模存储空间和漫长的训练时间。这些需求限制了其在资源受限环境中的部署，例如农村诊所、移动医疗单元以及中低收入国家（LMICs），这些环境无法提供同等的硬件支持。此外，大型模型高昂的能耗和碳足迹也与“绿色 AI”的目标相悖，同时也受限于边缘设备（如手持式超声扫描仪）的实际能力，这类设备通常运行在低功耗处理器和有限内存之上。虽然现有的调查涵盖了轻量化深度学习或模型压缩，但尚无研究专门针对资源受限条件下的 3D 体积数据所面临的独特挑战，也未针对在临床欠发达环境中的部署策略进行整合。

研究方法

本研究遵循 PRISMA 指南及 Rivera 等人 [53] 提出的方法论，进行了一项系统性文献综述（SLR）。

• 检索策略： 在五个数字图书馆（IEEE Xplore、ACM Digital Library、SpringerLink、ScienceDirect 和 PubMed）中，应用了结合 3D 医学成像、深度学习和资源约束术语的检索字符串。检索时间为 2025 年 8 月至 2026 年 3 月。
• 筛选标准： 本综述纳入了 2018 年以后发表的英文原创研究论文和综合性综述，重点关注面向效率的 3D 医学影像深度学习架构。排除标准包括非医学数据、传统机器学习方法以及缺乏效率关注的研究。
• 流程： 从最初的 780 条记录中，剔除了重复及不符合要求的文献。经过标题/摘要筛选和全文评估后，最终选择了 90 篇高质量研究进行分析。
• 分析： 对选定的论文进行了分析，旨在回答四个研究问题（RQ），涉及计算成本、压缩策略、部署机会以及开放性挑战。

核心贡献

本文对该领域进行了批判性综合，围绕四大效率策略家族展开：

1. 知识蒸馏 (KD)： 通过逻辑值（logit）、特征或注意力图的转移，将知识从大型“教师”模型转移到紧凑的“学生”模型。综述强调，KD 可以实现 4–6 倍的参数和 FLopS 缩减，且精度损失极小，在某些情况下甚至能提升性能。
2. 剪枝 (Pruning)： 移除冗余参数（权重或通道），可在训练后或训练期间进行。诸如 STAMP 和滤波器剪枝（filter pruning）等技术已证明可实现高达 95% 的参数削减，尽管通常需要通过微调来恢复精度。
3. 量化 (Quantization)： 通过降低数值精度（例如从 FP32 降至 INT8）来减少内存占用并加速推理。研究指出，后训练量化（PTQ）对于重新训练不可行的医学场景特别实用，能在保持近乎无损精度的同时，实现 3–10 倍的内存缩减。
4. 架构设计 (Architectural Design)： 利用深度可分离卷积、神经架构搜索（NAS）以及混合 CNN-注意力模块，从零开始设计高效网络。这些方法可以在保持竞争性性能的同时，减少 90–95% 的参数。

本综述还汇总了最先进模型（如 nnU-Net、Swin UNETR）的数据，以量化其计算足迹，结果显示 Transformer 类模型可能比基于 CNN 的模型需要显著更多的 GPU 显存（例如，~19.7 GB 对比 ~3.7 GB）和更长的推理时间。

结果

• 计算负担： 标准 3D 模型需求巨大。对于 1×128×128×128 的输入，Transformer 模型（如 Swin UNETR）在 GPU 上需要约 19.7 GB 的显存和约 228.6 ms 的推理时间，而基于 CNN 的 nnU-Net 则仅需约 3.7 GB 显存和约 90.9 ms。在 CPU 上，这种延迟差距进一步扩大（7.6s 对比 3.6s）。
• 策略有效性：
  • KD： 稳定地将模型规模缩小 4–6 倍，精度下降通常在 2–3 个百分点以内；在某些案例（如 TDAFD）中，精度甚至有所提升。
  • 剪枝： 实现了最高的参数削减（高达 95%），但往往需要重新训练或微调。
  • 量化： 对内存受限的边缘设备（如 Raspberry Pi）非常有效，能在精度损失忽略不计的情况下，减少 3–10 倍的内存使用。
  • 架构： 手工设计的轻量化设计和 NAS 可以使参数量降低数个数量级（例如，PocketNet 将 90.5M 参数减少至 0.8M），且精度损失极小。
• 权衡 (Trade-offs)： 综述发现一个普遍趋势：轻量化模型通常能保持在教师基准模型的 ±2 个百分点之内，同时实现 10–100 倍的压缩。然而，激进的压缩（如 LCCNet）会导致显著的精度下降（约 18 个百分点），这表明压缩效率存在极限。
• 差距： 分析显示，目前缺乏标准化的效率评估指标，缺乏专门为低资源硬件设计的 3D 数据集，且在边缘设备上的真实临床验证也较为有限。

意义与主张

本文主张，轻量化深度学习不仅仅是精度与效率之间的权衡，更是使 3D 医学影像实现全球普及的必然演进。

• 可及性： 通过降低计算和内存需求，这些技术能够使先进的诊断工具部署在农村和移动医疗环境中，从而使目前被排除在医学 AI 益处之外的数十亿人受益。
• 可持续性： 高效的模型符合“绿色 AI”原则，通过减少训练和推理过程中的碳足迹来实现。
• 可行性： 本综述证明，在保持预测性能的同时，实现一个到三个数量级的参数、FLOPs 和推理时间的缩减是完全可能的，这挑战了“高精度必须依赖巨型模型”的观念。
• 未来方向： 作者认为，该领域必须从孤立的压缩技术转向标准化、具备效率意识的评估指标、开发紧凑型 3D 基准测试，以及开发集成临床数据的多模态端到端 3D 系统。最终目标是从研究原型转型为可靠、廉价且可部署于资源受限环境中的临床工具。