技术摘要：大规模人工生成体积数据集的拼接与维度效应

问题陈述

基于深度学习的图像生成，特别是在风格迁移任务中，面临着处理大规模科学数据集（如冷冻电子显微镜体积数据）时固有的计算限制。当前的硬件限制了单次前向传播能够处理的数据规模，因此必须将大型体积划分为较小的补丁（patches），分别进行处理并重新组装——这一过程被称为“拼接”（stitching）。

这种组装过程会引入拼接伪影（stitching artifacts），即相邻补丁由于独立处理、归一化或使用引入非固有像素信息的填充卷积（padded convolutions），导致其边界无法完美对齐。虽然这些伪影已知会影响分割任务，但它们对用于风格迁移和下游科学分析的生成模型具体有哪些影响，目前仍缺乏深入了解。此外，研究人员面临着关于**补丁维度（patch dimensionality）**的关键决策：是使用 2D 切片（逐层切片）还是 3D 补丁来组装体积。虽然 3D 方法提供了更多的上下文信息，但它们会产生巨大的计算成本和内存限制，往往迫使使用较小的批次大小（batch sizes），这可能会导致训练不稳定。

方法论

作者使用在冷冻电子显微镜（cryoEM）数据集上训练的 CycleGAN 模型研究了这些问题，具体是在大鼠与人类线粒体体积（MitoEM 数据集）之间进行转换，并在 openorganelle 数据集上进行了验证。

实验设计

研究系统地评估了三个主要变量：

1. 拼接策略：
   • 平铺并拼接（Tile-and-Stitch）： 在训练和推理期间使用有效卷积（valid convolutions，无填充）。输出补丁根据下采样因子进行裁剪以去除边界伪影，并且相邻补丁通过偏移来匹配裁剪后的尺寸，确保没有重叠。
   • 带有平均重叠的填充卷积（Padded Convolutions with Averaged Overlap）： 在推理期间使用零填充以及一个反射填充的“光晕”（halo）。补丁通过重叠进行组装，重叠区域通过平均化处理以减轻接缝。
   • 无重叠的有效卷积（Valid Convolutions without Overlap）： 使用有效卷积，但保持原始输入补丁的大小作为步长，从而实现无重叠且无需裁剪输出。
2. 补丁维度： 对比了 2D 模型（逐层处理切片）与 3D 模型（处理体积补丁）。研究还测试了第三种方法——正交切片（Orthoslice），该方法整合了来自三个正交方向的预测结果。
3. 评估指标：
   • 感知质量： 使用生成体积与目标域之间的 Fréchet Inception Distance (FID) 进行测量。
   • 下游性能： 通过使用在生成的体积上训练的 3D U-Net 进行语义分割任务（线粒体分割）中的交并比（IoU）进行测量。

模型架构与训练

• 生成器： 基于 UNet 的架构，包含 5 个通过步长卷积实现的下采样步骤。
• 训练调整： 在推理期间冻结实例归一化（instance normalization）统计量，以防止出现针对特定补丁的归一化伪影。此外，还引入了结构相似性（SSIM）损失以保留结构特征。
• 数据处理： 训练期间排除了方差较低（主要为背景）的补丁。训练期间收集了全局归一化统计量，并在推理期间将其冻结，以确保各补丁之间的一致性。

关键结果

1. 感知指标（FID）的局限性

研究发现，FID 分数不足以评估在下游任务背景下生成的科学体积质量。

• FID 未能检测到显著影响下游分割性能的细微拼接伪影。
• 具有最佳 FID 分数（在感知上最接近目标域）的体积并不一定能产生最好的分割结果。相反，有时 FID 分数较差的体积也可能与较低的分割性能相关联，但该指标并非可靠的任务特定效用预测器。

2. 拼接对下游任务的影响

• 伪影传播： 即使是在概率图中肉眼难以察觉的细微拼接伪影，也会传播到最终的分割掩码中，导致沿补丁边界出现错误。
• 最优拼接： **平铺并拼接（Tile-and-Stitch）**方法（通过有效卷积和裁剪）始终产生最稳健的下游分割结果，优于重叠平均法和无重叠法。
• 3D 与 2D 拼接： 拼接伪影（例如在重叠平均法中）对 3D 模型的影响比对 2D 模型的影响更为显著。

3. 维度与训练稳定性

• 训练稳定性： 使用较大批次大小训练的 2D 模型比 3D 模型显著更加稳定，因为 3D 模型常受限于内存约束，批次大小仅为 1。这种稳定性使得 2D 训练具有更一致的 FID 分数和更少的极端异常值。
• 性能权衡： 虽然 采用无伪影拼接（Tile-and-Stitch）的 3D 模型在下游分割任务中略微优于 2D 模型，但这种提升非常微小（差异通常仅出现在 IoU 的第 3 或第 4 位小数）。作者得出结论，这种边际收益几乎无法抵消训练和存储 3D 模型所带来的额外计算成本。
• 集成（Orthoslice）： 从三个正交方向集成预测结果提高了低质量体积（即初始存在伪影的体积）的质量，但对于已经高质量的输出则没有带来任何益处。

意义与主张

本文声称是首次系统研究拼接策略、补丁维度及其对大规模 3D 生物医学数据集风格迁移中感知指标和下游科学任务共同影响的研究。

作者强调了三个主要贡献：

1. 指标有效性： 他们证明了当最终目标是下游分析任务时，像 FID 这样的感知指标在评估生物医学成像领域适配性方面是不充分的。评估必须包含下游性能指标。
2. 最佳实践： 他们确立了无伪影拼接（通过有效卷积和裁剪）对于最大化下游性能至关重要，即使这些视觉伪影是不可察觉的。他们还建议使用全局归一化统计量以防止针对特定补丁的伪影。
3. 实践指导： 研究表明，虽然 3D 模型通过增加上下文提供理论上的优势，但由于小批次大小导致的训练不稳定性，这种优势往往被抵消。对于大多数应用，带有严格拼接协议的稳定 2D 模型可能是更高效的选择，除非 3D 模型的边际性能增益是严格必需的。

最后，作者发布了一个经过改进的、内存高效的 CycleGAN 代码库，该代码库可以通过 Zarr 格式处理任意大的数据集，旨在为生物成像社区提供透明且无伪影的拼接工具。