技术摘要：SLAM-AGS

1. 问题陈述

计算细胞学面临着两个阻碍深度学习应用于癌症检测的关键挑战：

1. 不可靠且昂贵的实例标签： 获取吉级像素（gigapixel）全切片图像（WSI）的详尽块级（patch-level）标注成本极高。因此，完全监督训练通常是不可行的。
2. 极低的见证率（Witness Rates）： 在细胞学 WSI 中，阳性块（包含异常细胞）与总块数的比例通常低于 1%。在如此低的见证率下，标准的弱监督方法（仅依赖切片级标签）会被负实例主导。这会导致过拟合、对稀有阳性样本的泛化能力差，以及模型崩溃（即模型无法有效区分阳性包与负性包）。

虽然多实例学习（MIL）是实现切片级标注的标准解决方案，但在实例级判别仅受弱监督且阳性信号稀疏的情况下，其表现依然乏力。此外，现有的结合自监督和弱监督目标的多任务预训练方法往往受到**梯度冲突（gradient conflicts）**的影响，从而导致训练不稳定并限制了弱监督带来的收益。

2. 方法论：SLAM-AGS

作者提出了 SLAM-AGS（基于自适应梯度手术的切片标签感知多任务预训练），该框架旨在共同优化针对切片阴性块和切片阳性块的表示学习，同时稳定训练过程。

2.1. 多任务预训练目标

该框架改进了 WeakSupCon 方法，根据其切片级标签对块进行分类处理：

• 切片阴性块（监督相似性）： 来自健康（阴性）切片的块被视为具有已知的、共享的负标签。模型优化一个源自监督对比（SupCon）损失的相似性损失（Similarity Loss）, 以促进这些阴性实例在特征空间中形成紧凑的表示。
• 切片阳性块（自监督对比）： 来自阳性切片（可能包含正常细胞和异常细胞的混合）的块被视为无标签。模型在这些块上优化一个 SimCLR 对比目标，以学习鲁棒的、无标签的视觉特征。

总损失是这两个目标的总和：$L = L_{Similarity} + L_{SimCLR}$。

2.2. 自适应梯度手术

为了解决结合异构目标带来的不稳定性，SLAM-AGS 集成了基于 PCGrad 算法的自适应梯度手术（Adaptive Gradient Surgery）：

1. 冲突解决： 当任务梯度之间的余弦相似度为负（表示存在冲突）时，算法将每个任务的梯度投影到另一个任务梯度的法平面上。这消除了破坏性的干扰。
2. 梯度重缩放： 本研究中的一项关键创新是梯度重缩放步骤。标准的投影会降低有效梯度幅度，从而减慢收敛速度。SLAM-AGS 计算原始组合梯度的范数 ($\|g_{sum}\|$) 和投影梯度的范数 ($\|g_{pc}\|$)。如果投影范数较小，则对梯度进行重缩放以保持原始更新幅度：
   $$g_{pc} \leftarrow g_{pc} \cdot \frac{\|g_{sum}\|}{\|g_{pc}\|}$$
   这确保了在消除冲突方向的同时，维持学习信号的整体规模。

2.3. 下游流水线

预训练的编码器被集成到一个基于注意力的多实例学习（MIL）聚合器（具体为 PAMIL）中。这实现了：

• 包级预测： 对整个切片进行分类（例如，恶性程度检测）。
• 实例级检索： 利用注意力分数来识别并检索阳性包中最异常的块。

3. 实验设置

• 数据集： 使用骨髓细胞学数据集 [14]，其特征为 May-Grünwald-Giemsa/Pappenheim 染色 WSI。
• 模拟： 为了模拟具有受控见证率的 MIL 设置，将“淋巴细胞”（多数类）标记为“正常”，并将七种少数细胞类型合并为一个“异常”类。异常实例被注入到正常包中，以创建目标见证率分别为 10%、5%、1% 和 0.5% 的场景。
• 基准模型： 该方法与弱监督训练、SimCLR、WeakSupCon 以及不带梯度重缩放的 SLAM-AGS 变体进行了对比。
• 指标：
  • 包级： F1-Score。
  • 实例级： Recall@400（在按注意力分数排序的前 400 个块中正确识别出的关键实例数量）。

4. 关键结果

实验表明，SLAM-AGS 显著优于现有方法，尤其是在见证率降低的情况下：

• 包级分类 (F1-Score)：
  • 在 10% 和 5% 的见证率下，SLAM-AGS 取得了最高分（分别为 97.1% 和 96.0%），优于弱监督方法 (53.4%) 和 WeakSupCon (84.6%)。
  • 在 0.5% 的见证率下，优势最为明显。SLAM-AGS 达到了 66.4%，而弱监督、SimCLR 和 WeakSupCon 全部崩溃至接近随机水平（~50%）。
• 实例级检测 (Recall@400)：
  • SLAM-AGS 在所有见证率下都保持了 60% 以上 的检测率（例如，在 0.5% WR 时为 65.3%）。
  • 竞争方法（SimCLR、WeakSupCon）在低见证率下掉到了接近随机的水平（~40-45%），无法有效识别关键异常实例。
• 消融实验： “无重缩放版 SLAM-AGS”表现明显较差（例如，0.5% WR 时 F1 为 46.0%），证实了梯度重缩放组件对于稳定优化和保留学习信号至关重要。

5. 重要性与主张

论文声称，对于阳性信号极其稀疏的计算细胞学领域，SLAM-AGS 提供了一个鲁棒的解决方案。其核心意义在于证明了：

1. 梯度干扰是主要瓶颈： 在具有稀疏阳性标签的多任务预训练中，自监督与弱监督目标之间的冲突梯度会使训练变得不稳定。
2. 自适应手术实现稳定性： 通过将梯度投影与保持幅度的重缩放相结合，该框架允许监督目标与自监督目标相互增强而非相互干扰。
3. 极端稀疏下的性能： 该方法使得即使在见证率低至 0.5% 的情况下，也能实现稳定的预训练和卓越的下游性能，而在这种情况下，标准的弱监督和自监督方法都会失效。

作者总结道，减轻梯度冲突和重缩放更新对于在缺乏阳性监督的场景中进行鲁棒的表示学习至关重要。他们指出，虽然实例级检索保持稳定，但包级 F1 分数在最低见证率下仍略有下降，这表明未来的工作应侧重于改进 MIL 聚合器，以更好地利用识别出的实例级信号。

可复现性： 作者已将完整的实现和评估框架开源至 https://github.com/Ace95/SLAM-AGS。