Using Deep Learning Models Pretrained by Self-Supervised Learning for Protein Localization

这是一篇关于利用**自监督学习（Self-Supervised Learning, SSL）预训练的深度学习模型来解决蛋白质亚细胞定位（Protein Localization）**任务的论文。该研究重点探讨了在任务特定数据集（如 OpenCell）规模较小、标注数据稀缺的情况下，如何利用大规模预训练模型（基于 ImageNet-1k 和 HPA 数据集）进行迁移学习，并解决了不同数据集间通道配置不匹配的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心挑战：基于图像的蛋白质定位分析对于理解疾病机制和药物靶点至关重要。然而，任务特定的显微镜数据集（如 OpenCell）通常规模较小，难以训练出鲁棒的深度学习模型。
• 现有局限：虽然自监督学习（SSL）在大规模特定领域数据集上预训练显示出潜力，但其在跨域迁移（Cross-domain transferability）方面的表现尚不明确。特别是当预训练数据集与目标数据集在染色协议、成像模式、通道配置（如通道数量、含义不同）存在差异时，如何有效利用预训练模型仍是一个未充分探索的问题。
• 具体研究问题：
  1. 固定通道的 SSL 预训练 ViT 骨干网络（在自然图像 vs. 特定领域荧光图像上）在微调和不微调的情况下，对 OpenCell 数据集的泛化能力如何？
  2. 如何解决不同数据集间的通道不匹配问题（Channel Mismatch）？
  3. 微调所需的任务特定数据量对性能有多大影响？
  4. 在单细胞级别，HPA 单细胞预训练模型能否在标注数据稀缺时提供有意义的嵌入表示？

2. 方法论 (Methodology)

2.1 数据集

• 预训练源：
  • ImageNet-1k：大规模自然图像数据集（3 通道 RGB）。
  • HPA FOV：人类蛋白质图谱（Human Protein Atlas）的视场级数据集，包含约 12 万张 4 通道荧光图像（蛋白、微管、细胞核、内质网）。
  • HPA Single-cell：HPA 的单细胞级数据集，约 10.5 万张图像，18 个定位类别。
• 目标数据集：
  • OpenCell：包含 6,301 张双通道图像（标记蛋白 + 细胞核），使用 CRISPR 技术进行内源性标记，涵盖 17 个亚细胞定位类别。

2.2 模型架构

• 使用 DINO (Self-distillation with no labels) 框架，基于 Vision Transformer (ViT) 作为骨干网络。
• 比较了四种预训练策略：ImageNet-1k、HPA FOV、HPA Single-cell 以及从零开始在 OpenCell 上训练。

2.3 通道处理策略 (Channel Handling)

由于预训练模型（如 ImageNet 的 3 通道或 HPA 的 4 通道）与 OpenCell（2 通道）的输入格式不匹配，论文提出了两种策略：

1. 通道复制 (Channel Replication)：独立提取每个通道的特征，然后拼接。无需额外训练，但计算成本高且特征维度随通道数线性增加。
2. 通道级嵌入 (Channel-wise Embedding)：
   • 自然映射 (Natural)：将 OpenCell 的蛋白通道映射到 HPA 的蛋白通道，细胞核映射到细胞核通道，缺失通道补零。
   • 随机映射 (Random)：将 OpenCell 通道随机映射到预训练模型的通道（例如蛋白映射到 RGB 的红色或绿色通道）。
   • Padding：对于通道数量不匹配的情况，使用零填充。

2.4 评估方法

• 视场级 (FOV) 分类：提取特征嵌入，训练一个轻量级的 MLP 分类头（Softmax）预测蛋白质定位标签。使用 5 折交叉验证，指标为 Macro F1 分数。
• 单细胞级 (Single-cell) 分类：提取单个分割细胞的嵌入，使用 k-近邻 (k-NN) 分类器（无需训练分类头）评估特征的可分性。
• 微调实验：在 OpenCell 数据集上对预训练骨干网络进行微调，并研究微调数据比例（20% - 100%）对性能的影响。

3. 关键贡献 (Key Contributions)

1. 跨域迁移的有效性验证：证明了在大规模领域特定数据集（HPA）或自然图像（ImageNet）上预训练的 DINO-ViT 模型，即使不进行微调（Zero-shot），也能在 OpenCell 数据集上取得极具竞争力的蛋白质定位性能。
2. 通道处理策略的实证分析：
   • 发现通道级嵌入策略显著优于通道复制策略。
   • 强调了语义对齐的重要性：将目标数据集的通道映射到预训练数据集中语义对应的通道（自然映射），比随机映射能带来显著的性能提升（约 0.03 的 F1 分数差距）。
3. 微调数据量的影响：揭示了微调数据量对性能的关键作用。虽然 20% 的微调数据有时甚至不如完全不微调（可能引入分布偏移），但随着数据量增加至全量，性能显著提升。
4. 单细胞级表征学习：展示了在单细胞粒度上进行领域特定预训练（HPA Single-cell）能产生比视场级预训练更优越的特征表示，即使在标注数据极少的情况下，也能通过 k-NN 捕捉到生物学有意义的定位模式。

4. 实验结果 (Results)

4.1 视场级 (FOV) 定位预测

• 零样本 (Zero-shot) 表现：
  • HPA FOV 预训练（自然通道映射）表现最佳，Macro F1 为 0.822 ± 0.007。
  • ImageNet-1k 预训练（ViT-base）表现次之，Macro F1 为 0.818 ± 0.007。
  • OpenCell 从零训练：ViT-small 为 0.810，ViT-base 为 0.792。
  • 结论：领域特定预训练（HPA）略优于自然图像预训练，且两者均优于从零训练。
• 微调后表现：
  • 在 OpenCell 上微调后，HPA FOV 预训练模型性能进一步提升至 0.860 ± 0.013。
  • ImageNet-1k 预训练模型微调后达到 0.844。
  • 微调显著缩小了与从零训练模型的差距，并扩大了领域特定预训练的优势。
• 通道策略对比：自然通道映射始终优于随机映射和通道复制。

4.2 单细胞级定位预测

• 使用 k-NN 评估单细胞嵌入质量。
• HPA Single-cell 预训练模型在所有邻域大小（k=1 到 20）下均表现最佳（k=1 时 Macro F1 达 0.852）。
• HPA FOV 预训练模型次之，ImageNet-1k 预训练模型表现最差。
• 这表明单细胞粒度的预训练对于捕捉精细的亚细胞结构至关重要。

4.3 定性分析

• UMAP 可视化显示，模型能够清晰地将不同定位类别的蛋白聚类。
• 模型能够识别出专家标注中可能遗漏的微弱信号（如分散的囊泡、额外的核斑点），但也存在因信号重叠（如高尔基体与囊泡）导致的误判。

5. 意义与结论 (Significance & Conclusion)

• 实用建议：对于小规模的显微镜任务，直接复用在大规模领域相关数据集（如 HPA）上预训练的固定通道 SSL 骨干网络是高效且有效的策略。
• 关键操作：在迁移时，必须仔细处理通道映射，**语义对齐（自然映射）**比随机映射或简单的复制策略重要得多。
• 微调策略：如果数据量允许，进行全量微调可以进一步提升性能；但如果微调数据极少（如<20%），直接零样本使用预训练模型可能更稳健。
• 未来方向：虽然本研究仅使用了 DINOv1，但结论可推广至其他 SSL 方法。未来的工作应探索更通用的通道无关架构，以进一步降低对特定通道配置的依赖。

总结：该论文证明了自监督学习（特别是 DINO）结合领域特定的大规模预训练，能够有效解决荧光显微镜图像中蛋白质定位任务的数据稀缺问题，并提供了关于通道适配和微调策略的具体、可操作的指导。