SigLino: Efficient Multi-Teacher Distillation for Agglomerative Vision Foundation Models

1. 研究背景与问题 (Problem)

核心挑战：
视觉基础模型（Vision Foundation Models, VFMs）通常针对单一任务或单一监督源进行优化（例如，SigLIP 擅长图文对齐，DINO 擅长密集预测和几何结构）。虽然通过**多教师蒸馏（Multi-Teacher Distillation, MT-Distillation）**可以将不同模型的互补能力统一到一个聚合的视觉骨干网络中，但现有方法存在以下痛点：

1. 计算成本高昂： 需要大量训练样本和复杂的训练策略。
2. 数据效率低： 随机采样的网络爬取数据存在长尾分布偏差，导致模型在细粒度任务上表现不佳。
3. 多分辨率训练不稳定： 原生分辨率图像导致 Token 数量差异巨大，难以在 Batch 中平衡，容易引发优化不稳定或低分辨率特征的遗忘。
4. 几何结构丢失： 传统的点对点蒸馏可能破坏教师模型嵌入空间中的成对几何关系（Pairwise Geometry），影响聚类质量和图文对齐。
5. 架构限制： 现有的聚合模型多采用模块化设计（视觉编码器 + LLM），缺乏原生的多模态早期融合（Early-fusion）能力。

研究目标：
探索一种高效的框架，利用多教师蒸馏训练聚合视觉基础模型，在降低计算成本和数据需求的同时，保持甚至提升表征质量，并支持早期融合的视觉 - 语言模型（Grounding-VLM）。

2. 方法论 (Methodology)

作者提出了 SigLino，这是一个高效的聚合视觉基础模型家族，通过蒸馏 SigLIP2（图文对齐强）和 DINOv3（密集特征强）的知识来训练学生模型。

2.1 核心组件与架构

• 学生模型架构： 采用 混合专家（Mixture-of-Experts, MoE） 架构。
  • 包含特定于模态的专家（Vision Experts）和共享专家。
  • 这种设计天然支持早期融合的 Grounding-VLM，允许文本和图像 Token 在每一层进行交互，而非传统的“视觉编码器+LLM"堆叠。
• 教师模型：
  • SigLIP2: 提供强大的图文对齐能力。
  • DINOv3: 提供高质量的密集视觉特征和几何结构。

2.2 关键技术创新

1. 非对称关系知识蒸馏 (Asymmetric Relational Knowledge Distillation, ARKD)

   • 问题： 传统的关系知识蒸馏（RKD）试图匹配所有样本对的几何关系，但这可能会破坏 DINOv3 的聚类结构，导致 kNN 性能下降。
   • 方案： 提出 ARKD。仅当样本对在教师空间中的距离小于中位数（即属于同一簇）时，才强制拉近学生空间中的距离；反之，若距离较远，则不强制推远（或仅做单向约束）。
   • 效果： 既加速了图文对齐（特别是针对 DINOv3），又保留了聚类质量，避免了 kNN 性能下降。

2. Token 平衡批处理 (Token-balanced Batching)

   • 问题： 原生分辨率图像（如 256x256 vs 768x768）产生的 Patch Token 数量差异巨大，导致 Batch 内 Token 分布不均，梯度不稳定。
   • 方案： 将多张不同分辨率的图像打包（Packing）到固定 Token 预算的序列中，利用 FlexAttention 防止图像间的注意力干扰。
   • 损失归一化： 对每个图像的损失根据其 Token 数量进行归一化，确保高分辨率图像不会主导梯度。
   • 效果： 实现了多分辨率训练的稳定性，防止了低分辨率特征的遗忘，并显著提高了训练吞吐量（从 7.5k 提升至 20k tokens/秒）。

3. OpenLVD200M 数据策展

   • 方法： 利用 层次聚类（Hierarchical Clustering） 和平衡采样技术，从 23 亿张图像（DFN + LAION）中筛选出 2 亿张图像。
   • 优势： 相比随机采样，该方法能更均匀地覆盖视觉概念（特别是长尾和细粒度概念），显著提升了多教师蒸馏的样本效率。

4. Gram 锚定 (Gram Anchoring)

   • 应用场景： 在将蒸馏模型初始化为 Grounding-VLM 进行微调时。
   • 问题： 直接微调会破坏密集特征的空间结构（导致分割性能下降）。
   • 方案： 在微调过程中，通过 Gram 矩阵损失将学生模型的 Patch 特征与冻结的教师特征对齐，保持空间一致性。

3. 主要贡献 (Key Contributions)

1. OpenLVD200M 数据集： 构建了一个包含 2 亿张图像的策展数据集，通过层次聚类优化了概念分布，证明了其在多教师蒸馏中的高效性。
2. SigLino 模型系列： 发布了包含 Dense 和 MoE 变体的蒸馏模型（如 SigLino-0.6B, SigLino-MoE-0.15-0.6B）。
   • 性能： 在图像 - 文本分类、kNN 分类和检索任务上达到了 SOTA，且仅使用了约 2300 亿 Token（比 RADIOv2.5 少 4.7 倍）。
   • 效率： MoE 变体在仅激活 0.15B 参数时，性能仍优于 RADIOv2.5-H (0.6B)。
3. 技术突破：
   • 提出了 ARKD，解决了关系蒸馏中聚类质量与对齐速度的权衡问题。
   • 提出了 Token-balanced Batching，解决了多分辨率训练的不稳定性。
4. 早期融合 VLM 验证： 证明了使用蒸馏后的 MoE 视觉专家初始化早期融合 Grounding-VLM，在少样本标注下即可实现强大的指代分割（Referring Expression Segmentation）和检测能力，优于从头训练。

4. 实验结果 (Results)

• 分类与检索 (Classification & Retrieval):
  • 在 ImageNet、CUB-200 等基准测试中，SigLino 的集成（Ensemble）结果超越了教师模型（SigLIP2 和 DINOv3）的平均表现。
  • 在 MSCOCO 和 Flickr30k 检索任务上，Recall@1 指标显著优于 RADIOv2.5 基线。
  • 细粒度优势： 在 FGVC-Aircraft 等细粒度数据集上，OpenLVD200M 带来的提升尤为明显（+18.64%）。
• 分割任务 (Segmentation):
  • 在 ADE20k 和 PASCAL-VOC 的线性探测（Linear Probing）中，SigLino 的 mIoU 表现优于现有基线。
• Grounding 任务 (Grounding VLM):
  • 使用 SigLino 初始化的早期融合 VLM 在 RefCOCO/+/g 数据集上的表现，相比从头训练（Scratch）提升了约 2-3 倍。
  • 多教师初始化（SigLino）比单教师初始化（仅 SigLIP2 或仅 DINOv3）有显著提升（RefCOCO 上提升约 9.66%）。
• 效率对比：
  • SigLino-MoE 在参数效率上表现卓越，以一半的活跃参数达到了与 RADIOv2.5-H 相当甚至更好的性能。

5. 意义与影响 (Significance)

• 重新定义聚合模型训练范式： 证明了通过精心设计的蒸馏策略（数据策展、损失函数优化、批处理策略），可以在大幅降低计算成本的同时，构建出超越单一教师模型的通用视觉基础模型。
• 推动早期融合 VLM 发展： 展示了基于 MoE 的早期融合架构在 Grounding 任务上的巨大潜力，为未来构建更高效、原生的多模态大模型提供了新路径。
• 开源贡献： 发布了 OpenLVD200M 数据集和多个检查点，降低了社区进行高效视觉基础模型研究的门槛。
• 方法论通用性： 提出的 ARKD、Token-balanced Batching 和 Gram Anchoring 等技术可广泛应用于其他多任务或多模态学习场景。

总结： SigLino 不仅是一个性能卓越的模型，更是一套系统性的方法论，解决了多教师蒸馏中的数据效率、训练稳定性和几何结构保持等关键问题，为构建下一代高效、统一的视觉基础模型奠定了坚实基础。