Information theoretic underpinning of self-supervised learning by clustering

技术摘要：基于聚类的自监督学习的信息论基础

问题陈述
自监督学习（SSL）已成为构建基础模型的基石，但其理论基础往往滞后于其实证成功。尽管许多 SSL 方法（特别是基于聚类的方法，如 DeepCluster、SwAV、DINO）依赖于数据归一化（centering）和蒸馏等启发式实践，但缺乏对这些过程的严格数学论证。具体而言，SSL 中使用的优化目标与防止“模式崩溃”（即模型将所有数据分配给单个聚类）的常见做法之间的关系，需要一个形式化的信息论解释。

方法论
作者将 SSL 表述为一个蒸馏学习问题，借鉴了监督学习的类比，但针对无标签数据进行了调整。核心方法论包括以下步骤：

1. K-L 散度公式化：学习目标被定义为最小化“教师”分布 $Q(y|z)$ 与“学生”分布 $P(y|z)$ 之间的 Kullback-Leibler（K-L）散度。与教师分布固定的监督学习不同，在此 SSL 框架中，两个分布都必须被学习。
2. 交替方向优化：优化通过交替进行以下步骤执行：
   • 学生更新：固定教师分布 $Q$，优化学生网络参数 $\theta$ 和聚类均值 $w_i$，以最小化 K-L 散度的交叉熵项。
   • 教师更新：固定学生分布 $P$，优化教师分布 $Q$。
3. 防止模式崩溃的正则化：为了防止模式崩溃，作者引入了基于聚类分配先验熵的正则化约束。目标是最大化教师边缘分布 $Q(y)$ 的熵，确保数据在所有 $K$ 个聚类中公平分布，而不是坍缩到少数几个聚类中。
4. 闭式解的推导：通过对正则化目标函数关于教师分布 $Q(y|z)$ 求导，作者推导出了闭式解。该解表明，最优教师分布与经过聚类先验倒数缩放的学生分布成正比：
   $$Q(y|z) = \frac{P(y|z)}{Q(y)}$$
   其中 $Q(y)$ 表示聚类 $y$ 的先验概率。
5. 通过詹森不等式与归一化的联系：论文证明了这种逆先验归一化可以使用詹森不等式（Jensen's inequality）进行近似。通过假设聚类权重向量是归一化的（即它们的均值为零），归一化项得以简化。这一数学推导表明，流行的数据归一化启发式方法（从嵌入中减去批次均值）是从第一性原理推导出的逆先验归一化的理论近似。

主要贡献

• 理论统一：本文提供了一个统一的信息论框架，将 SSL 表述为带有学生和教师网络交替更新的 K-L 散度优化问题。
• 启发式方法的理论依据：它为用于防止模式崩溃的逆聚类先验归一化提供了严格的理论推导。
• 与归一化的联系：它在推导出的逆先验归一化与 DINO 等方法中广泛使用的归一化过程（减去嵌入均值）之间建立了数学联系。这解释了归一化为何有效：它近似了理论上最优的逆先验缩放。
• 教师更新的闭式解：作者推导出了教师分布的具体更新规则，该规则明确包含了聚类先验，超越了算法启发式方法（如 Sinkhorn-Knopp），转向数学解。

结果与主张
本文未提出新的实验基准或新颖架构。相反，其“结果”是理论推导：

• 作者表明，最小化正则化 K-L 散度自然会导致一个教师更新规则，该规则通过聚类先验的倒数对学生概率进行缩放。
• 通过应用詹森不等式，他们证明了这种缩放在数学上可以通过对数据进行归一化（减去平均嵌入）来近似。
• 论文主张，这一推导验证了现有成功的 SSL 方法（如 DINO）的有效性，这些方法利用了归一化，证实了这些启发式方法并非随意，而是基于信息论。

意义
这项工作的意义在于其试图纠正人工智能发展的“失衡”，即实验进展往往快于理论理解。通过为基于聚类的 SSL 提供理论基础：

• 它验证了最先进模型中使用的蒸馏和归一化机制，解释了它们为何能有效防止模式崩溃。
• 它弥合了 SSL 的实用启发式方法与信息论理论原则（特别是 K-L 散度和熵最大化）之间的差距。
• 它基于推导出的模型，提出了未来的研究方向，例如研究表示维度与温度之间的关系，或探索基于固定权重向量的学习。

作者保持了谦逊的立场，指出虽然他们的模型支持现有方法，但近似（如詹森不等式的使用）在特定场景（例如嵌入范数变化较大时）可能存在局限性，尽管这些局限性并不否定归一化的实际有效性。