🤖 machine learning

Von Mises-Fisher Mixture Model with Dynamic Shrinkage for Realistic Test-Time Transduction

本文提出了 MOON，一种无需训练且与模型无关的测试时转导方法，该方法利用带有由零样本先验驱动的动态收缩的冯·米塞斯-费舍尔混合模型，以鲁棒地处理类别不平衡问题并防止视觉语言模型的性能崩溃。

原作者： Jiazhen Huang, Zhiming Liu, Changhu Wang, Wei Ju, Ziyue Qiao, Xiao Luo

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiazhen Huang, Zhiming Liu, Changhu Wang, Wei Ju, Ziyue Qiao, Xiao Luo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人，它读过互联网上的每一本书，看过每一张图片。它是一个理解世界的天才，但从未在特定的、棘手的场景中接受过测试。这就是**视觉语言模型（Vision-Language Models, VLMs）**的世界。这些 AI 系统可以观察一张照片并描述它，或者阅读一个句子并构思出其中的场景。它们极其强大，但通常只有在获得大量、完美平衡的练习示例时才能发挥最佳效果。

然而，现实世界是混乱的。想象一下，你递给这个机器人一叠照片进行分类，但这一叠照片很奇怪：99% 都是猫的照片，只有一张是狗的照片。或者，照片在你看的过程中不断变化，先是长时间只有汽车，然后突然涌入大量的鸟类。这被称为类别不平衡（class imbalance）。当机器人试图在运行过程中从这些不平衡、混乱的数据堆中学习（这个过程被称为测试时转导/test-time transduction）时，它往往会感到困惑。它可能会觉得所有东西都是猫，因为它看到了太多猫；或者它可能会因为害怕那只罕见的狗而不敢做出正确的判断。科学家们面临的大问题是：我们如何教这些机器人保持冷静和准确，即使面对不平衡且混乱的数据，且不需要从头开始重新训练它们？

于是，MOON 登场了，这是由研究员 Jiazhen Huang 及其团队提出的一种新方法。把 MOON 想象成我们机器人大脑中一位非常睿智、谨慎的图书管理员。当机器人尝试对一批新照片进行分类时，它通常会根据以前学到的知识做出一个快速猜测（即“零样本/zero-shot”猜测）。但在一个包含稀有项和常见项的混乱堆栈中，机器人的快速猜测可能是嘈杂且不可靠的。

MOON 引入了一个被称为**动态收缩（Dynamic Shrinkage）**的聪明技巧。想象一下，机器人正试图在一间拥挤的房间里找到一群朋友的中心。如果这群人规模庞大且清晰可见，机器人会完全信任自己的眼睛。但如果这群人规模很小，或者房间里充满了与朋友完全不像的陌生人，机器人就会变得犹豫不决。MOON 告诉机器人：“嘿，如果你没把握，就不要太相信你那摇摆不定的猜测。把你的答案向你已有的、安全且可靠的知识拉近一点。”

MOON 的神奇之处在于它并没有使用固定的规则来决定要“拉回”多少。相反，它是动态调整的。

在个体层面： 如果机器人正在看一张照片并感到非常困惑（高“熵”），MOON 会说：“忽略那个猜测；它太嘈杂了。”
在群体层面： 如果机器人看到某一类项目在堆栈中几乎没有出现（比如在猫海中的那只单只狗），MOON 会说：“不要让那个稀有项误导你改变你整个理解。坚持你对狗的既有认知。”

研究人员在 11 个不同的数据集上测试了该方法，涵盖了从花朵、汽车到场景和纹理的各种图像。他们发现，虽然其他方法在数据不平衡时经常崩溃或表现极差，但 MOON 却能保持稳定。事实上，在庞大的 ImageNet 数据集上，MOON 在 10 种不同场景下将机器人的准确率提高了 13.2%，大幅超越了之前的最优方法。它实现这一切无需任何额外的训练数据或复杂的调优，而且速度极快——处理数千个样本仅需几毫秒。

论文明确反对了这样一种观点，即我们可以简单地将所有数据视为完美平衡，或者可以使用单一、静态的规则来修复错误。他们指出，缺乏这种“锚定”（一个可以拉回的安全基准）机制的方法往往会对嘈杂的局部数据产生过拟合，并最终导致崩溃。他们还表明，即使是那些拥有“锚点”的方法，也往往会失败，因为它们使用的收缩强度是“静态”的，不会根据类别的稀有或常见程度而变化。MOON 通过使收缩强度变为动态解决了这个问题，即根据机器人实际拥有的证据实时进行调整。

简而言之，作者建议通过将机器人的知识建模为球面上的点（使用一种称为 Von Mises-Fisher 混合模型的方法），并仅在必要时将猜测轻轻拉向一个安全的锚点，我们可以让这些强大的 AI 系统变得更加鲁棒。他们通过广泛的实验证明了这一点，展示了 MOON 不仅仅是一个理论构想，更是一个实用、高效的工具，适用于多种不同类型的图像和 AI 模型。这提醒我们，有时，AI 最聪明的事情就是知道什么时候该相信直觉，以及什么时候该查阅笔记。

技术摘要：基于动态收缩的 von Mises-Fisher 混合模型，用于实现真实的测试时转导

1. 问题定义

视觉-语言模型（VLMs），如 CLIP，通过在共享潜空间中对齐视觉和文本概念，展示了卓越的零样本能力。然而，在仅使用无标签数据的情况下，如何在真实的部署场景下增强其测试时性能仍然具有挑战性。

现有的测试时自适应（TTA）和转导方法通常假设类别分布平衡或类别边缘分布均匀。但在现实中，测试数据流经常表现出高度不平衡的类别分布（例如，稀疏批次、长尾分布或非独立同分布的随时间变化的关联）。在这些条件下，标准的转导方法——通常依赖于软概率聚类——会遭遇性能退化甚至灾难性崩溃。这种失败源于两个主要问题：

过度拟合局部统计特性： 由于缺乏将估计值锚定到先验知识的机制，这些方法会过度拟合批次内多数类别的偏差统计特性，从而放大少数类或缺失类的误差。
静态收缩建模： 现有的通过引入正则化（例如通过 KL 散度锚点）的方法，通常使用一个静态超参数来表示收缩强度。这假设所有类别和实例的可靠性是相等的，未能根据给定批次中特定类别的不同置信度和存在情况进行动态调整。

2. 方法论：MOON

作者提出了 MOON（具有动态收缩的 von Mises-Fisher 模型混合），这是一种用于真实场景下测试时转导的无需训练、与模型无关的方法。该方法基于惩罚似然估计（PLE），并在归一化 VLM 嵌入所在的单位超球面上运行。

2.1 理论基础：PLE 与自适应收缩

作者通过 PLE 的视角重新审视了转导问题，将目标公式化为最小化负对数似然（NLL）加上一个正则项。他们在理论上证明了，引入基于零样本先验的 KL 散度锚点项，自然会产生一种自适应收缩行为。

机制： 类别统计量的更新变为经验估计值 ( $\hat{\mu}_k$ ) 与先验锚点 ( $\mu'_k$ ) 的凸组合：
$\mu_k = \beta_k \hat{\mu}_k + (1 - \beta_k) \mu'_k$
其中收缩强度 $\beta_k$ 由有效样本计数 ( $n_k$ ) 与锚点权重 ( $\alpha$ ) 的比例决定。
意义： 拥有充足支持的类别趋向于标准极大似然估计（MLE），而稀有或缺失的类别则保持强正则化，向先验靠拢，从而防止负迁移。

2.2 MOON 的核心组件

MOON 使用 von Mises-Fisher (vMF) 分布混合来实现这一理论，该分布在拓扑上天然适用于归一化嵌入的单位超球面。

实例级动态收缩 ( $\gamma$ )：
- 为了处理批次内的噪声预测，MOON 为每个样本引入了一个基于熵的权重 $\gamma_i$ 。
- 高预测熵（不确定预测）的样本在似然计算中的权重会被降低，从而在参数估计期间抑制不可靠的分配。
类别级动态收缩 ( $\alpha_k$ )：
- MOON 没有使用静态标量 $\alpha$ ，而是采用了由零样本先验导出的类别特定权重 $\alpha_k$ 。
- $\alpha_k$ 与类别置信度 ( $\lambda_k$ ) 成反比， $\lambda_k$ 定义为平均置信度与最大置信度的几何平均值。
- 效果： 高置信度类别（可能存在的类别）允许模型从经验数据中学习更多（ $\beta_k \to 1$ ），而低置信度或离群类别（可能不存在的类别）则被强制强烈地向锚点收缩（ $\beta_k \to 0$ ），从而减轻来自不存在类别的负迁移。
优化：
- 该方法使用 块连续最小化（BSUM） 算法，在更新软标签分配 ( $z$ ) 与混合参数 ( $\mu, \kappa$ ) 之间交替进行。
- 更新过程具有闭式解，确保了计算效率。该算法收敛极快，通常只需几次迭代。

3. 主要贡献

新的理论视角： 本文系统地分析了现有转导方法在类别不平衡下的脆弱性。作者证明了以 KL 锚定的 PLE 本质上提供了自适应收缩，并指出缺乏锚定机制和静态收缩建模是导致在现实设置中失败的根本原因。
新颖的方法论 (MOON)： 一个结合了 vMF 混合以及在实例级和类别级进行动态、数据驱动收缩的新颖框架。这种设计有效地抑制了不可靠的分配，并防止了来自离群类别的有害更新，且无需针对特定任务进行超参数调优。
实验验证： 在 11 个数据集和两种现实设置（具有有限有效类别的批次自适应以及非独立同分布流的在线自适应）下进行的广泛实验，验证了该方法的有效性。

4. 实验结果

MOON 使用 CLIP ViT-B/16 及其他骨干网络，在多个先进基准模型（包括 TransCLIP, StatA, ADAPT 以及各种在线 TTA 方法）上进行了评估。

性能： MOON 始终优于基准模型。在具有严重类别不平衡（极低 $K_{eff}$ ）的 ImageNet 批次自适应任务中，MOON 将 CLIP 的零样本性能提升了 16.2%（达到 82.8%），显著超过了最强的基准模型 (StatA) 8.8%。它在各种不平衡场景下的 11 个数据集中的 10 个上都取得了最先进的结果。
效率： MOON 是无需训练且高效的。它可以在数十毫秒内处理数千个样本，仅需标准 CLIP 推理延迟的 3.3%。它避免了某些基于高斯方法所需的昂贵梯度反向传播和内循环优化。
鲁棒性： 该方法在不同的批次大小、模型架构（ResNet, ViT）以及 VLM 规模（高达 1.1B 参数）下均表现出鲁棒性。即使在类别稀疏性发生不可预测波动的“随机”场景下，它也能保持性能。
收敛性： 分析表明 MOON 收敛迅速（通常在 3 次迭代内完成），而没有锚定机制的方法往往会在迭代过程中发散或崩溃。

5. 重要性与主张

本文声称 MOON 为在类别分布未知且不平衡的现实场景中部署 VLMs 提供了一个实用、有效且高效的解决方案。

实用性： 通过在黑盒假设下运行且不需要特定任务的调优，MOON 已经准备好进行无缝部署。
可靠性： 它解决了不平衡设置下的关键问题——负迁移，确保 VLM 在遇到稀疏或倾斜的数据流时不会发生性能退化。
通用性： 使用 vMF 分布以及在 PLE 中的理论基础表明，该方法是增强 VLM 的通用解决方案，独立于特定的底层视觉编码器。

作者总结道，通过系统地通过惩罚似然估计重新审视转导，并引入动态收缩，MOON 成功弥合了理论鲁棒性与实际效率之间的差距。