💻 computer science

ExPLoRe: Expert Patch-Level Loss Routing for Multi-Objective Masked Image Modeling

exPLoRe 引入了一种新颖的多目标掩码图像建模框架，该框架利用软混合专家模型（Soft Mixture of Experts）通过梯度耦合调度权重来动态路由逐补丁损失系数，从而解决空间异质性问题，并在 ImageNet-1K 和 ADE20K 基准测试上实现了最先进的性能。

原作者： Konstantinos Georgiou, Maofeng Tang, Hairong Qi

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Konstantinos Georgiou, Maofeng Tang, Hairong Qi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名学生如何识别照片中的物体，比如一只狗或一只鸟。在计算机视觉领域，这被称为掩码图像建模（Masked Image Modeling, MIM）。老师遮住图像的一部分（进行掩码处理），然后让学生猜出缺失的部分，或者描述整幅图像。

为了做好这件事，学生需要同时学习三样不同的东西：

大局观： 理解图像的整体氛围（例如“这是一只狗”）。
细节： 猜出隐藏部分的精确颜色和纹理。
上下文： 将学生的理解与一位已经了解事物外观的“超级教师”（预训练 AI）进行匹配。

问题所在：并非所有情况都适用同一种方法

论文指出当前 AI 模型教学方式中的一个缺陷。通常，老师会给学生一个全局性的统一指令：“将 50% 的注意力放在大局观上，50% 的注意力放在细节上。”

但这就像是告诉一位厨师，要在精致的浓汤和厚重的牛排上使用同样分量的盐。这行不通，因为图像的不同部分需要不同类型的帮助：

狗（前景）： 需要“大局观”和“上下文”的帮助来理解它是一只狗。
草地（背景）： 需要“细节”的帮助来掌握正确的纹理。

现有方法对整幅图像一视同仁，忽略了“狗”的部分和“草地”的部分需要不同的课程。

解决方案：ExPLoRe（聪明的导师）

作者创建了一种名为 ExPLoRe（专家级块级损失路由，Expert Patch-Level Loss Routing）的新方法。他们巧妙地使用了**混合专家模型（Mixture of Experts, MoE）**的技术。

把 AI 模型想象成一个拥有两位专业导师（专家）的教室：

导师 A 擅长教授“大局观”概念。
导师 B 擅长教授“纹理细节”。

在旧的方法中，老师只是把班级分成两半，然后说：“你去找导师 A，你去找导师 B。”

在 ExPLoRe 中，老师变得聪明得多。他们观察图像中的每一个块（patch，即微小的正方形），然后询问：“这个块看起来像狗吗？如果是，就把它交给导师 A。它看起来像草吗？如果是，就交给导师 B。”

核心秘诀：“损失耦合”（Loss-Coupling）

论文最大的发现是一个被称为**损失耦合（Loss-Coupling）**的机制。

想象一下，导师们正在批改学生的作业。在 ExPLoRe 中，导师们不仅负责评分，还决定了谁来教授下一节课。

如果学生在“狗”的部分遇到了困难，系统会注意到这一点，并告诉路由程序：“嘿，我们需要在那个特定位置从导师 A 那里获得更多帮助。”
随后，路由程序会调整其权重，以便在未来将更多的“狗”块发送给导师 A。

论文证明了这一点至关重要。他们尝试关闭了这个反馈循环（称为“分离/detaching”），结果模型的性能大幅下降。如果没有这种学习“哪个专家最适合处理哪个块”的能力，系统就会陷入混乱。

测试结果如何？

研究人员在海量图像数据集（ImageNet）上对其进行了测试。

结果： 模型的学习速度更快，且在识别物体方面表现得更好。
类比： 这就像一个学生不再用同样的方式学习整本教科书，而是学会了用历史老师来学“历史”章节，用数学老师来学“数学”章节。他们最终以更高的分数通过了考试。
具体表现： 他们在图像识别方面达到了顶尖水平（80.6% 的准确率），并且在处理诸如寻找图像边界（分割）等其他任务时也表现出色。

“微调”配方

论文还注意到，当他们将这个聪明且高度专业化的模型用于新的、特定的工作（例如识别医疗图像或街道场景）时，由于它过于专业化，有时会感到困惑。

他们开发了一个“配方”来解决这个问题，其中包括：

冻结路由（Freezing the Router）： 固定“谁去哪里”的决策，这样模型就不会忘记它的专业化分工。
专家随机失活（Expert Dropout）： 有时随机关闭一位导师，以迫使其他导师站出来，防止模型过度依赖某一个专家。

总结

ExPLoRe 是一种更聪明的训练 AI 观察图像的方式。它不再给整幅图像上通用的课程，而是扮演一个个性化导师的角色，将图像的不同部分发送给最适合处理它们的特定专家。这使得 AI 学习得更快、理解得更深，并且无需大幅增加计算能力即可达到顶尖水平。

技术摘要：ExPLoRe（用于多目标掩码图像建模的专家级补丁水平损失路由）

问题陈述

多目标掩码图像建模（MIM）旨在通过结合互补的学习信号（如标记级蒸馏、全局 CLS 对齐和像素级重建）来学习鲁棒的视觉表示。虽然现有方法成功地整合了这些目标，但它们通常使用应用于所有空间位置的全局标量权重来进行统一平衡。

这种方法忽略了空间异质性：不同的图像区域受益于不同的学习信号。语义丰富的语义前景补丁更适合进行教师蒸馏，而纹理密集的背景区域则更受益于像素重建。全局平衡方法（如 GradNorm、不确定性加权）无法捕捉这种变化，甚至在目标具有空间异质性重要性时，会导致灾难性的性能下降。迄今为止，尚未有研究针对掩码图像建模中的逐补丁自适应损失权重进行探讨。

方法论：ExPLoRe

作者提出了 ExPLoRe（专家级补丁水平损失路由），该框架将 Soft-MoE（软混合专家模型） 的分发权重（dispatch weights）重新利用为学习到的、逐补丁的损失系数。

核心机制：损失耦合

与使用路由进行容量缩放或任务特定专家分配的传统 MoE 应用不同，ExPLoRe 引入了损失耦合：

分发权重作为损失系数： 该框架利用 Soft-MoE 路由器生成的分发权重（ $D$ ）。这些权重决定了每个补丁对每个专家的贡献程度，并被用于缩放该特定补丁的损失。
梯度流： 至关重要的是，来自损失目标的梯度通过这些分发权重回传到路由器参数。这使得路由器能够学习依赖内容的专业化，根据每个补丁的内容动态调整不同目标（例如，蒸馏与重建）的侧重点。
归一化策略： 作者使用的是分发权重（在每个专家的补丁上进行归一化），而不是组合权重（在每个补丁的专家上进行归一化）。这种选择防止了由于路由器可以通过将困难补丁的权重设为零来最小化损失而导致的退化问题。基于图像的归一化确保了路由器必须在补丁之间分配注意力，而不是使损失坍缩。

架构与训练

框架： 学生编码器（ViT-Base）处理可见补丁（稀疏编码），而冻结的 CLIP 教师提供语义目标。
目标： 系统结合了标记级蒸馏（Huber 损失）、全局 CLS 对齐（余弦相似度）和像素重建（MSE）。
熵正则化： 为了防止专家坍缩（即一个专家处理所有补丁），对分发权重应用了熵正则化项。通过实验发现，该正则化的最佳权重取决于专家数量（例如，对于 2 个专家， $\lambda=0.5$ ；对于 64 个专家， $\lambda=5.0$ ）。
放置位置： Soft-MoE 层替换了 ViT-Base 交替块（第 1, 3, 5, 7, 9, 11 块）中的 MLP，损失耦合应用于最后一个 MoE 块（第 11 块）。

下游迁移方案

为了解决将 MoE 模型迁移到下游任务时可能覆盖已学习路由模式的挑战，作者提出了三种互补的适配策略：

冻结路由 (FR)： 冻结路由器参数（ $\Phi, s$ ）以保留预训练的补丁-专家分配。
冻结注意力 (FA)： 冻结注意力权重以保留可迁移的视觉结构。
专家丢弃 (ExD)： 对专家输出应用丢弃，以防止过度依赖主导专家。
FR + FA + ExD 的组合被证明对于缩小 MoE 模型与非 MoE 模型在密集预测任务中的性能差距至关重要。

核心贡献

分发权重损失加权： 引入了一种将 Soft-MoE 分发权重重新利用为逐补丁损失系数的机制，实现了跨多个目标的依赖内容的专业化。
损失耦合验证： 通过实证证明，通过分发权重传递梯度是驱动专业化的核心机制。一个“分离”（detach，阻断梯度）消融实验显示性能下降了 1.6%，且未加权的 MoE 变体表现不及非 MoE 基线。
路由动力学分析： 对路由行为进行了表征，揭示了受熵正则化控制的稳定路由与灾难性坍缩之间的剧烈转变。研究确定了最优正则化取决于专家数量。
下游适配方案： 开发了一种复合策略（冻结路由、冻结注意力、专家丢弃），使 MoE 模型能够在分类和语义分割任务中达到或超过非 MoE 基线。

实验结果

在 ImageNet-1K 上使用 ViT-Base 和冻结的 CLIP 教师进行评估：

分类性能：
- Token+CLS： ExPLoRe 在 64 个专家下实现了 80.6% 的线性探测准确率和 85.3% 的微调准确率，与 CAE v2 和 BEiT v2 等最先进方法竞争。
- Token+Pixel： 在 32 个专家下实现了 73.7% 的 k-NN 准确率，比非 MoE 基线提高了 2.2%。
- 机制隔离： 损失加权机制本身相比于未加权的 MoE 变体分别贡献了 +1.3%（2 个专家）和 +0.9%（64 个专家）的提升，证实了路由机制在单纯参数缩放之外的价值。
密集预测 (ADE20K)：
- 在没有适配方案的情况下，MoE 模型比非 MoE 基线低 2.5–2.9 mIoU。
- 使用完整的 FR+FA+ExD 方案后，MoE 模型弥补了这一差距，达到了 52.8 mIoU (Token+Pixel) 和 51.1 mIoU (Token+CLS)，匹配或略微超过了非 MoE 基线。
效率： 尽管拥有高达 1.86B 的参数（64 个专家），Soft-MoE 将参数量与推理成本解耦。ExPLoRe 配置所需的 GFLOPs（11.93–13.86）低于标准的 ViT-B/16 对照组（17.45），提供了优越的成本-质量权衡。

重要性与主张

本文声称 ExPLoRe 解决了视觉领域多任务学习中的一个基本差距：即全局损失平衡无法处理空间异质性的问题。通过证明损失耦合是实现专业化的核心驱动力，这项工作确立了路由机制不仅可以用于增加容量，还可以重新用于动态损失调节。

作者强调，虽然绝对 k-NN 增益较小，但线性探测准确率的显著提高表明，损失耦合的路由以一种无法通过最近邻评估完全捕捉的方式重塑了特征空间。此外，这项工作强调 MoE 模型并非天生在下游迁移中具有优势；它们需要特定的适配方案（如 FR 等）来释放潜力，特别是在标准微调往往失效的密集预测任务中。

研究结论指出，ExPLoRe 提供了一种先前的研究方法所缺乏的依赖内容的逐补丁损失强调，在不牺牲表示质量的情况下，实现了在分类和密集预测方面具有竞争力的结果，同时提供了比密集参数缩放更高效的推理剖面。