技术摘要：当基础模型越多，效果反而越少

问题定义：大规模集合中的视图集组合 (View-Set Composition)

传统的多视图学习基于一个假设，即一组预定义的互补视图（例如来自不同传感器或手工特征）可以提高判别性表示。然而，预训练基础模型的激增从根本上扩大了候选视图空间。在冻结编码器（frozen-encoder）的设定下，每个预训练模型都会诱导出一种独特的表示视图，从而形成一个涵盖各种架构、预训练目标和模态的异构大型编码器池。

这种转变将设计问题从单纯地融合固定的一组视图，转变为视图集组合 (view-set composition)：即从大型候选池中决定选择哪些编码器进行组合，以及包含多少个编码器。经验观察表明，下游性能并不会随着融合编码器数量的增加而单调提升。相反，性能通常在包含一小部分子集后达到峰值，随后开始下降。这种“先达峰后下降”的现象是由两种失效模式驱动的：

1. 表示冗余 (Representation Redundancy)： 新加入的编码器重复了当前集合中已经捕获的信息。
2. 任务-模型失配 (Task-Model Misalignment)： 新加入的编码器引入了与任务无关的线索，即多样性本身并不等同于有效性。

现有的选择策略在这一范式下显得力不从心。基于单个编码器的可迁移性评分忽略了编码器之间的相互作用；基于多样性的准则优先考虑差异性而非任务效用；而穷举子集搜索对于大型候选池而言在计算上是不可行的。本文认为，视图集组合是一个排序问题 (ordering problem)：一个高质量的排序应当优先考虑有用的编码器，使得其前缀能够在不同的计算预算下提供具有竞争力的融合集合。

方法论：KAGES (核对齐贪婪编码器选择器)

为了实现一种无需训练、基于集合层面的选择准则，作者提出了 KAGES。KAGES 是一种标签感知的贪婪选择器，它无需进行下游分类器训练或组合子集搜索即可构建编码器排序。

核心目标

KAGES 根据融合集合的表示核（representation kernel）与其标签核（label kernel）之间的对齐程度来定义集合 $S$ 的效用。具体而言，它利用了中心化核-目标对齐 (Centered Kernel-Target Alignment, CKA)。

• 效用函数： $J(S) = U(\bar{F}_S, Y) - \tau \sum_{s \in S} \frac{d_s}{n}$，其中 $U$ 是联合表示核 $K_S$ 与标签核 $K_Y$ 之间的 CKA。第二项是基于编码器维度 $d_s$ 的可选复杂度惩罚项。
• 加法性 (Additivity)： 在线性核融合（特征拼接）的情况下，融合后的核具有加法性（$K_S = \sum K_s$）。这使得 KAGES 能够直接在核层面（每步复杂度为 $O(n^2)$）评估边际收益，而无需为每个候选子集重新训练模型。

选择机制

KAGES 以贪婪方式运行：

1. 初始化一个空集合 $S$。
2. 在每一步中，通过集合层面的效用边际增益来评估所有候选编码器 $m \notin S$：$\Delta J(m | S) = J(S \cup \{m\}) - J(S)$。
3. 选择边际增益最大的编码器并将其添加到 $S$ 中。
4. 重复此过程，直到所有候选者都被排序。

该边际增益准则体现了一种相关性-冗余性解释 (relevance-redundancy interpretation)。算法倾向于选择那些与标签高度对齐（相关性）且与已选编码器核重叠较小（冗余性）的候选者。至关重要的是，冗余权重是自适应的，由当前的集合对齐度和质量决定，而非预先固定的。

理论保证

论文提供了一个条件理论保证。如果对齐效用是单调的且满足次模性比例条件 ($\gamma$)，则大小为 $k$ 的贪婪前缀相对于最优的规模为 $k$ 的子集，其近似比为 $(1 - e^{-\gamma})$。此外，论文通过建立一个“单次增益-成本交叉”机制（定理 1）解释了这种依赖于顺序的性能峰值：随着编码器的增加，边际收益递减，而有限样本成本不断累积，最终导致性能下降。

主要贡献

1. 新视角： 将大规模冻结基础模型融合重新定义为大规模多视图学习，并将视图集组合视为一个核心设计问题。
2. 理论表征： 提供了关于“越多越好”假设失效的边际效用解释，识别了导致性能随顺序变化的峰值及后续下降的“增益-成本交叉”现象。
3. 可扩展的选择方法 (KAGES)： 引入了一种无需训练、标签感知的选择器，通过边际核对齐评估候选者。它避免了重复的下游拟合，并提供了条件性的前缀近似保证。
4. 广泛的实证验证： 在图像分类、图像检索和冻结大语言模型 (LLM) 融合等多种识别场景下验证了该方法，证明了“先达峰后下降”的现象具有结构性和普适性。

实验结果

作者在五种识别范式（通用物体、细粒度、纹理、地理空间、结构化符号）下对 KAGES 进行了评估，使用的候选池包含 10–15 个跨越五种预训练范式（语言监督、自监督、生成式、类别监督、任务专家型）的冻结编码器。

• 性能： KAGES 一致优于竞争方法，包括全融合 (Fuse-All)、随机排序、基于多样性的选择以及更强的子集选择基准 (DPP, Submodular)。
• 指标： 通过 AULC (k-准确率曲线下面积) 和 Acc@k* (峰值准确率) 进行衡量。KAGES 在所有协议（16-shot、8-shot 配合大候选池、以及全数据协议）中均取得了最高的 AULC。
• 具体增益： 在结构化符号任务 (GTSRB) 上，KAGES 比全融合提高了 +8.9 到 +15.5 个百分点。在全数据协议下，它比全融合平均高出 +3.3 个百分点。
• 行为表现： KAGES 成功地“前置”了高效用编码器（通常是像 DINOv2 这样的自监督模型或像 ResNet-50 这样的类别监督模型），并正确地拒绝了不符合分类任务的对抗性范式（生成式和任务专家型模型）。
• 泛化性： 这种“先达峰后下降”的模式以及 KAGES 的优越性在图像检索和冻结 LLM 融合（MMLU 和 ARC-Challenge）中也被观察到，证实了该方法的适用性超越了标准图像分类。

意义与主张

本文认为，在基础模型池之上进行有效的多视图学习，关键不在于融合更多的编码器，而在于选择一个紧凑且互补的视图集合。作者主张，随着公共模型枢纽（model hubs）的增长，多视图学习的核心问题正从“如何融合固定的少数视图”转向“应该融合哪些编码器”。

KAGES 为这个问题提供了一个无需训练、有理论支撑的答案。通过利用核对齐，它提供了一种可扩展的集合层面准则，无需为每个候选子集支付下游预测器训练的计算成本，即可产生高质量的编码器排序。这项工作表明，“越多越好”的假设在基础模型时代存在结构性缺陷，显式的视图集组合对于释放异构编码器池的潜力是必不可少的。