技术摘要：MonoSoup

问题陈述

现有的“先预训练后微调”范式在基础模型中往往会导致分布内（ID）准确率与分布外（OOD）鲁棒性之间的权衡。虽然微调提升了目标任务的性能，但它经常引发“表示坍缩”（representation collapse），即模型过度特化于训练数据，从而降低了其通用知识和 OOD 性能。

现有的解决方案，如模型汤（Model Soups），通过平均多个微调检查点的权重来缓解这一问题。然而，这种方法在计算和存储上是极其昂贵的，需要训练并保留数十个模型。其他方法如 Model Stock 虽然将需求减少到两个模型，但仍假设可以访问多个检查点，这在实际应用中往往是不现实的，因为仓库通常只存储一个表现最好的版本。此外，像 Wise-FT（插值预训练权重与微调权重）这样的单模型方法采用的是均匀插值，未能解决不同层和不同方向之间具有细粒度、各向异性特征的权重更新问题。

核心问题在于：当我们只有一个微调后的模型可用时，能否保留模型汤带来的收益？

方法论：MonoSoup

本文引入了 MonoSoup，一种无需数据、无需超参数、事后处理的方法，旨在利用单个检查点实现强大的 ID–OOD 平衡。该方法基于以下假设：单个微调模型的权重更新包含了主导的任务特定方向，以及较弱的成分——这些成分虽然可能包含噪声，但编码了对 OOD 鲁棒性至关重要的残余信号。

1. 通过 SVD 进行谱分解

对于每一层 $\ell$，MonoSoup 使用奇异值分解（SVD）分析权重更新矩阵 $\Delta W^{(\ell)} = W^{(\ell)}_{FT} - W^{(\ell)}_{0}$：
$$\Delta W^{(\ell)} = U^{(\ell)} \Sigma^{(\ell)} V^{(\ell)\top}$$
奇异值的谱被划分为两个互补的部分：

• 高能成分 ($W^{(\ell)}_{High}$)： 捕获与任务特定适配相关的特征子空间。
• 低能成分 ($W^{(\ell)}_{Low}$)： 捕获正交补空间。虽然这些方向通常包含噪声，但本文认为它们保留了对 OOD 泛化至关重要的信息。

2. 自动划分

不同于需要固定阈值的方法，MonoSoup 使用基于熵的有效秩（Roy & Vetterli, 2007）自动确定划分索引 $k$：
$$k^{(\ell)} = \left\lfloor \exp\left( - \sum_i p^{(\ell)}_i \ln p^{(\ell)}_i \right) \right\rfloor$$
其中 $p^{(\ell)}_i$ 是归一化的奇异值分布。这使得该方法能够适应不同层和不同架构的异构谱特性，而无需手动调优。

3. 自适应重加权

MonoSoup 并非丢弃低能成分，而是使用层级系数 $\lambda^{(\ell)}_{High}$ 和 $\lambda^{(\ell)}_{Low}$ 对两个成分进行重加权：
$$W^{(\ell)}_{MonoSoup} = \lambda^{(\ell)}_{High} W^{(\ell)}_{High} + \lambda^{(\ell)}_{Low} W^{(\ell)}_{Low}$$
低能成分的系数 $\lambda^{(\ell)}_{Low}$ 由两个信号推导而来：

1. 谱衰减 ($\rho^{(\ell)}$)： 衡量奇异值谱的陡峭程度。
2. 几何对齐 ($\cos \alpha^{(\ell)}$)： 衡量低能方向所携带的更新能量比例。

权重规则定义为：
$$\lambda^{(\ell)}_{Low} = \rho^{(\ell)} + (1 - \rho^{(\ell)}) \cos \alpha^{(\ell)}$$
$$\lambda^{(\ell)}_{High} = 1 - \lambda^{(\ell)}_{Low}$$
这种公式确保了仅在谱平坦或更新对齐良好时才保留低能成分，从而在抑制噪声的同时保留鲁棒信号。

核心贡献

1. 合并的几何分析： 作者指出，成功的多模型合并取决于微调更新的对齐情况。他们通过引入 相似性过滤贪婪汤（Similarity-Filtered Greedy Soup, SFGS） 验证了这一点——这是一种无需数据的变体，它根据几何对齐而非验证指标来选择模型，证实了对齐是衡量合并有效性的可靠代理指标。
2. MonoSoup 算法： 一种新颖的单检查点方法，它将权重更新分解为高能和低能子空间，并进行自适应重加权。它在消除对多个检查点需求的同时，解决了均匀插值法忽略的各向异性效应。
3. 实证验证： 在视觉（CLIP, ConvNeXt）和语言（Qwen）模型上的广泛实验表明，MonoSoup 在保持或增强 ID 准确率的同时，一致地提高了 OOD 泛化能力。

结果

• 视觉 (CLIP ViT-B/32)： MonoSoup 将最强基线的平均 OOD 准确率提升了约 1%，并在表现较弱、发生表示坍缩的检查点上恢复了高达 8% 的性能，同时保持了强大的 ID 准确率。它在使用单个检查点的情况下，达到了或超过了多模型方法（Model Soups, Model Stock）的性能。
• 语言 (Qwen3-0.6B)： 在数学推理和问答基准测试中，MonoSoup 优于微调基线和 LiNeS 方法。在具有挑战性的 OOD 任务（如 GSMPlus 和 GSM8KPlatinum）上，它展现了显著的增益（高达 +9.2 点）。
• 集成： 当与 Wise-FT 结合使用时，MonoSoup 为插值提供了一个更强的起点，产生的帕累托前沿（Pareto fronts）优于单独使用 Wise-FT 或 LiNeS。
• 效率： MonoSoup 是一种单次执行、无需数据的操作。对于 14B 参数的模型，与训练多个检查点以进行 Model Soups 相比，它将实际运行时间成本降低了约 $10^3$–$10^4\times$，并将存储需求降低了一个数量级。

意义与声明

本文声称 MonoSoup 提供了一种实用的、“即插即用”的替代方案，用于多检查点集成。通过将模型汤的收益压缩到单个模型的处理过程中，它解决了鲁棒模型部署中的计算和存储障碍。作者强调，该方法对于缺乏资源进行大规模超参数搜索或维护多个检查点的从业者特别有价值。

至关重要的是，论文指出，虽然 MonoSoup 显著提高了对自然分布偏移的鲁棒性，但它不能替代针对对抗性扰动的特定应用安全性评估。该方法的主要社会贡献是大幅降低了部署鲁棒模型所需的计算和存储成本，使高性能、泛化能力强的 AI 变得更加触手可及。