技术摘要：BiCo——用于免训练任务向量迁移的双线性坐标对齐

问题陈述

现代机器学习中占主导地位的范式是通过微调将大规模预训练模型适配到特定的下游任务。然而，随着预训练模型家族随着新变体的扩展（这些变体在规模、预训练数据或训练配方上有所不同），通过微调获得的专业知识便与原始模型的特定参数化绑定在一起。因此，当新版本模型发布时，微调后的知识无法直接复用，从而需要进行昂贵且重复的微调过程。

现有的将这种“任务向量”专业知识（定义为参数差 $\tau = \theta_{ft} - \theta_{pre}$）在不同模型间迁移的方法面临显著局限。依赖参数空间对齐的方法（例如通过排列对称性进行重盆地化）需要严格的架构兼容性和维度匹配。最近利用任务特定信号（如激活或梯度）的免训练方法（例如 THESEUS、GradFix）提供了部分对应关系，但相对于目标模型的直接微调，其性能差距仍然很大。核心挑战在于如何在无需额外参数更新的情况下，将任务向量迁移到具有不同宽度、深度和预训练配置的模型中。

方法论：BiCo

作者提出了BiCo（双线性坐标对齐），这是一个免训练框架，将任务向量迁移重新构建为双空间对齐问题。

1. 理论洞察：任务向量的双线性形成

作者重新审视了任务向量的机制形成。通过分析梯度下降更新规则，他们证明了层 $l$ 的任务向量 $\tau^{(l)}$ 是微调轨迹上输入侧激活（$x_t$）与输出侧梯度（$g_t$）之间双线性交互的累积：
$$\tau^{(l)} = -\sum_{t=1}^{T} \eta_t (g_t^{(l)})^\top x_t^{(l)}$$
该公式表明，任务向量不仅仅是参数偏移，而是两个不同坐标空间（输入激活空间和输出梯度空间）的耦合。作者认为，成功的迁移需要对齐两个空间以保留更新的底层几何结构，而不仅仅是对齐激活或仅对齐参数。

2. BiCo 框架

BiCo 使用小型校准集（$N$ 个样本）和一次通过冻结预训练模型的前向 - 后向传播，估算输入和输出空间的正交 Procrustes 映射。不更新目标模型参数。

• 输入侧对齐：该方法假设预训练激活可作为轨迹激活的有效代理。它计算源预训练激活（$\bar{X}_{A,pre}$）与目标预训练激活（$\bar{X}_{B,pre}$）之间的交叉协方差。通过奇异值分解（SVD）推导出正交 Procrustes 解（$R_{in}$），将源输入坐标映射到目标输入空间，同时保留关系几何（通过中心核对齐，CKA 衡量）。
• 输出侧对齐：类似地，该方法计算相对于预训练初始化时层输出的梯度（$\bar{G}_{A,pre}$ 和 $\bar{G}_{B,pre}$）。估算第二个正交 Procrustes 解（$R_{out}$）以对齐输出梯度坐标。这一步至关重要，因为源模型和目标模型之间的输出维度通常不同，且“任务敏感”方向可能编码在不同的基中。
• 任务向量迁移：通过对双线性结构的两边应用学习到的映射，将源任务向量 $\tau_A^{(l)}$ 转换为与目标兼容的更新 $\hat{\tau}_B^{(l)}$：
  $$\hat{\tau}_B^{(l)} = (R_{out}^{(l)})^\top \tau_A^{(l)} R_{in}^{(l)}$$
  最终目标模型更新为 $\hat{\theta}_{B,ft} = \theta_{B,pre} + \hat{\tau}_B$。

3. 处理结构不匹配

• 宽度不匹配：Procrustes 公式通过寻找最佳正交投影，自然地处理输入/输出维度不同的情况（例如从窄到宽或从宽到窄的迁移）。
• 深度不匹配：对于层数不同的模型，采用简单的离散层索引匹配策略，将目标层 $j$ 映射到最近的源层 $i(j)$。

主要贡献

1. 重新审视任务向量形成：本文确立了任务向量是输入激活与输出梯度之间双线性交互的累积，从而推动了双空间对齐方法，而非单空间或参数空间对齐。
2. BiCo 框架：引入了一种免训练方法，利用正交 Procrustes 对齐输入激活和输出梯度来迁移任务向量。它仅需在小型校准集上进行单次前向 - 后向传播，不涉及参数更新或超参数调整。
3. 实证验证：在计算机视觉（8-Vision 基准）和自然语言处理（GLUE 套件）基准上的广泛实验表明，BiCo 始终优于现有的免训练基线（例如 THESEUS、GradFix、TransFusion），并缩小了与直接微调的性能差距，即使是在具有不同宽度、深度和预训练分布的模型之间也是如此。

结果

• 宽度扩展：在从 ViT-B/16 迁移到更宽的 ViT-B/16-plus 时，BiCo 显著优于朴素填充和 THESEUS。仅需 100 个校准样本，BiCo 相对于零样本基线实现了平均 +18.88% 的准确率提升，而 THESEUS 仅为 +3.81%。
• 相同架构：即使架构匹配但预训练数据不同（从 Datacomp-XL 到 LAION-2B），朴素迁移也会降低性能。BiCo 在每类 5 个样本的情况下，将平均准确率相对于零样本基线提高了 +17.81%，显著优于 GradFix 和 THESEUS。
• 深度和宽度扩展：在涉及深度和宽度不匹配的具有挑战性的场景中（从 ViT-B/16 到 ViT-L/14），BiCo 将零样本基线提高了 +12.89%，证明了其结构泛化能力。
• NLP 泛化：应用于 T5 模型（从 T5-3B 到 T5-Large），BiCo 在 GLUE 任务的线性探测准确率上显示出稳健的改进，并随校准样本数量的增加而有效扩展。
• 消融研究：分析证实，仅对齐输入侧或仅对齐输出侧是不够的。两者的结合，特别是使用梯度进行输出侧对齐，对性能至关重要。仅输入侧对齐甚至可能在深层中将性能降低到零样本基线以下。

意义与主张

本文声称，BiCo 通过实现跨不同模型变体直接复用特定任务的专业知识，解决了重新微调模型的效率低下问题。通过将任务向量解释为双线性交互，作者认为保留输入激活空间和输出梯度空间的几何结构对于有效迁移至关重要。

这项工作的意义在于其能够：

• 降低计算开销：消除对目标模型进行迭代微调的需求，仅需一次前向 - 后向传播进行校准。
• 实现可扩展的复用：促进在不同宽度、深度和预训练配置的模型之间迁移知识，这对于基础模型家族的演变至关重要。
• 弥合性能差距：大幅缩小免训练迁移与直接微调之间的差距，为模型适配提供了一种实用、即插即用的替代方案。

作者对局限性保持了谦逊，指出该方法假设内部结构具有足够的兼容性（例如在同一骨干网络家族内），并且与直接微调之间仍存在微小差距，这表明仅靠线性坐标对齐可能无法捕捉所有特定任务的信息。他们还指出，该方法本身并不能纠正源任务向量或校准数据中存在的偏差。