🤖 machine learning

BOFA: Bridge-Layer Orthogonal Low-Rank Fusion for CLIP-Based Class-Incremental Learning

该论文提出了 BOFA，这是一个用于类增量学习的参数高效框架，它通过通过正交低秩融合将更新限制在桥接层来适配 CLIP 模型以防止遗忘，并利用跨模态混合原型来增强分类性能且不增加额外的推理成本。

原作者： Lan Li, Tao Hu, Da-Wei Zhou, Jia-Qi Yang, Han-Jia Ye, De-Chuan Zhan

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Lan Li, Tao Hu, Da-Wei Zhou, Jia-Qi Yang, Han-Jia Ye, De-Chuan Zhan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢、无所不知的图书管理员，名叫 CLIP。这位管理员读过数百万本书，也看过数百万张图片，因此他们能几乎瞬间将“猫”的图片与“猫”这个词匹配起来。然而，CLIP 有一个问题：他们有点刻板。如果让他们学习一种全新的动物（比如“鸭嘴兽”），而这种动物在他们最初的训练中并不存在，他们就会很难在不意外忘记已经掌握的“狗”或“猫”知识的情况下更新自己的知识。

这就是**类增量学习（Class-Incremental Learning, CIL）**的挑战：教模型如何一个接一个地学习新事物，同时又不遗忘旧事物。

这篇论文介绍了一种名为 BOFA（用于适配的桥接层正交融合，Bridge-layer Orthogonal Fusion for Adaptation）的新方法来解决这个问题。以下是通过简单的类比对它的工作原理进行的解释：

1. 问题所在：“装修”灾难

通常，当我们想要教 CLIP 新事物时，我们会尝试为图书馆添加一个小小的“扩建部分”（比如一个新房间或一个新助手）。论文认为这样做很混乱。

问题： 如果你不断地为图书馆添加新房间（额外的模块），维护成本会变得非常高，而且新房间往往会覆盖掉旧的房间。图书管理员会变得困惑，突然间他们就忘了“狗”长什么样了，因为他们太忙于关注“鸭嘴兽”。

2. 解决方案：转而装修“桥梁”

BOFA 采取了不同的方法。它不是建造一个新房间，而是完全专注于装修图书馆内部的桥梁。

桥梁： 在 CLIP 中，有一个特定的层（一个“桥梁”），它连接了图书馆的图像侧和文字侧。
策略： BOFA 说：“让我们直接调整这个桥梁本身。”通过只调整这一个现有的部分，我们不需要建造任何新房间，也不需要雇佣新的助手。这让图书馆保持简单且高效。

3. 秘密武器：“安全子空间”（正交低秩融合）

这是最巧妙的部分。如果你只是开始给桥梁重新涂漆以使其更适合“鸭嘴兽”，你可能会意外地把“狗”的部分也涂掉了。如何更新桥梁而不抹去过去呢？

BOFA 使用了一个聪明的数学技巧，叫做正交低秩融合（Orthogonal Low-Rank Fusion）。

类比： 想象这座桥是一个巨大的舞池。关于“旧知识”（狗、猫）的舞者已经填满了舞池，并以特定的模式起舞。
“安全区”： BOFA 计算出了舞池中一个特殊的、隐形的“安全区”，在这个区域里，旧的舞者们并没有在活动。这就像是在房间里寻找一个完全空旷的安静角落。
动作： 当图书管理员需要学习“鸭嘴兽”时，BOFA 强制要求所有的学习过程只能发生在那个安静的空旷角落里。
结果： 新的“鸭嘴兽”舞蹈被完美地学习了，但因为它发生的“方向”（正交）与“狗”的舞蹈不同，所以它不会碰撞或抹除旧的舞者。旧知识得到了保护，而新知识则叠加在了上面。

4. 最后的润色：“混合型”侦探

一旦桥梁更新完毕，BOFA 就需要做出关于一张图像最终属于什么的决定。

旧方法： 通常，图书管理员只是查看文本描述（例如，“一张猫的照片”）。
BOFA 的方法： BOFA 创建了一个混合侦探。这个侦探结合了图书管理员对文字的通用知识（文本）与从图片中学习到的新鲜细节（视觉）。
为什么有效： 有时文本描述很模糊，有时图片本身很复杂。通过融合两者，侦探会变得更加敏锐，不太容易出错。

结果总结

作者在许多种不同的“图书馆”（如 CIFAR-100、ImageNet 等数据集）上测试了 BOFA。

结果： BOFA 始终优于其他方法。它学习新类别的速度更快，对旧类别的遗忘更少，并且不需要任何额外的内存或复杂的全新模块。
核心结论： 通过专注于现有的桥梁，利用“安全区”来保护旧记忆，并将文本与图片相结合，BOFA 教会了 AI 如何持续学习而不会出现通常的“失忆症”。

简而言之，BOFA 就像一位大师级的建筑师，他知道如何精确地加固建筑的地基以增加新楼层，而永远不会拆掉已有的楼层的墙壁。

技术摘要：BOFA（基于 CLIP 的桥接层正交低秩融合类增量学习）

问题定义

本文研究的是类增量学习 (Class-Incremental Learning, CIL)，在这种设定下，模型必须在无法访问历史数据（无样本/exemplar-free）且不遗忘已获取知识的情况下，从数据流中顺序学习新类别。虽然像 CLIP 这样的视觉-语言模型 (VLM) 提供了适合 CIL 的强迁移表征，但其应用面临两个主要挑战：

适配模块中的灾难性遗忘： 现有的策略通常冻结 CLIP 主干网络并引入轻量级的可学习模块（如适配器或提示层）来处理新任务。然而，这些模块本身也会遭受灾难性遗忘，因为它们在顺序微调过程中会覆盖对先前任务至关重要的知识。
次优的模态协同与效率问题： 当前的方法通常依赖于由手工设计的提示词生成的静态文本原型，这可能缺乏对细粒度视觉概念的特异性。此外，添加外部模块会增加推理成本和模型复杂度，阻碍了在资源受限场景下的部署。

方法论：BOFA 框架

作者提出了 BOFA (Bridge-layer Orthogonal Fusion for Adaptation，用于适配的桥接层正交融合) 框架，旨在高效适配 CLIP 的同时减轻遗忘。该方法由三个核心组件组成：

1. 微调跨模态桥接层 (Cross-Modal Bridge-Layer)

BOFA 不引入外部适配器，而是将所有的主要特征适配限制在 CLIP 现有的跨模态桥接层 ( $g_2$ ) 中。

机制： 视觉主干 ( $g_1$ ) 和文本编码器 ( $g_t$ ) 保持冻结。只有将高维视觉特征映射到共享嵌入空间的投影层 $g_2$ 会进行微调。
优势： 这消除了在推理路径中引入额外可学习参数的需求，保留了原始模型架构，并确保与基础 CLIP 模型相比实现零额外的推理开销。

2. 正交低秩融合 (Orthogonal Low-Rank Fusion, OLRF)

为了防止桥接层内部发生灾难性遗忘，BOFA 引入了一种全新的约束机制，将参数更新限制在**“正交安全子空间” (Orthogonal Safe Subspace, OSS)** 内。

理论基础： 该方法旨在约束更新矩阵 $\Delta W_{new}$ ，使其对先前任务特征 ( $X_{old}$ ) 的影响最小化 ( $X_{old}\Delta W_{new} \approx 0$ )。
子空间构建： 由于在高维空间中精确计算过去特征的零空间是平凡的，作者构建了一个近似零空间。他们计算过去特征的累积散布矩阵 ( $S_{old}$ )，并识别出由对应于最小特征值的特征向量所张成的子空间。该子空间代表了对过去任务表示干扰最小的方向。
通过改进的 LoRA 实现： 更新过程使用低秩适配 (LoRA) 方案进行参数化，其中低秩矩阵 $A$ $A$ 被固定为 OSS 基底 ( $P^*$ $P^{*}$ )，仅矩阵 $B$ $B$ 是可训练的。
- 初始化： 为了避免因 $A$ 被冻结而导致的优化困难， $B$ 采用“数据驱动”的方法进行初始化。通过短暂地微调完整的桥接层来计算一个临时的“预言机 (oracle)”更新，并将 $B$ 初始化为使该预言机更新与 OSS 内投影更新之间的差异最小化。
增量更新： 累积散布矩阵通过增量方式更新 ( $S_{new} = S_{old} + X_{new}^T X_{new}$ )，从而避免了对数据回放缓冲区的需求。

3. 跨模态混合原型 (Cross-Modal Hybrid Prototypes)

为了增强分类的鲁棒性，BOFA 超越了静态文本原型。

静态混合构建： 对于每个类别，通过对文本原型（来自冻结的文本编码器）和视觉原型（源自该类别的平均高维特征）进行线性插值来创建原型。
动态精炼： 随着桥接层的适配，视觉表示会发生漂移。BOFA 采用指数移动平均 (EMA) 在训练期间持续更新视觉原型。在所有任务学习完成后，还会进行最后的精炼，以使原型与最终的模型状态对齐。
分层推理： 为了减少随着类别数量增加而产生的类间混淆，采用了分层策略。首先由一组轻量级的任务特定线性分类器选择候选类别子集，然后由主分类器进行判别。

核心贡献

正交低秩融合： 一种新型适配方法，将参数更新约束在 CLIP 桥接层的正交安全子空间内。这在不需要外部可学习参数或数据回放的情况下缓解了灾难性遗忘。
跨模态混合原型： 一种分类机制，它融合了稳定的文本语义与动态精炼的视觉特征，从而产生比单模态基准更具判别力的分类器。
高效性与高性能： 该框架在多个 CIL 基准测试中实现了 SOTA 性能，同时保持了原始 CLIP 的推理路径，与现有方法相比提供了卓越的准确性和效率。

实验结果

作者在九个基准数据集（包括 CIFAR100、ImageNet-R、CUB200 和 SUN397）上使用 B-m Inc-n 协议评估了 BOFA。

性能： BOFA 一致地优于现有的 SOTA 方法，包括基于提示的方法 (L2P, DualPrompt, CODA-Prompt) 和基于适配器的方法 (RAPF) 以及简单的微调基准。
- 例如，在 Cars 数据集 (B0 Inc10) 上，BOFA 实现了 86.41% 的平均准确率 ( $\bar{A}$ ) 和 79.48% 的最终准确率 ( $A_B$ )，显著超过了次优方法 RAPF (82.89% / 62.85%)。
- 在 ImageNet-R 上，BOFA 达到了 85.39% 的平均准确率，优于 RAPF (81.26%)。
消融实验：
- 正交低秩融合： 去除正交约束（使用标准 LoRA 或顺序微调）会导致性能显著下降，证实了特定的子空间约束对于平衡塑性和稳定性至关重要。
- 混合原型： 与纯文本或纯视觉原型变体的比较表明，两种模态的融合在不同数据集上都展现出了更强的鲁棒性。
可视化： t-SNE 可视化显示，与没有这种融合的方法相比，带有正交低秩融合的 BOFA 在旧类别与新类别特征之间产生了更清晰的分离，表明更好地保留了过去的知识。

重要性与主张

本文声称 BOFA 通过解决遗忘和效率的双重挑战，代表了无样本 CIL 领域的重要进展。

架构纯粹性： 通过将适配限制在现有的桥接层中，BOFA 避免了外部模块带来的“臃肿”，使其成为一种实用的部署方案。
理论严谨性： 正交安全子空间的引入提供了一种数学上严谨的机制，无需依赖数据回放即可防止任务间的干扰。
协同学习： 该框架证明了通过混合原型利用视觉与文本模态之间的协同作用，可以获得比单模态方法更具判别力的分类器。

作者总结道，这种集成设计有效地在实现 SOTA 判别性能的同时保留了知识，为大规模预训练模型的持续学习提供了一种可扩展且高效的解决方案。