💻 computer science

ComMem: Complementary Memory Systems for Test-Time Adaptation of Vision-Language Models

受海马体与新皮层互补作用的启发，所提出的 ComMem 框架通过利用一个快速适应的视觉缓存和一个慢速整合的文本原型系统来增强视觉-语言模型的测试时自适应，从而共同优化跨模态一致性，在多种分布偏移下实现了卓越的性能。

原作者： Guanglong Sun, Shuang Cui, Bo Lei, Liyuan Wang, Zihan Zhai, Hongwei Yan, Hang Su, Jun Zhu, Yi Zhong

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Guanglong Sun, Shuang Cui, Bo Lei, Liyuan Wang, Zihan Zhai, Hongwei Yan, Hang Su, Jun Zhu, Yi Zhong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明、博学多才的图书管理员（AI 模型），他读过数百万本书，并且能完美地描述图像。这位图书管理员非常擅长识别照片中的“狗”或“猫”。然而，如果你突然给他看一张穿着超级英雄服装、身处雾气缭绕且下着雨的森林里的狗的照片，他可能会感到困惑。因为他的训练数据大多是阳光明媚的公园里清晰的狗的照片。

这就是这篇论文所要解决的问题：我们如何帮助一个聪明的 AI 快速适应新的、奇怪的或不断变化的环境，而不需要从头开始重新学习一切？

作者孙光龙（Guanglong Sun）及其团队提出了一个名为 ComMem 的解决方案。他们通过模仿我们大脑使用的特定技巧构建了它。

大脑的双系统技巧

我们的大脑并不只有一个巨大的记忆库。我们有两个截然不同的系统在协同工作：

海马体（“快速记录员”）： 这部分大脑就像是一个便利贴本。它能非常迅速地抓取具体、详细的记忆。如果你今天在公园里看到一只独特的狗，海马体会立即把它记录下来。但这些笔记是脆弱的，如果尝试一次写太多内容，它们会变得混乱。
新皮层（“慢速图书管理员”）： 这是深层的、有组织的图书馆。它持有通用的知识（比如“狗”的概念）。它的学习过程非常缓慢且谨慎，以确保新信息不会覆盖掉旧的、重要的事实。将一本新书归档到正确的书架上需要时间。

当前 AI 的问题：
大多数当前的 AI 方法就像是一个只有一个便利贴本的学生。他们试图从每一张新照片中即时学习，但却会忘记五分钟前学到的东西。或者，他们试图从“图书馆”中学习，但移动速度太慢，无法跟上新趋势。他们无法平衡速度与稳定性。

解决方案：ComMem

作者创建了 ComMem（互补记忆），它赋予了 AI 既有便利贴本，又有慢速图书管理员，并让它们彼此交流。

以下是其运作步骤：

1. 快速系统（“视觉便利贴”）

当 AI 看到一张新图片（比如那只穿着超级英雄服装的狗）时，它首先会检查自己的置信度。如果它对所见之物很有把握，它就会创建一个详细的视觉缓存。

类比： 想象这就像是拍一张高质量的快照，并把它贴在白板上。
功能： 这个系统学习得很快。它能立即适应新环境的具体细节（雾气、服装）。它是灵活且具有可塑性的。

2. 慢速系统（“文本图书馆”）

与此同时，AI 拥有一个全局文本记忆。这是一个通用的描述列表（例如“狗是一种四条腿的动物”）。

类比： 这位图书管理员正在缓慢地更新关于“狗”的百科全书条目。
功能： 这个系统学习得很慢。只有当新信息非常可靠时，它才会进行更新。它确保 AI 不会仅仅因为看到了一只穿戏服的狗，就忘记了关于狗的基本规则。

3. “重构”（团队会议）

这是神奇之处。对于每一张新图片，AI 不仅仅使用一个系统。它会在“快速记录员”和“慢速图书管理员”之间召开一场会议。

他们对比笔记：“便利贴说这是一只在雾中的超级英雄狗。而图书馆说这是一只狗。这两者匹配吗？”
他们相互调整，以确保视觉图像和文本描述保持一致。
如果他们达成一致，那么“快速记录员”会变得更加详细，而“慢速图书管理员”也会对其百科全书进行一次微小且安全的更新。

为什么这更好？

论文在 15 个不同的数据集（如包含数千个图像类别的 ImageNet）上测试了该方法。

结果： ComMem 击败了所有以往最优秀的方法。
类比： 想象一个正在参加考试的学生。
- 旧的 AI： 要么因为看到第一眼看到的东西而惊慌失措并开始瞎猜（太快）；要么死板地遵循教科书上的内容（太慢）。
- ComMem： 迅速记下关于那个奇怪问题的笔记，然后对照他们的教科书进行检查，意识到：“啊，这仍然是一只狗，只是长得有点怪，”然后正确回答。

核心结论

论文声称，通过模仿我们大脑如何结合使用快速、详细的记忆和缓慢、抽象的记忆，AI 可以更好地应对现实世界的混乱。它不需要从头开始重新训练；它只需即时适应，在看到新事物的同时变得更聪明，同时保持其核心知识的安全。

作者发现，这种方法不仅更准确，而且其效率足以投入实际应用，在“超级智能”与“处理图像所需的时间”之间取得了平衡。

技术摘要：ComMem —— 用于视觉语言模型测试时自适应的互补记忆系统

问题陈述

视觉语言模型（VLMs），如 CLIP，展现了强大的零样本泛化能力，但在部署到测试时数据分布与预训练分布发生偏离的真实环境中时，往往会出现显著的性能下降。现有的测试时自适应（TTA）方法面临两个主要局限性：

缺乏时间累积性： 许多方法（例如 TPT）以“健忘”的方式运行，即针对每个样本独立进行自适应，而不随时间保留经验。
单模态限制： 先进的基于记忆的方法通常仅在单一模态内进行自适应（要么是文本提示微调，要么是视觉特征缓存），未能利用视觉语言模型固有的多模态特性。这导致无法平衡快速（塑性）学习与缓慢（稳定性）学习之间的互补动态，从而限制了在保持预训练鲁棒性的同时适应新线索的能力。

方法论：ComMem

受神经科学中互补记忆系统理论（McClelland et al., 1995; Tonegawa et al., 2018）的启发——该理论认为海马体（HPC）负责快速情景学习，而新皮层（NC）负责缓慢语义整合，两者之间存在功能协同——作者提出了 ComMem。该框架通过以下两个关键组件，将这些不同的学习动态应用于视觉语言模型：

1. 双记忆架构

快速适应的细节记忆（类 HPC）：
- 功能： 快速存储并更新来自测试数据流的高置信度视觉特征，以实现对特定实例的快速自适应。
- 机制： 维护一个类条件视觉实例（特征-熵对）的情景缓存。它使用熵引导的编码过程来选择可靠的增强视图。
- 更新规则： 采用“快速”更新策略，即高置信度的新特征会替换低置信度的条目。在替换之前，新特征会与类原型进行融合，以形成鲁棒的表示。
缓慢整合的抽象记忆（类 NC）：
- 功能： 代表稳定的、广义的语义知识（全局文本原型），其演变过程较为缓慢。
- 机制： 由源自预训练知识的全局文本原型 ( $P_t$ ) 组成。
- 更新规则： 采用“缓慢”更新策略（通过带有微小速率 $\lambda_{nc}$ 的加权融合进行），该策略仅在最终预测具有足够置信度时被触发。这模拟了系统整合过程，确保了稳定性并防止灾难性遗忘。

2. 通过重整合进行联合优化

对于每个输入的测试样本，ComMem 通过联合优化两个记忆系统来强制执行跨模态一致性，从而模拟记忆重整合过程：

可学习参数：
- 视觉残差 ( $\delta_v$ )： 添加到视觉原型（HPC 系统）中，用于快速、针对特定实例的自适应。
- 文本残差 ( $\delta_t$ )： 添加到全局文本原型（NC 系统）中，用于上下文自适应的局部分类。
- 归一化层 ( $\theta_n$ )： 在视觉编码器内进行微调，用于低层级特征自适应（NC 系统）。
预测集成： 最终预测结合了两个系统的输出，并通过亲和力函数进行加权，以自适应地平衡细节记忆的贡献。
损失函数： 参数通过一个复合损失函数在单个梯度步骤中进行优化：
- 熵最小化 ( $L_{ent}$ )： 降低预测不确定性。
- 记忆间一致性 ( $L_{align}$ )： 使用对称的 InfoNCE 损失对齐视觉和文本原型，以确保 HPC 和 NC 表示之间的连贯性。
- 记忆内稀疏编码 ( $L_{sparse}$ )： 惩罚每个记忆系统内的原型冗余，以最小化表示重叠。

核心贡献

受脑科学启发的框架： 引入了 ComMem，这是第一个将互补记忆系统的不同快速（HPC）和缓慢（NC）学习动态应用于视觉语言模型 TTA 的方法。
协同机制： 设计了一个双记忆系统，其中快速更新的细节缓存和缓慢整合的抽象记忆通过重整合过程进行联合优化，以确保跨模态一致性。
达到最先进水平的性能： 在 15 个基准数据集（包括自然分布偏移和跨数据集泛化场景）上证明了 Com-Mem 相比现有方法具有显著的改进。

实验结果

作者在 15 个数据集上评估了 ComMem，包括 ImageNet 变体（ImageNet-A, R, S, OOD）和 10 个多样化的跨数据集基准（如 Aircraft, Cars, DTD, Flowers）。

自然分布偏移 (ImageNet-OOD)：
- 使用 ResNet-50 时，ComMem 实现了新的平均 OOD 准确率 48.84%，超过了之前的最优方法 (DPE) 1.18%。
- 使用 ViT-B/16 时，Com-Mem 实现了 65.36% 的平均 OOD 准确率，超越了所有竞争方法。
跨数据集泛化：
- ComMem 在 10 个多样化数据集上均取得了最高平均准确率：64.60% (ResNet-50) 和 70.74% (ViT-B/16)，优于 DMN-ZS 和 DPE 等强基线模型。
效率：
- ComMem 处理 50,000 个 ImageNet 测试样本仅需约 1.5 小时，明显快于 TPT 等提示微调方法（>15 小时），同时提供了实质性的准确率提升（比零样本 CLIP 高出 +4.24%，而 TPT 仅为 +0.93%）。
消融研究：
- 证实了两种记忆系统的协同结合、一致性对齐以及稀疏编码对于性能至关重要。
- 验证了不同的学习率是最优的：归一化层（NC）需要较小的学习率 ( $10^{-6} \sim 10^{-5}$ ) 以保证稳定性，而残差层（HPC）需要较大的速率 ( $10^{-4}$ ) 以实现快速自适应。
- 表明适中的 HPC 缓存容量 (K=3 到 5) 能在灵活性与稳定性之间取得平衡。

意义与主张

本文声称 ComMem 为增强视觉语言模型在动态环境中的实际适应能力提供了一个极具前景的方向。通过模拟系统整合与重整合的生物学机制，该方法成功平衡了快速适应领域特定变化与稳定性（抵抗灾难性遗忘）之间的权衡。作者断言，其方法不仅在鲁棒性和泛化性方面树立了新的标杆，而且与现有的提示微调方法相比，实现了更优的计算效率表现。这项工作凸显了神经计算类比在解决多模态模型测试时自适应挑战方面的潜力。