💻 computer science

MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learninga

本文介绍了 MultiMem，这是首个用于量化多模态对比学习中记忆现象的指标，揭示了跨模态语义失配和文本是导致记忆现象的主要驱动因素，并证明了针对性的增强可以有效缓解这一问题以提高模型的泛化能力。

原作者： Wenhao Wang, Franziska Boenisch, Michael Backes, Adam Dziedzic

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenhao Wang, Franziska Boenisch, Michael Backes, Adam Dziedzic

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在向一群朋友（一个 AI 模型）教授如何通过同时展示图片、声音和文字来识别世界。目标是让他们理解：一张狗的照片、一声犬吠的声音以及“狗”这个词都属于同一个事物。

这篇名为 MultiMem 的论文研究了这些 AI 朋友在学习过程中出现的一个奇怪怪癖：有时，它们不仅仅是学会了狗的“通用概念”，反而把某些特定的、古怪或令人困惑的例子记住了太深，以至于以后无法识别正常的狗。这被称为记忆化（memorization）。

以下是研究人员的发现以及他们如何解决这一问题的详细拆解，我们使用了简单的类比。

1. 问题所在：“差生效应”

过去，科学家们知道当 AI 只学习图片时（就像学生背诵特定的标准答案一样），会发生记忆化现象。但当你加入更多感官——比如声音和视频——时，规则改变了。

研究人员发现，在这些多感官模型中，“差生”不仅仅是那些标签错误的样本。他们是指那些感官不匹配的样本。

类比： 想象一张闪卡显示的是一只猫的照片，但播放的声音是狗叫，文字写着“大象”。
结果： AI 并没有意识到“嘿，这些对不上！”并忽略这张卡片，而是感到困惑，并试图强行将它们拼凑在一起。它最终死记硬背了这张特定的、令人困惑的卡片，因为它太奇怪了。随后，当它看到一只正常的猫时，它会被那个奇怪的记忆困住，从而导致识别失败。

2. 新工具：“MultiMem”（记忆检测器）

在此之前，科学家们虽然有测量记忆化的工具，但它们就像只能听见一只耳朵的听诊器。它们可以检查 AI 是否记住了图片或文字，但无法听到图片、声音和文字之间的完整对话。

作者创建了 MultiMem，一种全新的“超级听诊器”。

工作原理： 他们训练两个版本的 AI。一个版本看到了特定的、令人困惑的卡片；另一个版本则从未见过那张卡片。
测试方法： 他们要求两台 AI 描述那张特定的卡片。如果看过卡片的 AI 给出的答案与没看过的 AI 差异巨大，这意味着第一台 AI 记忆化了那张特定的卡片。
发现： MultiMem 表明，要真正理解记忆化，你必须同时观察所有的感官，而不仅仅是两两组合（比如图片 + 文字）。

3. 研究结果：谁才是老大？

研究人员观察了拥有 3 种和 4 种不同感官（音频、视频、图像、文本）的模型。

旧观点： 在简单的模型中，“文本”（文字）通常是老大，驱动着记忆化过程。
新发现： 在复杂的模型中，文本并不是唯一的老大。所有感官之间的不匹配才是真正的罪魁祸首。AI 记忆化的是感官之间的冲突。
隐喻： 这就像一个乐队，鼓手、吉他手和歌手都在演奏不同的歌曲。乐队并没有学会音乐，他们只是记住了那个混乱的瞬间，以便能完美地重复出来，尽管听起来非常糟糕。

4. 解决方案：“噪声”与“排毒”

团队发现了两种方法来阻止 AI 记忆这些令人困惑的卡片，并帮助它学习真正的模式。

策略 A：“训练中”噪声（温柔的提醒）

核心思想： 不再对每个学生一视同仁，研究人员找出了前 5% 最令人困惑的卡片（即 AI 记忆化最严重的那些）。
行动： 在 AI 还在学习的过程中，仅对这些特定的、令人困惑的卡片添加一点“静态噪声”或“噪声”（就像加了一个模糊滤镜）。
结果： 这迫使 AI 停止尝试记住那个奇怪卡片的精确细节，转而关注其通用模式。这就像告诉学生：“不要只死记硬背这个怪词的拼写，要试着理解语法规则。”
成效： AI 对新事物的识别能力（泛化能力）得到了提升，且记忆化程度降低。

策略 B：“训练后”排毒（大扫除）

核心思想： 在 AI 完成学习后，研究人员使用 MultiMem 找出它记忆化了哪些顶层的困惑卡片。
行动： 他们把这些特定的卡片扔掉，并让 AI 在没有这些卡片的情况下重新学习剩余的内容。
结果： 这同样提高了 AI 的表现，不过“训练中”噪声策略的效果略好一些。

5. 为什么这很重要

论文总结道，通过使用 MultiMem 同时测量所有感官的记忆化，并应用这些“噪声”或“排毒”策略，我们可以构建出满足以下特征的 AI 模型：

不太容易被奇怪、困惑的例子困住。
更好地理解现实世界的各种情况。
更具鲁棒性（稳健性），因为它们不会仅仅去记忆那些“故障”数据。

简而言之，这篇论文教导我们，要阻止 AI 成为一个只会重复混乱废话的“鹦鹉”，我们需要测量它如何处理感官之间的“完整对话”，并在它学习的过程中，温柔地引导它远离那些奇怪的事物。

技术摘要：MultiMem：衡量与缓解多模态对比学习中的记忆现象

1. 问题陈述

虽然机器学习模型中的记忆现象（memorization）已知有助于提升对分布内稀有样本的性能（通过捕捉异常模式），但它也会导致对噪声和离群值的有害保留，从而降低泛化能力。已有研究对视觉领域监督学习（SL）和自监督学习（SSL）中的记忆现象进行了表征。然而，多模态对比学习中的记忆现象仍处于未被探索的状态。

现有的记忆定义通常是特定于模态的（例如，基于监督学习中的标签预测或自监督学习中的增强匹配），或者局限于双模态设置（例如 CLIP 中的图像-文本对）。这些定义无法捕捉多模态模型中固有的跨不同模态（如音频、视频、图像和文本）的复杂全局交互。此外，先前的研究方法如 déjà vu 或 CLIPMem 并不直接适用于涉及两种以上模态的模型。目前迫切需要一个能够同时量化所有模态记忆现象，并理解跨模态不一致性如何驱动这一现象的框架。

2. 方法论

MultiMem 指标
作者引入了 MultiMem，这是第一个旨在量化任何数量和类型模态下的多模态对比学习记忆现象的指标。

框架： 它基于“留一法”（leave-one-out）框架。训练两个模型：模型 $f$ 在完整数据集 $S$ 上进行训练；模型 $g$ 在数据集 $S \setminus i$ （排除特定的多模态样本 $x_i$ ）上进行训练。
记忆的代理指标： MultiMem 不仅仅依赖于标签预测或成对对齐，而是使用**跨模态一致性（Cross-Modal Consistency, CMC）**作为代理指标。CMC 衡量特定样本在所有模态间的对齐程度，与其在留出集 $H$ 中与无关样本的对齐程度进行比较。
计算方式：
1. 将样本 $x_i$ 在 $n$ 个模态中的表示进行归一化，并聚合到表示空间 $\Phi$ 中。
2. CMC 的计算方式是：样本内模态的预期相似度（样本内一致性）与样本与留出集样本之间的预期相似度（样本间分离度）之差。
3. MultiMem 定义为模型 $f$ 和模型 $g$ 的 CMC 分数之差：
  $\text{MultiMem}(i, H, f) = \text{CMC}_{f \sim S}(i, H) - \text{CMC}_{g \sim S \setminus i}(i, H)$
  高 MultiMem 分值表明，模型对样本 $x_i$ 的模态对齐能力高度依赖于 $x_i$ 是否存在于训练集中，这标志着发生了记忆现象。

实验设置
作者在多个模型上评估了 MultiMem：

AudioCLIP： 音频、图像、文本。
AVT-CLIP： 音频、视频、文本（自定义构建）。
AVIT-CLIP： 音频、视频、图像、文本（自定义构建）。
基准模型： OpenCLIP, VideoCLIP。
数据集包括 UrbanSound8K, MSR-VTT, 和 COCO。

缓解策略
基于该指标，提出了两种缓解策略：

训练中缓解（In-Training Mitigation）： 在训练期间，将记忆程度最高的 5% 样本（通过定期 MultiMem 评估识别）重新分组到新的批次中。仅对这些样本在其表示上施加针对性的噪声增强（高斯噪声），而其他批次保持不变。
训练后缓解（Post-Training Mitigation）： 在初始训练完成后，识别并从训练集中移除记忆程度最高的样本。随后在剩余数据上对模型进行微调。

3. 关键结果与发现

记忆现象的特征化

全局 vs. 局部： 在所有模态上测量的记忆（全局 MultiMem）与在模态子集（例如仅图像-文本）上测量的记忆行为不同。全局评估对于准确评估是必要的。
记忆的驱动因素： 被记忆程度最高的样本并非仅仅是标注错误（这在双模态模型中常见），而是表现出所有模态间的语义失配（semantic misalignment）。不同模态提供的信息往往相互矛盾或互不相关。
模态影响： 跨模态语义失配对记忆现象的影响最强。文本是驱动记忆的主导模态，其次是视频、图像和音频。
行为转变： 多模态模型的记忆行为更接近于自监督学习（SSL）（记忆模式），而非监督学习（记忆标签）。音频和视频的引入使视觉编码器的行为从纯粹的文本驱动转向了其他方向。
泛化相关性： 全局记忆与泛化性能（通过检索、线性探测和零样本任务衡量）之间存在强负相关性。较高的记忆程度会导致较低的下游性能。

缓解措施的影响

增强： 对所有模态应用增强产生的记忆最少且性能最高。仅对单一模态应用增强可能会增加非增强模态对之间的记忆程度。
缓解有效性： 训练中和训练后缓解策略均显著降低了记忆程度（最高降幅达 20%）并提升了模型性能：
- 检索（Retrieval）： 提升高达 8%。
- 零样本分类（Zero-shot Classification）： 提升高达 10%。
- 下游分类（Downstream Classification）： 提升高达 4%。
机制： 缓解是通过增加高记忆样本的平均模态距离（通过噪声减少其“过度对齐”）来实现的，同时保留了数据集整体的模态间隙。研究发现，训练中缓解比训练后缓解略微有效。

4. 重要性与主张

本文声称建立了第一个专门用于衡量和缓解多模态对比学习中记忆现象的框架。其重要性在于：

定义了新指标： 提供了 MultiMem，它超越了双模态的限制，能够捕捉任意模态配置下的全局交互。
揭示了新模式： 证明了多模态记忆是由跨模态语义不一致性驱动的，而非仅仅是标签噪声或单模态离群值，并且这些模型的行为更接近 SSL 而非 SL。
实用的缓解方案： 展示了基于该指标的针对性干预（特别是对记忆样本进行噪声增强）能有效防止有害的数据保留，并在不需要移除大量数据的情况下，构建出更鲁棒、性能更高的模型。

作者强调，其工作防止了有害的数据保留，并为开发更好的泛化多模态模型做出了贡献，填补了以往单模态或双模态研究留下的空白。