🤖 AI

Multi-Modality Distillation via Learning the teacher's modality-level Gram Matrix

本文提出了一种新颖的多模态知识蒸馏框架，通过强制学生网络学习教师网络的模态级格拉姆矩阵来弥合两者之间的差距，从而捕捉关键的模态间关系信息，而不仅仅是最终输出。

原作者： Peng Liu

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Peng Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对这篇论文的解读。

宏观图景：缩小巨人

想象你有一位拥有超级智慧的厨师（教师），他能在一个设备齐全的巨大厨房里烹制出令人惊叹的佳肴。这位厨师拥有数百万种食材和工具（参数）。然而，你想教一位年轻的小学徒（学生）烹制同样的菜肴，但这位小学徒只有一个小小的背包和一个小型炉灶。他们无法携带所有工具，也无法记住每一个食谱步骤。

在人工智能领域，这些“厨师”是庞大的计算机模型（如 UNITER 或 BERT），它们体积过大，无法在手机或小型设备上运行。知识蒸馏就是教导这位小学徒模仿大厨师的过程，从而使小学徒无需巨大的厨房也能出色地完成任务。

问题：仅复制最终菜肴

长期以来，研究人员试图通过仅向小学徒展示厨师端上的最终菜肴来教导他们。

旧方法：老师说：“这是一份完美的千层面。”学生则尝试制作一份外观完全相同的千层面。
缺陷：学生虽然得到了正确的最终结果，但他们并不理解厨师是如何组合食材的。在这篇特定的论文中，“食材”指的是不同类型的数据：文本（词语）和图像（图片）。

作者认为，旧方法遗漏了秘诀。它没有教会学生如何将一张狗的图片与“吠叫”这个词联系起来。它只教会了他们最终答案。正因如此，学生和教师在深层思维上仍然存在巨大差异，学生的智能远未达到其应有的水平。

新想法：学习“风味图谱”

作者提出了一种教导小学徒的新方法。他们希望学生不仅仅关注最终菜肴，而是要学习食材之间的关系。

他们将此称为学习模态级格拉姆矩阵（Modality-Level Gram Matrix）。这听起来很复杂，但你可以这样理解：

想象厨师有一本特殊的笔记本，里面记录了每种食材与其他每种食材之间的关系。

“当我看到一张海滩的图片时，我会想到‘沙子’这个词。”
“当我看到一张暴风雨的图片时，我会想到‘危险’这个词。”

这本笔记本就是格拉姆矩阵。它是一张连接关系的地图。

教师的笔记本：大厨师拥有一张关于图像和文本如何连接的完美地图。
学生的目标：小学徒试图复制这张连接关系地图，而不仅仅是最终答案。

论文指出，通过强迫学生学习这种“关系地图”（即教师如何将文本与图像联系起来），学生即使资源较少，也会变得更聪明，表现更好。

他们如何测试

研究人员在三个不同的“烹饪挑战”（数据集）上测试了这一想法：

仇恨模因（Hateful Memes）：判断一张带有文字的图片是否充满恶意。
视觉蕴含（Visual Entailment）：观察一张图片和一个句子，判断该句子是否与图片相符（例如：图片：一只狗在奔跑。句子：“狗在睡觉。” -> 矛盾）。
NLVR：检查一个句子是否准确描述了一张合成图像。

在所有这些测试中，“学生”模型（大 AI 的缩小版）都使用以下两种方式进行了训练：

常规方式（尝试获得正确答案）。
新方法：尝试复制教师的“关系地图”（即格拉姆矩阵）。

结果

论文声称，学习了“关系地图”的学生比那些仅复制最终答案的学生表现更好。

视觉证据：研究人员展示了训练不同阶段“地图”的图片。在开始时，学生的地图看起来杂乱无章，与教师的地图截然不同。但随着训练的进行，学生的地图开始变得几乎与教师的地图一模一样。
结论：通过教导学生如何将不同类型的信息（图像和文本）联系起来，学生能更有效地学习并获得更好的结果。

总结

这篇论文是关于通过向小 AI 展示大 AI 如何连接图片和文字，而不仅仅是展示最终答案，来使其变得更聪明。这就像教导学生不仅仅是数学题的答案，而是教师的思维具体如何将数字联系起来得出答案的方式。这使得小学生的能力大大增强。

技术摘要：通过学习教师模态级 Gram 矩阵进行多模态蒸馏

1. 问题陈述

本文针对现有模态知识蒸馏（KD）研究中的特定局限性。虽然传统的 KD 方法成功地将知识从大型“教师”网络转移到较小的“学生”网络，但当前多模态领域（例如结合文本和图像）的方法主要专注于蒸馏教师网络的最终输出。

作者认为，这种方法忽略了教师网络内部不同模态之间丰富的关系信息。因此，教师网络与学生网络之间仍存在深层差异，阻碍了学生有效学习教师已掌握的复杂模态间依赖关系（例如图像特征与文本特征如何交互）。本文提出，对于模态间交互至关重要的多模态任务，仅仅模仿最终分类输出是不足的。

2. 方法论

所提出的方法引入了一种模态关系蒸馏范式。学生网络不再仅仅匹配最终的对数几率（logits），而是被迫学习教师的模态级 Gram 矩阵。

核心组件：

输入模态： 该框架为教师和学生网络处理三种类型的输入：
1. 仅文本 ( $x_t$ )
2. 仅图像 ( $x_i$ )
3. 联合文本 - 图像 ( $x_{i+t}$ )
损失函数： 总训练目标结合了三个组成部分：
1. 传统 KD 损失 ( $L_{IKD}$ )： 使用标准损失函数（例如 Kullback-Leibler 散度或带软目标的交叉熵）最小化教师与学生最终输出对数几率之间的差异。
2. 交叉熵损失 ( $L_{CE}$ )： 一种数据增强策略，其中学生针对所有三种输入模态（文本、图像和联合）的真实标签进行训练。其定义为：
  $L_{CE} = \alpha CE(f(x_t), y) + \beta CE(f(x_i), y) + \gamma CE(f(x_{i+t}), y)$
3. 模态关系损失 ( $L_{mr}$ )： 这是本文的创新贡献。它迫使学生在模态输出上复制教师的Gram 矩阵。
  - 设 $A$ 代表单个样本中网络针对三种模态（文本、图像、联合）的输出结果。
  - 模态关系矩阵 $G$ 定义为 Gram 矩阵： $G = A \cdot A^T$ 。
  - 该损失最小化教师关系矩阵 ( $A_t$ ) 与学生关系矩阵 ( $A_s$ ) 之间的均方误差 (MSE)：
    $L_{mr} = MSE(A_t, A_s)$

架构：

教师： 一个 12 层的预训练 UNITER 网络。
学生： 一个 2 层的 UNITER 网络（隐藏层大小相同为 768，但层数更少）。
过程： 除了匹配最终分类输出外，学生还学习将其对模态交互的内部表示（由 Gram 矩阵捕获）与教师的表示对齐。

3. 主要贡献

作者确定了以下主要贡献：

蒸馏焦点的转变： 超越对教师最终输出的传统关注，转而明确建模和转移模态间关系信息。
模态级 Gram 矩阵： 提出使用 Gram 矩阵来捕获单个样本内不同模态输出（文本、图像、联合）之间的关系，作为新的蒸馏目标。
新颖框架： 设计了一个由模态关系驱动的框架，有效地将“交互”知识从教师转移到学生，解决了多模态任务中标准 KD 方法仍存在的深层差异。

4. 实验结果

该方法在三个多模态数据集上进行了评估：

Hateful-Memes： 仇恨言论检测的二分类任务。
SNLI-VE： 视觉蕴含（预测图像是否蕴含句子；类别：蕴含、中立、矛盾）。
NLVR： 自然语言视觉推理（合成图像的语义解析）。

性能：
所提出的方法（“Ours"）在所有数据集和评估划分（测试集和验证集）上均优于基线传统 KD。

SNLI-VE (测试集)： 从 71.22% (KD) 提升至 72.45%。
NLVR (测试集)： 从 73.62% (KD) 提升至 75.33%。
Hateful-Memes (测试集)： 从 68.22% (KD) 提升至 69.54%。

可视化：
作者对学到的关系矩阵进行了可视化。他们观察到，在训练初期，由于输入扰动，学生的矩阵与教师的矩阵存在显著差异。随着训练的推进，学生的矩阵变得越来越像教师的矩阵，绝对差异（距离矩阵）减小，表明模态关系的学习取得了成功。

5. 意义与主张

本文声称其意义在于解决了多模态设置中教师与学生网络之间的“深层差异”。通过强制学生（而非仅仅最终输出）学习模态关系信息（通过 Gram 矩阵），该方法使学生能够更好地复现教师的收敛空间以及对不同模态如何交互的理解。

作者指出，这种方法通过建模不同模态之间的关系信息，有效地利用了从教师到学生的知识转移，从而在不要求学生网络与教师网络一样大的情况下，提高了多模态蒸馏的性能。这项工作表明，标准 KD 对于多模态任务是不够的，因为它未能捕获模态之间的结构关系，而这些关系对于视觉蕴含等任务至关重要。