🤖 AI

Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs

本文提出了 GRACE，这是一个新颖的框架，它在信息瓶颈原理下统一了知识蒸馏与量化感知训练，从而实现了高效且高性能的 INT4 视觉 - 语言模型，该模型在显著超越现有量化方法的同时，其性能几乎与全精度教师模型相当。

原作者： Yanlong Chen, Amirhossein Habibian, Luca Benini, Yawei Li

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Yanlong Chen, Amirhossein Habibian, Luca Benini, Yawei Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位才华横溢、世界级的教授（即“教师”），他通晓世间万物，从在照片中识别特定鸟类到解释复杂的科学原理无所不能。这位教授极其聪明，但体型庞大、分量沉重，需要一座巨大的图书馆来存储其知识。你希望雇佣一位年轻、充满热情的学生（即“学生”），他体型更小、更轻便，能够将知识装进背包，并在小型电池供电的设备上工作。

问题在于？当你试图将教授庞大的大脑压缩以塞进学生的小背包时，通常会丢失大量“精华内容”。学生最终变得困惑、犯错，或遗忘重要细节。这正是我们尝试压缩大型人工智能模型（称为视觉 - 语言模型）以便在小型设备上运行时所发生的情况。

本文介绍了一种名为GRACE的新方法来解决这一问题。可以将 GRACE 想象为一个超级智能的训练营地，它教导学生如何在丢弃冗余内容的同时保留最重要的课程，并将知识装入一个微小而高效的行李箱中。

以下是 GRACE 的工作原理，它运用了三个简单的技巧：

1. “信任计”（基于置信度的蒸馏）

通常，当学生向教师学习时，他们会以同等的重要性听取教师的每一句话。但有时，即使是天才教授对某些细节也会感到不确定或困惑。如果学生盲目地复制这些不确定的猜测，他们就会养成坏习惯。

GRACE 为学生配备了一个信任计。

如果教师非常自信（低“熵”或低困惑度），学生就会仔细聆听并刻苦学习。
如果教师听起来不确定或犹豫（高熵），学生就会戴上降噪耳机，忽略那条具体的建议。
结果：学生只从教师的“最佳时刻”中学习，避免了通常破坏学习过程的困惑。

2. “连接地图”（关系对齐）

想象教师正在看一张公园的照片。他们不仅仅将“一棵树”和“一张长椅”视为独立的物品。他们看到的是关系：“长椅在树下"，以及“树在路径旁"。

标准的教学方法通常只问学生“这是什么？”，并检查他们是否答对了名称。但 GRACE 教导学生去查看连接地图。

它迫使学生在理解图像不同部分如何相互关联方面，像教师一样思考。
即使学生体型较小，他们也能学会逻辑地分组事物（例如，“天空标记”保持在一起，“地面标记”保持在一起），而不仅仅是死记硬背孤立的事实。
结果：学生学会了像那位巨大的教师一样，以相同的结构理解来“看”世界，而不仅仅是记住最终答案。

3. “智能背包管理员”（自适应控制器）

你有一个有严格重量限制的背包（即量化或位预算）。你不能把东西胡乱扔进去；你必须讲究策略。

GRACE 使用一位智能管理员，他不断检查背包：

“我们是否携带了太多无用的垃圾？”
“我们是否忘记了最重要的课程？”
如果学生在重量限制内难以记住教师的课程，管理员就会收紧规则，迫使学生更专注于向教师学习。
如果学生表现优异，管理员就会放宽规则，让学生专注于解决实际问题（如回答问题），而不仅仅是模仿教师。
结果：背包被完美地打包——没有浪费空间，但也没有遗漏任何重要内容。

惊人的成果

该论文在两个著名的人工智能模型（LLaVA 和 Qwen）上测试了这种方法。结果令人惊讶：

优于原版：这个微小的、经过压缩的学生（仅在 4 位内存上运行）的表现实际上优于在标准计算机上运行的原始全尺寸模型。
速度与体积：由于模型更小且更高效，其运行速度快 3 倍，且使用的内存减少了一半。

简而言之：GRACE 就像一位大师厨师在教导学徒。厨师不是给学徒一本太重而无法携带的巨型食谱书，而是教导他们如何品尝食物（信任计）、如何理解食材之间的相互关系（连接地图），以及如何打包一个午餐盒，既能装下所有所需之物又不会洒出一滴（智能管理员）。最终结果是一位小厨师，其烹饪水平与大师一样出色，但却可以在任何时间、任何地点做到这一点。

技术摘要：GRACE——基于置信度蒸馏的门控关系对齐，用于高效视觉语言模型

1. 问题陈述

视觉语言模型（VLM）在多模态任务中已展现出变革性的能力，但由于其高昂的计算和内存成本，面临显著的部署挑战。尽管训练后量化（PTQ）提供了一条简单的压缩途径，但往往会导致 VLM 在激进位宽（如 INT4）下出现灾难性的精度下降，这是由于这些模型固有的复杂多模态分布和跨模态交互所致。

量化感知训练（QAT）是一种更为原则性的替代方案，它允许模型在优化过程中适应低精度约束。然而，针对 VLM 的 QAT 研究仍不足。标准的 QAT 仅依赖任务损失，这种稀疏的监督信号不足以指导模型在严格的位预算下应保留哪些信息。此外，QAT 与知识蒸馏（KD）的简单组合往往无法解决 VLM 的特有挑战，例如教师监督可靠性的差异以及细粒度视觉推理结构的丢失。

2. 方法论：GRACE 框架

作者提出了GRACE（基于置信度蒸馏的高效 VLM 门控关系对齐），这是一个将 VLM 压缩形式化为**信息瓶颈（IB）**问题的统一框架。在此原则下，量化作为硬容量约束，而蒸馏则决定保留哪些任务相关信息。GRACE 集成了三个协同组件：

2.1 基于置信度门控的解耦知识蒸馏（GDKD）

标准 KD 平等对待所有教师预测，忽略了不确定的教师输出（高熵）可能引入噪声。GRACE 通过以下方式解决这一问题：

解耦知识蒸馏（DKD）： 将蒸馏损失分解为目标类知识蒸馏（TCKD）和非目标类知识蒸馏（NCKD）。NCKD 从错误类别的分布中传递“暗知识”，这往往比仅关注目标概率更具信息量。
置信度门控： 作者观察到教师熵与预测误差之间存在强烈的正相关。他们引入了一种门控机制，其中每个 token 的蒸馏权重定义为 $g_i = \exp(-\tilde{h}_i)$ ，其中 $\tilde{h}_i$ 是教师输出的归一化熵。这抑制了来自不确定（高熵）token 的监督，并优先处理置信度高的预测。
理论依据： 该门控被证明能最小化权重与损失之间的协方差，从而有效过滤不可靠的监督信号。

2.2 关系中心核对齐（RCKA）

基于 Logit 的蒸馏无法传递大型模型卓越的视觉推理能力，这些能力表现为结构化的注意力模式，而不仅仅是输出概率。

视觉 Token 结构： GRACE 从 LLM 主干的倒数第二层提取视觉 token 表示（排除文本 token）。
中心核对齐（CKA）： 与其对齐逐点特征，GRACE 对齐教师和学生之间视觉 token 的Gram 矩阵。这传递了视觉 token 之间的关系结构（成对相似性），使学生能够学习教师如何将视觉信息组织成语义连贯的区域（例如，将天空 token 归为一组）。
维度无关性： CKA 在 $n \times n$ 的 Gram 矩阵上操作，允许在不同隐藏维度的模型之间进行对齐，而无需投影层。

2.3 自适应信息瓶颈控制器

为了在量化约束下平衡任务性能与知识保留这两个相互竞争的目标，GRACE 采用了一个自适应控制器：

约束优化： 问题被形式化为在蒸馏损失约束（ $L_{GDKD} \leq \tau$ ）下最小化任务损失，其中 $\tau$ 代表信息保留预算。
对偶上升： 蒸馏权重 $\beta$ 通过带有指数移动平均（EMA）平滑的投影对偶上升进行动态更新。如果学生难以保留教师知识（ $L_{GDKD} > \tau$ ），则增加 $\beta$ 以加强蒸馏；否则，减少 $\beta$ 以优先保证任务性能。

2.4 量化策略

GRACE 采用分组学习步长量化（LSQ）。权重被划分为小组（默认大小为 128），每组具有独立的、可学习的尺度参数，在训练期间与模型权重联合优化。这种方法比每张量或每通道量化更能捕捉 VLM 的异构权重分布。

3. 主要贡献

理论统一： 本文通过信息瓶颈原则建立了知识蒸馏与 QAT 之间的理论联系，将量化框架化为容量分配问题，其中蒸馏指导了保留的内容。
GRACE 框架： 提出了一个统一框架，具有以下特点：
- 基于置信度门控的解耦蒸馏，用于过滤噪声监督。
- 关系中心核对齐，用于传递结构化的视觉推理。
- 自适应 IB 控制器，用于动态平衡保真度与容量。
性能突破： 证明了使用 GRACE 训练的 INT4 量化 VLM 可以超越全精度（BF16）基线，这是在激进量化场景中极少实现的结果。

4. 实验结果

在多个基准测试（SQA、MMBench、ScienceQA 等）上，对LLaVA-1.5（13B 教师 $\to$ 7B 学生）和Qwen2-VL（7B 教师 $\to$ 2B 学生）进行了广泛评估。

精度恢复与超越：
- LLaVA-1.5-7B (INT4)： 在 ScienceQA 上达到 70.1%，优于 BF16 基线（66.8%），并匹配了 13B 教师的性能。
- Qwen2-VL-2B (INT4)： 在 MMBench 上达到 76.9%，在 ScienceQA 上达到 79.1%，显著优于 BF16 基线（分别为 72.6% 和 73.7%）以及现有的 INT4 方法（如 RTN、AWQ 和 SPEED-Q）。
与基线对比： GRACE 始终显著优于标准 QAT、朴素 KD+QAT 以及最先进的 PTQ 方法（GPTQ、AWQ、MBQ）（例如，在 Qwen2-VL-2B INT4 上比基线高出 +4.5%）。
效率提升： 当在 NVIDIA A100 GPU 上部署真实的 INT4 内核时，GRACE 模型实现了：
- 3.03 倍 更高的吞吐量。
- 3.03 倍 更低的延迟。
- 2.18 倍 的峰值 GPU 内存减少。
- 3.08 倍 的参数存储减少。

5. 意义与主张

本文声称，GRACE 为 VLM 压缩中的联合优化提供了原则性基础。通过将量化视为信息瓶颈问题，该框架使模型能够学习本质上对激进低位压缩具有鲁棒性的表示。

作者强调，他们的方法使 INT4 模型不仅能够恢复，而且能够超越全精度基线，这验证了原则性的信息分配（通过置信度门控和关系对齐）优于标准的 QAT 或朴素的蒸馏组合。这项工作旨在通过使高质量 VLM 能够在资源受限的设备上部署，同时显著降低内存和计算需求，并保持或提高任务性能，从而推动高质量 VLM 的普及。作者承认潜在的社会影响，包括被滥用以生成误导性内容的风险，但认为当负责任地部署时，高效、可访问的多模态 AI 带来的益处超过这些风险。