💻 computer science

Latent Noise Mask for Reducing Visual Redundancy in Multimodal Large Language Models

该论文提出了 Lens，这是一个轻量级的、以问题为条件的框架，通过向无关图像标记中自适应地注入潜在噪声，减少了多模态大语言模型中的视觉冗余，从而在不修改模型主干的情况下，显著提升了细粒度推理和定位性能。

原作者： Kai Jiang, Ruishu Zhu, Siqi Huang, Hongyuan Zhang, Xuelong Li

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Kai Jiang, Ruishu Zhu, Siqi Huang, Hongyuan Zhang, Xuelong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试解开一个拼图，但有人把一大堆无关的额外拼图碎片直接倒在了你真正需要的那些碎片上面。这本质上就是多模态大语言模型（MLLMs）在观察图像时面临的问题。

这些模型在阅读和交谈方面非常聪明，但当它们看一张图片时，它们会将所有内容都视为一长串微小的碎片（即 token）。如果你问：“天空中有多少架飞机？”，模型能看到飞机，但它也会看到云朵、鸟类、背景中的树木以及草地的纹理。所有这些“干扰项”碎片都会混杂在一起，使得模型很难专注于回答你的问题所需的特定线索。

目前大多数解决方案试图通过为其推理过程增加更多步骤来帮助模型“思考得更努力”或“思考得更久”。这就像是在告诉一个困惑的侦探：“只需写一份关于你所看到的一切的长篇报告。”但论文指出，这样做效果并不好，因为侦探仍然淹没在无关的细节中。

LENS（潜在噪声掩码）登场了。

请不要将 LENS 视为一种增加信息的工具，而应将其视为模型眼睛的智能降噪耳机。

以下是它的工作原理，使用了一个简单的类比：

1. “透镜证据标记”（智能观察员）

想象模型有一个微小的、临时的助手（称为透镜证据标记或 LET），它会同时观察图像和问题。

任务： 这个助手快速扫描图像，并给图像中的每一个碎片打分。
结果： 如果图像的一个部分是飞机（且你问的是关于飞机的），助手就会给它一个高分（绿灯）。如果一个部分是云朵或树木，它就会给一个低分（红灯）。
关键点： 这个助手不会改变图片；它只是根据你的提问对碎片进行排序。

2. “潜在噪声掩码”（音量旋钮）

一旦助手完成了对碎片的排序，LENS 并不会把那些“低分”的碎片丢弃掉。丢弃东西是有风险的；如果助手犯了错，模型可能会丢失关键线索。相反，LENS 使用了一个音量旋钮。

高分碎片（证据）： 这些碎片保持原样。它们清晰且响亮。
低分碎片（干扰项）： LENS 会向这些碎片添加一种特殊的“静态噪声”或“噪声”。它不会删除它们，但会让它们变得模糊且不可靠。这就像调低背景杂音的音量，让模型只能听到重要的声音。

为什么这更好？

论文声称，与其试图教模型“思考得更久”（这会增加更多杂乱信息），不如清理它已经看到的内容。

无需手术： 模型的“大脑”（其骨干网络）保持完全不变。我们没有切除图像的一部分，也没有改变模型的构建方式。
软抑制： LENS 不是激进地删除图像的部分，（因为如果它猜错了，这可能会破坏模型），而是温柔地“静音”干扰项。
高效性： 它只增加了极少量的额外工作，就像助手的快速瞥视一样，但结果是为模型提供了一幅更清晰的图像来解决问题。

实验结果

当研究人员在各种任务上测试这种“降噪”方法时：

视觉问答 (VQA)： 模型在回答特定问题（如计数物体或读取图像中的文本）方面表现得显著更好，因为它们不再被背景所干扰。
定位 (Grounding)： 模型在精准指出图像中物体位置方面表现得更好，因为附近类似物体的“噪声”被消除了。

简而言之： 论文表明，要让 AI 更擅长观察，我们不应该仅仅给它更多思考的时间；我们应该帮助它忽略噪声，从而专注于信号。LENS 就是那个调低无关图像部分音量的工具，让模型能够清晰地听到答案。

技术摘要：用于减少多模态大语言模型视觉冗余的潜空间噪声掩码

1. 问题陈述

多模态大语言模型（MLLMs）在细粒度视觉推理任务中经常表现不佳。虽然这些模型继承了强大的语言推理能力，但其视觉推理往往受到视觉冗余的阻碍。在标准的 MLLM 架构中，图像被编码为稠密的标记（token）序列。然而，对于特定的问题，只有一小部分标记构成了相关的证据。其余的标记——代表背景区域、无关物体或视觉相似的干扰项——稀释了关键线索。

现有方法试图通过扩展推理轨迹（例如思维链）或增加更多的视觉/潜空间上下文（例如图像裁剪、中间潜标记）来解决这一问题。作者认为，这些“加法”式的方法未能解决核心问题：无关的视觉标记仍然存在于上下文中，它们与关键证据竞争，使解码过程变得更加困难。本文认为，当证据已经存在时，主要挑战在于视觉选择性（过滤干扰项），而非视觉可用性（寻找新证据）。

2. 方法论：潜空间噪声掩码 (LENS)

作者提出了 LENS（LatEnt Noise maSk，潜空间噪声掩码），这是一个旨在在解码阶段之前纯化视觉证据的框架，且无需改变模型主干网络或标记序列结构。该方法分为两个耦合阶段进行：

A. 证据探测 (Evidence Probing)

LENS 引入了一个轻量级的、临时性的透镜证据标记 (Lens Evidence Token, LET)，记作 ``，它被附加到视觉标记 ( $V$ ) 和文本标记 ( $T$ ) 的联合输入中。

机制： 该临时标记的隐藏状态通过一个简单的多层感知机 (MLP) 头 ( $f_\theta$ ) 进行解码，从而产生一个相关性得分向量 $\mathbf{a} \in [0, 1]^N$ ，其中 $N$ 是视觉标记的数量。
条件化： 这些得分是基于问题的（question-conditioned），这意味着对于同一个图像区域，针对不同的问题可能会得到不同的得分。
监督： LET 使用物体级标注（边界框）进行训练，而不是使用昂贵的思维链逻辑。如果一个标记对应的图像块与问题相关的边界框重叠，则该标记被标记为正样本。训练目标是最小化预测得分与这些二值标签之间的二元交叉熵 (BCE) 损失。

B. 潜空间抑制 (Latent Suppression)

一旦生成了相关性得分，`` 标记将被移除，得分将引导潜空间中的软抑制 (soft suppression) 机制。

噪声生成： 一个轻量级的噪声生成器 ( $G_\phi$ ) 为每个视觉标记 $v_i$ 预测一个特定于标记的高斯分布的均值 ( $\mu_i$ ) 和标准差 ( $\sigma_i$ )。
自适应扰动： 实际的噪声 $r_i$ 通过重参数化采样得到： $r_i = \mu_i + \sigma_i \odot \epsilon_i$ ，其中 $\epsilon_i \sim \mathcal{N}(0, I)$ 。
门控： 基于 LET 得分 $a_i$ $a_{i}$ 和阈值 $\tau$ $τ$ 计算抑制门 $g_i$ $g_{i}$ ： $g_i = \frac{1}{\tau} \text{ReLU}(\tau - a_i)$ $g_{i} = \frac{1}{τ} ReLU (τ - a_{i})$ 。
- 如果 $a_i \geq \tau$ （高相关性），则 $g_i = 0$ ，标记保持不变。
- 如果 $a_i < \tau$ （低相关性），则 $g_i > 0$ ，并注入自适应噪声。
纯化后的序列： 最终的视觉序列为 $\tilde{V} = \{v_i + g_i r_i\}$ 。这保留了原始标记的布局（这对于兼容现有主干网络至关重要），但使干扰标记的表示变得不稳定，从而有效地在潜空间中“掩盖”了它们。

C. 优化

该框架分两个阶段进行训练：

监督微调 (SFT)： 模型使用纯化后的序列 $\tilde{V}$ 进行训练以回答问题。总损失结合了答案生成损失和 LET 监督损失（ $\mathcal{L}_{SFT} = \mathcal{L}_{ans} + \beta \mathcal{L}_{LET}$ ）。
强化学习微调 (RFT)： 为了精炼证据选择策略，作者将 LET 得分建模为伯努利策略。他们根据所选标记与地面真值（ground-truth）相关框之间的重叠程度（F1 分数）来优化集合层级的奖励，并利用与 SFT 检查点的 KL 散度进行正则化。

3. 核心贡献

问题重构： 本文指出，稠密的视觉标记包含与问题无关的干扰项，这些干扰项阻碍了细粒度推理。作者认为，抑制这些干扰项比单纯增加更多推理上下文更为有效。
轻量化框架： LENS 引入了一种基于问题的条件化纯化机制，仅需一个临时的可学习控制标记和一个轻量级的噪声生成器。它不需要修改主干网络架构，也不需要裁剪图像或生成中间视觉输出。
软性潜空间干预： 与标记剪枝或硬性区域选择不同，LENS 使用自适应潜空间噪声来软性地抑制低相关性标记。这在保持标记序列结构完整性的同时，降低了干扰项的影响。

4. 实验结果

作者在涵盖视觉问答 (VQA) 和定位 (Grounding) 任务的 10 个基准测试上评估了 LENS，使用的基础模型包括 Qwen3-VL、InternVL3.5-VL 和 Qwen3.5 系列。

性能提升：
- VQA： LENS 在大多数 VQA 数据集（如 CUB、GQA、OpenImages）上将基础 MLLM 提升了 2.4–6.4 个百分点。LENS-GRPO 版本相比最强的非 LENS 基线实现了平均 6.65 个百分点的提升。
- 定位 (Grounding)： 在定位任务（如 COCO、Objects365）上的提升更为显著，增幅为 4.1–6.4 个百分点。在 VisDrone 上，LENS-GRPO 比 SFT 提升了 18.81 个百分点。
- 泛化能力： 该方法在不同模型规模（2B 到 9B）和架构之间表现出良好的迁移性，在无需针对特定任务进行架构更改的情况下，一致地提高了性能。
消融实验：
- 去除潜空间抑制（仅使用证据探测）带来的收益有限，这证实了仅识别证据是不够的，必须主动抑制干扰项。
- 将学习到的软噪声替换为随机掩码、零填充或基于注意力的掩码会导致性能大幅下降，这验证了学习到的、自适应的、软性抑制的必要性。
- 强化学习微调 (GRPO) 进一步增强了结果，表明在集合层面优化证据选择策略是有益的。

5. 意义与主张

本文声称，获得更清晰的问题相关视觉证据是比扩展推理轨迹更直接的提升多模态推理能力的途径。通过证明抑制无关标记比增加更多上下文更有效，作者提出了 MLLM 推理范式的转变：从视觉加法 (visual addition) 转向视觉纯化 (visual purification)。

其意义在于该方法的效率和通用性。LENS 以极低的开销实现了在细粒度推理和空间定位方面的最先进（SOTA）性能提升，证明了当前 MLLM 的瓶颈往往在于视觉输入中的“噪声”，而非缺乏推理能力。可视化结果证实，LENS 成功地将注意力集中在关键区域（属性、物体、关系）上，同时抑制了背景和干扰项，从而实现了更可靠的细粒度视觉-语言推理。