💻 computer science

PRIMED: Adaptive Modality Suppression for Referring Audio-Visual Segmentation via Biased Competition

本文介绍了 PRIMED，这是一种新颖的指代性音视频分割框架，它利用偏置竞争理论，通过模态先验解码器和令牌蒸馏器自适应地抑制无关模态，并基于每个指代表达的具体需求动态调整注意力机制，从而实现了最先进的性能。

原作者： Yuchen He, Jing Zhang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuchen He, Jing Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对论文PRIMED的解释。

宏观图景：“三头怪兽”问题

想象一下，你正试图在一个拥挤嘈杂的房间里，根据“那个正在吹长笛的人”这样的描述，找到特定的人。

你的眼睛（视觉）： 你看到了许多人。有些人穿着红色衣服，有些人在跳舞，有些人拿着乐器。
你的耳朵（听觉）： 你听到了长笛声、鼓声和吉他声。
你的大脑（文本）： 你拥有“那个正在吹长笛的人”这句话。

当前人工智能系统的问题在于，它们将所有这些线索视为一杯巨大而混乱的混合果汁。它们将长笛的声音、舞者的身影以及“吹长笛”这几个字混合在一起，而没有决定哪个线索最重要。如果鼓声非常响亮，人工智能可能会分心并指向鼓手，即使文本说的是“长笛”。

PRIMED 是一个旨在解决这一问题的新人工智能系统。它就像一个聪明的侦探，知道何时倾听眼睛，何时倾听耳朵，以及何时信任书面线索。

PRIMED 如何工作：“偏向竞争”理论

该论文灵感来源于神经科学中的一个概念，称为偏向竞争（Biased Competition）。

类比：才艺表演
想象一场才艺表演，舞台上同时有许多节目（一名歌手、一名魔术师、一名杂耍者）。评委（人工智能）的注意力是有限的。

自下而上： 所有节目都在大声喧哗和表演（这是原始的视频和音频数据）。
自上而下： 主持人宣布：“我们要找的是魔术师！”（这是文本描述）。

在旧的方法中，评委试图同等地观看所有人，结果被响亮的歌手搞得困惑不堪。
在PRIMED中，评委利用主持人的公告来偏向竞争。他们主动抑制歌手和杂耍者，以便完全专注于魔术师。

PRIMED 通过三个主要步骤来实现这一点：

1. “模态先验解码器”（聪明的侦探）

在人工智能甚至开始查看视频之前，它会阅读文本描述并问道：“这项任务主要是关于我听到的、看到的，还是两者的混合？”

如果文本说“响亮的鼓声”，人工智能就知道要更信任它的耳朵。
如果文本说“红色的汽车”，它就知道要更信任它的眼睛。
它创建一个**“模态先验”**——一个心理备注，说明“将 80% 的注意力集中在音频上，20% 集中在视频上”。这个备注作为一个过滤器，用于忽略无关的噪音。

2. "Token 蒸馏器”（全局 GPS）

有时，只看单帧画面会让人困惑。你可能看到一只手拿着长笛，但这是正确的手吗？
PRIMED 对整个视频最重要的视觉信息进行一次“快照”，并将其压缩成几个紧凑的 Token（就像一组 GPS 坐标）。

这些 Token 在人工智能处理的所有阶段中共享。
类比： 想象你在城市里导航。与其只盯着你站立的街角，不如手里还有一张显示整个城市的地图。这张“全局地图”帮助人工智能保持一致性，不会迷失在局部细节中。

3. “竞争”（最终对决）

现在，人工智能将文本线索、音频线索和视觉线索结合在一起。

由于模态先验（步骤 1），人工智能知道哪些线索应该被赋予高权重。
由于全局地图（步骤 2），它知道目标在大局中应该位于何处。
它们为争夺注意力而“竞争”。不相关的线索（例如，当你寻找长笛时响亮的鼓声）会被抑制（静音），而正确的线索会被增强（放大）。

额外润色：“空间感知语义对齐”

为了确保人工智能不会意外抓取背景（例如长笛演奏者身后的墙壁），研究人员添加了一条特殊的训练规则。

类比： 这就像老师告诉学生：“确保你看着的是长笛，而不是它后面的墙壁。”
人工智能被训练为将“长笛”信号从“墙壁”信号中推开，使最终的画面更加清晰和准确。

他们发现了什么？

该论文在基准数据集（带有文本描述的视频集合）上测试了 PRIMED。

结果： PRIMED 击败了所有先前的方法。即使在有很多干扰（如噪音或令人困惑的视觉效果）的情况下，它也更擅长找到正确的物体。
成功原因： 通过明确决定信任哪种感官（视觉与听觉），而不是盲目地混合它们，人工智能变得更加稳健。它能够处理文本描述模糊或环境嘈杂的棘手情况。

总结

PRIMED 是一个不再试图成为“万事通”，而是转变为聪明战略家的人工智能。它阅读指令，决定使用哪些感官，过滤掉干扰，并利用全局地图找到确切的目标。它将声音、视觉和文字的混乱混合体转化为清晰、准确的答案。

技术摘要：PRIMED——基于偏向竞争机制的指代音视频分割中的自适应模态抑制

问题陈述
指代音视频分割（Ref-AVS）旨在根据视觉、听觉和文本指代线索，在视频帧中定位并分割目标物体。尽管近期的多模态学习推动了双模态任务的发展，但将其扩展至 Ref-AVS 仍面临挑战，原因在于需要在三种异构模态间实现细粒度对齐。现有方法（分为基于融合、基于提示或基于推理的类别）通常将多模态输入视为同质的信号进行融合或推理。这些方法的一个关键局限在于未能显式建模各模态的独特作用及其相关性的差异。因此，当多个候选区域部分满足指代表达时，无关或具有误导性的模态（例如来自干扰物体的显著声音）可能会干扰鲁棒的目标分割。

方法论
作者提出了PRIMED（先验知情调制与嵌入蒸馏），这是一个基于冻结的 SAM2 骨干网络构建的框架，显式建模了认知神经科学中的“偏向竞争”理论。在该范式中，自下而上的视觉证据为表征而竞争，而自上而下的信号（指代表达）则将竞争偏向于任务相关的目标。该架构包含四个关键组件：

语义流生成器与模态先验解码器（MPD）：
- 文本和音频特征被对齐为统一的语义流。为处理时变音频动态，当当前音频表示与历史上下文显著偏离时，缓存记忆机制会放大当前的音频表示。
- 模态先验解码器（MPD） 是一个轻量级多层感知机（MLP），用于预测模态先验（ $P_M$ ），表征指代表达主要依赖音频、视觉还是两者的联合交互。由于缺乏显式的模态标注，作者使用 Qwen3-omni 生成用于训练的软标签，并通过审计提示验证以确保可靠性。
Token 蒸馏器：
- 为了提供紧凑的高级视觉偏置，该框架将 Hiera 主干网络中的最高层特征蒸馏为一组可学习的全局视觉 Token。
- 这些 Token 通过交叉注意力在所有融合阶段共享，确保全局上下文的一致性。训练期间应用正交正则化，以鼓励这些 Token 之间的多样性。
跨模态偏向竞争融合（CBCF）：
- 一系列 CBCF 模块将统一的语义流与多尺度视觉特征进行集成。
- 在较低阶段，语义交互引导细粒度对齐。在最高阶段（第 3 阶段），模态先验作为加性注意力偏置被注入到多头交叉注意力（MHCA）块中。该偏置调节视觉线索与语义线索之间的竞争，根据预测的先验抑制无关模态。
- 融合后的特征作为稠密（视觉）和稀疏（语义）提示被注入 SAM2 解码器。
空间感知语义对齐（SASA）损失：
- 为了增强前景与背景的区分能力，一种对比损失将每一帧的语义锚点与前景原型对齐，同时将其推离最相似的前 $k$ 个背景 Token。

主要贡献

重构 Ref-AVS： 本文从模态感知的偏向竞争视角重新解读 Ref-AVS，强调建模模态相关性差异对于解决目标选择歧义的必要性。
PRIMED 框架： 一种新颖的基于 SAM2 的架构，通过以下方式显式实现该理论：
- 提供自上而下指导的模态先验解码器。
- 将语义逐步集成到视觉层级中的CBCF 模块。
- 传播紧凑全局上下文的Token 蒸馏器。
增强的区分能力： 引入SASA 损失和正交正则化，以改善目标区域与混淆背景干扰物的分离。

实验结果
在 Ref-AVS 基准测试（包含已见、未见和空分割）上进行了广泛实验。

性能： PRIMED 实现了最先进的整体性能，获得了最佳的混合 Jaccard 指数（J）和 F 分数（F）。具体而言，与之前的最佳方法 AURORA 相比，它将已见分割的 J 提高了 2.8%，未见分割的 J 提高了 2.1%。
泛化性： 该方法显示出比其他基于 SAM 的方法（如 SAM2-LOVE、TSAM）更一致的改进，特别是在未见分割中，这表明显式的模态竞争建模增强了对新物体类别的泛化能力。
消融研究： 移除模态先验或偏向竞争机制会导致性能下降，特别是在存在强干扰物的场景下（例如长笛的声音比目标钢琴更响亮）。SASA 损失的消融实验证实了其在前景 - 背景分离中的作用，而 Token 蒸馏器被证明对于跨阶段的稳定竞争至关重要。

意义与主张
本文主张 PRIMED 为将多模态线索视为同质输入提供了一种有前景的替代方案。通过显式建模不同模态如何参与候选竞争，该框架在多模态歧义下实现了更可靠的目标选择。作者指出，虽然 PRIMED 在稳定目标定位方面表现出色，但与近期基于多模态大语言模型（MLLM）的推理方法相比，其 F 分数仍存在差距，这表明针对复杂场景的精细边界优化和高级语义推理仍是未来需要改进的领域。该工作表明，利用模态感知先验和分层视觉上下文是多模态分割研究的关键方向。