💻 computer science

LightAVSeg: Lightweight Audio-Visual Segmentation

LightAVSeg 是一个轻量级的音视频分割框架，它通过将计算代价高昂的密集跨模态注意力机制替换为具有线性成本的解耦设计（用于语义过滤和空间定位），并辅以辅助对齐损失以增强训练一致性，从而实现了最先进的效率与性能。

原作者： Qing Zhong, Guodong Ding, Lingqiao Liu, Zaiwen Feng, Lin Yuanbo Wu, Angela Yao

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Qing Zhong, Guodong Ding, Lingqiao Liu, Zaiwen Feng, Lin Yuanbo Wu, Angela Yao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正身处一个热闹的派对。许多人正在交谈，音乐在播放，酒杯在碰撞。你的目标是将摄像机对准正在说话的具体人物，在屏幕上突出显示他们，同时忽略其他人。这正是**视听分割（AVS）**试图完成的任务：它在视频中找出“发声物体”，并为其勾勒出精确的轮廓。

问题在于，目前执行此任务的最佳计算机就像庞大而沉重的超级计算机。它们试图一次性将视频中的每一个像素与每一个声波进行比较。这就像试图与房间里每个人同时交谈，以弄清楚谁在说话。这消耗了过多的算力和时间，导致无法在普通智能手机上运行。

LightAVSeg 是一种全新的轻量级解决方案，旨在解决这一问题。以下是其工作原理，使用简单的类比进行说明：

1. 旧方法：“巨型网格”

以前的模型试图构建一个巨大的网格，在其中检查声音与图像像素之间的每一种可能连接。

比喻：想象一下，试图在人群中找一位朋友，方法是询问房间里每一个人：“你在说话吗？”，然后将这些回答与房间里每一张脸进行交叉比对。这很准确，但既令人疲惫又缓慢。
结果：这些模型对于手机来说过于沉重。

2. LightAVSeg 方法：“智能过滤器”

作者意识到，你不需要将每一个像素与每一个声音进行比对。你可以将工作分为两个更简单的步骤：什么在发出声音，以及它在哪里？

步骤 A：“语义过滤器”（是什么）

LightAVSeg 不使用巨型网格，而是采用互惠视听编码器。你可以将其想象为派对上的智能保安。

保安聆听音频（声音）。
保安瞥一眼视频（视觉场景）。
如果视频显示一只狗在吠叫，保安会说：“好的，我在听狗叫。”如果视频显示一辆车，保安会说：“好的，我在听车声。”
神奇之处：保安不需要检查每一个像素。他们只需根据所见内容过滤他们正在寻找的声音类型。这被称为语义过滤。因为它是对物体类型进行简单的“是/否”检查，而不是构建每个位置的复杂地图，所以速度很快。

步骤 B：“空间定位”（在哪里）

一旦保安知道了要找什么，跨模态融合解码器就会像聚光灯一样发挥作用。

它接收“是什么”（例如，“狗”），并在视频上投射聚光灯，以精确定位狗在哪里。
它不是构建复杂的地图，而是简单地在视频层中添加一个“提示”，说：“嘿，在这里找狗。”
神奇之处：这一步是线性的，意味着如果视频变大，工作量只会略微增加，而不是呈指数级增长。这就像在房间里走动去找狗，而不是检查地板的每一寸。

3. “训练作弊表”（辅助损失）

论文提到了一种仅在计算机学习（训练）期间使用的特殊技巧，称为多尺度视听对齐损失。

比喻：想象一位老师帮助学生学会找狗。老师指着狗说：“看？声音就在这里。”
这帮助学生快速建立声音与位置之间的联系。
关键点：一旦学生（AI）学会了课程，老师（额外的损失函数）就会被送回家。在实际测试期间，学生不需要老师。这意味着最终应用程序的运行速度与老师从未存在时一样快，但学生却聪明得多。

结果：快速且准确

论文声称，LightAVSeg 是移动设备的游戏规则改变者：

体积：它非常小。其大小约为以前最佳模型（如 AVSegFormer）的1/7。
速度：在高端手机芯片（骁龙 8 Elite）上，其运行时间约为163 毫秒。这比重型模型快约8 倍。
准确性：尽管体积小且速度快，但在复杂测试中，它的准确性实际上高于重型模型。它成功地将发声物体的定位精度（mIoU）提升至50.4，击败了重型竞争对手。

总结

简而言之，LightAVSeg 停止试图一次性完成所有事情。它不再进行庞大而缓慢的计算，而是采用两步流程：首先，使用智能过滤器决定要听什么声音；其次，使用简单的聚光灯找到它在哪里。它在练习时有老师指导，但在正式比赛中则独立运行，使其成为第一个功能强大到足以在你的手机上流畅运行，并能精确定位发声源模型的模型。

LightAVSeg 技术摘要：轻量级音视频分割

问题陈述
音视频分割（AVS）旨在在视频序列中以像素级定位发声物体。尽管最先进（SOTA）的方法通过基于密集 Transformer 的注意力机制建模跨模态依赖关系来实现高精度，但它们却遭受着高昂的计算成本。这些模型通常依赖二次复杂度（ $O(N^2)$ ）的交互模块，其中 $N$ 随空间分辨率缩放。这使得它们不适合资源受限的边缘设备，如手机和 VR 头显，而在视频编辑和增强现实等应用中，这些设备需要高效的设备端推理。现有的面向效率的方法往往只关注减少视觉主干网络，而忽视了交互模块作为主要瓶颈的问题。

方法论
本文提出了LightAVSeg，这是一个轻量级框架，旨在将语义过滤与空间定位解耦，从而用线性复杂度操作替代密集注意力。该架构由三个主要组件构成：

互惠音视频编码器：
该模块不进行静态融合，而是执行分层双向更新以细化全局音频状态。
- 语义过滤（是什么）： 它利用视觉上下文迭代地细化全局音频状态（ $A_i$ ）。通过将视觉特征（ $V_i$ ）在空间上最大池化为 $1\times1$ 描述符，模型丢弃了位置信息，从而专注于语义选择。该全局音频令牌根据视觉描述符通过门控重加权（ $\sigma_h$ ）进行更新，抑制对应于不可见物体的音频通道。
- 复杂度： 该设计避免了密集的令牌到令牌亲和矩阵，相对于空间令牌实现了严格的线性复杂度（ $O(N)$ ）。
- 音频引导的视觉增强： 细化后的全局音频状态被广播到视觉特征的空间分辨率，并通过残差加法进行融合。这将全局语义线索作为通道偏置注入，而不会引入空间噪声或沉重的投影层。
跨模态融合解码器：
该模块逐步上采样经音频增强的视觉特征，以生成最终的分割掩码。
- 它维持一条与视觉上采样并行的循环音频状态路径。音频状态通过将前一解码器状态与当前编码器状态连接，然后由全局视觉描述符进行重加权来更新。
- 更新后的音频状态通过轻量级广播残差注入到视觉路径中，确保时间一致性，并引导解码器在分辨率恢复过程中聚焦于发声物体。
多尺度音视频对齐损失（ $L_{msa}$ ）：
为了减轻轻量级模型学习虚假跨模态相关性的风险，引入了一个辅助损失。
- 该损失在多个尺度上强制全局音频线索与有效视觉区域之间的显式像素级对齐。
- 它计算归一化视觉特征与全局音频嵌入之间的空间余弦相似度图，并通过温度参数进行锐化，然后使用二元交叉熵（BCE）将其与二元前景掩码进行监督。
- 关键在于，该分支在推理过程中被丢弃，因此不会产生额外的开销。

主要贡献

解耦交互设计： 本文提出了一个框架，将语义过滤（由互惠音视频编码器处理）与空间定位（由跨模态融合解码器处理）分离。这将二次注意力替换为分层通道调制，实现了线性复杂度（ $O(N)$ ），同时保留了有效的音频引导。
辅助对齐损失： 作者提出了一种多尺度音视频对齐损失（ $L_{msa}$ ），以在训练期间强制语义一致性，引导解码器确定“在哪里”进行分割，而不增加推理成本。
移动优化性能： 该框架专为移动部署量身定制，利用轻量级主干网络（视觉使用 SeaFormer，音频使用 MobileNetV2）和高效的交互机制。

实验结果
在 AVS 基准测试（S4、MS3 和 AVSS）上进行了广泛实验，并使用 Snapdragon 8 Elite 移动 CPU 进行延迟测量。

精度 - 效率权衡： LightAVSeg 在轻量级方法中实现了新的最先进水平。在 MS3 基准测试上，它以仅20.5M 参数（约为重型 AVSegFormer-R50 的 1/7）达到了50.4 mIoU。
延迟： 该模型在移动 CPU 上的推理延迟为163.4 毫秒，相比 AVSegFormer-R50（每帧耗时超过 1.2 秒）实现了约8 倍的加速。
比较： LightAVSeg 优于其他轻量级基线（如 AVSBench-SeaFormer-L），并在保持实时性能的同时，在精度上可与基于重型 ResNet-50 的对应模型相媲美。
消融研究： 实验证实，互惠编码器（特别是分层音频细化）和 $L_{msa}$ 损失对性能至关重要。所提出的线性交互被证明比简单的主干网络替换更适合移动部署。

意义与主张
本文声称，LightAVSeg 弥合了高性能研究模型与实际移动部署之间的差距。通过直接解决交互模块瓶颈，作者证明了在不依赖重型注意力机制的情况下实现高效跨模态融合是可行的。这项工作确立了一个紧凑模型可以在 AVS 基准测试上实现 SOTA 性能，同时启用以前受计算限制而受限的交互式设备端应用。作者将此定位为迈向使 AVS 在边缘设备上可行的步骤，尽管他们并未在设备端视频编辑和增强现实的一般背景之外推测具体的未来应用。