MoXaRt: Audio-Visual Object-Guided Sound Interaction for XR

本文提出了 MoXaRt，一种利用视听线索实时分离复杂 XR 环境中多声源的系统，通过级联架构将语音理解能力提升了 36.2% 并显著降低了用户的认知负荷。

要点

想象一下，你戴上了一副神奇的“魔法眼镜”（XR 设备），走进了一个超级热闹的派对。这里有乐队在演奏，有五六个人在同时聊天，还有背景里的嘈杂声。

在普通情况下，你的耳朵就像被塞进了一锅大杂烩，所有的声音混在一起，你根本听不清谁在说什么，或者哪把小提琴在独奏。你不得不拼命集中注意力，听得头昏脑涨，这就是所谓的“认知负荷”太重了。

MoXaRt 就是为了解决这个问题而诞生的“声音魔法棒”。它能让这锅大杂烩瞬间变成一盘盘分装好的精致小菜，让你想听哪盘就吃哪盘。

1. 它是怎么工作的？（核心原理）

你可以把 MoXaRt 的工作流程想象成一个**“超级聪明的餐厅后厨”**：

• 第一步：粗筛（粗分离）
  当声音进来时，系统先像一个大筛子，快速把声音分成三大类：“人声”、“音乐”和“噪音”。这就像后厨先把食材分成了“蔬菜区”、“肉类区”和“垃圾区”。这一步不需要看画面，光听声音就能做，速度很快。

• 第二步：视觉引导（找目标）
  这是 MoXaRt 最厉害的地方。它有一双“火眼金睛”（摄像头），能实时看到画面里谁在说话（人脸），或者谁在弹琴（乐器）。

  • 如果它看到有人在说话，它就会给“人声区”的厨师发指令：“嘿，把那个穿红衣服的人的声音单独挑出来！”
  • 如果它看到有人在拉小提琴，它就会给“音乐区”的厨师发指令：“把小提琴的声音单独留出来，把钢琴声压下去！”

• 第三步：精细加工（精分离）
  有了视觉线索，系统就能把混在一起的声音像剥洋葱一样，一层层剥开，把每一个独立的声音（比如张三的声音、李四的声音、小提琴的声音）都变成独立的“音轨”。

• 第四步：你的私人调音台
  最后，这些分好的声音会回到你的耳朵里。此时，你的眼镜上会出现一个个小滑块（就像手机上的音量键）。你可以像 DJ 一样，把张三的声音调大，把李四的声音调小，或者把背景里的钢琴声关掉，只留小提琴。

2. 它能帮你做什么？（应用场景）

• 派对救星（鸡尾酒会难题）：
  想象你在一个嘈杂的咖啡馆，想听朋友说话，但旁边有人在放音乐，还有人在大声聊天。戴上 MoXaRt，你可以直接“看”向你的朋友，系统就会自动把朋友的声音放大，把周围的噪音和音乐调小。就像你手里拿着一个遥控器，专门控制你朋友的声音。

• 音乐迷的福音：
  如果你在现场听演唱会，觉得吉他声太小，或者想听听鼓手是怎么打的，你可以直接“看”向吉他手或鼓手，把他们的声音单独拉出来，甚至可以把人声关掉，只留纯音乐，就像你自己就是乐队的一员在排练。

• 翻译小助手：
  如果在一个国际会议上，大家说着不同的语言。MoXaRt 可以把每个人的声音分开，然后让 AI 实时翻译每个人的话，并显示在他们头顶上。这样你就不用担心听不清谁在说什么了。

3. 效果怎么样？（实验结果）

研究人员找了一群志愿者做了测试，结果非常惊人：

• 听得更清楚了： 在嘈杂环境下，使用 MoXaRt 后，人们听懂对话的能力提高了 36.2%。这就像是在大雾天突然开了探照灯，一下子看清了路。
• 脑子更轻松了： 以前听这种嘈杂环境，大脑要拼命工作去分辨声音，现在系统帮你分好了，大脑轻松多了，不容易累。
• 反应够快： 虽然处理这么复杂的声音需要时间，但系统只需要大约 2 秒 的延迟。这就像你发微信，对方两秒后收到，完全不影响实时交流。

4. 总结

简单来说，MoXaRt 就是把**“眼睛看到的”和“耳朵听到的”**结合起来，让计算机明白：“哦，那个声音是那个穿蓝衣服的人发出来的。”

它不再让你被动地接受所有声音，而是把控制声音的权力交还给了你。就像给你的耳朵装了一个**“智能过滤器”**，让你在这个喧嚣的世界里，想听什么就听什么，想忽略什么就忽略什么。这不仅是技术的进步，更是让科技变得更懂人性、更体贴的体现。

技术摘要

MoXaRt 论文技术总结

论文标题：MoXaRt: Audio-Visual Object-Guided Sound Interaction for XR
发表会议：CHI '26 (2026)

1. 研究背景与问题 (Problem)

在扩展现实（XR）环境中，用户面临复杂的声学挑战。传统的 XR 设备虽然能提供视觉信息的叠加，但在听觉层面缺乏细粒度的交互控制能力。

• 核心痛点：在嘈杂的声学环境（如多人会议、音乐会）中，声音源（人声、乐器、背景噪音）相互纠缠，导致用户难以集中注意力，降低了场景感知能力和社交参与度。
• 技术瓶颈：
  • 硬件限制：头戴式设备麦克风孔径小，难以通过多麦克风阵列获取足够的空间信息（尤其在声源较远时），通常只能获取单声道或近单声道输入。
  • 计算与实时性：现有的声音分离技术要么依赖笨重的硬件阵列，要么计算量过大无法在 XR 设备上实时运行，或者仅支持离线处理，无法响应用户的实时交互指令。
  • 交互缺失：现有系统缺乏基于视觉对象的实时、动态混音能力，无法让用户像操作“调音台”一样控制真实世界的声音。

2. 方法论 (Methodology)

MoXaRt 是一个实时的 XR 系统，其核心创新在于利用**视听线索（Audio-Visual Cues）**从单声道音频中分离声音源，并允许用户进行细粒度的交互控制。

2.1 系统架构：级联架构 (Cascaded Architecture)

系统采用并行处理的级联架构，分为粗粒度分离和细粒度精炼两个阶段：

1. 粗粒度声音分离 (Coarse Sound Separation)：
   • 输入：仅使用原始混合音频流。
   • 功能：将声音场景初步分离为三大类：人声 (Speech)、音乐 (Music) 和 环境噪音 (Noise)。
   • 模型：基于 AudioScopeV2 的改进版，使用空洞卷积网络。此阶段不依赖视觉，以节省计算资源并作为通用预处理。
2. 视觉锚点检测 (Visual Anchors)：
   • 并行运行人脸检测（用于人声）和乐器检测（用于音乐）网络。
   • 检测到的视觉对象（如特定的人脸或乐器）作为“锚点”，指导后续的分离网络。
3. 细粒度精炼 (Refinement Networks)：
   • 人声精炼 (Speech Refinement)：利用人脸检测框作为视觉先验，将粗粒度的人声轨道进一步分离为独立的说话者轨道。采用知识蒸馏技术，将高保真的离线教师模型（AV-MossFormer2）的知识迁移到轻量级的在线学生模型中。
   • 音乐精炼 (Music Refinement)：利用检测到的乐器类型，动态激活特定的 Band Split Roformer (BSR) 模型子集，将音乐轨道分离为独立的乐器轨道（如小提琴、钢琴等）。同样采用教师 - 学生蒸馏架构以实现实时性。

2.2 系统实现与流程

• 硬件设置：Meta Quest 3 头显 + 外部 Rode 无线麦克风（单声道）+ 外部 PC (NVIDIA RTX 5080) 进行推理。
• 数据流：Quest 3 通过 WebRTC 将视频和音频流传输至 PC，PC 处理后返回混音后的音频流。
• 处理流水线：
  1. 捕获：同步 1 秒的视频和音频片段，并维护 1 分钟的滚动缓冲区以提供时间上下文。
  2. 推理：模型处理 1 分钟窗口，分离出独立音轨并定位空间坐标。仅保留最后 1 秒的分离音频用于实时播放。
  3. 播放：根据用户界面（UI）设定的音量增益，将分离后的音轨加权混合，输出双耳立体声。
• 延迟：当前端到端处理延迟约为 2 秒（主要受限于 1 分钟的上下文窗口和模型推理时间）。

2.3 用户交互

• 可视化：在 XR 视野中，分离出的声源以视觉标记（绿色）显示在空间位置。
• 控制：用户可通过手柄或手势操作滑块，独立调整每个声源（如特定说话者或乐器）的音量，实现实时“混音”。

3. 关键贡献 (Key Contributions)

1. 首个 XR 视听声音分离系统：MoXaRt 是首个将实时视听声音分离作为核心原语，用于直接控制真实世界声景的 XR 系统。
2. 级联视听 Transformer 模型：提出了一种新颖的级联架构，利用视觉线索（人脸、乐器）指导从单通道音频中分离多个说话者和非语音源，实现了鲁棒的实时分离。
3. 新数据集：构建了一个包含 30 个一分钟录音的新视听数据集，涵盖复杂的并发人声（最多 5 人）和乐器（最多 3 种）混合场景，用于评估交互式声音分离系统。
4. 全面的评估：通过技术指标和 22 名参与者的用户研究，证明了该系统在复杂声学环境下的有效性。

4. 实验结果 (Results)

4.1 技术评估 (Technical Evaluation)

• 数据集：30 个真实世界录音（15 个纯人声、9 个纯音乐、6 个混合场景）。
• 指标：词错误率 (WER) 和 DNSMOS (感知音频质量)。
• 表现：
  • 离线模型：MoXaRt Offline 在 WER 上达到 0.3824，优于所有基线（包括 AV-MossFormer2 的 0.3956），显示出卓越的语音可懂度。
  • 实时模型：MoXaRt Real-Time (蒸馏后) 的 WER 为 0.4990，显著优于其架构基础 AudioScopeV2 (0.5263)，同时保持了相似的感知质量。
  • 分离能力：系统能实时分离最多 4 个独立人声或 5 个总声源（2 人声 +3 乐器）。

4.2 用户研究 (User Study)

• 参与者：22 人，在 6 种 XR 场景（如嘈杂餐厅、多组会议、音乐会）中进行测试。
• 客观指标 (听力理解)：
  • 在使用 MoXaRt 的情况下，参与者的听力理解测试得分平均提高了 36.2% ($p=0.0058$)。
  • 在最具挑战性的场景（如远距离男声对话）中，提升幅度甚至达到 69%。
• 主观指标：
  • 参与者在清晰度、无干扰性、沉浸感和整体体验上的评分显著高于基线（所有维度 $p < 0.001$）。
  • 认知负荷显著降低（MoXaRt: 7.50 vs 基线: 3.36），表明系统有效减轻了用户在嘈杂环境中听音的心理负担。

5. 意义与影响 (Significance)

• 范式转变：MoXaRt 将 XR 音频交互从被动的“渲染”转变为主动的“管理与操控”，实现了交互式听觉中介现实 (IAMR)。
• 解决“鸡尾酒会问题”：为 XR 用户提供了在复杂社交环境中选择性关注特定声源的能力，极大地提升了沟通效率和社交体验。
• AI 助手的基石：分离后的纯净音视频流为下游 AI 应用（如实时多语言翻译、基于视觉的语音检索 RAG）提供了高质量输入，解决了混合现实中语音识别在重叠语音场景下失效的难题。
• 未来展望：虽然当前存在 2 秒延迟和依赖外部 PC 的限制，但该系统验证了视听引导分离在 XR 中的可行性，为未来开发更轻量化、低延迟的独立头显应用指明了方向。同时，论文也探讨了相关的伦理问题，如选择性静音对他人的影响及社会契约的重新定义。