Each language version is independently generated for its own context, not a direct translation.
这篇论文介绍了一个名为 WAVE 的新人工智能模型。为了让你轻松理解，我们可以把现在的 AI 世界想象成一个巨大的图书馆，而 WAVE 就是这位图书馆里最厉害的全能图书管理员。
1. 以前的困境：语言不通的“孤岛”
在 WAVE 出现之前，这个图书馆里的书被分成了不同的区域，而且每个区域的“管理员”只懂一种语言：
- 文字区的管理员只懂文字。
- 图片区的管理员只懂看图。
- 声音区的管理员只懂听音。
- 视频区（既有画面又有声音）的管理员通常把画面和声音分开处理，或者只擅长其中一种。
如果你想找一段“下雨天打雷的视频”，以前的系统可能得先让你把“下雨”和“打雷”翻译成文字，再分别去查，最后拼凑起来。它们之间缺乏一种通用的语言，导致跨模态（比如用声音找视频，或者用文字找音乐）非常困难。
2. WAVE 的突破：一位“全能翻译官”
WAVE 的出现，就像是在图书馆里请来了一位超级全能管理员。
- 统一语言：WAVE 能把文字、图片、声音、视频（无论有没有声音）全部翻译成同一种“通用密码”（论文里叫统一嵌入空间）。
- 任意互搜：现在，你不需要再管格式了。你可以：
- 哼一段旋律，让它帮你找对应的视频。
- 描述一个画面，让它帮你找匹配的音乐。
- 输入一段文字，直接找到相关的视频片段。
- 甚至，你可以给它一个视频，问它：“这个视频里哪部分提到了‘悲伤’？”它不仅能看懂画面，还能听懂声音，给出精准答案。
3. 它的独门秘籍：两大“超能力”
超能力一：听音辨位，双管齐下（双编码器）
以前的声音管理员可能只听得懂“人说话”（语音），或者只听得懂“环境音”（比如鸟叫、车声）。
WAVE 给声音区配了两个耳朵：
- 一只耳朵专门听人声（说话的内容）。
- 另一只耳朵专门听环境音（背景里的风声、雨声、音乐）。
它把这两只耳朵听到的信息完美融合，所以它不仅能听懂你在说什么，还能听懂你周围发生了什么，理解得更全面。
超能力二：看人下菜碟（提示感知）
这是 WAVE 最聪明的地方。以前的管理员给你一本书的摘要，不管你是想写论文还是想写小说，摘要都是一样的。
但 WAVE 会看你的指令行事：
- 如果你问：“这段视频里有什么恐怖的元素？”它会提取出视频里关于“恐怖”的特征。
- 如果你问：“这段视频里风景怎么样？”它会提取出关于“风景”的特征。
它生成的“密码”会根据你的问题而变化，就像是一个变色龙，能根据任务需求调整自己的“颜色”，从而在回答问题时（比如多模态问答）表现得极其出色。
4. 它是如何练成的？（联合训练）
WAVE 不是只在一个领域死磕的。它的训练方式就像是一个全能运动员：
- 它同时练习跑步（视频）、游泳（音频）和举重（文本）。
- 以前的模型可能只练跑步，所以跑步很快，但游泳不行。
- WAVE 通过同时训练所有项目，发现它们之间有共通之处（比如节奏感、情感表达）。这种“跨界学习”让它不仅每项都强，而且各项之间还能互相促进，最终成为了真正的“六边形战士”。
5. 它的表现如何？
在论文的各种测试中，WAVE 就像那个打破纪录的运动员：
- 在视频理解比赛（MMEB-v2）中，它拿到了第一名，甚至超过了某些工业界的大模型。
- 在“用声音找视频”或“用视频找音乐”这种高难度任务上，它也是目前最强的。
- 最重要的是，它没有因为变得全能而变笨，它在理解复杂指令方面依然保持了极高的智商。
总结
简单来说，WAVE 就是让 AI 终于学会了**“通感”**。它不再把文字、声音和画面看作割裂的东西，而是把它们融合成一个有机的整体。
这就好比以前你只能用手去摸苹果，用眼睛去看来苹果，用鼻子去闻苹果，三者互不相干；而 WAVE 让你能同时看、摸、闻，并瞬间理解“这是一个红彤彤、脆生生、香甜的苹果”。这为未来各种酷炫的应用（比如直接哼歌找电影、用描述生成音乐视频等）打开了无限可能的大门。
Each language version is independently generated for its own context, not a direct translation.
1. 研究背景与问题 (Problem)
- 现有局限：尽管多模态大语言模型（MLLM）在通用表示方面表现出色，但现有的嵌入（Embedding）方法大多针对静态图像，或者使用独立的编码器分别处理音频和视频，缺乏对动态模态（音频、视频）的统一建模。
- 核心挑战：
- 缺乏统一空间：目前尚无模型能真正将文本、音频、无声视频以及同步的音视频流映射到同一个语义空间，实现真正的“任意模态到任意模态”（Any-to-Any）交互。
- 指令跟随能力缺失：传统的嵌入模型通常生成任务无关（Task-agnostic）的表示，无法根据用户的具体指令（Prompt）调整嵌入内容，这在多模态问答（QA）等需要理解特定上下文的场景中表现不佳。
- 性能退化：大多数基于 MLLM 的嵌入模型在微调后，其基础的多模态理解能力相比原始基座模型会有显著下降。
2. 方法论 (Methodology)
WAVE 是首个基于 MLLM 的统一音视频嵌入模型，旨在构建一个涵盖文本、音频、视频和同步音视频的通用语义空间。
2.1 模型架构 (Model Architecture)
- 基座模型：基于 Qwen2.5-Omni (7B 参数) 构建，继承了其强大的多模态感知和推理能力。
- 多模态编码器：
- 视觉：使用预训练的视觉编码器提取视频帧特征。
- 音频（双编码器设计）：采用双编码器架构，分别使用语音编码器（Speech Encoder）和环境音编码器（Audio Encoder）。这种设计能同时捕捉语音内容和环境声/事件信息，并通过时间对齐进行融合。
- 文本：直接使用 LLM 的原始嵌入层。
- 输入策略：
- 所有非文本输入均伴随文本提示（Prompt），作为给 LLM 的指令。
- 采用特定的交错策略（Interleaving）：音频内部语音与事件 token 一对一交错；音视频输入则按帧分段交错，最后拼接 Prompt 文本。
- 引入 TMRoPE (Time-aligned Multimodal Rotary Position Embedding) 以确保多模态信号在时间轴上的精确对齐。
- 特征融合策略：
- 不同于传统的仅使用最后一层（Last-token pooling），WAVE 提出分层特征融合（Hierarchical Feature Fusion）。
- 聚合 LLM 所有层的最后一个输出 token，通过一个轻量级的两层 MLP（含 GELU 激活）进行融合，从而同时保留底层感知线索和高层语义抽象。
2.2 训练策略 (Training Strategy)
采用联合多模态、多任务训练范式，主要包含两个互补任务：
- 多模态检索 (Multimodal Retrieval)：
- 支持任意模态对（Text-Video, Audio-Text, Video-Audio 等）的 Any-to-Any 检索。
- 使用对称的 InfoNCE 损失函数，在 Batch 内进行负采样，强制不同模态的语义对齐。
- 问答任务 (Question Answering, QA)：
- 输入为多模态信号 + 问题 Prompt，目标是对应正确的文本答案。
- 引入“干扰项”（Distractors），训练模型生成**提示感知（Prompt-aware）**的嵌入，使其能根据具体问题聚焦相关语义，而非生成通用的视频描述。
3. 关键贡献 (Key Contributions)
- 首个通用音视频嵌入 MLLM：WAVE 是第一个能统一处理文本、音频、无声视频及同步音视频输入的模型，实现了真正的跨模态统一表示。
- 提示感知（Prompt-aware）嵌入：利用 MLLM 的指令跟随能力，WAVE 能根据用户指令生成定制化的嵌入。这在多模态问答任务中表现卓越，解决了传统静态嵌入无法适应复杂任务需求的问题。
- 高效架构设计：
- 双音频编码器：分别捕捉语音和环境音，增强表达力。
- 分层特征融合：通过聚合多层 LLM 特征，显著提升了检索性能。
- 联合训练验证：证明了跨模态、跨任务的联合训练能带来正向的知识迁移，使模型在单一模态任务上的表现优于专门训练的模型。
4. 实验结果 (Experimental Results)
WAVE 在多个基准测试中取得了 State-of-the-Art (SOTA) 或极具竞争力的成绩：
- 视频基准 (MMEB-v2 & LoVR)：
- 在 MMEB-v2 视频赛道的所有子任务（分类、QA、检索、时刻检索）上全面超越现有开源模型。
- 整体性能甚至超过了工业级模型 Seed-1.6-Embedding。
- 在 LoVR 基准的文本到片段（text-to-clip）和主题到片段（theme-to-clip）检索中均领先。
- 音频与音视频检索：
- 在 AudioCaps 和 Clotho 数据集上，音频检索性能优于基于独立编码器的模型。
- 在极具挑战性的视频到音频（Video-to-Audio）和视频到音乐检索任务中，WAVE 显著优于仅使用视觉/音频编码器的基线模型，证明了其统一语义空间的有效性。
- 多模态问答 (QA)：
- 在 MMEB-v2 视频 QA 任务中，当使用具体问题时，WAVE 的平均准确率比 Seed-1.6-Embedding 高出约 12%。
- 实验表明，若使用通用 Prompt 而非具体问题，性能会大幅下降，验证了其 Prompt-aware 特性的重要性。
- 在音频推理基准（MMAU, MMAR）上，WAVE 甚至超越了其基座模型 Qwen2.5-Omni，展示了强大的跨模态泛化能力。
- 消融实验：
- 联合训练 vs 独立训练：联合训练的模型在 8 个任务中的 7 个上优于单独训练的专家模型，证实了跨模态知识迁移的有效性。
- 特征融合：使用“所有层 Token 的 MLP 融合”策略比仅使用最后一层或加权求和策略效果更好，证明了深层与浅层特征互补的重要性。
5. 意义与影响 (Significance)
- 范式转变：WAVE 推动了多模态嵌入从“独立编码器对齐”向“单一 MLLM 统一生成”的范式转变，充分利用了大模型的语义理解能力。
- 应用前景：
- 任意模态检索：支持 Text-to-Video, Video-to-Audio, Audio-to-Text 等任意组合的检索，极大扩展了应用场景。
- 智能交互：Prompt-aware 特性使得嵌入模型能更好地服务于多模态问答、内容理解等需要深度语义交互的任务。
- 开源贡献：作者开源了代码、检查点以及一个新的通用音视频学习基准，为后续研究提供了强有力的基线和资源。
总结：WAVE 通过创新的架构设计和联合训练策略，成功打破了模态壁垒，实现了高质量、指令感知的统一音视频嵌入，为跨模态检索和理解任务树立了新的标杆。