JavisDiT++: Unified Modeling and Optimization for Joint Audio-Video Generation

本文提出了 JavisDiT++，这是一种基于 Wan2.1-1.3B 架构的轻量级统一框架，通过引入模态特定混合专家（MS-MoE）设计、时序对齐 RoPE（TA-RoPE）策略以及音视频直接偏好优化（AV-DPO）方法，在仅使用约 100 万条公开训练数据的情况下，实现了在生成质量、时间同步性和语义对齐方面超越现有开源方法并媲美商业模型（如 Veo3）的联合音视频生成效果。

要点

这篇论文介绍了一个名为 JavisDiT++ 的新模型，它的核心任务是：根据一段文字描述，同时生成一段“有声音”的视频。

想象一下，你给 AI 一个指令：“一只棕熊在森林里咆哮着走向镜头”，AI 不仅要画出熊走路的画面，还要配上逼真的咆哮声和踩碎树叶的声音，而且声音和画面必须严丝合缝（熊张嘴时正好有声音）。

以前的开源模型虽然能做，但效果往往像“劣质配音”：画面和声音对不上，或者声音听起来很假。而 JavisDiT++ 就像是一个超级导演，它用三个“独门秘籍”解决了这些问题。

以下是用通俗语言和比喻对这三个核心技术的解释：

1. 核心架构：MS-MoE（“双轨制”专家团队）

以前的做法：就像让一个全能但有点“大锅饭”的厨师，用同一套锅具和调料同时炒“视频”和“音频”。结果往往是顾此失彼，视频炒糊了，或者声音没味道。
JavisDiT++ 的做法：它建立了一个**“双轨制”的专家团队**。

• 共享大脑（注意力层）：视频和音频的“大脑”部分（注意力机制）是共享的，它们可以互相交流：“嘿，画面里熊在张嘴，声音那边准备咆哮！”
• 专属厨房（FFN 层）：交流完之后，它们会分流到各自专属的“厨房”。视频专家只管把画面画得漂亮，音频专家只管把声音调得逼真。
• 比喻：这就像一支交响乐团。指挥（共享层）让大家配合默契，但小提琴手（视频专家）只负责拉琴，大鼓手（音频专家）只负责敲鼓。这样既保证了合奏的和谐，又让每个乐手都能发挥到极致，而且不需要雇佣两倍的乐手（节省算力）。

2. 时间同步：TA-RoPE（“统一的时间轴”）

以前的痛点：以前的模型里，视频和音频像是两个拿着不同手表的人。视频说“现在是第 3 秒”，音频可能觉得“那是第 2.5 秒”。结果就是：熊刚张嘴，声音却过了半秒才出来，或者声音还在响，熊已经闭嘴了。
JavisDiT++ 的做法：它给视频和音频都发了一张完全同步的“时间身份证”。

• 比喻：想象视频和音频是两列并排行驶的火车。以前的模型是两列火车各自跑，偶尔撞一下。JavisDiT++ 给它们铺了一条单轨铁路，强制它们每一节车厢（每一帧画面和每一段声音）都严格对应同一个时间点。
• 效果：熊张嘴的瞬间，声音信号正好到达，实现了帧级的精准同步，就像真人说话一样自然，没有“口型对不上”的尴尬。

3. 人类偏好对齐：AV-DPO（“挑剔的影评人”）

以前的局限：模型训练时，只要“像”就行，不管好不好看。比如生成的视频虽然熊在动，但动作很僵硬；声音虽然有，但像机器人。
JavisDiT++ 的做法：它引入了**“人类偏好优化”，就像给模型请了一位挑剔的“影评人”**。

• 工作流程：
  1. 模型生成两个版本（比如版本 A 和版本 B）。
  2. “影评人”（奖励模型）从画质、声音质量、同步度等多个维度打分。
  3. 模型只学习那个得分高的版本（“赢家”），并努力避免那个得分低的版本（“输家”）。
• 比喻：这就像练书法。以前是老师只告诉你“写对了”，现在老师会拿着两个作品对比：“你看，A 的墨色更浓，B 的笔锋更有力，下次你要学 A 的墨色和 B 的笔锋。”通过这种不断的“优胜劣汰”，模型生成的视频越来越符合人类的审美。

总结：为什么它很厉害？

• 小身材，大能量：它只用了大约 100 万 条公开数据（相比商业巨头动辄几十亿的数据量），就达到了世界顶尖水平。
• 效率高：它不需要像以前的模型那样把两个大模型“硬拼”在一起，而是像搭积木一样，用更聪明的结构实现了 1+1>2 的效果。
• 开源：代码、模型和数据都公开了，让全世界的开发者都能用。

一句话总结：
JavisDiT++ 就像是一个懂艺术、守纪律且善于学习的年轻导演。它用“双轨专家”分工合作，用“统一时间轴”确保音画同步，再用“影评人反馈”不断打磨细节，最终用很少的素材，就能拍出画面逼真、声音同步、符合人类审美的“有声电影”。

技术摘要

这是一篇关于**JavisDiT++**的论文技术总结，该模型旨在解决联合音频 - 视频生成（Joint Audio-Video Generation, JAVG）任务中的质量、同步性和人类偏好对齐问题。

1. 研究背景与问题 (Problem)

随着 AIGC 从文本生成图像/视频向多模态合成发展，**联合音频 - 视频生成（JAVG）**成为关键任务，即根据文本描述生成音画同步且语义一致的内容。然而，现有的开源方法（如 JavisDiT, UniVerse-1）与先进的商业模型（如 Veo3）相比，仍存在显著差距：

• 生成质量不足：音频和视频的感知质量较差。
• 时间同步性差：声音与画面动作（如口型、物体运动）缺乏精细的帧级同步。
• 人类偏好对齐弱：生成内容在美学、一致性和同步性上未能很好地符合人类偏好。
• 架构复杂：现有方法多采用双流架构或复杂的拼接策略，导致训练和推理效率低下。

2. 核心方法论 (Methodology)

JavisDiT++ 基于 Wan2.1-1.3B-T2V 架构，提出了一种简洁而强大的统一建模与优化框架，主要包含三个核心技术模块：

A. 模态特异性混合专家设计 (Modality-Specific MoE, MS-MoE)

• 架构创新：不同于以往将音视频 Token 混合后通过单一 FFN 处理，或采用复杂的双流架构，JavisDiT++ 采用**共享多头自注意力层（Shared Self-Attention）进行跨模态交互，随后将 Token 分离并输入到模态特异性的前馈网络（Modality-Specific FFNs）**中。
• 优势：
  • 增强单模态质量：通过独立的 FFN 层，音频和视频分支可以专注于各自的特征建模，减少模态干扰。
  • 效率与扩展性：虽然总参数量增加（从 1.3B 增至 2.1B），但每个 Token 激活的参数量仍保持在 1.3B，实现了性能提升而不增加推理开销。
  • 统一性：相比双 DiT 架构，该设计更简洁、统一。

B. 时间对齐旋转位置编码 (Temporal-Aligned RoPE, TA-RoPE)

• 问题：传统的 RoPE 难以显式地控制音频和视频在时间轴上的严格对齐。
• 策略：
  • 将音频 Token 的 3D 位置 ID 的第一维（时间维）与视频 Token 的时间维严格对齐。
  • 防重叠机制：为了避免音频和视频 Token 在位置编码上发生冲突（Overlap），对音频的剩余维度（频率/梅尔谱维度）进行偏移（Offset），使其位置 ID 范围与视频的空间维度（高、宽）错开。
• 效果：实现了显式的、帧级的细粒度时间同步，且无需物理重排 Token，保持了推理的高效性。

C. 音频 - 视频直接偏好优化 (Audio-Video Direct Preference Optimization, AV-DPO)

• 首创：首次将偏好对齐引入 JAVG 领域。
• 流程：
  1. 奖励模型构建：利用多种奖励模型（AudioBox, VideoAlign, ImageBind, Syncformer 等）从音频质量、视频质量、音视频对齐三个维度对生成样本进行评分。
  2. 数据筛选：采用**模态感知的排序（Modality-Aware Ranking）**策略，确保选出的“优胜 - 失败”（Winning-Losing）对在所有模态维度上均优于失败样本，避免“视频好但音频差”的混合样本干扰训练。
  3. 优化目标：基于流匹配（Flow Matching）的 DPO 损失函数，引导模型生成更符合人类偏好（高质量、高一致性、高同步）的内容。

3. 关键贡献 (Key Contributions)

1. 架构设计：提出了简洁高效的 MS-MoE 架构，利用共享注意力实现跨模态交互，利用独立 FFN 提升单模态质量，平衡了性能与效率。
2. 同步机制：提出了 TA-RoPE 策略，通过位置编码的显式对齐，实现了无需额外计算开销的帧级音视频同步。
3. 偏好对齐：首次将 DPO 应用于联合音视频生成，设计了模态感知的奖励机制，显著提升了生成内容的人类偏好对齐度。
4. 数据效率：仅使用约 100 万 条公开数据（78 万音频 - 文本对 + 36 万高质量音视频对）即训练出了 SOTA 模型，证明了数据质量与策略的重要性。

4. 实验结果 (Results)

在 JavisBench 基准测试（生成 240p, 4 秒音视频）上的表现：

• 定量指标：
  • 质量：FVD (141.5) 和 FAD (5.5) 显著优于 UniVerse-1 (194.2/8.7) 和 JavisDiT (204.1/7.2)，表明生成质量大幅提升。
  • 同步性：DeSync (0.832) 和 JavisScore (0.159) 均优于对比模型，证明 TA-RoPE 的有效性。
  • 一致性：在文本一致性（TV-IB, TA-IB）和音视频语义一致性（AV-IB）上均达到最优。
• 定性对比：
  • 生成的视频在视觉逼真度、动作流畅度及声音匹配度上明显优于 JavisDiT 和 UniVerse-1，并大幅缩小了与商业模型 Veo3 的差距。
  • 推理延迟仅比基础 Wan2.1 模型增加 1.6%（约 1 分 3 秒），远优于双流模型（如 UniVerse-1 需 1 分 42 秒）。
• 人类评估：
  • 在盲测中，JavisDiT++ 击败 JavisDiT 和 UniVerse-1 的比例超过 74%。
  • 引入 AV-DPO 后，人类偏好评分提升了 25% 以上。

5. 意义与影响 (Significance)

• 里程碑意义：JavisDiT++ 证明了通过统一架构设计和偏好优化，开源模型可以在极小数据量下达到接近甚至超越部分商业模型的性能，为 JAVG 领域设立了新的基准。
• 技术启示：
  • 揭示了模态特异性处理（MS-MoE）在统一多模态生成中的重要性。
  • 验证了位置编码策略（TA-RoPE）对生成同步性的决定性作用。
  • 开创了多模态偏好对齐（AV-DPO）的新范式，解决了多模态生成中“顾此失彼”的难题。
• 开源贡献：作者公开了代码、模型和数据处理流程，推动了联合音视频生成技术的普及和进一步发展。

总结：JavisDiT++ 通过“统一架构 + 显式同步 + 偏好对齐”的三位一体策略，以极低的资源成本实现了高质量的联合音视频生成，是 AIGC 领域向多模态深度融合迈出的重要一步。