🤖 AI

OmniFusion: Simultaneous Multilingual Multimodal Translations via Modular Fusion

本文提出了名为 OmniFusion 的端到端多模态翻译模型，通过创新的多层隐藏状态融合策略将预训练多模态基础模型与专用翻译大语言模型相结合，实现了在降低延迟的同时提升语音及图文翻译质量。

原作者： Sai Koneru, Matthias Huck, Jan Niehues

发布于 2026-04-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Sai Koneru, Matthias Huck, Jan Niehues

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 OmniFusion 的新系统，你可以把它想象成一位**“超级翻译官”**。

为了让你更容易理解，我们可以把现有的翻译技术比作两种不同的“翻译团队”，而 OmniFusion 则是将这两者的优点完美融合的“终极形态”。

1. 现有的两个“翻译团队”有什么缺点？

团队 A：纯文本翻译专家（LLM）
- 特点：他们读书万卷，精通几十种语言，翻译文字非常地道。
- 缺点：他们是“盲人”。如果你给他们一段语音，他们得先找个人把语音转成文字（像听写员），然后再翻译。如果还要看一张图来辅助理解，他们完全看不见。这就好比让一个只懂文字的大厨去处理需要看食材颜色的菜，他只能靠猜。
- 问题：这种“先听写、再翻译”的接力赛模式（级联管道），不仅慢（因为要等听写完），而且容易在接力棒交接时出错。
团队 B：多模态感知专家（MMFM）
- 特点：他们眼观六路、耳听八方。既能看懂图片，又能听懂声音，还能把声音和画面结合起来理解（比如看到“苹果”的图片，听到“苹果”的声音，就知道是指水果而不是手机）。
- 缺点：虽然他们感知力超强，但在翻译这件事上，尤其是涉及几十种语言时，他们的水平不如团队 A 那么专业，翻译出来的句子可能不够地道，或者漏掉很多小语种。

2. OmniFusion 是怎么做的？（核心创新）

OmniFusion 就像是一个**“超级指挥部”，它把“团队 A"和“团队 B"关在了同一个房间里，让他们同时工作**，而不是接力工作。

核心装置：智能“融合门”（Gated Fusion）
- 想象一下，团队 B（感知专家）的眼睛和耳朵里有很多层信息：
  - 第一层：看到声音的波形、图片的像素（最原始的感觉）。
  - 中间层：开始理解“这是一个人”、“这是一辆车”（初步理解）。
  - 最后一层：抽象的推理（比如“这个人很生气”）。
- OmniFusion 发明了一个**“智能门卫”**。这个门卫非常聪明，它会根据任务的需要，动态地决定从团队 B 的哪一层提取信息，然后传给团队 A（翻译专家）。
- 比喻：如果是在翻译演讲，门卫可能会说：“嘿，翻译官，别管最后那个抽象的推理了，直接把演讲者看到的 PPT 文字（OCR）和听到的声音波形（第一层）传给你，这样你翻译得又快又准！”

3. 这个系统带来了什么好处？

A. 速度更快（像“边听边翻”的实时翻译）

旧模式：像接力赛。听写员听完 3 秒，传给翻译官，翻译官翻 3 秒。总耗时 = 听写 + 翻译。
OmniFusion：像同声传译。它一边听声音、一边看图，直接输出翻译。
结果：论文测试发现，它比旧模式快了大约 1 秒钟。在紧急会议或直播中，这 1 秒钟就是“实时”和“延迟”的区别。

B. 更聪明（能看图说话，消除歧义）

场景：演讲者指着屏幕上的一个词说："Exit"。
- 在德语里，"Exit"可以是“出口（人走的门）”叫 Ausgang，也可以是“出口（车走的道）”叫 Ausfahrt。
- 旧模式：如果只看文字，翻译官可能猜错。
- OmniFusion：它直接看到了演讲者身后的 PPT 图片。如果图片上是一辆车，门卫就会把“车”的视觉信息传给翻译官，翻译官立刻就能确定是 Ausfahrt。
结果：翻译更准确，尤其是那些容易混淆的词。

C. 错误更少

因为它是“端到端”直接翻译，不需要中间经过“听写”这个容易出错的环节，所以它犯下的严重错误（比如把意思完全搞反）比旧模式少得多。

4. 它是如何训练的？（自我学习）

为了让这个系统更聪明，作者给它设计了一种**“自我练习”**的方法：

有时候，系统会先假装自己是个“听写员”，把语音转成文字，然后再翻译。
有时候，它会假装自己是个"OCR 识别员”，把图片里的字认出来，再翻译。
通过这种多任务训练，它学会了如何把声音、图片和文字完美地“对齐”，就像让一个学生同时练习听力、看图说话和写作，最后他自然就成了全能高手。

总结

OmniFusion 就像是给翻译官装上了一双**“透视眼”和“顺风耳”，并且让他不再需要中间人**。

以前：你说话 -> 机器听写 -> 机器翻译 -> 输出。（慢，容易错，看不懂图）
现在（OmniFusion）：你说话 + 展示图片 -> 机器直接理解并翻译。（快，准，能看懂图）

这项技术让机器翻译从“只会读文字的学者”进化成了“能看、能听、能思考的现场翻译专家”，特别适用于国际会议、视频字幕生成等需要实时性和多模态理解的场景。

OmniFusion 论文技术总结

1. 研究背景与问题 (Problem)

当前的机器翻译领域存在两个主要局限性，阻碍了多模态翻译（Multimodal Translation）的发展：

纯文本大语言模型 (LLM) 的局限：现有的开源多语言翻译 LLM 虽然翻译质量高、语言覆盖广，但其单模态设计限制了其在多模态场景的应用。在语音翻译 (ST) 中，它们通常采用级联管道（先自动语音识别 ASR，再机器翻译 MT），这引入了额外的延迟，特别是在同步语音翻译 (SimulST) 场景中。此外，它们无法利用视觉上下文（如演讲幻灯片、图片）来消除歧义。
多模态基础模型 (MMFMs) 的不足：预训练的多模态基础模型（如 Qwen-Omni）具备强大的跨模态感知和推理能力，但在多语言翻译的深度和性能上不如专用的翻译 LLM，导致翻译质量较低且语言覆盖有限。
现有方案的缺陷：
- 级联管道：ASR + MT 的模块化设计虽然可独立优化，但无法让翻译模型利用多模态上下文，且增加了延迟。
- 从头训练：直接扩展翻译 LLM 以处理多模态输入，通常需要从零训练或仅依赖预训练编码器，未能充分利用现有 MMFMs 的高级表示，导致训练效率低下。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 OmniFusion，一种统一的端到端 (E2E) 架构，旨在将多模态基础模型 (MMFM) 与专用翻译 LLM 通过轻量级的门控融合模块 (Gated Fusion Module) 进行结合。

2.1 核心架构

模型选择：
- MMFM (感知端)：使用 Qwen2.5-Omni-7B，负责处理音频和图像输入，提供感知表示。
- Translation LLM (生成端)：使用 Seed-X-PPO-7B，负责多语言理解和生成。
门控融合机制 (Gated Fusion)：
- 层选择：通过探针实验发现，MMFM 的第一层（感知特征）、中间层（抽象推理）和最后一层（高层语义）包含最关键的跨模态信息。
- 融合过程：
  1. 提取 MMFM 的这三层隐藏状态。
  2. 使用一个可学习的门控层 (Gating Layer) 计算权重，动态选择并加权融合这些层的表示。
  3. 通过 MLP 投影，将融合后的多模态表示对齐到翻译 LLM 的嵌入维度。
  4. 将融合后的向量作为额外的 Token 嵌入，与源语言 Token 拼接，输入到翻译 LLM 中进行生成。
- 优势：相比直接拼接所有层，该方法避免了序列长度爆炸，且能根据任务动态调整不同层的重要性。

2.2 训练策略

多任务学习 (Multi-task Learning)：模型在三个主要任务上进行联合训练，以对齐多模态特征与翻译 LLM 的语义空间：
1. 语音翻译 (ST)：音频 $\to$ 目标文本。
2. 语音 - 图像翻译 (SIT)：音频 + 图像 $\to$ 目标文本。
3. 文本 - 图像翻译 (TIT)：文本 + 图像 $\to$ 目标文本（如字幕翻译）。
自级联 (Self-Cascading)：
- 在训练过程中，模型被训练为先生成中间步骤（如 ASR 转录或 OCR 文本），再基于此生成最终翻译。
- 这种机制显式地建立了音频/视觉表示与 LLM 语义空间的对齐，并在推理时可选用，以在允许更高延迟的情况下提升质量。
参数高效微调 (PEFT)：冻结 MMFM 参数，仅使用 LoRA 微调翻译 LLM，以降低计算成本并保留预训练的多模态能力。

3. 关键贡献 (Key Contributions)

OmniFusion 架构：提出了首个结合翻译 LLM 和预训练 MMFM 的端到端模型，支持语音、语音 + 图像、文本 + 图像的翻译任务。
门控融合设计：引入了一种高效的门控融合架构，能够选择性地整合 MMFM 多层表示，实现了上下文感知翻译的高效训练和推理。
性能突破：
- 在同步语音翻译 (SimulST) 中，相比级联管道减少了约 1 秒 的延迟。
- 在离线语音翻译中，显著降低了严重错误（Major/Critical errors）的发生率。
- 在 CoMMuTE 基准测试中取得了最先进 (SOTA) 的结果。

4. 实验结果 (Results)

4.1 同步语音翻译 (SimulST)

延迟与质量权衡：在 MCIF 测试集上，OmniFusion 在所有分块大小（1s-3s）下，比级联基线快约 1 秒，同时保持了相当的翻译质量。
视觉上下文的作用：当提供图像时，OmniFusion 同时实现了最低延迟和最高质量。这表明端到端架构能更有效地利用视觉上下文进行早期决策和稳定输出，而级联管道受限于 ASR 的延迟。

4.2 离线语音翻译 (Offline ST)

错误分析：虽然直接端到端翻译的质量略低于最佳级联系统，但引入自级联推理后，OmniFusion 几乎追平了级联系统的 XCOMET-XL 分数（86.57 vs 86.59）。
关键优势：OmniFusion 产生的严重错误 (Critical/Major errors) 显著少于级联系统（例如：严重错误 55.3 vs 75.0），证明了其在处理复杂语境时的鲁棒性。

4.3 文本 - 图像翻译 (TIT)

CoMMuTE 基准：在 CoMMuTE 数据集上，OmniFusion (14B) 的表现达到了 SOTA，超越了 ZeroMMT 和 TowerVision 等纯视觉模型。
消融实验：
- 门控 vs. 中间层：在 TIT 任务中，仅使用中间层 (Mid Fusion) 的表现略优于门控融合，说明当图像作为辅助信息时，中间层已足够。
- 层贡献分析：推理时的门控权重分析显示，第一层和中间层贡献了大部分权重，最后一层贡献较小。强制使用最后一层会导致模型崩溃（仅输出 EOS 或噪声），证实了高层特征在跨语言迁移中的局限性。

5. 意义与结论 (Significance)

架构创新：OmniFusion 证明了将强大的多模态感知能力（MMFM）与专业的翻译能力（Translation LLM）在单一架构内有效融合是可行的，且比从头训练或简单级联更高效。
实际应用价值：
- 低延迟：显著降低了同步翻译的延迟，使其更适用于实时会议、直播字幕等场景。
- 歧义消除：通过利用视觉上下文（如幻灯片、图片），有效解决了语音或文本中的歧义问题（例如区分 "Exit" 是 "AUSFAHRT" 还是 "AUSGANG"）。
- 错误控制：减少了严重翻译错误，提高了翻译的可靠性。
未来方向：当前模型主要基于英语源数据训练，未来工作将探索多语言多模态训练以及更灵活的指令跟随能力。

总结：OmniFusion 通过巧妙的门控融合机制，成功打破了单模态翻译模型和多模态基础模型之间的壁垒，为构建高效、低延迟、上下文感知的下一代多模态翻译系统提供了新的范式。