💬 NLP

Hermes the Polyglot: A Unified Framework to Enhance Expressiveness for Multimodal Interlingual Subtitling

该论文介绍了 Hermes，这是一个基于大语言模型（LLM）的统一框架，它通过整合说话人日志、术语识别和表达力增强，旨在克服跨语言字幕制作中的关键挑战，并实现在生成连贯且富有表现力的翻译方面达到最先进的性能。

原作者： Chaoqun Cui, Shijing Wang, Liangbin Huang, Qingqing Gu, Zhaolong Huang, Xiao Zeng, Wenji Mao

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Chaoqun Cui, Shijing Wang, Liangbin Huang, Qingqing Gu, Zhaolong Huang, Xiao Zeng, Wenji Mao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在看一部带有字幕的外语电影。通常，这些字幕只是直接的、逐字逐句的翻译。它们告诉你说了“什么”，但往往忽略了是“如何”说的——比如讽刺、情感、特定的俚语，或者是角色是在耳语还是在呐喊。

一篇名为《多语言者赫尔墨斯》（Hermes the Polyglot）的论文介绍了一个旨在解决这一问题的全新系统。请不要仅仅把 Hermes 看作是一个翻译器，而要把它看作是一个超级聪明的导演助手：它观看电影，聆听演员，然后撰写出那种感觉像是出自理解该文化的母语者之手的字幕。

以下是 Hermes 的工作原理，通过三个简单的步骤，并使用日常类比进行了拆解：

1. “谁在说话？”侦探（说话人识别/Speaker Diarization）

问题： 在电影中，角色可能会互相抢话，或者某个角色在镜头之外说话。标准的计算机经常会感到困惑，导致字幕显示“他说……”而实际上是“她说……”，或者混淆代词。
Hermes 的解决方案： Hermes 扮演着一个使用两套眼和耳的侦探。

视觉： 它观察视频，看谁的脸在移动。
音频： 它聆听声音独特的“音色”（就像声音的指纹）。
神奇之处： 即使角色在镜头外，Hermes 也能将他们的声音与之前看到的某人匹配起来。它创建了一个角色“花名册”，这样翻译程序就清楚地知道谁在说话，确保代词（如“他”与“她”）始终正确。

2. “特殊词汇字典”（术语识别/Terminology Identification）

问题： 电影中充满了特定的名称、地点和虚构词汇（比如《星球大战》中的“原力”，或某种特定的中国古代官职）。标准的翻译器可能会进行字面翻译，这听起来会很奇怪或错误。
Hermes 的解决方案： Hermes 扮演着一名专业的图书管理员。在翻译整部电影之前，它会扫描剧本，找出所有“专有名词”（名字、地点、特殊物品）。它会制定一套严格的规则手册。

类比： 想象你在翻译一份食谱。如果食谱说“使用一个 wok（中式炒锅）”，一个糟糕的翻译器可能会说“使用一个煎锅”。Hermes 知道 “wok” 是一个特定的工具，因此会保留这个词或找到完美的文化对应词，确保整部电影中的一致性。

3. “风格教练”（表达力增强/Expressiveness Enhancement）

问题： 这是最大的挑战。机器人可以准确地翻译“我很生气”，但它可能无法捕捉到角色其实是“愤怒”、“讽刺”还是“心碎”。标准的 AI 听起来往往机械且平淡。
Hermes 的解决方案： Hermes 使用了一种称为 SAPO（分段自适应偏好优化/Segment-wise Adaptive Preference Optimization）的技术。把这想象成一个选秀节目的评委。

过程： 对于每一句对话，Hermes 会生成 15 种不同的翻译方式。
评委： 它使用另一个强大的 AI（“评委”）来为这 15 个版本评分。评委会问：“哪一个听起来最自然？哪一个最能捕捉到情感？”
结果： Hermes 向评委的学习。它不仅学习如何做到“正确”，它还学习如何做到“生动”。它学习去选择那个听起来像人类演员在说话，而不是像字典在朗读的翻译。

结果：为什么这很重要

作者在跨越多种语言（如英语到中文、韩语到中文等）的真实电影和电视节目上测试了 Hermes。

准确性： 它准确地把握了事实和名称，击败了旧有的翻译工具。
自然度： 它听起来非常流利，就像是由母语人士编写的一样。
生动性： 这是 Hermes 脱颖而出的地方。它能比标准 AI 甚至比某些特定低资源语言的人类翻译员更好地捕捉到原场景的“情绪”和“风格”。

简而言之：
如果标准翻译像是阅读一份关于电影的枯燥新闻报告，那么 Hermes 就像是和你一起看电影的朋友，他会实时为你解释其中的笑话、情感和文化梗。它结合了观察面孔、聆听声音以及向“风格教练”学习，让字幕变得鲜活起来。

技术摘要：Hermes 多语者

问题定义

跨语言字幕翻译涉及将视频媒体（电影、电视剧）的字幕翻译成目标语言。虽然大语言模型（LLMs）在通用机器翻译方面取得了进展，但在处理字幕翻译的特定约束方面仍显乏力。本文识别了四个主要挑战：

语义连贯性： LLM 的输入 Token 容量有限，难以一次性处理整个节目。字幕行分割不当会破坏上下文，导致翻译不连贯。
代词指代： 文化和语言系统的差异（例如日语/韩语中的敬语或代词省略）会导致在说话者身份不明时产生错误。
术语翻译： 视觉媒体通常包含专门的专有名词（姓名、地点、物品），这些词汇需要准确、一致且具备上下文感知能力的翻译，而标准的 LLM 通常难以维持这种一致性。
翻译表现力： 除了准确性之外，观众还需要翻译自然（符合目标语言语法/文化）且生动（传达情感、语气和氛围）。标准模型往往产生字面化、平淡的翻译。

方法论：Hermes 框架

作者提出了 Hermes，这是一个统一的、基于 LLM 的框架，旨在通过三个集成模块和一个特定的训练策略来解决上述挑战。

1. 说话人日志划分 (Speaker Diarization, SD)

该模块为每行字幕标注说话人，以解决代词歧义并引导上下文感知的分割。

多模态集成： 它结合了视觉和语音模态。提取视觉特征（通过 CurricularFace 获取的人脸嵌入）和音频特征（通过 ERes2NetV2 获取的音色嵌入）。
聚类与注册： 视觉聚类作为说话人注册的锚点。音频聚类通过投票机制映射到视觉聚类，以创建说话人原型。
补充机制： 为了处理音画不同步（即说话人不可见）的情况，系统将未检测到的行的音色嵌入与已注册的原型进行比较。一种新颖的“说话人补充”策略根据相似度阈值对相邻行进行分组；如果某组缺乏检测到的说话人，则根据平均音色嵌入将其注册为新说话人。

2. 术语识别 (Terminology Identification, TI)

该模块确保专有名词翻译的准确性和一致性。

知识蒸馏方法： 使用现成的 LLM (Qwen-Max) 在 one-shot 设置下检测术语、类型及其在双语平行语料库中的翻译。
过滤与投票： 对原始候选结果进行过滤和投票，以确定每个术ের的规范类型和翻译。
专门化训练： 训练一个专门的术语 LLM ( $\pi_{term}$ )，使其在推理过程中能够检索并翻译这些术语，从而确保整个节目的连贯性。

3. 表现力增强 (Expressiveness Enhancement, EE)

该模块使用一种称为分段自适应偏好优化 (Segment-wise Adaptive Preference Optimization, SAPO) 的新技术来优化翻译模型的自然度和生动度。

局部偏好优化： 不同于将整个响应视为单一单元的标准偏好对齐（如 DPO），SAPO 将每一行字幕视为一个分段。这是必要的，因为一行字幕的翻译取决于其在序列中的特定上下文。
采样策略： 对于每个源行，模型采样多个候选翻译。评估器 LLM (LLM-as-a-Judge) 根据表现力对这些候选结果进行评分。
自适应权重： 训练损失对分段应用自适应权重。门控函数会排除低多样性或低质量的分段（噪声），而重要性评分则优先考虑具有丰富翻译变化的片段。
训练： 最终的翻译模型 ( $\pi_{st}$ ) 使用基于 SAPO 采样过程的偏好损失（如 DPO）在这些分段级配对上进行训练。

核心贡献

任务定义： 本文正式将跨语言字幕定义为一种多模态机器翻译任务，系统地识别了关于连贯性、代词、术语和表现力的独特挑战。
统一框架： 提出了 Hermes，它集成了视觉/音频说话人日志划分、通过知识蒸馏进行的术语识别以及分段偏好优化技术。
评估框架： 构建了一个基于“LLM-as-a-Judge”的多维度评估框架，评估准确性（代词准确度、术语一致性、翻译准确度）和表现力（自然度和生动度）。
性能： 实验结果表明，Hermes 在说话人日志划分方面达到了最先进水平（SOTA），并能生成比现有基准模型更具表现力和上下文连贯性的翻译。

实验结果

该框架在涵盖 en $\Rightarrow$ de, en $\Rightarrow$ fr, en $\Rightarrow$ zh, ko $\Rightarrow$ zh, zh $\Rightarrow$ en, 和 zh $\Rightarrow$ th 等方向的多语言数据集（优酷平台）上进行了评估。

翻译质量： Hermes（特别是经过 SAPO 训练的 14B 模型）显著优于传统模型（NLLB, MADLAD, Google Translate）和竞争基准（VideoDubber）。
- 与前沿聊天 LLM（GPT-4o, Qwen-Max）和推理模型（DeepSeek-R1, GPT-5）相比，它在准确性（代词准确度和术语一致性）和自然度方面取得了更高的分数。
- 至关重要的是，Hermes 在所有方向上都取得了最高的生动度得分，偶尔甚至超过了前沿 LLM，这表明其具有卓越的传达情感和语气的能力。
- 在低资源方向（如 ko $\Rightarrow$ zh, zh $\Rightarrow$ th）中，Hermes 在所有维度上均表现出色。
说话人日志划分： 与仅音频的基准方法（VBx, Spectral Clustering）以及三模态 SOTA 方法（E2CP）相比，SD 模块实现了更优的性能（更低的 DER 和 JER），特别是在方言节目等挑战性场景中。
人工评估： 与人工参考及其他基准模型的成对比较证实了 LLM-as-a-Judge 框架的可靠性，Hermes 在自然度和生动度方面显示出极高的胜率。
消融实验：
- SAPO 中的自适应门控函数被认为是减少噪声最关键的组件。
- 更大的骨干模型 (14B) 比较小的模型 (8B) 表现更好，尽管 SAPO 提升了所有骨干模型的性能。
- DPO 被发现是测试过的对齐损失（DPO, SimPO, GRPO）中最稳定且最有效的。

意义

本文声称，Hermes 通过超越简单的翻译准确性，转向解决本地化的整体需求，推进了跨语言字幕领域的研究。通过整合多模态线索（视觉/音频）并采用分段优化策略，该框架成功弥合了字幕格式的严格约束与人类对话细微、富有表现力的本质之间的差距。这项工作证明，通过特定的架构调整和偏好优化，LLM 可以在视觉媒体本地化这一专业领域超越传统的机器翻译系统和通用的前沿模型。