⚡ electrical engineering

Multilingual Word-Level Forced Alignment with Self-Supervised Representations and Learned Dynamic Programming

本文提出了一种多语言词级强制对齐方法，该方法将来自 MMS 模型和 UnSupSeg 的自监督表示集成到一个学习到的动态规划框架中，证明了其在已训练语言和未见语言上均优于现有方法。

原作者： Roy Weber, Meidan Zehavi, Rotem Rousso, Joseph Keshet

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Roy Weber, Meidan Zehavi, Rotem Rousso, Joseph Keshet

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一段某人说话的录音，以及一份完全一致的文字转录稿。所谓“强制对齐”（forced alignment）的目标，就是要在音频和文本之间画出一条完美的连线，将每一个单词与它被说出的精确毫秒数连接起来。这就像是为电影制作一段完美同步的字幕轨道，但精确度要细化到每一个单词。

这篇论文介绍了一种更聪明的新方法来进行这种同步，特别是在处理非英语语言时。以下是其工作原理的解释，通过几个简单的类比来呈现。

问题所在：旧方法过于笨拙

传统上，计算机使用较旧的方法（如 Montreal Forced Aligner，简称 MFA）来同步音频和文本。把这些旧方法想象成一本死板的规则手册。它们依赖于关于声音“应该”如何组合的严格规则。如果说话者语速过快、含糊不清，或者使用了规则手册并不熟悉的方言，同步就会变得混乱。这就像是试图只用一把锤子，把方木头硬塞进圆孔里。

解决方案：一个双人协作团队

作者创建了一个新系统，它像是一个由两名专家组成的团队，共同寻找每个单词的精确边界。

1. “氛围感”专家（编码器/Encoder）
系统首先通过两个不同的视角观察音频，以捕捉单词开始和结束的“感觉”：

声音侦探 (UnSupSeg)： 这部分模型不需要知道正在使用哪种语言。它只是在倾听声波中的剧烈变化——比如单词之间的突然停顿，或是辅音中的气流爆发。它就像一个能听出说话的“节奏”和“断点”，却并不理解单词含义的人。
语言专家 (MMS)： 这部分使用了一个经过大规模预训练的模型（Massively Multilingual Speech，大规模多语言语音模型），该模型已经听过超过 1,100 种语言。它试图猜测在任何给定时刻，哪些单词最有可能正在被说出。它就像一位通晓多国语言的学者，即使单词表达得不够清晰，也能识别出单词的轮廓。

这两位专家结合了各自的见解。“声音侦探”说：“这里有一个断点！”而“语言专家”说：“这听起来像是单词 'hello' 的结尾。”随后，系统会为每一小段时长（每 10 毫秒）计算一个概率得分，从而决定那里是否存在单词边界的可能性。

2. 谜题解构者（解码器/Decoder）
仅仅拥有概率是不够的；你需要一份最终的、干净的起始和结束时间列表。这就是“解码器”发挥作用的地方。把它想象成一个使用智能清单（动态规划/Dynamic Programming）来做出最终决定的谜题解构者。

它不仅仅是盲目地选择概率最高的一项，它还会进行逻辑检查：

一致性： 这个边界与前一个边界是否协调？
时长： 这个单词是否太短或太长？（一个单词不能只有 1 毫秒长）。
契合度： “声音侦探”和“语言专家”是否达成了一致？

它平衡所有这些线索，以找到一条通过音频的最逻辑路径，确保最终的对齐既平滑又准确。

为什么它更好

作者在英语数据集（TIMIT 和 Buckeye）上测试了这个新系统，发现它击败了旧的标准（MFA）和其他现代工具。

但真正的魔力发生在未见过的语言上。该系统仅在英语上进行了训练。然而，因为它依赖于 MMS 模型（了解 1,100 多种语言）和 UnSupSeg 模型（仅倾听声音模式，而非特定单词），因此它可以直接应用于其他语言，而无需任何额外的训练。

他们在希伯来语、德语和荷兰语上进行了测试，而这些语言在训练过程中从未被见过：

希伯来语： 其表现显著优于基准 MMS 模型。
德语： 它达到了与甚至超过了传统的 MFA 工具的水平。
荷兰语： 表现得相当不错，尽管略低于其他语言，这可能是由于测试数据的特殊性质导致的。

核心总结

简单来说，这篇论文提出了一种新工具，它能比以往的方法更准确地实现语音与文本的同步。通过将“声音节奏”检测器与“多语言单词”识别器相结合，并利用逻辑严密的“谜题解构者”来清理结果，它创建了一个稳健的系统。

最大的优势在于，因为它不依赖于特定语言的规则（如音素词典），所以它有潜力应用于其底层模型所支持的 1,100 多种语言中的任何一种，而无需为每种语言重新训练。它是一个关于“时机”的通用翻译器，而不只是关于“单词”的翻译器。

技术摘要：基于自监督表示与学习型动态规划的多语言词级强制对齐

问题陈述

准确的词级强制对齐（即确定音频信号与文本转录之间精确时间边界的过程）是语言分析和语音技术（如 ASR、合成和索引）的基础要求。虽然近期的序列建模进展（如 wav2vec 2.0、Whisper）改进了语音识别，但传统的 HMM-GMM 框架，特别是蒙特利尔强制对齐工具（MFA），在对齐任务中仍然具有极强的竞争力。然而，现有方法通常依赖于特定语言的资源，例如字形到音素（G2P）转换和音素级标注，这限制了它们在现代自监督模型所支持的数千种语言中的可扩展性。本文旨在解决如何在不依赖音素级监督或 G2P 转换的情况下，实现准确的多语言词级对齐这一挑战。

方法论

所提出的方法被称为多语言对齐器（Multilingual Word Aligner, MWA），由**对齐编码器（Alignment Encoder）和学习型对齐解码器（Learned Alignment Decoder）**两个主要部分组成。该系统旨在通过优化预训练模型的表示来生成更优的对齐序列。

1. 对齐表示

该方法集成了两种自监督表示（ $M=2$ ）：

UnSupSeg： 一个通过对比学习训练的无监督音素分割模型。它直接从原始语音中识别音素边界，捕捉对于词分割具有信息量的细粒度声学过渡。
MMS（大规模多语言语音）： 一种自监督模型，其词级对齐是从特定帧处开始单词的 CTC（连接时序分类）似然度中导出的。该表示被上采样以匹配 UnSupSeg 特征的时间分辨率。

2. 对齐编码器

编码器（ $g_\theta$ ）接收来自 UnSupSeg 和 MMS 模型的归一化并拼接后的输出作为输入。其目标是预测一个关于帧的概率分布，指示单词边界的可能性。

架构： 作者评估了 VGG、Transformer 和 Conformer 架构。由于 Conformer 在计算效率和性能之间取得了平衡，因此被选为最优骨干网络。
训练： 编码器被训练为一个二分类器，用于预测某一帧是否对应于单词边界。由于存在严重的类别不平衡（边界帧极少，而非边界帧极多），模型使用 Focal Loss 而非标准的交叉熵进行优化。

3. 学习型对齐解码器

解码器（ $h_\psi$ ）是一个**学习型动态规划（DP）**模块，它将编码器产生的原始边界概率细化为最终的单词起始/结束时间序列。

机制： 与使用固定声学模型的传统 DP 不同，该解码器学习如何通过特征函数（ $\phi_n$ ）的线性组合来为对齐路径评分。
特征函数： 解码器利用了四个特定的特征：
1. 边界距离（Boundary Distance）： 候选边界前后 UnSupSeg 表示之间的欧几里得距离（假设较大的距离表示正确的边界）。
2. 转换得分（Transition Score）： 编码器在候选帧处输出的原始边界概率（ $z$ ）。
3. 单词一致性（Word Consistency）： 单词区间内编码器概率的归一化总和（惩罚概率较低的区间）。
4. MMS 发射似然度（MMS Emission Likelihood）： MMS 模型中构成该单词的字母的字符级发射概率之和。
优化： DP 搜索受限于最小单词持续时间（ $L_{min}$ ）。由于 DP 操作具有不可微性，解码器参数是通过迭代过程进行优化的，且与编码器分开训练。

核心贡献

新颖架构： 引入了一种结合自监督表示（MMS 和 UnSupSeg）来推断词边界的学习型动态规划解码器，无需音素级监督。
多语言可扩展性： 一种无需 G2P 转换或特定语言训练数据即可进行语言对齐的框架，充分利用了 MMS 模型的多种语言能力。
性能提升： 证明了通过学习型解码器融合音素边界检测（UnSupSeg）与词级似然度（MMS），比单独使用其中一种表示或传统的 HMM-GMM 方法能获得更高的准确度。

实验结果

该方法在英语数据集（TIMIT 和 Buckeye）上进行了训练和评估，并在未见语言（希伯来语、荷兰语、德语）上进行了测试。

英语性能： 在 TIMIT 和 Buckeye 测试集上，MWA 在所有容差阈值（ $t \le 10, 25, 50, 100$ $t \leq 10, 25, 50, 100$ ms）下均优于包括 MFA、基于 MMS 的 CTC 对齐、WhisperX 和 Nvidia-Canary-1B 在内的既有基准模型。
- 示例（TIMIT, $t \le 50$ ms）： MWA 实现了 91.6% 的准确率，而 MFA 为 89.4%，MMS 为 75.7%。
未见语言： 在不进行进一步训练的情况下应用于希伯来语、荷兰语和德语时，该模型表现出持续优于或等同于现有方法的性能。
- 在德语 PHONDAT 语料库上，MWA 在某些容差阈值下超过了 MFA（例如， $t \le 50$ ms 时为 84.7%，而 MFA 为 82.1%）。
- 在希伯来语上，MWA 在严格的容差下（ $t \le 10$ ms: 39.7% vs. 14.3%）显著优于 MMS。
模型选择： 用于编码器的 Conformer 架构被证明优于 VGG 和 Transformer 变体，特别是在捕捉边界检测所需的局部特征方面。

意义与主张

论文声称，所提出的方法代表了向资源高效、可扩展的多语言强制对齐迈出的重要一步。通过消除对 G2P 转换和音素级标注的依赖，该方法理论上可以扩展到 MMS 模型所支持的 1,100 多种语言。作者认为，该框架为 MFA 工具包提供了一个可行的替代方案，特别是对于难以构建传统 HMM-GMM 流水线的低资源语言。结果表明，当自监督表示通过学习型动态规划进行有效融合与解码时，可以达到甚至超过传统、高资源消耗的对齐系统的性能。