💬 NLP

Streaming Translation and Transcription Through Speech-to-Text Causal Alignment

本文提出了名为 Hikari 的端到端模型，通过引入概率 WAIT 令牌机制实现无需策略的同步语音翻译与流式转录，并结合解码器时间膨胀及监督微调策略，在多种语言对的低高延迟场景下均实现了新的最先进性能。

原作者： Roman Koshkin, Jeon Haesung, Lianbo Liu, Hao Shi, Mengjie Zhao, Yusuke Fujita, Yui Sudo

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Roman Koshkin, Jeon Haesung, Lianbo Liu, Hao Shi, Mengjie Zhao, Yusuke Fujita, Yui Sudo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 Hikari（日语“光”的意思）的人工智能模型。它的核心能力是：一边听你说话，一边实时翻译，并且能像真人翻译官一样“该等时就等，该说时就快说”。

为了让你轻松理解，我们可以把传统的翻译模型和 Hikari 比作两种不同的“翻译助手”。

1. 以前的难题：死板的“翻译机器人”

想象一下，你正在和一个外国朋友聊天，但你的翻译助手是个死板的机器人。

场景：你说英语（主谓宾结构，比如“我遇见了那个戴着红帽子的男人”），而目标语言是日语（主谓宾结构，但动词在最后，比如“我遇见了那个...戴着红帽子的...男人”）。
机器人的困境：
- 如果你说“我遇见了..."，机器人急着翻译，它可能会猜：“我遇见了那个男人”。
- 但当你继续说"...戴着红帽子的..."时，机器人发现刚才的翻译错了，因为它不知道“男人”前面还有修饰语。
- 结果：要么它为了抢时间乱翻译（质量差），要么它为了等完整信息而卡住很久（延迟高）。以前的模型通常需要人类工程师写一堆复杂的规则（比如“每听到 3 个词就翻译一次”）来指挥它，但这在复杂的语言面前往往行不通。

2. Hikari 的突破：聪明的“直觉翻译官”

Hikari 不需要人类教它规则，它自己学会了**“读”和“写”的直觉**。

核心魔法一：特殊的“等待”令牌（WAIT Token）

想象 Hikari 是一个正在写作的作家，手里有一支神奇的笔。

READ（读/等待）：当它听到一段话，但觉得还没听懂全意（比如还在等句子的结尾），它不会乱写。它会往纸上画一个特殊的符号 "WAIT"（就像在纸上画个圈，表示“我在听，别急”）。
WRITE（写/输出）：一旦它觉得信息完整了（比如听到了关键的动词），它就会迅速把刚才想好的整句翻译“唰”地一下写出来。
比喻：这就像你在听一个长故事，听到一半时你在心里默默记着（READ），等故事讲完那个关键转折点后，你才开口复述（WRITE）。Hikari 把这种“思考”和“说话”的过程融合在了一起，不需要外部指挥。

核心魔法二：解码器时间膨胀（Decoder Time Dilation）

这是一个技术上的“加速技巧”。

问题：如果模型每听到 1 毫秒的声音就要决定一次“写”还是“等”，那它大部分时间都在“等”（因为大部分时间都在听），这会让它反应变慢，像是一个每走一步都要停下来思考的人。
Hikari 的解法：它把时间“拉长”了。它不再每毫秒做决定，而是每4 毫秒（或者更长的一个块）做决定。
比喻：就像看视频时，你不需要每一帧都暂停思考，而是每看几帧（比如 0.1 秒）就判断一下剧情。这样，Hikari 就能在保持精准的同时，大幅减少“发呆”的时间，让翻译速度更快。

核心魔法三：特训“急救”课程（Supervised Fine-Tuning）

模型在训练初期，有时候会“犯懒”，听到声音就疯狂画"WAIT"符号，导致翻译一直卡住，越积越慢。

训练方法：研究人员给 Hikari 搞了一次“特训”。他们故意在训练数据里制造“延误”，让模型处于落后状态，然后强迫它**“加速追赶”**。
比喻：就像教一个跑步慢的学生，故意让他落后起跑线，然后教他如何调整呼吸、加快步伐，在后面的路程里把落后的时间追回来，而不是继续慢吞吞地跑。这让 Hikari 学会了在遇到复杂句子时，既能耐心等待，又能迅速爆发输出。

3. 它有多厉害？

论文在英语翻译成日语、德语和俄语的测试中，Hikari 取得了**世界顶尖（SOTA）**的成绩：

低延迟模式：像闪电一样快，几乎听不到停顿。
高延迟模式：像资深翻译官一样，为了准确性愿意多等几秒，但翻译质量极高。
全能性：它不仅能翻译，还能直接做语音转文字（ASR），而且是在流式（实时）状态下完成的。

总结

Hikari 就像是一个拥有“时间管理大师”能力的 AI 翻译官。
它不再需要人类拿着秒表指挥它“现在该说了”，而是自己通过概率判断：

该听的时候，它就安静地画个圈（WAIT），耐心收集信息；
该说的时候，它就像机关枪一样快速输出（WRITE），把积压的信息一次性说完。

这种“端到端”（从声音直接到翻译，中间没有复杂的规则干预）的方法，让机器翻译真正变得像人类一样自然、流畅且智能。

论文技术总结：基于语音到文本因果对齐的流式翻译与转录 (Hikari)

1. 研究背景与问题 (Problem)

同时机器翻译 (SiMT) 旨在实现不间断的、近乎实时的语音翻译。传统的 SiMT 系统通常采用级联架构（离线翻译模型 + 人工设计的启发式规则或学习策略），或者依赖外部策略模块来决定何时“读取”（READ，等待更多输入）和何时“写入”（WRITE，输出翻译）。

核心挑战：

句法差异导致的延迟： 在像英语（SVO 结构）和日语（SOV 结构）这样句法差异巨大的语言对中，翻译者必须缓冲主语和动词，直到听到句末的修饰成分才能确定翻译。传统启发式策略（如 wait-k）难以灵活处理这种长距离依赖，要么导致幻觉（过早翻译），要么导致不可接受的延迟。
策略与翻译的割裂： 现有的方法通常将“何时翻译”的策略与“翻译什么”的模型分开，导致系统复杂且难以端到端优化。
训练数据中的 WAIT 令牌主导： 在流式对齐数据中，由于需要等待上下文，模型在训练时会产生大量的 WAIT 令牌，导致推理时模型倾向于过度等待，产生不自然的长停顿。

2. 方法论 (Methodology)

作者提出了 Hikari，这是一个无策略（Policy-free）、完全端到端的流式语音到文本翻译与转录模型。其核心创新在于将“读取/写入”决策直接编码到模型的生成概率中。

2.1 核心架构

基础模型： 基于 Whisper Encoder-Decoder Transformer 架构。
因果对齐 (Causal Alignment)：
- 引入特殊的 <WAIT> 令牌。
- READ 动作：模型生成 <WAIT> 令牌，表示继续读取输入音频，不输出翻译。
- WRITE 动作：模型生成文本令牌，表示输出翻译内容。
- 通过这种方式，模型在单一概率框架内联合学习了语言模型和隐式的 READ/WRITE 策略，无需外部控制器。
掩码机制：
- Encoder 自注意力：使用标准的下三角因果掩码，确保只能看到过去的音频。
- Decoder 交叉注意力：使用膨胀因果掩码 (Dilated Causal Mask)，防止 Decoder 在训练时关注 Encoder 未来的键值，确保严格的时间单调性。

2.2 关键技术：Decoder Time Dilation (解码器时间膨胀)

为了解决训练数据中 WAIT 令牌过多（导致模型过度延迟）的问题，作者引入了 Decoder Time Dilation (D) 机制：

原理： 设定解码器每生成一个令牌对应 $D$ 个音频嵌入（Audio Embeddings），而不是 1 个。
作用：
- 减少了单位时间内生成的令牌数量，从而降低了 WAIT 令牌在训练数据中的相对比例。
- 减少了推理时的前向传播次数，提高了吞吐量（Real-time Factor, RTF）。
- 最佳选择： 实验表明 $D=4$ 是最佳平衡点，既能保证因果对齐的粒度，又能确保所有目标令牌能适配解码器上下文窗口，同时支持高并发推理（RTF < 1.0）。

2.3 数据构建与训练策略

合成训练数据： 由于缺乏高质量的真实同传数据，作者构建了一个流水线：
1. 使用 Faster Whisper 获取带时间戳的源文本。
2. 利用 LLM 进行翻译（考虑上下文）。
3. 因果对齐： 基于词嵌入相似度建立源词与目标词的映射，并根据源词的时间戳插入 <WAIT> 令牌，确保输出时间不早于源词结束时间（加上随机延迟 $\delta$ ）。
多任务学习： 模型同时训练 3 种翻译任务（英->日/德/俄）和 1 个转录任务（ASR）。ASR 任务作为辅助任务，为因果编码器提供声学基础，防止表示漂移。
监督微调 (SFT) 恢复延迟：
- 问题： 预训练后的模型在遇到长停顿或歧义时，倾向于生成过长的 WAIT 序列，导致“卡死”或延迟累积。
- 解决方案： 构造特殊的 SFT 样本，人为在序列中间插入大量 WAIT 令牌（模拟延迟），并掩码掉这些人工插入的 WAIT 令牌及其之前的历史损失。
- 目标： 强制模型学习在延迟发生后如何快速“追赶”（Burst recovery），即在不牺牲质量的前提下迅速输出积压的翻译。

3. 主要贡献 (Key Contributions)

统一框架： 提出了首个无需外部 READ/WRITE 策略的端到端流式语音翻译框架，将“何时翻译”和“翻译什么”统一在概率生成中。
Decoder Time Dilation： 提出了一种机制，有效解决了流式对齐数据中 WAIT 令牌主导的问题，优化了训练分布和推理效率。
延迟恢复微调策略： 开发了一种 SFT 方法，显著改善了模型在延迟累积后的恢复能力，优化了质量 - 延迟的权衡（Quality-Latency Trade-off）。
SOTA 性能： 在英语到日语、德语和俄语的长文本流式翻译任务中，Hikari 在低延迟和高延迟场景下均取得了新的最先进（SOTA）BLEU 分数，超越了 IWSLT 2025 的多个基线系统。
开源： 公开了模型权重和代码，促进流式序列建模的研究。

4. 实验结果 (Results)

翻译质量与延迟：
- 在 IWSLT 2025 测试集和 HQ Podcasts 数据集上，Hikari-medium (SFT 后) 在低延迟（LL）和高延迟（HL）区间均大幅超越现有基线（如 CUNI, CMU, NAIST, OSU 等）。
- 例如，在英->日（en-ja）低延迟场景下，BLEU 达到 42.17，StreamLAAL 延迟为 2.96s；在高延迟场景下，BLEU 达到 41.35。
- SFT 效果： 引入 SFT 后，模型在保持 BLEU 分数基本不变的情况下，将平均延迟降低了约 1 秒（StreamLAAL），显著左移了质量 - 延迟的帕累托前沿。
流式 ASR 性能：
- 尽管主要目标是翻译，Hikari 在 TED-LIUM 等清洁数据集上的词错率（WER）表现良好（8.6%），证明了其架构的有效性。
- 在领域特定或高噪数据（如 Earnings21）上表现较弱，这主要归因于训练数据分布（主要是播客）与测试集的差异，而非架构缺陷。
消融实验：
- 模型规模： Hikari-small 表现显著不如 medium 版，表明“无策略”范式需要更大的模型容量来内化隐式策略。
- ASR 任务： 移除 ASR 辅助任务导致翻译质量和延迟控制显著下降，证明 ASR 对因果编码器的声学对齐至关重要。
- 冻结编码器： 使用冻结的 Mimi 编码器导致性能大幅下降，验证了端到端联合优化的必要性。

5. 意义与展望 (Significance & Future Work)

范式转变： Hikari 证明了无需人工启发式规则或外部控制器，仅通过因果对齐数据训练，即可实现高效的流式翻译。这简化了系统架构，提高了推理的鲁棒性。
实际应用： 该技术有望显著提升国际会议、教育等场景下的实时跨语言沟通能力。
未来方向：
- 扩展模型规模至 Whisper-large 级别。
- 探索动态时间膨胀机制以适应不同的语速。
- 结合推测解码（Speculative Decoding）进一步优化延迟控制。
- 扩展至语音到语音（Speech-to-Speech）翻译。
- 引入更多样化、更具挑战性的训练数据以提升 ASR 鲁棒性。

总结： 这篇论文通过引入因果对齐、时间膨胀机制和特殊的延迟恢复微调策略，成功构建了一个高性能、低延迟且无需外部策略的端到端流式翻译系统，为实时语音交互技术树立了新的标杆。