🤖 machine learning

Test-Time Compute Scaling for ASR with Depth-Conditioned Looped Transformers

本文介绍了 LARM，一种深度调节的循环 Transformer 框架，它通过利用诸如 FiLM 条件化和稀疏 CTC 检查点等专门组件动态调整循环编码器深度，实现了自动语音识别的测试时计算扩展，从而在不需要更大的固定深度模型的情况下提高了识别准确率。

原作者： Yacouba Kaloga, Shashi Kumar, Shakeel A. Sheikh, Driss Khalil, Petr Motlicek, Ina Kodrasi

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yacouba Kaloga, Shashi Kumar, Shakeel A. Sheikh, Driss Khalil, Petr Motlicek, Ina Kodrasi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明但略显疲惫的翻译员，正试图将一段语音转换为文字。在传统的系统中，这位翻译员有一个固定的“步骤”或“层数”可以进行理解。一旦完成这些步骤，他们就会给出他们认为最好的猜测，即使他们对某个棘手的词仍然感到困惑。如果你想让他们变得更好，通常需要构建一个全新的、规模大得多的翻译系统，拥有更多的步骤，而这会耗费更多的资金并需要更长的训练时间。

这篇论文介绍了一个名为 LARM（循环音频循环模型，Loop Audio Recurrent Model）的新系统，它改变了规则。LARM 不再是构建一个更大的翻译器，而是让同一个翻译器根据你在实际对话中拥有的时间，采取尽可能多的额外步骤。

以下是它的工作原理，使用了日常生活的类比：

1. “循环”概念：同一支团队，更多时间

把标准的语音识别系统想象成一条拥有 10 个工位的工厂流水线。一个产品（声音）经过所有 10 个工位一次，最后变成成品文本。如果你想要更好的质量，你通常会建造一个拥有 20 个工位的工厂。

LARM 则不同。它只有 4 个工位，但它有一个神奇的“重入门”。在声音经过 4 个工位后，它可以被送回这些工位再次通过，一遍又一遍。

问题： 如果你只是在没有任何变化的情况下让声音反复通过这 4 个工位，翻译员会感到厌倦并变得重复。他们会不断重复同样的错误。
解决方案： LARM 给翻译员一本特殊的指令手册，这本手册每次循环时都会发生变化。它告诉他们：“在第一次通过时，只需听出大致的氛围。在第二次通过时，关注语法。在第三次通过时，检查拼写。”这使得同一个小团队可以在不同的阶段进行专业化的工作。

2. “监督时钟”：教练的哨声

为了防止翻译员在循环中迷失方向，系统使用了一个监督时钟。
想象一位教练每隔几分钟吹一次哨子。

哨声（检查点）： 每 4 个循环，教练会叫停翻译员并说：“好了，写下你现在认为这句话是什么。”系统会将这个猜测与正确答案进行对比，并给予反馈。
静默时间（精炼）： 在两次哨声之间，翻译员在沉默中工作。他们此时还未被评分；他们只是利用上一次哨声带来的反馈来精炼对声音的理解。这创造了一种“检查、精炼、检查、精炼”的节奏。

3. “延迟反馈”：左手边的便签

语音识别中最难的部分之一是知道“之前”发生了什么，从而理解“接下来”会发生什么。

类比： 想象你在读一本书，但你只能看到当前的单词。你可能会猜“猫坐在……”然后停下来。
LARM 的技巧： LARM 提取前一个循环中的“软猜测”（即某个词出现的概率），将其向后移动一步，然后将其交给当前循环中的翻译员。这就像翻译员从过去的自己那里得到了一张便利贴，上面写着：“嘿，我觉得上一个词是‘the’，所以请记住这一点。”这有助于系统在循环过程中，从左到右构建一个连贯的故事。

4. “FiLM 调节器”：情绪环

为了确保翻译员知道自己处于哪一次循环（这样他们就不会在第一步时就尝试进行最后的拼写检查），LARM 使用了一个“情绪环”或 FiLM 调节。

这是一个信号，告诉系统：“你目前处于第 3 次循环（共 12 次）。”基于这个数字，系统会微妙地改变翻译员处理声音的方式。这就像告诉学生：“你现在处于头脑风暴阶段，所以可以天马行空，”对比“你现在处于编辑阶段，所以要严谨。”这确保了同一个大脑在不同时间执行不同的任务。

他们发现了什么？

研究人员在著名的语音数据集 LibriSpeech 上测试了该系统。

时间越多，效果越好： 他们发现，如果让他们运行更多的循环（采取更多步骤），准确率就会提高。他们不需要训练一个新的、更大的模型；他们只需要在同一个模型上投入更多的“思考时间”。
击败巨头： 一个只有 4 层的小型 LARM 模型，在运行 12 个循环后的表现，几乎与或有时甚至优于一个拥有 16 层的庞大标准模型。这意味着你可以获得高质量的结果，而无需需要超级计算机级别的模型。
提前退出： 因为模型是逐步改进的，所以如果你需要快速响应（比如用于实时字幕应用），你可以提前停止它以获得一个不错的答案；或者让它运行更久，以获得完美的转录。

核心结论

LARM 证明了对于语音识别，你并不总是需要一个更大的大脑；有时，你只需要让现有的脑子思考得更久一点、更有策略一点。它将模型的“深度”变成了一个你可以根据可用时间进行调节的旋钮，让语音识别变得更加灵活且高效。

技术摘要：基于深度条件循环 Transformer 的 ASR 推理侧计算缩放

问题陈述

端到端自动语音识别（ASR）系统通常依赖于固定深度的声学编码器。在推理阶段，计算深度由架构硬性决定，这使得模型无法在不重新训练更大模型的情况下，通过增加推理侧计算量来换取更高的识别准确率。虽然推理侧计算缩放在自回归语言建模领域（其中迭代生成允许进行推理和自我修正）已获得关注，但将这一范式应用于连续、非自回归的 ASR 任务却并非易事。标准的固定深度编码器缺乏在推理过程中逐步细化声学表示的机制，而简单地在共享 Transformer 块中进行递归重用的尝试往往无法充分利用额外的计算量，导致其性能优于深度但参数不共享的基准模型。

方法论：LARM 架构

为了解决这些局限性，作者提出了 Loop Audio Recurrent Model (LARM)，这是一种深度条件的循环 Transformer，它将参数量与推理深度解耦。LARM 将一个共享的 Transformer 块递归地应用于潜在声学序列，将计算深度视为一个动态、可控的维度。该架构集成了四个关键机制，以构建循环结构并实现阶段性的专业化：

稀疏监督与检查点结构：
LARM 并非在每次循环时都应用损失，也并非仅在最后一步应用，而是采用了一种稀疏监督调度。递归过程被结构化为一系列受监督的识别检查点，这些检查点之间由中间的无监督细化阶段分隔。监督时钟嵌入（ $e^{(k)}_{clock}$ ）对检查点间隔（ $c$ ）内的循环位置进行编码，使模型能够区分监督识别阶段和潜在细化步骤。
FiLM 深度调节：
为了防止共享权重在迭代过程中进行冗余计算，LARM 利用了特征线性调制（FiLM）。该机制根据归一化的循环迭代深度（ $\bar{d}^{(k)}$ ）显式地调节隐藏状态。小型 MLP 生成缩放和平移项来调节共享编码器，使编码器能够在不同阶段实现专门的变换，而无需解开参数绑定。
延迟预测反馈：
LARM 引入了一种 ASR 特有的递归机制，其中前一次迭代的软 CTC 后验概率被投影回隐藏空间，并向后偏移一帧，然后重新注入网络。这种“延迟预测反馈”通过循环深度传播从左至右的标记级连续性，引导声学细化的轨迹，使后续循环能够基于不断演进的假设进行构建。
状态聚合：
递归状态 $h^{(k)}$ 通过聚合当前编码器输出、初始声学表示（通过跳跃连接）以及延迟预测反馈来形成。可学习的标量（ $\alpha, \beta$ ）控制反馈信号的贡献，确保每个循环既能基于原始声学特征，也能基于细化后的软标记历史进行调节。

核心贡献

编码器级推理侧计算缩放： LARM 引入了一个框架，使 ASR 模型可以通过增加递归循环次数来动态扩展推理计算量，而无需增加学习参数的数量。
阶段专业化递归训练： 本文提出了一种结合了稀疏中间 CTC 监督、周期性时钟嵌入和 FiLM 深度调节的创新循环结构机制。这使得同一组共享权重可以在不同的递归迭代中专门化，以承担识别与细化等不同角色。
延迟预测反馈： 作者引入了一种反馈机制，通过重新注入偏移的软标记后验概率，显式地通过递归深度传播标记级的连续性，从而改进迭代声学识别。
经验验证： 研究表明，随着推理循环次数的增加，LARM 的字错率（WER）持续改善，其性能足以媲美参数量显著更大的非共享参数基准模型。

实验结果

实验在 LibriSpeech 基准测试（100h 和 960h 训练集）上进行。

性能与参数量的关系： 在 100h 数据集上，一个具有 4 个共享块和 12 个循环的 LARM 模型（7.7M 参数）实现了 11.34% 的 WER（贪婪 CTC），优于参数匹配的标准 4 块编码器（26.78%），并超越了拥有近四倍参数（28.9M）的 16 块非共享编码器（14.43%）。
推理侧计算缩放： 对于训练好的固定模型，增加执行循环次数（ $K$ ）能持续提升 WER。960h 模型表现出平滑的提升轨迹，而 100h 模型虽然在中间细化阶段表现出非单调性，但在监督检查点处仍显示出增益。
随宽度与数据的缩放： 将模型维度（ $d$ ）从 384 增加到 1024 进一步提升了性能。最大的 LARM 配置（ $d=1024$ ，85.7M 参数）在 960h 测试集上达到了 3.39% 的 WER（test-clean），其表现与同等参数量的标准 48 块编码器相当。
消融实验：
- 朴素循环： 简单的递归虽然比非循环编码器有所改进，但逊于完整的 LARM，证实了所提调节与反馈机制的必要性。
- 监督调度： 中度稀疏监督（检查点间隔 $c > 1$ ）的表现优于密集监督（ $c=1$ ）和仅最终监督，验证了“在检查点之间进行细化”的假设。
- 调节机制： FiLM 深度调节被证明优于简单的加性嵌入或无调节状态。
- 反馈机制： 移除预测反馈会导致性能显著下降，且使用前一帧（延迟）反馈配合学习到的混合标量时效果最佳。

意义与主张

本文声称 LARM 成功地将此前在自回归语言建模领域占据主导地位的“推理侧计算缩放”概念扩展到了连续、非自回归的语音识别任务中。通过将递归编码器深度转化为一个可控的计算轴，LARM 允许 ASR 系统通过增加推理时间来换取更高的准确率，而无需承担训练更大模型的成本。结果表明，当通过稀疏监督和反馈进行适当的调节与结构化设计时，共享参数架构可以达到与更深的非共享模型相媲美的性能。作者指出，尽管当前配置在极宽维度下显示出饱和迹象，但该方法为 ASR 的动态推理缩放提供了一条参数高效的路径。