💬 NLP

Generative vs. Encoder Large Language Models for ASR Evaluation: A Comparative Study

本文通过一项对比研究表明，虽然配置得当的基于编码器的指标（如 BERTScore 和 SemDist）在 ASR 评估中与人类判断表现出强相关性，但生成式大语言模型在成对假设选择以及提高错误分析的可解释性方面提供了互补的优势。

原作者： Thibault Bañeras-Roux, Shashi Kumar, Driss Khalil, Sergio Burdisso, Petr Motlicek, Shiran Liu, Mickael Rouvier, Jane Wottawa, Richard Dufour

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Thibault Bañeras-Roux, Shashi Kumar, Driss Khalil, Sergio Burdisso, Petr Motlicek, Shiran Liu, Mickael Rouvier, Jane Wottawa, Richard Dufour

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

当计算机倾听人类的声音并写下所听到的内容时，这个过程被称为自动语音识别。几十年来，衡量这些系统表现好坏的标准方法一直是简单的错误计数。如果计算机在说话者说“cat”（猫）时写成了“bat”（蝙蝠），这就算作一个错误。如果它多写了一个词或漏掉了一个词，这些也都是错误。这种被称为词错率（word error rate）的方法将每种错误都视为同样糟糕。它并不关心这个错误是否改变了句子的含义，或者是否只是一个人类读者可以轻易忽略的微小拼写差异。因此，一个系统可能在这一旧标准测试中获得完美分数，但生成的文本对人类来说仍然听起来很机械化或令人困惑。

为了解决这个问题，研究人员转向了更关注词汇背后含义而非仅仅是字母本身的新方法。这些方法使用大语言模型，即在海量文本上训练过的、能够理解语言运作方式的庞大计算机程序。其中一些模型旨在阅读和理解文本，而另一些则旨在生成新文本，例如编写故事或回答问题。该领域的一个重大问题一直是：这些强大的新工具能否比旧的计数方法更好地评判语音识别，以及如果可以，哪种类型的模型才是最好的评判者。

来自瑞士 Idiap 研究院的研究团队与来自法国的大学研究人员共同致力于回答这个问题。他们想看看不同类型的大语言模型在被要求评估转录语音质量时表现如何。他们不仅仅是从通用的角度观察这些模型；他们还通过两种截然不同的方式对它们进行了测试。首先，他们将模型视为测量 spoken words（口语词汇）与 written text（书面文本）之间距离的工具，寻找一个与人类观点相匹配的数学得分。其次，他们要求模型扮演类似人类的评判者，阅读两个不同的转录版本，并决定哪一个更好，或者仅仅将单个转录文本标记为好、坏或令人困惑。

研究人员使用名为 HATS 的数据集来测试他们的想法，该数据集包含了针对各种计算机系统产生的法语 ASR（自动语音识别）假设的人类偏好成对数据。至关重要的是，该数据集还包括了人类听众对转录质量进行评分的意见。这使得研究人员能够观察计算机模型是否做出了与人类相同的判断。他们首先测试了作为测量工具的模型。他们利用从模型中提取的嵌入（embeddings）计算了 BERTScore 和 SemDist，以生成一个基于计算机版本与人类版本相似度的得分。他们发现，最好的结果并不单纯取决于使用规模最大或最强大的模型。相反，成功取决于研究人员如何处理模型内部的信息。

对于那些用于阅读和理解文本的模型，研究人员发现，最好的结果来自于观察模型内部结构的特定层，而不是仅仅看最终输出。他们还发现，专门用于创建句子级摘要的模型比通用模型表现得更好。对于生成文本的模型，结果也类似：最佳性能需要仔细选择使用模型内部知识的哪些部分。在这些测试中，旨在生成文本的模型表现得与旨在阅读文本的模型一样好，有时甚至略好。然而，阅读型模型以更少的计算资源实现了这一目标，使其成为这项特定任务中非常高效的选择。

研究人员随后进入研究的第二部分，即要求模型扮演评判者的角色。在第一个场景中，他们给模型一个参考句子和两个不同的计算机生成的句子版本。模型必须选择人类会更偏好的那一个。在这个任务中，最先进的生成式模型（包括一些现有的最大规模模型）表现得异常出色。在最佳情况下，它们与人类的选择一致率高达 94%，超越了旧的计数方法和新的评分方法。这表明，当模型被允许阅读整个句子并思考上下文时，它能够捕捉到简单数学方法所忽略的细微质量差异。

在最后的实验中，研究人员要求模型观察单个转录文本并分配一个标签：完全一致（identical）、有用（useful）、差（bad）或无法理解（incomprehensible）。这种方法提供了另一种形式的见解。研究人员得到的不再是一个单一的数字，而是一种对错误的描述。例如，模型可以识别出尽管有一些拼写错误，但句子仍是可理解的，或者它是完全令人困惑的。虽然模型在执行此任务时并非完美，但它们展现出了按严重程度组织错误的能力。结果表明，这些模型可以提供关于语音系统为何失败的更详细且对人类友好的报告，而不仅仅是说它失败了。

研究得出结论，大语言模型为评估语音识别提供了一种灵活且强大的新方法。阅读型模型提供了能匹配人类感知的快速且准确的评分，而文本生成型模型则擅长比较不同的转录版本并解释错误的性质。研究人员发现，模型的规模并不如其使用方式那样重要；一个配置良好的小型模型往往可以胜任大型模型的任务。最终，这项工作表明，通过结合这些不同的方法，我们可以超越简单的错误计数，从而实现对计算机真正理解人类声音程度的深度理解。

技术摘要：用于 ASR 评估的生成式与编码器大语言模型

问题陈述

自动语音识别（ASR）系统传统上使用字错率（WER）进行评估。虽然 WER 具有可复现性和简洁性，但它依赖于严格的形式匹配，无法解释语义相似性或人类对转录质量的感知。微小的词汇变化（例如大小写、同义词）会被同等程度地惩罚，其程度甚至与改变含义的错误相当，这往往掩盖了感知质量的真实提升。尽管基于嵌入的语义指标（如 BERTScore、SemDist）已显示出与人类判断更好的相关性，但其性能高度依赖于底层模型架构（编码器 vs. 解码器）、所使用的特定层以及池化策略。此外，仅解码器的大语言模型（LLMs）在结构化 ASR 评估设置中作为直接评估器（超越仅提供嵌入的能力）的潜力仍有待探索。

方法论

作者在 HATS 数据集上进行了一项对比研究，该数据集提供了关于法语 ASR 假设的详细人类成对偏好和质量判断。评估被结构化为三个互补的维度：

基于嵌入的语义指标：
- 模型： 测试了一组多样化的编码器模型（如 CamemBERT、Sentence-CamemBERT）和解码器模型（如 Qwen3、Gemma，包括专门用于嵌入的模型变体）。
- 指标： 研究分析了 BERTScore（词元级嵌入比较）和 SemDist（句子级嵌入距离）。
- 变量： 作者系统地改变了表示层（从早期层到最终层）和池化策略（最后一位标记、均值、除去最后一位的均值、加权均值、除去最后一位的加权均值），以确定与人类判断相关性最高的最佳配置。
生成式 LLM 作为评判者（成对选择）：
- 任务： 在给定参考转录的情况下，提示解码器 LLM 作为评判者，在两个候选假设之间选择较好的一项。
- 设置： 使用了一种单样本提示（one-shot prompting）策略，要求模型在输出选择（A 或 B）之前先说明其理由。
- 比较： 通过衡量 LLM 决策与人类偏好之间的符合度，并跨不同模型规模和系列进行分析。
用于定性分类的生成式 LLMs：
- 任务： 模型被要求在没有直接竞争对手的情况下，为单个（参考，假设）对分配一个定性标签。
- 类别： 标签包括 完全一致（identical）、有用（useful，尽管有微小错误但保留了含义）、糟糕（bad，含义部分改变） 和 无法理解（incomprehensible）。
- 评估： 由于 HATS 数据集缺乏这些特定的定性标签，LLM 的预测结果通过与 SemDist 分数（通过 Sentence-CamemBERT-Large 计算）进行相关性分析，以验证所预测类别的语义排序是否有效。

核心贡献与结果

1. 基于嵌入的指标（编码器 vs. 解码器）

层与池化的敏感性： 最优表示层具有高度的模型依赖性；不存在通用的“最佳”层（例如，并非最终层总是优于中间层）。同样，池化策略也会显著影响性能。对于标准的自回归模型，**均值（mean）和加权池化（weighted pooling）**通常优于最后一位标记池化。然而，经过嵌入专门化训练的解码器模型（如 Qwen3-Embedding）表明，在经过微调后，最后一位标记可以成为具有竞争力的表示。
架构比较： 当配置得当时，编码器和解码器模型都能实现与人类判断的强相关性。
- 编码器： Sentence-CamemBERT-large 以相对较少的参数实现了高性能，突显了其效率。
- 解码器： 专门用于嵌入的解码器模型（如 Qwen3-Embedding-8B）可以达到与编码器相似或略高的分数，但通常以显著更高的参数成本为代价。
结论： 编码器指标在性能上依然极具竞争力且高效，而当解码器针对句子表示进行专门化处理时，其嵌入也提供了相当的性能。

2. 用于成对假设选择的生成式 LLMs

性能： 在成对选择任务中，生成式 LLM 的表现显著优于传统的词汇指标（WER、CER）以及表现最好的基于嵌入的语义指标。
顶尖表现者： 在 100% 共识子集上，GPT-4.1（94% 符合度）和开源权重模型 Qwen3.5-35B（92% 符合度）证明了开源模型可以接近专有系统。
能力差异： 一个值得注意的发现是，模型的生成优秀嵌入的能力（例如 Qwen3-1.7B 在 SemDist 上表现良好）与其执行比较推理的能力（例如 Qwen3.5-35B 的卓越表现）之间缺乏一致性。这表明，内在评估与比较推理依赖于不同的模型能力。
启示： 生成式 LLM 捕捉到了诸如语法连贯性和语义一致性等质量方面，而这些是固定相似度函数可能忽略的。

3. 定性错误分类

可解释性： LLM 可以为转录文本分配可解释的标签，提供误差严重程度的分布，而非单一的标量分数。
相关性： 虽然预测的定性类别与连续的 SemDist 分数之间的相关性属于中等水平（Spearman $\rho \approx -0.6$ ），但模型成功地按严重程度对类别进行了排序（完全一致 > 有用 > 糟糕 > 无法理解）。
局限性： 相邻类别之间存在实质性的重叠（特别是“有用”与“糟糕”之间），这表明虽然 LLM 提供了有意义的定性描述，但目前还不能完美替代连续型指标。

重要性与主张

本文声称，LLMs 提供了一个灵活的框架来评估 ASR，通过三种不同的方法解决了 WER 的局限性：

效率： 基于编码器的表示产生了高效的语义指标（BERTScore、SemDist），足以媲美大型解码器模型。
比较准确性： 生成式模型作为强大的“评判者”，通过利用上下文理解来选择最佳假设，从而在相对评估中表现优于传统指标。
可解释性： 生成式模型能够构建定性的错误分布，提供比单一分数指标更详细且符合人类直觉的系统行为视图。

作者得出结论，虽然编码器模型在语义评分方面非常高效，但生成式模型在比较判断和定性分析方面表现更为出色。总之，这些方法共同为开发更符合人类感知且更具可解释性的语音识别系统评估方法开辟了道路。本文并不声称要完全取代 WER，而是建议转向更能反映人类感知并提供可操作反馈的指标。