💬 NLP

Speaking in Self-Assessing Tongues: On the Verbalized Confidence of LLMs in Machine Translation

本文介绍并评估了五种用于从机器翻译中的大语言模型中提取逐词置信度的语言化方法，发现尽管这些方法与内部信号的相关性较低，但在错误检测和校准方面的表现却与内部信号相当。

原作者： Ali Marashian, Alexis Palmer, Katharina von der Wense

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Ali Marashian, Alexis Palmer, Katharina von der Wense

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有一个非常聪明、精通多种语言的机器人翻译官。你向它要求翻译一个句子，它瞬间完成了。但你如何知道它是否翻译对了？机器人知道自己是否犯了错吗？

这篇论文研究了一个特定的问题：我们能否询问机器人，“你对这个特定的词有多确定？”并信任它的回答？

研究人员比较了获取机器人“置信度”的两种方式：

“内部”方式： 查看机器人的秘密数学逻辑（其内部概率）。这就像窥视机器人的大脑，看看在它挑选一个词之前，它曾考虑过多少种选择。
“口头表达”方式： 直接询问机器人：“在 0 到 1 的范围内，你对这个词有多自信？”并让它打出答案。

以下是他们研究结果的简单类比拆解：

1. “窥视大脑”的问题

通常，当我们想知道翻译质量好坏时，我们会观察机器人的内部数学逻辑。如果机器人在挑选某个词时有 99% 的把握，我们就假设它是正确的。

然而，论文指出这种方法存在一个被称为**“表面形式竞争”（Surface Form Competition）**的缺陷。

类比： 假设你正在翻译“The cat sat on the mat.” 你也可以说“The feline sat on the rug.” 这两种都是完美的翻译。
问题： 如果机器人在“cat”和“feline”之间犹豫不决，它的内部数学逻辑可能会显示它对“cat”只有 50% 的把握，因为它也在考虑“feline”。但“cat”实际上是一个正确的翻译！
结果： 机器人的内部数学逻辑显示：“我不确定”，但输出的结果实际上是完美的。内部信号具有误导性，因为它测量的是选项之间的混乱程度，而不是正确性。

2. 新的想法：直接问它

既然机器人会说话，研究人员尝试了另一种方法：口头表达置信度（Verbalized Confidence）。与其窥视数学逻辑，不如提示机器人说：“我有 90% 的把握这个词是正确的。”

他们测试了五种提问方式：

列表法： “告诉我句子的哪些部分是错误的。”
词语数字法： “为每个词给出一个 0 到 1 之间的分数。”
词语标签法： “给每个词一个标签，比如‘非常确定’或‘不确定’。”
Token 数字/词语法： 进行同样的操作，但针对的是单词的微小片段（token）而非整个单词。

3. 大大的惊喜：它们并不一致

研究人员原本预期，如果机器人的内部数学逻辑显示“我不确定”，而我们问机器人“你不确定吗？”，机器人会回答“是的”。

他们错了。

类比： 这就像一位气象预报员看着他们复杂的雷达数据（内部），说：“有 50% 的降水概率”，但当你直接问他，“你觉得会下雨吗？”，他却说：“我 90% 确定不会下雨。”
发现： 机器人的内部数学逻辑与它口头表达的内容之间几乎没有任何相关性。它们本质上是两种完全不同的策略，彼此之间并没有沟通。

4. 询问是否有帮助？

那么，如果它们不一致，哪种方法能更好地识别实际的翻译错误呢？

结果： 出人意料的是，询问机器人（口头表达）的效果与窥视数学逻辑（内部）一样好，有时甚至更好。
注意点： 这取决于你使用的是哪种机器人。
- 对于一种模型（Llama3），要求它给出一个“李克特量表”（Likert score，例如“非常确定”）效果最好。
- 对于另一种模型（Aya23），查看其内部数学逻辑（熵/Entropy）效果最好。
现实检验： 即便是最好的方法也不是完美的。机器人识别自身错误的能力仍然处于中等水平。这就像一个正在参加考试的学生，虽然能较好地知道哪些答案是错的，但仍然会犯一些自己都没意识到的错误。

5. 为什么这很重要（根据论文结论）

论文得出结论，我们不需要成为“黑客”去窥探机器人的代码来获取置信度分数。我们可以直接问它。

易用性： 你不需要接触机器人的内部“大脑”（这在闭源模型中通常是隐藏的）。你只需要能与它聊天即可。
粒度： 研究人员发现，即使我们要求一个精确的数字（如 0.83），机器人也倾向于将其舍入为简单的步骤（如 0.8 或 0.9），这表明它们更像是在使用一个简单的清单，而不是高精度的计算器。

总结

这篇论文测试了我们能否信任大型语言模型对其自身置信度的描述。

旧方法： 查看数学逻辑（内部）。
新方法： 询问模型（口头表达）。
结论： 它们是完全不同的东西，但询问模型在寻找翻译错误方面与查看数学逻辑一样有效。这是一种更简单、更易获取的方法，用于检查翻译是否可能出错，而无需看到模型的秘密代码。

技术摘要：以自我评估的语言进行表达

问题陈述

大语言模型（LLMs）在机器翻译（MT）领域的快速普及凸显了一个关键的可靠性问题：LLMs 在翻译任务中的自我校准能力较差。与存在单一正确答案的分类任务不同，翻译涉及“表面形式竞争”（surface form competition），即多个有效的句法或语义实现形式在相互竞争。因此，内部信号（如 token 概率或熵）往往反映的是在多个有效替代方案之间的不确定性，而非所选输出的正确性。此外，依赖内部信号需要访问模型的内部参数，而这对于闭源模型通常是不可行的。因此，需要一种鲁棒的、无监督的方法来估计逐 token 置信度，且该方法不应受限于这些局限性。

方法论

作者提出并评估了五种言语化方法（verbalized methods），旨在直接从模型生成的文本中提取逐 token 置是否信度，从而避免需要访问内部参数的问题。这些方法与两种标准的内部不确定性度量（token 级概率和熵）进行了对比。

实验设置

数据集： 本研究利用了 WMT2024 通用机器翻译数据（英语到中文、捷克语、印地语、日语和俄语），并结合来自 Kocmi 等人 (2024a) 的错误跨度标注（ESA）作为基准真相（ground truth）。
模型： 选择了两个开源大语言模型：Aya23 和 Llama3-70B。
言语化方法：
1. 列表（List）： 模型返回它认为不确定的片段（spans）。
2. 数值词（Word_Numeric）： 模型通过单独的提示词为每个单词分配一个 $[0, 1]$ 之间的数值置信度分数。
3. 李克特词（Word_Likert）： 模型分配定性标签（例如“非常确定”到“非常不确定”），并将其转换为数值。
4. 数值 Token（Token_Numeric）： 与 Word_Numeric 类似，但应用于 token 级别。
5. 李克特 Token（Token_Likert）： 与 Word_Likert 类似，但应用于 token 级别。
评估指标：
- 二元错误检测： 通过 F1 分数（特别针对错误类）、AUROC 和 AUPRC 进行衡量。
- 校准度： 通过期望校准误差（ECE）和可靠性图进行衡量。
- 对齐度： 使用 Spearman 秩相关系数来衡量言语化置信度与内部信号之间的关系。

关键结果

1. 错误检测性能

整体性能： 所有方法的 F1 分数均较低（范围在 0.02 到 0.23 之间），表明该任务具有内在难度，尽管所有方法都优于随机基准。
模型依赖性： 没有一种方法能在所有设置下始终表现最优。性能因语言对和模型的不同而显著变化。
- 对于 Aya23，内部度量（熵）和 Word_Numeric 在平均水平上表现最好。
- 对于 Llama3-70B，Word_Likert 在 5 个语言对中的 4 个中取得了最佳性能。
对比： 言语化方法在 Llama3-70B 上通常表现得与内部方法相当或更好，但在 Aya23 上的结果则褒贬不一。值得注意的是，在 Llama3-70B 的英译日任务中，言语化方法的 F1 分数比内部方法高出 0.09。

2. 校准度

内部优势： 在校准度（ECE）方面，归一化熵（normalized Entropy）在两种模型中始终表现最好。
言语化表现： 言语化方法的表现与模型概率相似，但落后于模型熵。
李克特 vs. 数值： 李克特类方法在校准度方面始终优于其对应的数值类方法。作者将数值类方法的表现不佳归因于已知问题，即 LLMs 在处理数值上下文时存在困难。

3. 方法间的对齐性

低相关性： 一个主要发现是言语化置信度与内部不确定性度量（概率和熵）之间缺乏显著相关性。这表明两种策略（内部计算 vs. 言语自我评估）运行在不同的原理之上，或者捕捉到了模型状态的不同侧面。
粒度： 尽管能够返回任意值，但数值类方法表现出有限的粒度，其输出通常被限制在 0.1 或 0.2 的倍数，实际上表现得类似于李克特量表。

4. 粒度与句法

Token vs. 词： Token 级方法在召回率（recall）和精确率（precision）的权衡方面表现出与词级方法不同的行为。
句法类别： 对于 Llama3-70B，言语化方法对开类词（名词、动词）的召回率高于闭类词，而这一模式在内部方法中并未观察到。

意义与主张

本文声称，对于无法获取模型内部信号的机器翻译用户而言，言语化置信度是进行错误检测的一种可行且易于获取的替代方案。

可访问性： 言语化方法提供了一种“黑盒”解决方案来进行置信度估计，仅需模型的输出文本即可。
互补性： 言语化方法与内部方法之间几乎没有相关性的发现意味着它们并不冗余；它们可能捕捉到了模型行为的不同信号。
局限性： 作者谦逊地指出，所有方法的绝对性能仍然相对较低，部分原因是高资源语言的翻译质量极高以及任务本身的难度。他们强调，这些无监督方法并不是人类标注的替代品，而是作为一种补充性的质量控制机制。
未来方向： 作者建议未来的工作应研究驱动内部信号与言语化信号之间对齐（或缺乏对齐）的因素，并探索这些发现对于人类标注稀缺的低资源语言场景的泛化能力。