💬 NLP

Evaluating Large Language Models for Hausa and Fongbe Machine Translation: Benchmarks, Failures, and Metric Reliability

本研究评估了四种大语言模型在英译豪萨语和英译丰贝语方面的翻译能力，揭示了这两种语言之间显著的性能差异、标准自动指标在与人类判断相关性方面的不可靠性，以及针对低资源非洲语言进行大规模评估和多指标方法评估的必要性。

原作者： Mahounan Pericles Adjovi, Roald Eiselen, Prasenjit Mitra

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Mahounan Pericles Adjovi, Roald Eiselen, Prasenjit Mitra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图将一个故事从英语翻译成两种截然不同的非洲语言：豪萨语（Hausa，在尼日利亚和尼日尔拥有数百万使用者）和冯贝语（Fongbe，在贝宁由较小群体使用）。你手头有四个强大的“机器人翻译官”（像 GPT-4、Claude 和 Gemini 这样的语言大模型）准备好完成这项工作。

这篇论文就像是一场严谨的味觉测试，旨在看看哪个机器人表现得最好，更重要的是，我们用来给它们评分的“计分卡”（自动指标）是否真的符合人类说话者的真实想法。

以下是研究结果的详细拆解，使用了简单的类比：

1. “机器人竞赛”：谁赢了？

研究人员要求机器人翻译数千个句子。结果呈现出两个完全不同的世界：

豪萨语（“表现尚可”的选手）： 机器人在处理这种语言时表现得还不错。翻译内容通顺易懂。这就像一名赛跑者以一个体面的成绩完成了比赛。
- 获胜者： 在人类评委眼中，GPT-4o 是最受青睐的，尽管计算机计分卡把冠军给了 Claude。
冯贝语（“踉跄跌倒”的选手）： 机器人在处理这种语言时表现得很糟糕。翻译往往不知所云或支离破碎。这就像一名赛跑者被自己的鞋带绊倒了。
- 获胜者： Gemini 是表现最不差的一个，但即便如此，人类给它的评分也仅仅是“差”。
巨大的差距： 豪萨语的翻译质量大约是冯贝语的三倍。这并不是因为冯贝语更难，而是因为机器人在训练过程中看到的豪萨语数据要比冯贝语多得多。

核心启示： 仅仅因为一个机器人擅长某种非洲语言，并不意味着它会擅长另一种。你不能假设一个“通用型”AI 在任何地方都适用。

2. “计分卡”问题：计算机在撒谎吗？

这是论文中最令人惊讶的部分。研究人员将机器人的表现与两件事进行了对比：

人类评委： 母语使用者对翻译进行评分。
自动指标： 试图在没有人工干预的情况下为翻译评分的计算机算法（如 BLEU、chrF++、BERTScore）。

不匹配现象：

对于冯贝语： 计算机计分卡和人类达成了一致。他们都认为：“Gemini 是最好的。”
对于豪萨语： 计算机计分卡和人类完全产生了分歧。
- 计算机（特别是 BLEU 和 chrF++）说：“Claude 是赢家！”
- 人类却说：“不，GPT-4o 才是赢家；Claude 听起来很机械化。”

“断掉的尺子”类比：
想象你在测量两个人的身高。

对于冯贝语，你的尺子工作得非常完美。
对于豪萨语，你的尺子弯曲了。它误判了高矮，因为它测量的是错误的东西（比如测量单词里有多少个字母，而不是句子的听感如何）。

3. “照不出实影的魔镜”（神经指标）

论文测试了一种特定类型的计算机指标——BERTScore，它利用一个“魔镜”（嵌入模型）来观察两个句子的意思是否相同。

故障： 对于豪萨语和冯贝语，这面“魔镜”都是坏的。它看着两个完全不同的句子，却说：“它们有 99% 的相似度！”
结果： 因为这面镜子无法分辨好翻译与坏翻译的区别，所以得分全都一样（大家都是高分）。这就像一位评委因为分不清谁在唱歌，而给所有参赛者都发了金牌。
教训： 在我们修好这面镜子之前，你不能信任这些所谓的“智能”指标。

4. “样本量”陷阱

研究人员尝试用小规模句子组（500 或 1,000 个）以及大规模句子组（10,000 个）来测试机器人。

陷阱： 在小规模测试中，结果是混乱且具有误导性的。例如，在 1,000 个句子的测试中，数据显示 Gemini 在豪萨语中领先。但当他们测试 10,000 个句子时，事实证明 Claude 才是真正的赢家。
教训： 你需要一个庞大的群体（至少 2,500 个句子）才能得到真实的图景。小样本就像是通过 10 秒钟的片段来评价整部电影；你可能会得出错误的结论。

总结建议

基于这次“味觉测试”，作者提出了以下建议：

不要只相信计算机计分卡。 特别是对于豪萨语，计算机找错了赢家。你必须让真人来检查工作。
使用正确的尺子。 如果你必须使用计算机指标，请使用 chrF++（计算字符匹配度），而不是那个“坏掉的魔镜”（BERTScore），后者目前对这些语言失效。
谨慎选择你的机器人。 如果你需要翻译成豪萨语，请使用 GPT-4o 或 Claude。如果你需要翻译成冯贝语，请使用 Gemini，但要做好面对低质量结果的心理准备。
在进行严肃任务前，不要使用冯贝语翻译。 质量太低了；这就像试图用湿沙子来盖房子。
豪萨语已准备好进行“数据增强”。 只要先过滤掉糟糕的翻译，豪萨语的翻译质量足以作为额外的训练数据。

简而言之： AI 在翻译非洲语言方面正在进步，但尚未达标。衡量其成功的工具往往是损坏的，我们需要真实的人类来监督机器人，确保它们诚实可靠。

技术摘要：评估大型语言模型在豪萨语（Hausa）与丰贝语（Fongbe）机器翻译中的表现

问题陈述

低资源非洲语言的机器翻译（MT）受限于严重的训练数据匮乏。尽管大型语言模型（LLMs）通过合成平行数据生成提供了潜在的解决方案，但其能否为具有不同类型学特征的语言产生足够的翻译质量仍有待验证。此外，标准的自动评估指标（主要针对高资源欧洲语言开发）对于这些特定语对的可靠性尚未得到系统性验证。

本研究旨在解决两个具体的研究问题：

RQ1： 当前商业和开源权重的 LLM 在英语到豪萨语以及英语到丰贝语的翻译质量如何，且这种质量在不同系统和语言之间如何变化？
RQ2： 自动评估指标在这些语言中与母语者人工判断的相关性有多高，哪些指标可以指导质量过滤？

本项调查重点关注豪萨语（属于亚非语系，拥有 5800 万使用者）和丰贝语（属于尼日尔-刚果语系，拥有 230 万使用者）。这些语言呈现出截然不同的语言学挑战：豪萨语具有黏着形态学特征和复杂的动词时体价（TAM）标记；而丰贝语则使用连动结构，并拥有一种在正字法上必须强制标记的三声调系统。

研究方法

评估的模型

本研究评估了四个基于 LLM 的翻译系统，采用了渐进式规模（从 500 到 10,000 个句子）：

商业 API： GPT-4o Mini (OpenAI)、Claude Sonnet 4 (Anthropic)、Gemini 2.5 Flash (Google)。
开源权重： Qwen2.5-7B (Alibaba)。
所有模型均以 0.0 的温度（temperature）运行，以确保输出的确定性。

数据与评估策略

源数据： 平行句子对取自 OPUS 仓库（英语–豪萨语使用 CCMatrix；英语–丰贝语使用 NLLB v1）。

规模： 评估分别在 $n=500, 1,000, 2,500,$ 和 $10,000$ 个句子的规模下进行，以确定实现稳定系统排名所需的最小样本量。

自动指标： 使用了五种指标：
- 词汇类： BLEU, chrF++, TER。
- 神经类： COMET (wmt22-comet-da) 和 BERTScore (XLM-RoBERTa-large)。
人工评估： 13 名母语者（7 名丰贝语，6 名豪萨语）根据四个维度对翻译进行评分（5 分制）：充分性（Adequacy）、流利度（Fluency）、文化适切性（Cultural Appropriateness）和整体质量（Overall Quality）。由于资源限制，每种语言由 3 名评估者各评估 $n=50$ 个句子。
统计分析： 使用自助重采样法（Bootstrap resampling，10,000 次迭代）计算两两系统比较的 95% 置信区间。使用 Spearman's $\rho$ 来衡量指标与人工判断之间的秩相关性。

核心贡献

豪萨语与丰贝语的 LLM 基准测试： 这是首次针对这些特定语言，对当前商业 LLM（2024–2025 年发布）进行的系统性比较，并在大规模（ $n=10,000$ ）下进行了统计显著性检验。研究表明，一种低资源非洲语言的表现并不能预测另一种语言的表现。
指标可靠性分析： 本研究系统地验证了自动指标与母语者判断的一致性。研究发现，自动指标在不同语言间的相关性差异巨大，并揭示了神经指标在两种语言中存在的“嵌入崩溃”（embedding collapse）现象。
实践建议： 作者确定了用于可靠评估的最小样本量要求（ $n=2,500$ ），并推荐了特定的指标（chrF++）和评估协议（强制性人工评估）用于低资源非洲语言。

结果

翻译质量与模型排名

跨语言表现差距： 豪萨语翻译达到了可接受的质量（人工评分 3.37–4.46/5），而丰贝语翻译质量较差（1.0–2.2/5）。在所有规模下，最佳豪萨语系统与最佳丰贝语系统之间都存在持续的 3 倍 BLEU 差距。
语言特定的模型排名：
- 丰贝语： Gemini 2.5 Flash 在自动指标和人工评估中均保持领先。
- 豪萨语： GPT-4o Mini 更受人工评估者青睐（4.46/5），而 Claude Sonnet 4 在所有自动指标上排名第一（BLEU 15.75）。
- 开源模型： Qwen2.5-7B 的表现明显逊于所有商业模型。
指标可靠性与相关性：
- 指标-人工相关性：
  - 丰贝语： 自动指标与人工判断之间存在完美的秩相关性 ( $\rho=1.0$ )。
  - 豪萨语： 相关性较弱 ( $\rho=0.5$ )。人工评估者更倾向于 GPT-4o，而所有自动指标都将 Claude 排在首位。这表明表面级和语义级指标可能忽略了母语者所优先考虑的质量维度（如自然度、文化适切性）。
- 神经指标失效（嵌入崩溃）：
  - BERTScore： 在两种语言中均表现出“嵌入崩溃”，语言内的余弦相似度超过 0.99。这导致该指标无法区分翻译质量，无论实际表现如何，得分均呈现统一的高分（0.83–0.88）。
  - COMET： 在丰贝语中表现异常，尽管其词汇得分很低，却将表现最差的系统（Qwen2.5-7B）排在第一。对于豪萨语，COMET 与词汇类指标的吻合度更高。
规模稳定性： 排名在 $n=1,000$ 时并不稳定（例如，Gemini 会错误地显示在豪萨语中处于领先地位）。稳定的、具有统计显著性的排名需要至少 $n=2,500$ 个句子。

参考语料库问题

事后分析显示，参考数据存在显著质量问题，特别是丰贝语，包括语种污染（中文而非丰贝语）和编码损坏。参考语料库的平均质量得分为 2.94/5.0。

意义与主张

本文主张“低资源”并非一个单一的概念；即使是在拥有数百万使用者的西非语言之间，也存在巨大的质量差距。研究表明：

评估实践无法直接迁移： 在高资源语言上经过验证的指标，并不能可靠地迁移到类型学特征迥异的低资源场景中。具体而言，像 BERTScore 这样的神经指标在处理像 XLM-RoBERTa 这样包含该语言（如豪萨语）预训练模型的场景时，是不可靠的。
规模至关重要： 小样本量（ $<2,500$ ）产生的发现具有伪影效应，会在扩大规模后发生反转。针对低资源机器翻译的可靠系统比较需要更大的数据集。
模型选择具有语言特异性： 没有单一模型能在两种语言上都表现卓越。一种低资源语言的表现并不能预测另一种语言的表现，这表明训练数据的代表性是决定性因素，而非通用的“低资源能力”。
数据增强的可行性：
- 豪萨语： 如果使用阈值进行过滤（例如 COMET > 0.55 或 chrF++ > 35），LLM 生成的翻译对于数据增强是可行的。
- 丰贝语： LLM 生成的翻译不适合用于数据增强，因为表现最好的系统（Gemini）得分低于可接受阈值（2.20/5），引入的噪声多于信号。

作者总结道，对于形态复杂的低资源语言，chrF++ 应作为主要的自动指标，但强制性人工评估对于最终的质量评估至关重要，尤其是在自动指标与人工判断出现分歧的情况下。