Nsanku: Evaluating Zero-Shot Translation Performance of LLMs for Ghanaian Languages

本文介绍了Nsanku，这是一个全面基准，用于评估19个大语言模型在43种加纳语言上的零样本翻译性能，结果显示，尽管Gemini-2.5-flash等顶级模型取得了中等分数，但目前没有任何模型能同时展现出高性能与一致性，表明它们尚未达到在这些语言中进行大规模翻译的可靠可用水平。

要点

Nsanku 报告：在加纳语言上测试 AI 翻译器

想象一下，你拥有一个包含 19 种不同“超级大脑”（AI 模型）的巨型图书馆。其中一些由庞大的科技巨头拥有，另一些则是由社区构建的开源项目。你想知道：这些大脑中是否有任何一个能够在从未被教授过这些特定语言的情况下，将英语翻译成加纳使用的 43 种不同语言？

这正是Nsanku论文所做的。“Nsanku"这个名字源自阿坎语（Akan），意为“乐器”。正如乐队需要多种不同的乐器来演奏音乐一样，该项目需要多种不同的 AI 模型来测试它们处理加纳语言多样“音乐”的能力。

以下是他们发现的简单解释。

---

1. 设置：严格的“零样本”测试

将这些 AI 模型想象成参加突击考试的学生。

• 规则： 他们不允许事先学习。他们不能在加纳数据上进行“微调”（重新训练）。他们必须完全依赖从通用训练中已经获得的知识。这被称为零样本（zero-shot）测试。
• 测试材料： 考题是 300 个来自《圣经》的句子，被翻译成 43 种不同的加纳语言。研究人员使用《圣经》，因为这是少数几个能在一个地方找到几乎所有这些语言书面版本的地方之一。
• 评分： 他们使用了两种不同的评分系统：
  • BLEU： 像一位严格的老师，检查学生是否使用了完全正确的单词。
  • chrF： 像一位更灵活的老师，检查学生是否掌握了句子的整体发音和结构，即使确切的单词略有不同。

2. 结果：谁通过了？谁失败了？

“明星学生”（专有模型）

来自科技巨头（Google、Anthropic 和 OpenAI）的三款知名 AI 模型名列前茅。

• Gemini-2.5-flash 以最高分成为班级毕业生代表。
• Claude-sonnet-4-5 和 GPT-4.1 紧随其后。
• 类比： 这些就像就读于最昂贵私立学校的学生。他们见识过大量数据，能比其他人更好地猜测答案，但仍然不完美。

“社区学生”（开放权重模型）

其余的模型是开源的（可免费使用和修改）。

• 该组中表现最好的是 kimi-k2-instruct，但其得分仍显著低于“明星学生”。
• 差距： 昂贵的私有模型与免费的社区模型之间存在明显差距。私有模型目前在理解这些语言方面要好得多。

“语言难度”因素

并非所有语言都同样容易翻译。

• Siwu 是 AI 翻译“最容易”的语言（得分最高）。
• Nkonya 是“最难”的（得分最低）。
• 转折： 令人惊讶的是，使用最广泛的语言（如 Twi）并不总是获得最高分。有时，使用者较少的语言得分反而更高。为什么？因为用于这些语言的特定《圣经》译本比用于流行语言的译本更清晰、更完整。这就像为一个小村庄拥有一张比大城市更清晰的地图。

3. 大问题：“不可靠的朋友”问题

这是该论文最重要的发现。研究人员不仅查看了平均分，还查看了一致性。

• 类比： 想象你有一个朋友，他非常擅长做意大利菜，但做泰国菜却糟糕透顶。如果你让他随机做一顿饭，你永远不知道你会得到一顿美味的晚餐还是一顿烧焦的残羹。
• 发现： 没有任何一个 AI 模型既是“高性能”又是“一致”的。
  • 表现最好的模型是“高性能但不一致”。它们可能完美地翻译 Siwu，但在 Nkonya 上却彻底失败。
  • 一致的模型是“一致但平庸”。它们对每种语言都给出同样的平庸结果，从不严重失败，但也从未表现出色。
  • “领导者”象限： 研究人员绘制了一张包含四个角落的图表。右上角是“领导者”区域（高质量 + 高一致性）。没有任何模型和任何语言落入这个区域。

4. 这意味着什么（根据论文）

论文得出结论，虽然这些 AI 模型令人印象深刻，但它们目前还不足以可靠地用于加纳语言的实际任务（如翻译政府文件、医疗建议或新闻）。

• “经文”局限： 测试是使用《圣经》经文进行的。作者警告说，这些模型在日常对话、新闻或法律文本上的表现可能会更差，因为它们在训练中尚未见过这些类型的词汇。
• “数据”问题： 低分并不是因为这些语言“难”或“破碎”。而是因为 AI 没有看到足够多的例子。这就像试图通过只读一本书来学习一门语言；你可能掌握了大意，但会错过细微差别。

总结

Nsanku项目建立了一个巨型记分牌，用于测试 19 个 AI 模型在 43 种加纳语言上的表现。

1. 大型科技公司的模型目前是最好的，但免费模型正在迎头赶上。
2. 基于字符的评分（chrF）比逐词评分（BLEU）是评估这些语言的更好方法。
3. 最重要的是： 目前没有 AI 足够可靠，可以让人信任这些语言。它们就像一个有时得 A+、有时得 F 的学生，具体取决于特定的语言。在我们看到 consistently 表现良好的模型之前，我们不能完全信任它们处理重要任务。

该论文已将其所有数据和代码公开，以便研究人员能够继续测试和改进这些模型，希望最终能填补那个“领导者”象限。

技术摘要

技术摘要：Nsanku——评估大语言模型对加纳语言的零样本翻译性能

问题陈述

尽管大语言模型（LLMs）在资源丰富语言的多语言机器翻译（MT）方面取得了快速进展，但其在低资源非洲语言方面的能力仍知之甚少且 largely 未经评估。加纳拥有 80 多种已记录的语言，却面临一个关键缺口：由于翻译工具要么不存在、要么未经验证，公民往往无法以其母语获取数字健康、政府或教育服务。现有的多语言基准测试（如 FLORES-200、XTREME）最多仅涵盖一种加纳语言（特维语），导致该国绝大多数语言景观缺乏系统性评估。此外，先前的研究主要集中于需要标注数据的微调模型，而前沿大语言模型的“零样本”能力（即模型在未针对特定语言对进行显式训练的情况下进行翻译）尚未在大规模范围内得到探索。

方法论

本文介绍了Nsanku，这是一个系统性基准测试，旨在评估 19 个大语言模型在 43 种加纳语言与英语配对场景下的零样本机器翻译性能。该评估框架被实现为一个模块化的四阶段 Python 流程：

1. 数据收集：平行句子对来源于 YouVersion 圣经平台，这是为 43 种语言提供足够广度的唯一数字来源。作者使用网络爬虫将圣经经文对齐，为每种语言创建了 300 个句子对。
2. 可复现采样：一个确定性采样步骤（种子 42）从第一个语言文件中选择了 200 个句子索引，并将其统一应用于所有 43 种语言。这确保了所有 19 个模型都在每种语言的完全相同的 200 个句子上进行评估，消除了测试集的方差。
3. 模型推理：本研究通过 NVIDIA Build API 评估了 19 个大语言模型（10 个开源权重模型和 9 个专有模型）。模型包括前沿系统（如 gemini-2.5-flash、claude-sonnet-4-5、gpt-4.1）和开源权重替代方案（如 kimi-k2-instruct-0905、llama-3.1-405b、deepseek-v3.1）。所有评估均在严格的零样本设置下进行，未使用上下文示例或微调。
4. 指标计算：性能使用两个自动指标进行衡量：
   • BLEU（双语评估替身）：标准的 n-gram 精度。
   • chrF（字符 n-gram F 分数）：对形态变化和分词问题具有鲁棒性。
   • 平均分数：BLEU 和 chrF 的算术平均值。
   • 一致性：计算为给定模型各语言分数标准差的倒数，并通过象限散点图进行可视化，以识别既高性能又稳定的模型。

主要贡献

• 全面覆盖：Nsanku 是首个涵盖 43 种加纳语言的大规模评估，其中 42 种语言从未出现在主要多语言机器翻译基准测试中。
• 基础设施：该项目发布了一个可扩展的社区评估基础设施，包括完整的流程代码、数据收集脚本和一个 Google Colab 笔记本，允许研究人员贡献新模型或语言子集。
• 多维度分析：除了总体准确率外，本研究引入了跨语言一致性维度，以确定模型性能是在各语言间保持稳定，还是集中在少数语言上。
• 零样本基准测试：它提供了针对该特定语言区域零样本翻译能力的首次严格评估，解决了专有模型与开源权重模型性能之间的差距。

结果

于 2026 年 1 月 29 日完成的评估得出了以下发现：

• 模型性能：专有前沿模型显著优于开源权重替代方案。
  • 顶级表现者：gemini-2.5-flash 取得了最高的平均分数（26.88），其次是 claude-sonnet-4-5（24.87）和 gpt-4.1（23.20）。
  • 开源权重领先者：kimi-k2-instruct-0905 以 20.87 的平均分数领跑开源权重类别，其次是 deepseek-v3.1（19.29）。
  • 性能差距：最佳专有模型与最佳开源权重模型之间存在显著差距（约 6 分），尽管与历史趋势相比，这一差距正在缩小。
• 指标差异：在所有模型中，chrF 分数显著高于 BLEU 分数。对于表现最低的模型（mistral-7b-instruct-v0.3），差距为 15.76 分（BLEU 4.15 对比 chrF 19.91）。这表明模型在保留字符级形态方面优于精确的单词级匹配，验证了 chrF 作为形态丰富的加纳语言更合适的指标。
• 语言差异：性能在不同语言间差异巨大。Siwu 取得了最高的单语言平均分数（25.73），而 Nkonya 得分最低（11.65）。有趣的是，一些使用人口较少的语言（如 Siwu、Chumburung）的表现优于使用广泛的 Twi（21.82），这表明经文领域参考圣经翻译的质量是一个关键因素。
• 一致性分析（关键发现）：没有任何模型和任何语言占据“领导者”象限（高性能和高一致性）。
  • 顶级模型落入“高性能但不一致”象限，意味着它们在特定语言上的质量是不可预测的。
  • 目前没有任何加纳语言在评估的模型范围内获得高质量且一致的翻译。

意义与主张

本文主张，Nsanku 为当前大语言模型在加纳语言上能做什么和不能做什么建立了严格的基线。其主要意义在于揭示了可靠性差距：尽管前沿模型取得了令人印象深刻的总体分数，但“领导者”象限中没有任何模型，这表明当前的大语言模型尚未可靠地适用于加纳语言的大规模翻译。

作者强调，低分反映了资源稀缺和训练数据的不平衡，而非内在的语言复杂性。他们认为，如果没有像 Nsanku 这样的系统性基准测试，开发者无法做出基于证据的部署决策，政策制定者也无法识别关键的能力缺口。研究结论指出，虽然开源权重的发展开始缩小与专有模型的差距，但该领域仍需进一步投资于数据和评估，以实现非洲语言可靠且一致的翻译。作者明确警告，这些结果特定于经文领域，未经进一步评估可能无法推广到对话或新闻文本。