💬 NLP

ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models

该论文介绍了 ChiKhaPo，这是一个涵盖 2700 多种语言的大规模多语言基准测试，包含旨在评估大语言模型词汇理解与生成能力的八个子任务，并揭示了即使是尖端模型在面对世界上绝大多数书面语言时，也难以具备基本的语言能力。

原作者： Emily Chang, Niyati Bafna

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Emily Chang, Niyati Bafna

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、超级智能的图书馆，里面收藏着用成千上上种不同语言编写的书籍。你雇佣了一位才华横溢的新图书管理员（即大语言模型，或称 LLM）来帮助你寻找特定的词汇并进行翻译。你想知道：这位图书管理员是真的理解这些词汇，还是仅仅根据他们学习最多的那几种语言在进行猜测？

这篇论文介绍了一种名为 ChiKhaPo（发音为 Chi-Kha-Po）的新测试，旨在回答正是这样一个问题。这个名字源于一个意为“循序渐进”的说法，因为作者认为我们需要通过细小、谨慎的步骤，来理解这些 AI 模型在世界各种语言中究竟是如何运作的。

以下是他们研究工作的拆解，使用了日常生活的类比：

1. 问题所在：“语言的 VIP 休息室”

目前的 AI 测试就像是 VIP 休息室。它们只允许少数几十种“高资源语言”（如英语、西班牙语或法语）进入。

现实情况： 世界上有超过 3,800 种书面语言。绝大多数都被锁在了这些 VIP 休息室之外。
差距： 我们不知道 AI 是否能处理其他 3,700 多种语言。它可能在英语方面是个天才，但在被要求翻译低资源语言中的一个词时却完全不知所措。

2. 解决方案：大规模多语言考试 (ChiKhaPo)

作者构建了一个涵盖 2,700 多种语言 的庞大考试。他们并没有要求 AI 写一篇复杂的文章或解决数学难题（这些都是很难的任务），而是将重点放在了基础能力上：词汇能力 (Lexical Competence)。

类比： 这就像是在要求学生写小说之前，先测试他们的词汇量。他们能识别一个词吗？能说出它的意思吗？能在句子中使用它吗？

该考试包含 8 个不同的部分（子任务），从不同角度测试这些技能：

单词翻译： “‘雨’在马来语中怎么说？”（直接翻译）。
带上下文的单词翻译： “在这个关于风暴的故事中，‘ujan’这个词是什么意思？”（利用上下文线索）。
翻译调节建模 (Translation-Conditioned Modeling)： 给定 AI 一个语言的句子，让它预测翻译中的下一个词。（类似于“填空游戏”）。
词袋翻译 (Bag-of-Words Translation)： AI 翻译整个句子，测试会检查它是否准确掌握了其中的单个词汇，即使句式结构有点混乱也没关系。

3. 结果：AI 在基础知识上挣扎

作者在现有的 6 个最聪明的 AI 模型 上进行了这项测试。

发现： 即便是最优秀的模型也表现得非常吃力，尤其是在面对低资源语言时。
“理解 vs. 生成”的差距： 模型在理解一个词（阅读它并知道其含义）方面比生成它（说出或写出这个词）的表现要好。
- 类比： 这就像一个人能看懂外语菜单并知道“汤”是什么，但当被要求点餐时，他们却愣住了，说不出那个词。
“富 vs. 贫”的差距： 模型在数据丰富的语言（高资源语言）上的表现远好于数据极少的语言（低资源语言）。这种性能差距是巨大的。

4. 为什么这很重要（根据论文所述）

论文指出，我们不能仅仅因为 AI 在英语中表现良好，就假设它是“多语言”的。

“代理指标”的发现： 他们发现，如果一个 AI 擅长翻译单个单词（简单的测试），那么它通常也擅长翻译完整的句子（复杂的测试）。这意味着简单的单词测试是一种廉价且高效的方法，可以用来检查一个 AI 是否已经为更难的工作做好了准备。
目标： 作者希望揭示语言不平等现象。目前，自然语言处理（NLP）是不公平的，因为它忽略了数千种语言。ChiKhaPo 是一个工具，旨在迫使研究人员关注这些被忽视的语言，并构建更好的、更公平的 AI。

总结

ChiKhaPo 是一个针对 2,700 多种语言的、循序渐进的 AI 词汇测试。它揭示了即使是最聪明的 AI 模型，目前对世界上大多数语言来说也是“词盲”。它们通常能理解一个词，但在产出该词时却很困难；而且在面对数据较少的语言时，表现得非常糟糕。作者希望这项测试能鼓励 AI 界的同仁们不再仅仅关注那些“VIP”语言，而是开始构建真正理解整个世界的模型。

技术摘要：ChiKhaPo

问题陈述

目前的语言大模型（LLM）基准测试主要局限于高资源语言（HRLs），并侧重于高级任务，如复杂推理和内容生成。因此，在评估全球 3,800 多种书写语言的基础语言能力方面，存在显著的评估空白。现有的多语言基准测试（如 FLORES+）仅覆盖了其中一小部分语言（例如 212 种），导致绝大多数语言甚至无法在基础的词汇级理解和生成能力上得到评估。这种评估的缺失阻碍了对自然语言处理（NLP）领域语言不平等现象的识别。

方法论

作者引入了 ChiKhaPo，这是一个旨在评估大模型在词汇理解和生成能力的超大规模多语言基准测试。该基准测试利用现有的公共资源构建，包括词典、单语数据和双语文本（bitext），从而实现了对 2,700 多种语言的覆盖。

基准测试结构

ChiKhaPo 由源自四个核心任务的 八个子任务 组成，每个任务都包含两个方向进行评估：

理解 ( $X \to \text{model}$ ): 评估模型理解目标语言 $X$ 中单词的能力（通常通过将其翻译为英语）。
生成 ( $\text{model} \to X$ ): 评估模型在给定英语提示词的情况下，生成目标语言 $X$ 单词的能力。

四个核心任务包括：

词汇翻译 (WT): 直接提示进行单词翻译。该任务仅依赖词典，覆盖了 2,746 种语言。
带上下文的词汇翻译 (WTWC): 在给定源句上下文的情况下翻译单词。这需要单语数据，覆盖了 525 种语言。
翻译调节的语言建模 (TCLM): 衡量在给定源句子和部分目标上下文时，目标单词的生成概率。这使用双语句子对（bitext），覆盖了 211 种语言。
词袋式机器翻译 (BOW MT): 评估特定目标词是否出现在句子级的翻译输出中，而不考虑语法顺序。这也使用双语文本，覆盖了 211 种语言。

评分与评估

该基准测试采用词级评分指标。对于二元任务（WT, WTWC），正确性通过精确匹配、屈折变化处理、子字符串匹配以及同义词（使用英语的 WordNet）来确定。对于概率任务（TCLM），指标是正确单词的生成概率。对于 BOW MT，分数根据目标词在输出中的存在情况进行聚合。

作者评估了 六个最先进（SOTA）的多语言大模型：aya-101, aya-23-8b, bloomz-7b1-mt, falcon-7b-instruct, gemma-2b-it, 以及 Llama-3.1-8B-Instruct。由于计算限制，使用了基准测试的“精简版”（lite version），即对 WT/WTWC 中的每种语言采样最多 300 个词条，对句子级任务采样可用数据的 30%。

关键结果

性能差距: 所有六个受评估的模型都表现出明显的提升空间，特别是在低资源语言（LRLs）方面。该基准测试成功地作为衡量多语言性能的一个具有挑战性的度量标准。
方向差异: 模型在理解方向 ( $X \to \text{model}$ ) 的表现一致优于生成方向 ( $\text{model} \to X$ )，这凸显了多语言环境下自然语言理解（NLU）与自然语言生成（NLG）之间的差距。
资源与语系相关性: 性能与语言资源水平（以维基百科文档计数作为代理指标）及语系强相关。印欧语系的表现始终优于南岛语系和阿特兰蒂克-刚果语系等代表性不足的语系。资源水平与性能之间的关系被发现大致呈对数关系。
模型差异: aya-101 模型在八个子任务中的五个上获得了最高的平均得分。作者将其归功于其编码器-解码器架构、更大的参数量（13B）以及针对 101 种语言的指令微调。
与 MT 的相关性: 词汇翻译 (WT) 得分与 FLORES+ 数据上的句子级机器翻译 (BLEU) 得分呈现强线性相关（对于 $X \to \text{model}$ ， $r \approx 0.87$ ）。这表明，在缺乏大量双语文本的情况下，WT 可以作为评估机器翻译能力的具有成本效益的代理指标。

重要性与主张

论文将 ChiKhaPo 定位为解决 NLP 领域语言不平等问题 的关键一步。其主要贡献在于：

规模巨大: 它提供了第一个覆盖 2,700 多种语言的词汇能力基准测试，其语言覆盖范围比现有任何基准测试都高出一个数量级。
细粒度评估: 它将重点从复杂的推理转向“原子级”的词汇能力，使研究人员能够追踪大模型在特定语言中的基础语言能力。
资源高效: 通过利用现有的词典和单语数据，它能够评估那些不存在平行语料库的语言。

作者谦虚地指出，虽然该基准测试依赖于公共资源（这些资源可能存在噪声，尤其是 PanLex），但它成功地强调了改进多语言评估的紧迫需求。他们希望这项工作能促进更好低资源语言词汇资源的收集，并推动将大规模多语言基准测试作为迈向更公平 AI 系统的必要步骤。