💬 NLP

BM25-Augmented Many-Shot Translation for Low-Resource North-Eastern Indian Languages

本文介绍了佛罗里达大学小鳄鱼队（University of Florida Gators）的 WMT26 提交方案，该方案采用了一种检索增强的多样本翻译流水线，利用 BM25 获取相关的平行示例，并使用 Gemini 2.5 Flash 进行推理，在无需任何模型微调的情况下实现了对十一种东北印度语言的英语翻译。

原作者： Aashish Dhawan, Christopher Driggers-Ellis, Dzmitry Kasinets, Christan Grant, Daisy Zhe Wang

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aashish Dhawan, Christopher Driggers-Ellis, Dzmitry Kasinets, Christan Grant, Daisy Zhe Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机可以讲述地球上每一种语言的世界：它能瞬间将喜马拉雅山脉偏远村庄的一首诗，翻译成发往纽约的一条短信。这就是机器翻译的梦想——在这个领域，计算机学习如何在不同语言之间交换词汇。多年来，教导这些计算机的标准方法是“微调”（fine-tuning），这就像是带一个聪明的学生，强迫他死记硬背一本特定的教科书，直到他能完美地背诵出来。但如果这个学生没有那本教科书呢？如果这种语言如此罕见，以至于只有极少数人曾将其记录下来呢？这就是“低资源”语言所面临的挑战。为了解决这个问题，研究人员正在尝试另一种技巧：与其让计算机死记硬背，不如在它回答之前给它一份“参考表”。他们使用一种搜索工具，寻找计算机以前见过的相似句子，并告诉它：“看，上次我们是这样说的；模仿这种风格。”本文探讨了这种“检索增强”（retrieval-augmented）方法是否适用于来自印度东北部的十一种非常罕见的语言，这些语言几乎没有数字历史记录。

来自佛罗里达大学的团队（自称为“gators”）构建了一个能够在英语与这十一种印度东北部语言之间进行翻译的系统。他们并没有试图从头开始训练一个新大脑，而是使用了一个巧妙的两步流程。首先，他们扮演一名使用名为 BM25 工具的图书管理员。当一个句子进来时，图书管理员会快速扫描庞大的现有翻译库，以找到最相似的例子。其次，他们将这些例子交给一个名为 Gemini 2.5 Flash 的超级智能 AI 模型，并说：“这里有一些关于如何翻译这类句子的例子；现在请你来做。”核心发现是，这种“检索增强”的方法（即 AI 实时查找示例）产生的结果具有竞争力，并且在许多情况下略优于其他团队使用的微调模型。

研究人员在十一种语言上测试了该系统，这些语言涵盖了从拥有较多数据的阿萨姆语（Assamese）到几乎没有任何先前翻译工作的塔金语（Tagin）和卡比语（Karbi）。他们通过结合来自一项名为 WMT26 竞赛的官方数据和其他公开文本集，构建了一个“训练库”。随后，他们进行了一场大规模实验，尝试不同的“参考表”示例数量。他们问道：“如果我们向 AI 展示 20 个例子，是否比展示 80 个更好？如果我们在练习测试中展示 10 个例子对比展示 40 个呢？”他们为每种语言和每个翻译方向（英语到当地语言，以及反向）测试了每种组合。

结果既有成功，也有有趣的发现。对于像阿萨姆语和博多语（Bodo）这样数据较多的语言，该系统的表现非常出色，在特定指标上取得了领先地位。具体而言，他们的这种方法在 19 项翻译任务中获得了最高的 BLEU 分数，并在 22 项任务中获得了最高的 ChrF++ 分数。对于像塔金语这样极其微小的语言，系统虽然仍能生成翻译，但得分较低。一个主要的发现是，当示例与被翻译的句子非常相似时，“参考表”的效果最好。然而，他们也发现，仅仅增加更多的数据并不总是有效。在一次实验中，他们尝试添加来自不同类型文本（图像说明）的合成数据（计算机生成的翻译），但这反而使翻译效果变差了。这教会了他们，拥有正确类型的示例比拥有一大堆错误的示例更为重要。

团队还修复了他们之前工作中的一个错误。在之前的项目中，他们不小心使用了错误的语言侧来构建搜索库，这让系统感到困惑。一旦修复了这个错误，系统在将当地语言翻译回英语方面突然变得更好了。他们还注意到，对于某些语言，向 AI 展示几个来自练习集的高质量示例，比展示大量来自主库的随机示例更有帮助。

最后，本文表明，你不一定非要从头开始教计算机一种语言。有时，只需给它一个好的搜索工具和一些好的示例供其参考即可。该系统并非只是在猜测；它通过特定的分数（如 ChrF++ 和 BLEU）来衡量其成功，并发现，在大多数翻译任务中，其方法属于最顶尖的行列。虽然该系统并不完美——有时会被政治话题或非常罕见的词汇所困扰——但它证明了对于这些难以触及的语言，一种聪明的“图书管理员”方法是弥合语言鸿沟的强大手段。作者认为，只要我们能找到展示给 AI 看的正确示例，这种方法将成为翻译世界上最具濒危性的语言的有力竞争者。

技术摘要：针对低资源东北印度语言的 BM25 增强型多样本翻译

问题陈述
本文解决了为 WMT26 低资源指示语言翻译共享任务中的 11 种低资源东北印度语言进行机器翻译（MT）的挑战。这些语言跨越四个不同的语系：印欧语系（阿萨姆语）、奥斯特罗-亚洲语系（卡西语）、八种藏缅语族（米佐语、孟加拉字母书写的曼尼普尔语和 Meitei Mayek 脚本的曼尼普尔语、博多语、科克博克语、卡比语、尼希语、塔金语）以及一种基于英语的克里奥尔语（纳加米斯语）。其中一些语言，特别是尼希语、卡比语和塔金语，几乎没有任何先前的机器翻译工作。任务根据数据可用性分为两类：第 1 类（中等数据）和第 2 类（极度有限数据）。作者的目标是在不依赖于主导以往任务的微调技术的情况下，实现英语与这些语言之间的双向翻译。

方法论
所提出的系统由佛罗里达大学的“gators”团队提交，它改编了之前用于美洲原住民语言（AmericasNLP 2026）的检索增强型多样本翻译流水线。其核心架构是使用大语言模型（LLM）和稀疏检索索引的推理时检索增强生成（RAG）。

数据准备：
- 检索库： 系统通过合并官方 WMT26 数据与公开语料库（如 Samanantar、Endangered Recipes、IndicGenBench FLORES）以及先前的 WMT 发布版本（WMT23），构建了特定语言的训练库（ $R$ ）。
- 数据增强： 对数据进行了显著的增强，特别是针对第 2 类语言。例如，博多语语料库扩大了 9.3 倍，达到 114,000 多个对；其他语言也进行了不同程度的增强。
- 过滤： 数据经过了 SHA-256 去重、Unicode 规范化（NFC/NFKC）以及长度比例过滤。对于噪声较大的外部来源，可选地应用了跨语言相似性过滤（LaBSE）。
- 领域对齐： 作者在发现领域不匹配会负面影响性能后，明确排除了来自 Multi30k 数据集（图像描述）的合成数据，尽管该数据集增加了数据量。
检索机制 (BM25)：
- 系统使用 BM25（Okapi 变体）为给定的源句子 $q$ 检索出训练库中最相似的前 $r$ 个平行示例。
- 索引方向： 作者在之前工作中发现的一个关键修正涉及在源语言侧构建 BM25 索引。对于英语到指示语言（ $En \to X$ ），索引构建在英语上；对于指示语言到英语（ $X \to En$ ），索引则构建在指示语言上。
- 去重： 为了防止由于重叠语料库导致的近乎相同的示例填充提示词（prompt flooding），系统跳过了精确匹配项，并基于 60 个字符的规范化前缀进行去重。
上下文内翻译：
- 模型： 翻译通过 Google GenAI SDK 调用 Gemini 2.5 Flash 生成。不进行任何模型微调。
- 提示词构建： 提示词由输入句子 $q$ 、检索到的 $r$ 个训练示例以及通过词汇重叠排名并采用留一排除法选出的 $d$ 个开发示例（ $D_d$ ）组成。
- 系统提示词： 每种语言都有一个定制的系统提示词，用于编码特定的语言特征（例如，提醒卡西语注意 VOS 语序，澄清尽管使用天生德里那里的脚本，但博多语仍属于藏缅语族）。
- 后处理： 包括去除模型前缀、Unicode 规范化，以及验证输出字符是否符合预期的 Unicode 块（这对于 Meitei Mayek 至关重要，以防止回退到孟加拉字母）。
超参数优化：
- 针对所有 22 个语言-方向对，进行了关于检索数量 $r \in \{0, 20, 40, 80\}$ 和开发示例数量 $d \in \{0, 10, 20, 49\}$ 的网格搜索。
- 使用 ChrF 指标在留出的开发集（每个单元格 50 个句子）上评估了配置。

主要贡献

将 RAG 迁移至新领域： 本文证明了此前在 AmericasNLP 任务中取得成功的检索增强型、无需微调的方法，能够有效地迁移到东北印度语言家族，尽管这些语言具有不同的语言结构和脚本系统。
关键错误修复： 作者识别并解决了一个在之前的流水线中的错误，即无论翻译方向如何，BM25 索引都被错误地构建在目标语言（西班牙语）上。将其修正为构建在源语言上的索引，显著提升了 $X \to En$ 的性能。
领域敏感性分析： 通过消融实验，作者展示了对于基于 BM25 的 RAG 而言，领域对齐比单纯的数据量更为关键。来自图像描述任务（Multi30k）的合成数据在应用于新闻/政府文本领域时是有害的。
全面的网格搜索： 研究通过对 22 个不同语言对中检索（ $r$ ）和开发示例（ $d$ ）的相互作用进行了详细分析，揭示了 $En \to X$ 与 $X \to En$ 方向之间最优配置的不对称性。

结果
系统使用 BLEU 和 ChrF++ 指标在 WMT26 测试集上进行了评估。

性能： 该提交在 19 个翻译任务中的 9 个中获得了最佳 BLEU 分数，并在 19 个任务中的 11 个中获得了最佳 ChrF++ 分数。
方向不对称性：
- $En \to X$ ： 检索（ $r$ ）通常是有益的，对于 11 种语言中的 10 种， $r=80$ 是最优的。这表明 RAG 有效地辅助了低资源语言的生成。
- $X \to En$ ： 检索通常不太关键，甚至是有害的。在 11 个 $X \to En$ 任务中的 7 个中，最优的 $r$ 为 0，这表明当生成 LLM 已熟知的丰富资源语言（英语）时，除非检索到的示例与查询几乎完全相同，否则检索并不会带来价值。
数据稀缺性： 对于语料库极小（如只有约 900 个对的卡比语）的语言，增加 $r$ 带来的性能增益趋于平缓，表明检索强度受限于语料库规模。
脚本效应： 文中指出，孟加拉字母书写的曼尼普尔语与 Meite Mayek 脚本的曼尼普尔语之间存在显著的性能差距，这可能是由于 LLM 在预训练阶段对前者的暴露程度更高。

意义与主张
作者声称，他们的方法隔离了检索增强型机器翻译的能力，证明了在低资源环境下，微调并非竞争的绝对必要条件。该系统的成功依赖于：

高质量、领域对齐的检索库。
正确的索引构建（源语言索引）。
策略性的上下文学习，利用精心挑选的开发示例（ $d$ ），这些示例在小规模语料库中往往比训练检索（ $r$ ）更具影响力。

论文得出结论，虽然该系统依赖于 API 访问（Gemini）并面临安全过滤器和速率限制的限制，但它代表了一种稳健的、无需训练的替代方案。作者也谦虚地指出，观察到了从开发集到测试集的性能衰减，这与之前的研究发现一致，但该系统在大多数指标上仍然优于竞争对手。

技术摘要：针对低资源东北印度语言的 BM25 增强型多样本翻译

类似论文