💻 computer science

How Reliable Are Bengali LLM Benchmarks? A Cross-Lingual Contamination and Robustness Audit of Open-Weight Language Models

本文介绍并验证了一个用于审计孟加拉语大语言模型（LLM）基准测试可靠性的系统性框架，该框架通过检测跨语言数据污染并衡量对扰动的鲁棒性，揭示了初步试点结果显示其性能仅略高于随机水平。

原作者： Md Fahim Faisal Tanha

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Md Fahim Faisal Tanha

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图判断一名新学生解决数学问题的水平如何。你给他们进行了一次测试，他们得到了高分，于是你宣布他们是个天才。但如果，他们在考试前偷偷背下了答案解析呢？或者，如果他们曾在另一种语言中见过同样的题目，并仅仅根据那个版本猜出了答案呢？这就是人工智能（AI）测试中复杂且棘手的世界。科学家们构建了“大语言模型”（LLMs）——这些超级聪明的计算机程序可以阅读、写作并使用多种语言进行交流。为了观察这些程序是真的聪明还是仅仅擅长记忆，研究人员会给它们进行被称为“基准测试”（benchmarks）的标准测试。

然而，存在一个被称为“污染”（contamination）的隐蔽问题。这就像是老师不小心把答案解析留在了讲台上，而学生在考试前发现了它。学生得到了满分，但他们并没有真正学习知识；他们只是记住了答案。这是一个非常严重的问题，因为如果测试被“污染”了，我们就无法信任这些分数。我们可能会误以为一个 AI 在孟加拉语（一种由数亿人使用的语言）方面表现出色，但实际上它只是之前见过该测试的英文版本。

现在，让我们来看看一项像侦探一样工作的最新研究，它正在调查针对孟加拉语的 AI 测试是否公平，或者是否充满了隐藏的漏洞。

侦探工作：审计孟加拉语 AI 测试

这篇论文中的研究人员正在提出一个非常重要的问题：我们在孟加拉语测试中看到的 AI 模型得分是真实的，还是因为模型此前有过接触而虚高的？

他们之所以关注孟加拉语，是因为这是一种规模巨大的语言，且最近才开始拥有属于自己的 AI 测试。许多此类测试只是著名英文测试的直接翻译。团队担心，如果一个 AI 模型在训练期间见过英文版本的题目，它可能无需理解孟加拉语就能猜对孟加拉语的答案。这被称为“跨语言污染”（cross-lingual contamination）。

为了解决这个谜团，研究人员构建了一个特殊的“审计框架”——一套用于检查先前接触情况的工具。他们使用了三种主要方法：

“似然度”（Likelihood）检查： 他们观察了 AI 对测试题目的“惊讶程度”。如果 AI 以前见过这个问题，它就不会感到惊讶；它会表现得非常有信心。如果它是第一次见到这个问题，它会表现得更加犹豫。
“填空”测试： 他们尝试通过在多选题中隐藏一个错误的选项来“欺骗” AI，并询问它缺失的选项是什么。如果 AI 能猜出完全一致的缺失单词，说明它很可能已经背下了整份测试卷。
“事实真相”（Ground Truth）搜索： 对于一些完全开放的模型（即我们可以看到其训练数据的模型），他们直接在训练数据中搜索是否存在这些测试题目。

他们还测试了鲁棒性（robustness）。这就像是稍微改变问题的措辞——更换一个数字或添加一个无意义的废话句子——来观察 AI 是否仍能答对。如果 AI 的得分在问题稍作修改后就大幅下降，这表明 AI 并不是在真正“思考”，而是在记忆精确的模式。

他们的发现（目前为止）

研究人员不仅停留在理论层面，他们还运行了一个小型的“试点”测试，以验证他们的侦探工具是否有效。他们使用了一个较小的 AI 模型（称为 Qwen2.5-1.5B），并在一个名为 BoolQ-bn 的孟加拉语阅读理解测试的 500 个问题上进行了测试。

以下是试点测试揭示的结果：

得分几乎不比抛硬币好多少： 该模型的准确率为 0.568。由于这是一个是非题测试，随机猜测的准确率应为 0.50。该模型仅比纯粹靠运气高出约 7 个百分点。这表明，在这个规模下，该模型尚未掌握深厚的孟加拉语阅读理解能力。
“先前接触”测试结果尚无定论： 他们尝试使用其似然度工具来观察模型是否背诵了答案，但他们需要一组特殊的“对照”问题集（即模型肯定没见过的题目）来进行对比。那部分工作仍在收尾阶段。
“干扰”测试： 他们在问题中加入了一个干扰性的句子，以观察模型是否会产生困惑。模型的得分略微下降至 0.558，但这种差异在统计学上并不显著（从数学角度看，这可能只是随机噪声）。这意味着试点规模太小，无法确定模型是否具有脆弱性。

大局观

这篇论文的主要结论并不是关于孟加拉语 AI 是否存在先前接触现象的最终判决。相反，这篇论文是一个行动蓝图，旨在告诉人们如何去查明真相。

研究人员构建了一个完整的开源工具包，任何人都可以使用它来审计这些测试。他们列出了所有现有的孟加拉语基准测试，创建了一个检查污染的协议，并展示了在免费计算资源（如 Google Colab）上运行这些昂贵测试的可行性。

他们目前正在对更多模型和基准测试进行全面的审计。试点测试证明了该系统的有效性，但完整的测试结果仍在计算中。论文认为，在进行这些审计之前，我们无法确定在孟加拉语领域看到的 AI 高分究竟是真实的智能，还是仅仅因为模型之前看过英文答案的结果。

简而言之，这篇论文是一次行动号召：“让我们停止猜测 AI 在孟加拉语方面是否聪明，开始使用这些侦探工具来证明它。”他们正在确保，当我们说一个 AI 精通某种语言时，是因为它真正理解了这种语言，而不是因为它背下了测试题。

技术摘要：孟加拉语大语言模型（LLM）基准测试的可靠性

1. 问题陈述

孟加拉语拥有约 2.5 亿使用者，近期出现了大量大语言模型（LLM）评估基准测试。然而，这些基准测试的可靠性正受到两个主要威胁的损害：

基准测试数据污染（BDC）： 评估条目频繁泄露到模型的训练语料库中。至关重要的是，这种污染是跨语言的；在英语源文本上训练的模型，即使从未见过翻译后的文本，也能在这些文本的孟加拉语翻译版本上获得虚高的分数。由于大多数孟加拉语基准测试是英语测试集的直接翻译，它们在结构上极易受到此类风险的影响。
缺乏鲁棒性： 在低资源语言基准测试上的表现可能反映的是表层记忆而非真实的理解能力。近期的证据表明，模型得分在面对语义等价的扰动时会出现崩溃，但这种脆弱性尚未在孟加拉语中得到系统的审计。

尽管这些基准测试已被快速采用于教育和公共服务领域的部署决策，但此前尚无研究对孟加拉语基准测试进行污染或鲁棒性审计。这使得所报告的性能得分的有效性受到了质疑。

2. 方法论

作者提出了一个系统性的审计框架，旨在评估孟加拉语 LLM 基准测试的可靠性。该框架应用于开源权重模型（1B–9B 参数），以利用获取 token 级似然度（likelihoods）以及在某些情况下获取完整预训练语料库的能力。

2.1 审计框架组件

该框架采用了三种检测家族的三角测量法：

基于似然度的信号（Min-K% Prob）： 测量基准测试条目中概率最低的 $k\%$ 个 token 的平均对数概率。存在于训练数据中的条目通常会表现出更高的得分。这会与一个从未公开过的私有探测集以及一个时间控制组（在基准测试存在之前训练的 Pythia 模型）进行对比。
基于生成的测试（TS-Guessing）： 对于多项选择题，提示模型重构被遮盖的错误选项。准确率显著高于随机基准线的情况，表明模型是在记忆测试文件而非理解任务。
地面真值语料库搜索： 对于具有完全公开预训练语料库的模型（第二类：OLMo, Pythia, BLOOM），该框架会在孟加拉语和英语形式下，针对训练数据（Dolma, The Pile, ROOTS）执行精确的 13-gram 重叠搜索。

2.2 跨语言与鲁棒性分析

跨语言污染（RQ2）： 利用 BEnQA 的平行孟加拉语-英语设计，本研究比较了英语源条目与其孟加拉语对应项之间的记忆信号和准确率。它测试了更强的英语源记忆是否能预测其孟加拉语翻译版本的正确答案。
鲁棒性审计（RQ3）： 框架对基准测试条目应用了保持含义的扰动，包括：
- 选项重排序（针对多项选择题）。
- 干扰句插入。
- 数字替换（针对数学问题）。
- 回译机器翻译改写。
- 研究通过这些扰动来衡量准确率的变化量以及模型排名的稳定性。

2.3 实验设置

模型： 被审计的模型包括 Llama-3.2, Qwen2.5, Gemma-2, Mistral, TituLLM, TigerLLM, OLMo, Pythia, 和 BLOOM。
基准测试： 一个精选的 8 个公开孟加拉语基准测试清单（如 BEnQA, Bangla MMLU, BanglaMATH, BoolQ-bn），并区分了原生（用孟加拉语编写）和翻译（源自英语）来源。
计算资源： 所有实验均在免费层级的 GPU 计算环境（Kaggle/Google Colab）上进行，对于较大的模型使用了 4-bit 量化。
试点研究： 已完成的一项试点研究评估了 Qwen2.5-1.5B-Instruct 在 BoolQ-bn 500 个条目子集上的表现。

3. 核心贡献

精选清单： 一个版本化的、文档齐全的公开孟加拉语 LLM 基准测试清单，详细说明了来源、规模、许可协议及构建方法。
污染审计协议： 首个专门针对孟加拉语基准测试的协议，结合了似然度、生成和语料库搜索方法。
跨语言测试： 一种利用平行数据（BEnQA）来隔离并测量跨语言污染的新颖实验设计。
鲁棒性工具： 一套用于测量得分稳定性和排名偏移的扰动套件，将脆弱性与潜在的污染联系起来。
公开发布： 所有代码、数据清单及逐条审计输出均公开发布，以支持社区进行重新审计。

4. 试点结果

针对 Qwen2.5-1.5B-Instruct（来自 BoolQ-bn 的 500 个条目）的试点研究得出以下结果：

准确率： 0.568 (95% CI [0.524, 0.610])，这仅略高于二分类任务的 0.50 随机水平。该模型仅比多数类基准线高出 3.4 个百分点。
鲁棒性： 干扰项扰动使准确率下降了 1.0 个百分点（从 0.568 降至 0.558）。针对不一致条目的 McNemar 检验在统计学上并不显著（ $p=0.302$ ），尽管作者指出试点样本量对于检测微小差异而言不足。
污染信号： 平均 Min-K% Prob 为 -3.767。待与私有探测集对比后，完整的用于污染检测的 AUROC 分数尚在处理中。
可行性： 试点研究证实，在单块 T4 GPU 上，执行一个完整的“模型 $\times$ 基准测试”审计单元（准确率 + Min-K% + 扰动）大约需要 0.56 GPU 小时。

5. 重要性与主张

本文旨在成为首次对孟加拉语 LLM 基准测试进行的系统性审计。其重要性在于：

基础性问题： 它挑战了对孟加拉语基准测试高分的解读，即询问这些高分反映的是真实的理解能力，还是对泄露数据的记忆。
方法论严谨性： 通过结合三种不同的检测家族并使用时间控制组（Pythia），本研究旨在提供比单一方法更强有力的证据。
可扩展性： 该框架设计为与语言无关，且计算成本足够低（兼容免费层级），可应用于其他中等规模、依赖翻译的语言。
社区效用： 发布协议和清单使得社区能够随着新模型和新数据集的出现，持续监测孟加拉语基准测试的可靠性。

作者明确指出，完整的审计矩阵（涵盖所有模型和基准测试）目前正在进行中，本手稿报告的是框架、清单、协议以及已完成的试点研究。作者保持了审慎的态度，指出对于开源权重模型而言，基于似然度的检测器提供的是证据而非确定性的证明，且缺乏信号并不代表基准测试一定是干净的。