CricBench: A Multilingual Benchmark for Evaluating LLMs in Cricket Analytics

本文介绍了 CricBench，这是首个针对板球分析的多语言 Text-to-SQL 基准测试，通过涵盖四种板球赛制和四种语言的 2654 个实例评估了七种主流大模型，揭示了它们在语法执行准确但语义理解严重不足、且缺乏特定领域主导模型的现状。

要点

这篇论文介绍了一个名为 CricBench 的新项目，你可以把它想象成给人工智能（AI）举办的一场**“板球专家资格考试”**。

为了让你更容易理解，我们用一些生活中的比喻来拆解这项研究：

1. 背景：为什么需要这场考试？

现在的 AI（大语言模型）非常聪明，它们擅长把人类的自然语言翻译成数据库能听懂的“代码”（SQL）。这就像是一个翻译官，能把老板的口头指令变成 Excel 表格里的查询命令。

但是，目前的 AI 就像是一个通才：它们懂通用的商业知识（比如“查一下上个月销售额”），但一旦遇到板球这种极度专业、规则复杂且充满细节的领域，它们就有点“水土不服”了。板球迷想要问的问题非常刁钻，比如：“在 2010 年到 2015 年之间，在伦敦的某个特定球场，哪位击球手在雨天比赛中的平均得分最高？”

现有的 AI 虽然能写出语法正确的代码，但往往算不出正确的答案。为了测试 AI 到底有没有真本事，研究团队（来自印度的 BITS Pilani 大学等）创建了 CricBench。

2. CricBench 是什么？

CricBench 是一个专门的测试题库，包含 2600 多道题目。

• 覆盖范围广：它涵盖了板球的四种主要赛制（测试赛、ODI、T20I 和 IPL 联赛），就像考试涵盖了数学、物理、化学和生物一样。
• 多语言挑战：题目不仅用英语，还用印地语、旁遮普语和泰卢固语。这模拟了真实场景：印度球迷可能用母语夹杂着英语术语（比如"Strike Rate"）来提问。
• 专家出题：这些题目不是机器生成的，而是由真正的板球专家和 SQL 专家人工编写的，确保题目逻辑严密，答案绝对正确。

3. 考试规则：只给“地图”，不给“攻略”

这是这项研究最有趣的地方。
通常，为了让 AI 答对题，我们会给它很多提示（比如“板球规则是这样的……"）。但 CricBench 的规则是**“只给地图，不给攻略”**。

• Schema-only prompting（仅模式提示）：AI 只收到数据库的“结构图”（有哪些表、有哪些列），没有任何关于板球规则的解释，也没有任何示例。
• 目的：这就好比给一个司机一张陌生的城市地图，问他怎么开车去某地，但不告诉他交通规则。我们想看看 AI 是真的懂板球逻辑，还是只是死记硬背了规则。

4. 考试成绩：令人失望的“高分低能”

研究团队测试了 7 种最顶尖的 AI 模型（包括 GPT-5 Mini, Claude, DeepSeek, Qwen 等）。结果非常惊人：

• 语法满分，逻辑不及格：

  • 执行准确率 (Execution Accuracy)：AI 写出的代码几乎 100% 能运行，不会报错。就像学生写出的作文语法完美，标点正确。
  • 数据匹配准确率 (DMA)：但只有不到 30% 的代码能算出正确答案。就像作文虽然通顺，但内容全是胡编乱造，完全没答到点子上。
  • 比喻：AI 就像一个只会照本宣科的实习生。它知道怎么打开数据库（语法对），但它不知道板球里“合法投球”和“非法投球”的区别，导致算出来的数据全是错的。

• 没有“全能冠军”：

  • 没有一个模型在所有赛制中都拿第一。有的模型擅长测试赛（Test），有的擅长 IPL 联赛。这说明不同的板球赛制对 AI 的逻辑推理能力提出了完全不同的挑战。

• 巨大的“领域鸿沟”：

  • 如果把同一批 AI 放在通用的商业数据库考试（BIRD 基准）中，它们能考到 60 分左右。
  • 但一进入板球领域，分数直接暴跌到 10 分左右。
  • 比喻：这就像让一个世界级的数学家去考板球裁判证。虽然他是数学天才（通用能力强），但他不懂板球规则（领域知识缺失），所以考不过。

5. AI 到底错在哪？

研究人员分析了 AI 的“错题本”，发现主要问题有三个：

1. 幻觉（瞎编列名）：AI 明明看着数据库结构图，却非要调用不存在的字段（比如编造一个 total_runs 列）。它太依赖自己脑子里的“常识”，反而忽略了眼前的“事实”。
2. 算错公式：板球有很多特殊指标（如“经济率”），需要排除无效投球再计算。AI 经常漏掉这些过滤条件，导致结果偏差巨大。
3. 搞不清关系：板球里球员会换队，不同年份归属不同国家队。AI 经常把球员和错误的队伍关联起来。

6. 总结与启示

CricBench 告诉我们一个残酷的真相：
目前的 AI 虽然很强大，但它们**并不真正“理解”**像板球这样复杂的垂直领域。它们只是擅长模仿语法，一旦需要深度的领域推理，它们就“露馅”了。

• 对未来的意义：这项研究为 AI 在体育分析、医疗、法律等专业领域的应用敲响了警钟。仅仅靠把模型做得更大（增加参数）或教它更多通用知识是不够的。
• 下一步：我们需要给 AI 注入专门的领域知识，或者设计新的架构，让它们不仅能“写代码”，还能真正“懂规则”。

一句话总结：
CricBench 就像一面照妖镜，照出了当前最聪明的 AI 在专业板球领域其实还是个“外行”——它们能流利地背诵规则书（语法正确），但真到了赛场上（实际计算），却连基本的判罚都搞不清楚。

技术摘要

CricBench：面向板球分析的多语言大模型基准评测技术总结

1. 研究背景与问题定义

背景：
板球是全球第二大热门运动，拥有数十亿粉丝。爱好者和分析师经常需要获取复杂的统计洞察（如长期历史趋势、复杂球员对比等），这些往往无法通过标准网络搜索获得。虽然大型语言模型（LLM）在通用 Text-to-SQL（自然语言转结构化查询语言）任务上取得了显著进展，但在处理特定领域细微差别、复杂模式变化以及多语言需求方面，其能力尚未得到充分探索。

核心问题：
现有的 Text-to-SQL 基准（如 Spider, BIRD）主要面向通用商业查询，缺乏对高度专业化领域（如体育分析）的评估。板球领域存在以下独特挑战：

• 领域逻辑复杂：涉及精确的数学运算、时间感知、复合衍生指标（如经济率、击球率）计算及特定阶段过滤。
• 实体消歧困难：需处理动态的球员归属关系（不同时期的国家队或 IPL 俱乐部），要求模型保持知识一致性。
• 多语言与代码混合：板球粉丝（尤其在印度）常使用印地语、旁遮普语等本地语言，且常混合英文技术术语（Code-mixing），现有基准缺乏对此类场景的支持。
• 能力差距：通用模型在标准查询上表现优异，但能否迁移到板球这种高度专业化的领域仍是未知数。

2. 方法论 (Methodology)

2.1 数据集构建 (CricBench Dataset)

• 数据来源：基于 Cricsheet 提供的逐球（ball-by-ball）记录，构建标准化的 SQLite 关系型数据库。
• 覆盖范围：涵盖四种板球赛制：
  • 国际赛制：测试赛 (Test)、单日国际赛 (ODI)、T20 国际赛 (T20I)。
  • 国内赛制：印度超级联赛 (IPL，基于特许经营权模式)。
• 规模与语言：
  • 包含 633 个基础查询，翻译为 4 种语言（英语、印地语、旁遮普语、泰卢固语）。
  • 总计 2,654 个评估实例。IPL 部分因包含更多代码混合变体，实例数较多（922 个）。
• 难度分级：查询被标记为简单 (Easy)、中等 (Medium)、困难 (Hard)，涵盖聚合、多表连接、时间过滤、嵌套查询、衍生指标计算等复杂度。

2.2 金标准构建 (Gold Standard Curation)

• 专家人工编写：摒弃自动生成，由板球分析专家（包括大学校队成员）手动编写自然语言问题，确保逻辑和事实正确性。
• 验证流程：所有 SQL 查询均人工编写，答案通过 Cricbuzz 和 ESPNcricinfo 等第三方权威记录进行交叉验证。
• 多语言处理：在翻译过程中保留技术术语（如"Strike Rate"）的英文形式，以模拟真实的代码混合用户行为。

2.3 评估协议 (Evaluation Protocol)

• Schema-Only Prompting（仅模式提示）：这是本研究的核心设计。模型仅接收数据库 Schema 定义和极简指令（如“合法投球”的定义），不提供领域上下文、计算公式或少样本示例。
  • 目的：隔离并测量 LLM 的内在推理能力，而非其遵循显式指令或检索外部知识的能力。
• 评估模型：测试了 7 个前沿模型，包括 GPT-5 Mini, Claude Sonnet 4, DeepSeek R1/V3, Qwen 235B, Llama 3.1, Gemma 2。
• 评估指标：
  • 执行准确率 (EX)：SQL 语法正确且能成功执行的比例。
  • 数据匹配准确率 (DMA)：查询结果与金标准完全匹配的比例（衡量语义正确性的核心指标）。

3. 关键贡献 (Key Contributions)

1. 首个板球分析专用基准：发布了 CricBench，包含 2,654 个专家验证的 Text-to-SQL 实例，覆盖 4 种赛制和 4 种语言。
2. 多语言与代码混合支持：填补了印地语、旁遮普语、泰卢固语在专业 SQL 基准中的空白，并真实模拟了技术术语混合使用的场景。
3. 跨赛制性能分析：揭示了模型在不同板球赛制（Test, ODI, T20I, IPL）上的表现存在巨大差异，没有单一模型能主导所有格式。
4. 内在能力评估：通过“仅模式提示”策略，证明即使是最先进的模型，在处理专业板球查询时，其语义正确率（DMA）也极低（<29%）。
5. 领域差距量化：通过与通用基准 BIRD 对比，量化了从通用查询到专业领域查询的性能落差（37-55 个百分点）。

4. 主要结果 (Key Results)

4.1 总体表现：语法正确但语义错误

• 执行与结果的巨大鸿沟：模型表现出“能力错觉”。例如，GPT-5 Mini 和 DeepSeek V3 在测试赛中的执行准确率超过 99%，但数据匹配准确率 (DMA) 仅为 12.4% 和 11.8%。这表明模型能生成语法正确的 SQL，但无法正确实现领域逻辑。
• 无单一主导模型：
  • Test/ODI：GPT-5 Mini 表现相对最好（DMA ~10-12%）。
  • IPL/T20I：Qwen 235B 表现最佳（IPL DMA 28.7%, T20I DMA 17.5%）。
  • ODI 困难查询：所有模型在困难 ODI 查询上的 DMA 均为 0%。

4.2 模型规模与架构的影响

• 小模型崩溃：Llama 3.1 (8B) 和 Gemma 2 (9B) 在复杂赛制（T20I, IPL）上表现极差，DMA 接近 0%，且执行准确率大幅下降。
• 推理 vs 指令微调：DeepSeek R1（推理微调）在 Test 赛制上表现突出（33.0%），但在 T20I 上骤降至 4.5%；而 DeepSeek V3（指令微调）表现更稳定但整体较低。这表明推理能力并未均匀提升所有类型的查询。

4.3 领域差距 (The Domain Gap)

• 性能断崖式下跌：将模型在通用基准 BIRD 上的表现与 CricBench 对比，发现所有模型准确率均下降 37% - 55%。
  • GPT-5 Mini 从 BIRD 的 63.8% 降至 CricBench 的 8.9%。
  • 即使是表现最好的 Qwen 235B，也从 60.3% 降至 16.8%。
• 结论：通用 Text-to-SQL 技能（如模式链接）是必要的，但远不足以解决板球分析中的领域推理问题。

4.4 错误分析

主要失败原因包括：

1. 模式幻觉：模型倾向于使用训练数据中常见的列名（如 total_runs），而非提示中提供的实际 Schema。
2. 衍生指标计算错误：如计算“经济率”时，常遗漏“合法投球”的过滤条件或使用错误公式。
3. 实体消歧失败：无法正确关联球员 ID 与特定时期/赛季的球队。
4. 时间逻辑错误：在处理“最近 5 场比赛”等时间约束时，错误地使用 ID 排序而非日期排序。

5. 研究意义与未来展望

• 揭示现状：CricBench 证明了当前 LLM 在缺乏领域上下文注入的情况下，无法胜任高度专业化的体育分析任务。现有的“规模即正义”或“指令微调”策略不足以解决此问题。
• 基准价值：为评估 LLM 在垂直领域的推理能力提供了首个严格、多语言、多赛制的基准。
• 未来方向：
  • 需要针对特定领域的微调 (Domain-specific Fine-tuning)。
  • 结合结构化检索增强生成 (RAG) 并注入领域规则。
  • 开发增强推理能力的架构，以弥合通用能力与专业应用之间的巨大差距。

总结：CricBench 不仅是一个数据集，更是一个警示，表明在将 LLM 应用于高专业度、多语言、逻辑复杂的垂直领域时，单纯依赖通用模型能力是远远不够的，必须引入专门的领域知识处理机制。