RefereeBench: Are Video MLLMs Ready to be Multi-Sport Referees
本文提出了首个大规模多体育裁判基准 RefereeBench，通过涵盖 11 项运动的高质量标注数据评估发现，当前最先进的多模态大语言模型在规则应用和时序定位等核心裁判能力上仍存在显著不足，准确率仅约 60%，表明其尚未达到可靠自动裁判的水平。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文就像是一份**“人工智能裁判能力体检报告”**。
想象一下，现在的 AI（多模态大语言模型）就像是一群超级聪明的“体育迷”。它们看球赛看得很起劲，能认出谁在跑、球在哪、甚至能像解说员一样滔滔不绝地描述画面。但是，如果让它们穿上裁判服，拿着哨子去真正执法比赛，它们能行吗？
这篇论文的作者们说：“还不行，它们离真正的裁判还差得远。”
为了证明这一点，他们设计了一个名为 RefereeBench 的“魔鬼考场”。
1. 这个“考场”是什么样的？（RefereeBench）
这就好比作者们建了一个**“全能体育裁判特训营”**。
- 科目全： 涵盖了 11 种不同的运动，从大家熟悉的足球、篮球，到冰球、水球、短道速滑等。
- 题目难： 他们收集了 925 段真实的比赛视频，并让30 位持有国家级证书的专业裁判人工标注了 6475 道考题。
- 考什么？ 不仅仅是问“刚才发生了什么”，而是问更深层次的问题：
- 有没有犯规？（就像问：刚才那个动作是正常冲撞还是恶意犯规？）
- 犯了什么规？（是“推人”、“拉衣”还是“绊倒”？）
- 该罚多少？（是黄牌、红牌，还是点球？）
- 为什么这么判？（需要引用具体的规则条文来解释）。
- 什么时候发生的？（精确到视频的第几秒）。
比喻： 以前的 AI 考试可能只是让你看图说话（“图里有个球”），而 RefereeBench 是让你当法官，不仅要看到事实，还要懂法律（规则），还要抓证据（时间定位），最后还要写判决书（推理）。
2. 考试结果如何？（AI 的表现）
作者把目前最厉害的 AI 模型（比如 GPT-5, Gemini, Doubao 等）都拉来参加了这场考试。结果让人大跌眼镜：
- 顶尖选手也才 60 分： 即使是目前最强的闭源模型（如 Doubao-Seed-1.8 和 Gemini-3），平均分也只有 60% 左右。这意味着它们连及格线都勉强，离“可靠裁判”的标准（通常要求 90% 以上）还差很远。
- 开源模型更吃力： 像 Qwen3-VL 这样的开源模型，得分只有 47%，甚至还没及格。
- 哪里最弱？
- 看热闹行，看门道不行： AI 很擅长认出“有人摔倒了”（感知能力），但很难判断“这算不算犯规”（规则应用）。
- 容易“误判”： AI 有个坏毛病，就是**“宁错杀不放过”**。很多时候，球员只是正常的身体对抗，AI 却觉得那是犯规，疯狂吹哨。
- 时间感差： 很难精准指出犯规发生的具体那一瞬间。
比喻： 现在的 AI 就像是一个**“看球很久的狂热粉丝”**。它知道梅西是谁，知道篮球怎么投，但如果你让它去吹罚一场职业比赛，它可能会因为太激动，把一次正常的拼抢吹成恶意犯规，或者因为不懂某个冷门规则，把该判的点球漏掉。
3. 为什么 AI 这么难当裁判？
论文通过深入分析，发现了几个“硬伤”：
- 规则库没背熟： AI 虽然读过很多书，但面对具体运动（如冰球、水球）那复杂且细微的规则条文，它并没有真正“内化”。它更像是在猜，而不是在推理。
- 听觉线索很重要： 有趣的是，如果给 AI 加上声音（比如裁判的哨声、观众的惊呼、解说员的喊声），它的表现会大幅提升。这说明裁判工作不仅仅是“看”，还要“听”。
- 容易被“带节奏”： 如果题目问法稍微有点引导性（比如暗示“这肯定是个犯规”），AI 就很容易被带偏，从而做出错误的判断。这说明它缺乏独立的判断力。
- 外挂规则也没用： 作者尝试给 AI 提供规则手册（RAG 技术），让它查书再回答，结果发现效果并不好。因为如果它连“刚才发生了什么”都没看清，查再多的规则书也是白搭。
4. 总结与未来
这篇论文的核心结论是：现在的视频 AI 还太“嫩”，不能直接上岗当裁判。
- 现状： 它们能看懂大概，但做不到**“精准、公正、懂规则”**。
- 未来： 要造出真正的 AI 裁判，不能只靠堆砌数据或增加算力。未来的 AI 需要：
- 真正理解体育规则的逻辑，而不仅仅是背诵条文。
- 学会多感官融合（看画面 + 听声音）。
- 具备抗干扰能力，不被引导性语言带偏。
- 学会像人类裁判一样思考，在复杂的瞬间做出符合体育精神的判断。
一句话总结：
RefereeBench 就像一面照妖镜，照出了当前 AI 在**“专业领域决策”上的巨大短板。虽然它们能当优秀的“解说员”或“观众”，但要想穿上裁判服，它们还需要在规则理解和逻辑推理**上再修炼个几年。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。