BoxComm: Benchmarking Category-Aware Commentary Generation and Narration Rhythm in Boxing

1. 研究背景与问题定义 (Problem)

背景：
多模态大语言模型（MLLMs）在通用视频理解方面取得了显著进展，推动了自动体育解说生成的研究。然而，现有的基准测试（如 SoccerNet-Caption, BH-Commentary）主要集中在团队运动（如足球、篮球），完全忽视了格斗运动（如拳击）。

核心挑战：
格斗运动与团队运动在解说生成任务上存在本质差异，导致现有模型难以直接迁移：

1. 动作的高动态性与细微性： 关键动作（如出拳）发生在毫秒级（约 300ms），且不同动作类型（如刺拳 vs. 勾拳）的视觉差异极细微，但语义上具有决定性意义。现有模型难以捕捉这些快速且细微的视觉线索。
2. 解说结构的差异： 团队运动解说以“实况播报”（Play-by-Play, PbP）为主，而格斗运动解说包含更高比例的战术分析（Tactical, Tac）。格斗解说不仅描述发生了什么，更强调“为什么发生”（如距离控制、对手意图、节奏判断）。
3. 解说节奏（Rhythm）的缺失： 现有基准缺乏对解说“时机”和“类型分布”的评估。专业的格斗解说需要在长时间的空隙和极短的高强度动作之间保持恰当的语速和类型切换，而现有模型往往无法维持这种人类专家的节奏。

研究目标：
构建首个针对格斗运动的解说基准，评估并提升 MLLMs 在类别感知（生成特定类型的解说）和解说节奏（在连续视频中保持恰当的时机和类型分布）方面的能力。

---

2. 核心贡献与数据集 (Key Contributions & Dataset)

BoxComm 数据集

• 规模： 包含 445 场 世界拳击锦标赛（World Boxing Championship）的现场比赛视频，源自 2025 年赛事。
• 标注： 包含超过 52,000 句 专业解说文本，每句均与视频时间轴对齐。
• 分类体系（首创）： 首次为体育解说基准提供了细粒度的类别标注，将解说分为三类：
  1. Play-by-Play (PbP): 实时描述可见动作（如“刺拳命中”、“犯规”）。
  2. Tactical (Tac): 基于动作序列推断的策略、意图、 momentum 调整（如“他在控制距离”、“无法连贯出拳”）。
  3. Contextual (Ctx): 背景信息、选手档案、历史数据、现场氛围。
• 统计特征： 格斗运动中战术类解说占比高达 45.6%（团队运动仅为 21.7%），且动作间隔长但爆发极快。
• 细粒度事件： 额外提取了 260,000 个 细粒度的出拳事件（包含时间、拳手、距离、技术类型、目标部位、有效性）。

评估协议

提出了两个互补的评估任务：

1. 类别条件化生成 (Category-Conditioned Generation)：
   • 输入：视频片段 + 历史解说 + 目标解说类别（PbP/Tac/Ctx）。
   • 目标：评估模型能否根据指定类别生成符合视频内容的准确解说。
   • 指标：BERTScore（语义相似度）和 LLM-as-Judge（内容一致性准确率）。
2. 解说节奏评估 (Commentary Rhythm Assessment)：
   • 输入：连续视频流，无预设时间戳或类别约束，自由生成。
   • 目标：评估模型在长视频流中是否能维持人类专家般的解说节奏和类型分布。
   • 指标：
     • t-IoU (Temporal Intersection-over-Union)： 衡量生成解说与真实解说在时间窗口上的对齐程度。
     • KL 散度 (KL Divergence)： 衡量生成解说中各类别的时间分布与真实分布的差异（越低越接近人类节奏）。

---

3. 方法论 (Methodology)

数据预处理流程

1. 语音转写与重分段： 使用 WhisperX 进行词级时间戳转写，利用 GPT-5.2 进行领域术语纠错（如区分 "fainting" 和 "feinting"）和语义重分段，确保解说单元（Sentence）的完整性，保留微秒级的动作描述。
2. 类别标注： 利用 GPT-5.2 结合上下文将每句解说分类为 PbP、Tac 或 Ctx。

EIC-Gen (Event-Informed Commentary Generation)

针对格斗运动动作细微、难以被纯视觉模型捕捉的问题，作者提出了一种改进基线 EIC-Gen：

• 动作提取流水线：
  • 使用 Detectron2 进行边界框定位，CameraHMR 进行人体网格恢复。
  • 使用 PHALP 追踪红蓝拳手。
  • 利用 Causal TCN 进行流式出拳检测，VideoMAEv2+TCN 进行出拳分类。
  • 输出结构化事件序列（时间、拳手、技术、目标、效果）。
• 增强输入： 将提取的结构化出拳事件转化为自然语言模板（例如：[14.5s] red, left hook, land on torso），并将其与最近的解说历史拼接，作为显式的动作先验输入给 MLLM。
• 目的： 弥补模型对毫秒级细微动作的感知盲区，为战术推理提供事实依据。

---

4. 实验结果 (Results)

定量分析

• 类别条件化生成 (Table 1)：
  • 零样本 (Zero-shot) 表现差： 现有 SOTA 模型（GPT-4o-mini, LLaVA-OV, Qwen3-VL）在零样本设置下，内容一致性准确率（Acc）极低（普遍低于 20%），难以准确描述快速动作或进行战术分析。
  • 事件注入 (V+E) 提升显著： 引入结构化出拳事件后，GPT-4o-mini 和 LLaVA-OV 的战术类解说准确率显著提升（例如 LLaVA-OV 战术类 Acc 从 11.9% 提升至 24.8%）。
  • 微调效果： 在 BoxComm 上微调后的 Qwen3-VL-8B (FT) 表现最佳，结合事件注入后，整体准确率提升至 30.0%，战术类准确率高达 34.0%。
• 解说节奏评估 (Table 2)：
  • 流式生成失败： 现有的流式模型（LiveCC, StreamingVLM）在 t-IoU 上得分极低（<0.06），且 KL 散度较高。
  • 现象： 随着视频流推进，模型倾向于输出重复词汇或停止生成，完全无法掌握专业解说的节奏和类型分布。

定性分析 (Figure 6)

• 视觉盲区： 纯视觉模型（V）经常漏掉细微动作（如未命中或轻微接触），或产生幻觉。
• 事件辅助优势： 注入事件（V+E）的模型能够准确描述“击中躯干”或分析“无法连贯出拳”的战术意图，证明了结构化先验对消除幻觉和提升战术推理的重要性。

---

5. 研究意义与结论 (Significance & Conclusion)

1. 填补领域空白： BoxComm 是首个针对格斗运动（特别是拳击）的大规模解说基准，揭示了格斗运动解说与团队运动在动作粒度和战术深度上的本质区别。
2. 重新定义评估标准： 提出了“解说节奏”这一新维度，指出仅关注文本生成质量是不够的，时机（When to say） 和 类型分布（What to say） 是专业解说生成的关键。
3. 技术启示：
   • 纯视觉 MLLM 在处理毫秒级、细微的格斗动作时存在严重局限。
   • 结构化动作先验（Structured Action Priors） 对于提升格斗解说生成的准确性和战术深度至关重要。
   • 未来的格斗体育 AI 需要结合细粒度动作检测与多模态推理，才能实现接近人类专家水平的解说。

总结： 该论文通过构建 BoxComm 数据集和提出 EIC-Gen 方法，证明了当前多模态大模型在格斗体育解说任务上仍面临巨大挑战，并指出了引入细粒度事件检测作为中间表示是提升模型性能的关键路径。