💬 NLP

StreamSoccer: Event-Driven Memory for Streaming Soccer Commentary

StreamSoccer 是一个事件驱动系统，它利用固定预算的主动内存将流式足球视频组织成语义事件生命周期，从而在实现有界计算的同时，能够实时生成当前、近期及历史解说，并在一个新构建的三轨数据集上实现了最先进的性能。

原作者： Chenxi Shao, Bozhong Wang, Jiaxin Huang, Zhao Liu, Sunwei Zhu, Tianxin Hang, Gaoqi He, Yang Li, Changbo Wang

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenxi Shao, Bozhong Wang, Jiaxin Huang, Zhao Liu, Sunwei Zhu, Tianxin Hang, Gaoqi He, Yang Li, Changbo Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下正在电视上观看一场足球直播比赛。动作飞快，从平静的组织进攻到突然进球，再回到缓慢的战术博弈，变化莫测。对于人类解说员来说，挑战不仅在于看到球，还在于理解围绕球展开的故事。他们必须描述刚刚发生的进球，总结过去几分钟的压力，或者回想二十分钟前的一个特定回合，以解释为什么现在的球队进攻如此积极。要在实时过程中做到这一点，需要一个能够把握当下时刻、保持对近期事件的持续总结、并能为稍后参考存储重要历史细节的大脑，同时还要处理不断涌入且永不停歇的信息流。

对于计算机而言，这项任务极其困难。大多数现有的视频理解系统旨在处理短片或整个录制好的比赛。当面对一个不断增长的直播流时，它们会感到力不从心。如果一台计算机试图记住九十分钟比赛中的每一帧画面，它很快就会耗尽内存或变得极其缓慢。以往解决此类问题的尝试通常将视频视为简单的图像列表或数据点流，而没有意识到足球比赛是由一系列离散的“事件”组成的——例如角球、犯规或进球。如果不将这些事件识别为比赛的构建模块，计算机就无法有效地组织其记忆来讲述一个连贯的故事。

一个研究团队推出了一套名为 StreamSoccer 的新系统，旨在通过改变计算机记忆游戏的方式来专门解决这个问题。该系统不再试图存储每一个视觉细节，而是将重点放在“事件”上。随着比赛的进行，计算机观察视频并识别特定回合何时开始。在回合进行期间，它保持一个专注的小型记忆；一旦回合结束（例如球出界或进球），系统就会关闭该记忆，保存一份关于发生了什么的简短总结，并清空其工作空间以专注于下一个回合。这个过程使计算机能够维持一个恒定且可控的信息量，无论比赛进行多久。

该系统将这些保存的总结组织成三种不同类型的记忆，以辅助生成解说。首先，它保留一个“当前事件”记忆，用于描述刚刚结束的回合，从而描述即时动作。其次，它持有前几个已完成回合的“近期窗口”，以便总结一系列的进攻或防守。第三，它存储了可以稍后检索的“历史记录”中的旧事件。这种结构模仿了人类的思考方式：专注于正在发生的事情，保持对过去几分钟的短期记忆，并拥有关于比赛关键时刻的长时记忆。当系统决定说话时，它会根据情况选择使用哪种类型的记忆。它可能会描述一个刚刚完成的进球，总结一段持续的压力，或者将当前的比赛与早些时候发生的类似情况联系起来。

为了测试这种方法是否有效，研究人员创建了一个新的足球比赛数据集，要求计算机在仅使用截至该时刻可用信息的情况下，实时生成解说。他们将该系统与其它先进的视频理解模型进行了对比。结果显示，StreamSoccer 在描述比赛方面表现得显著更好。在衡量生成的文本与人类描述匹配程度的测试中，新系统在描述当前事件和回忆历史时刻方面取得了最高分。它在总结近期比赛序列方面也表现出色。至关重要的是，该系统在整个比赛过程中始终保持快速且高效。当其他系统随着比赛进行而变慢或耗尽内存时，StreamSoccer 保持了稳定的速度，即使在比赛进行九十分钟后，处理视频的时间也仅为观看时间量的四分之一以下。

研究人员发现，成功的关键在于将比赛视为一系列事件，而非连续的图像流。通过在每个事件结束后将其关闭并保存，系统避免了试图一次记住所有事物的难题。这使得它可以在需要时检索特定的过去细节，而不会被庞大的视频量所困扰。研究还表明，仅仅拥有这些保存的事件总结，就能提高所有三类任务的解说质量。该系统不仅仅是记住了视频；它学会了将比赛的历史组织成一种可以即时访问的可用格式。

这项工作表明，要让计算机像一名熟练的体育解说员一样工作，它需要的不仅仅是强大的视觉能力，还需要一种能够围绕运动逻辑来构建记忆的方式。通过关注事件的生命周期——激活它们、在进行时更新它们，以及在完成后关闭它们——该系统可以处理直播的复杂性而不至于迷失方向。研究结果表明，这种基于事件的方法是一种可行的实时视频理解路径，提供了一种让长信息流保持有序、可访问且可用于生成自然语言描述的方法。该系统证明了，在标准硬件上实现观看完整比赛、记住重要部分并实时讲述比赛故事，同时保持高效运行是完全可能的。

技术摘要：StreamSoccer

问题陈述

视频理解要求模型在视频到达时对其内部状态进行因果更新，将不断增长的历史组织为可以演变、持久化并在受限计算与内存下被召回的语义单元。这一挑战在实时足球解说中尤为突出。与离线视频字幕或依赖预定义片段的方法不同，流式系统必须持续理解不断演变的比赛过程，并在适当的时机生成解说，且无法获取未来的信息。

现有方法在该领域面临两个主要局限：

通用流式视频语言模型： 诸如 StreamingVLM 或 TimeChat-Online 之类的系统通常围绕帧、视觉标记（tokens）或键值缓存（KV cache）来组织历史。虽然高效，但它们通常将演变的语义过程视为一系列无关的标记序列，而不是维护一个必须在完成后关闭并随后复用的连续状态单元。
足球特定方法： 现有的足球解说模型（例如 SoccerNet-Caption, MatchTime）通常依赖于预定义的视频片段、给定的输出时间戳或离线全视频输入。它们本质上不支持实时流式处理所需的因果、事件驱动型生命周期，即系统必须仅基于截至当前时刻已获得的信息来决定何时说话（或保持沉默）。

核心问题在于确定一种中间表示形式，使其能够吸收正在发展的事件中的新观察结果，将变长过程压缩为固定预算的状态，在完成后形成稳定且可复用的记忆，并支持近期保留与历史检索。

方法论：StreamSoccer

作者提出了 StreamSoccer，这是一个使用**事件记忆（event memory）**作为其中间表示的事件驱动系统。该系统通过“激活–更新–关闭–整合–检索”的生命周期，将不断增长的视频历史转化为具有明确语义角色的固定预算状态。

1. 系统架构

流式事件记忆编码器：
- 输入处理： 输入的视频片段由冻结的 Qwen3-VL 编码器编码为视觉标记，并通过可学习的片段事件适配器（Clip Event Adapter）压缩为固定数量的片段级事件标记 ( $E_t$ )。
- 状态更新： 在线事件更新模块将传入的标记与之前的活跃记忆 ( $M_{t-1}$ ) 进行比较。通过门控集成机制，它更新正在进行的（ongoing）状态以吸收增量信息。无论跨越多少个片段，该状态都保持固定的标记预算 ( $K_m$ )。
- 事件关闭： 系统通过两种机制确定事件何时结束：一是通过由转换头（transition head）学习到的预测操作转换指示器 ( $b_t$ )；二是利用确定性的时长保障机制 ( $\rho_t$ )，若事件超过最大时长（ $D_{max} = 24s$ ）则将其关闭。
- 记忆整合： 当一个事件关闭时，活跃状态变为不可变的已完成事件记忆 ( $M^c_j$ )。该记忆立即进入局部近期事件缓冲区 ( $B_t$ ) 以作为短期上下文。同时，记录分支通过记忆-语言投影器和语言模型将 $M^c_j$ 转换为文本形式的历史事件记录 ( $R_j$ )。这些记录被存储在可检索列表 ( $L_t$ ) 中，用于长期上下文。
多上下文解说生成器：
- 一个统一的生成器通过使用相同的语言模型骨干（配合 LoRA 微调）并采用不同的上下文配置，生成三个不同轨道的解说：
  1. 当前事件解说： 使用刚刚结束的已完成事件记忆 ( $M^c_j$ )。
  2. 近期窗口解说： 拼接活跃事件记忆 ( $M_t$ ) 与从缓冲区中选出的局部已完成事件记忆。
  3. 历史记忆解说： 将当前的/近期的潜在上下文与从历史列表中检索到的文本记录 ( $R_t$ ) 相结合。
- 生成器将这些上下文投影为软前缀 ( $Z_t$ ) 以引导语言模型。
规则辅助调度器：
- 一个确定性调度器根据固定规则、冷却时间和优先级选择解说模式（当前、近期、历史或沉默）。它不学习说话决策，但确保系统遵循因果约束和操作逻辑（例如，要求当前事件模式必须具备显著性事件）。

2. 任务公式化与数据

作者将流式足球解说定义为一个受时间可见性约束的生成任务。他们利用 SoccerNet 动作标注和 MatchTime 解说构建了一个三轨道数据集：

当前事件： 描述刚刚完成的一个事件。
近期窗口： 总结在截止时间前可见的多个近期事件。
历史记忆： 将当前的比赛进程与早前的比赛信息联系起来。
该数据集通过显式的观察截止点和比赛不相交划分（match-disjoint splits）确保了严格的因果有效性，以防止未来信息泄露。

3. 训练

StreamSoccer 采用三阶段训练过程：

第一阶段： 训练流式事件记忆编码器，用于动作识别、操作转换预测和事件类型分类。
第二阶段： 训练记忆-语言投影器，以从完成的记忆中生成事件记录字幕。
第三阶段： 跨所有三个轨道优化多上下文解说生成器，并引入用于记忆上下文选择和检索排序的辅助损失。

关键结果

系统在 58 场比赛（174 次原始视频运行）上进行了评估，重点关注在常见因果锚点处的解说质量以及长历史效率。

解说质量： 在共享的因果输出锚点处，StreamSoccer 在当前事件（38.62）和历史记忆（17.39）轨道上的 CIDEr 得分最高，在近期窗口轨道上（23.96）排名第二（仅次于 UniSoccer）。此外，它在 BERTScore-F1 指标的历史记忆轨道上排名第一。
效率与扩展性： 在 90 分钟的比赛过程中，StreamSoccer 始终保持约 0.10–0.22 的 95 分位实时因子 (RTF)。至关重要的是，这种效率保持稳定，不会随着比赛历史的增加而持续增长，这与基准模型（如 VideoLLM-online）不同，后者的成本会随上下文长度增加或达到上下文限制。
事件记忆验证： 消融实验证实，**循环事件记忆（recurrent event memory）**在下游字幕生成方面优于操作事件池化（operational-event pooling）和固定时间池化（fixed-time pooling）。此外，添加局部事件记忆和历史记录能逐步提升所有三个轨道的性能，完整配置达到了最佳效果。
定性分析： 个案研究表明，StreamSoccer 能够成功地将当前的压力态势与早前的定位球事件联系起来，而基准模型往往会产生重复的陈述、不一致的时间戳或无法组织比赛进程的问题。

重要性与主张

论文声称事件记忆是流式足球解说的一种有效的中间表示。通过显式地建模事件生命周期——激活、更新、关闭和整合事件——该系统将不断增长的视频历史组织为可复用的、固定预算的状态。

作者强调，StreamSoccer：

支持多维度解说： 它成功地在单一统一框架内处理了当前、近期和历史解说，解决了体育解说的多时态特性。
控制长历史计算： 不同于那些无差别压缩帧或标记的方法，StreamSoccer 的事件驱动方法防止了计算能力的退化，从而实现了对整场比赛的实时处理。
提供因果框架： 该系统严格遵守因果约束，确保所有解说均仅基于发射时间之前可获得的信息生成，这是在离线或基于预定义片段的方法中经常被忽视的要求。

论文总结道，尽管该系统依赖于规则辅助调度和确定性事件边界，但所提出的事件记忆架构为应对实时流式体育解说的特定挑战提供了一种鲁棒的解决方案。