💬 NLP

StreamSoccer: Event-Driven Memory for Streaming Soccer Commentary

StreamSoccer es un sistema basado en eventos que utiliza una memoria activa de presupuesto fijo para organizar la transmisión de video de fútbol en ciclos de vida de eventos semánticos, permitiendo la generación en tiempo real de comentarios actuales, recientes e históricos con computación acotada mientras logra un rendimiento de vanguardia en un conjunto de datos de tres pistas recién construido.

Autores originales: Chenxi Shao, Bozhong Wang, Jiaxin Huang, Zhao Liu, Sunwei Zhu, Tianxin Hang, Gaoqi He, Yang Li, Changbo Wang

Publicado 2026-08-21

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chenxi Shao, Bozhong Wang, Jiaxin Huang, Zhao Liu, Sunwei Zhu, Tianxin Hang, Gaoqi He, Yang Li, Changbo Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina observar un partido de fútbol en vivo por televisión. La acción se mueve rápido, pasando de una construcción tranquila a un gol repentino, y luego de vuelta a una lucha táctica lenta. Para un comentarista humano, el desafío no es solo ver el balón, sino comprender la historia que se desarrolla a su alrededor. Debe describir el gol que acaba de ocurrir, resumir los últimos minutos de presión o recordar una jugada específica de hace veinte minutos que explica por qué el equipo actual está atacando con tanta agresividad. Hacer esto en tiempo real requiere una mente que pueda retener el momento presente, mantener un resumen continuo de eventos recientes y almacenar detalles importantes del pasado para referencia posterior, todo ello mientras procesa un flujo continuo de información que nunca se detiene.

Para las computadoras, esta tarea es increíblemente difícil. La mayoría de los sistemas existentes que intentan comprender el video están diseñados para procesar clips cortos o partidos grabados completos después de los hechos. Tienen dificultades cuando se trata de una transmisión en vivo que sigue creciendo más y más. Si una computadora intenta recordar cada uno de los fotogramas de un partido de noventa minutos, rápidamente se queda sin memoria o se ralentiza hasta quedar casi inoperante. Los intentos previos para resolver esto a menudo trataron el video como una simple lista de imágenes o un flujo de puntos de datos, sin comprender que un partido de fútbol está compuesto por "eventos" distintos —como un tiro de esquina, una falta o un gol— que tienen un principio, un medio y un fin. Sin reconocer estos eventos como los bloques de construcción del juego, una computadora no puede organizar eficazmente su memoria para contar una historia coherente.

Un equipo de investigadores ha presentado un nuevo sistema llamado StreamSoccer, diseñado específicamente para resolver este problema cambiando la forma en que la computadora recuerda el juego. En lugar de intentar almacenar cada detalle visual, el sistema se centra en los "eventos". A medida que el partido se desarrolla, la computadora observa el video e identifica cuándo comienza una jugada específica. Mantiene una memoria pequeña y enfocada de esa jugía mientras está ocurriendo. Una vez que la jugada termina —por ejemplo, cuando el balón sale de la cancha o se marca un gol—, el sistema cierra esa memoria, guarda un breve resumen de lo sucedido y libera su espacio de trabajo para enfocarse en la siguiente jugada. Este proceso permite que la computadora mantenga una cantidad constante y manejable de información, sin importar cuánto tiempo haya durado el partido.

El sistema organiza estos resúmenes guardados en tres tipos diferentes de memoria para ayudarlo a generar la narración. Primero, mantiene una memoria de "evento actual" para la jugada que acaba de terminar, lo que le permite describir la acción inmediata. Segundo, sostiene una "ventana reciente" de las últimas jugadas completadas, para que pueda resumir una secuencia de ataques o defensas. Tercero, almacena "registros históricos" de eventos más antiguos que pueden recuperarse más tarde. Esta estructura imita cómo pensaría un humano: centrándose en lo que está sucediendo ahora mismo, manteniendo una memoria a corto plazo de los últimos minutos y teniendo una memoria a largo plazo de los momentos clave del juego. Cuando el sistema decide hablar, elige qué tipo de memoria utilizar según la situación. Podría describir un gol recién completado, resumir un periodo de presión sostenida o conectar la jugada actual con una situación similar que ocurrió anteriormente en el partido.

Para probar si este enfoque funciona, los investigadores crearon un nuevo conjunto de datos de partidos de fútbol donde la computadora tenía que generar comentarios en tiempo real, utilizando únicamente la información disponible hasta ese momento exacto. Compararon su sistema con otros modelos avanzados de comprensión de video. Los resultados mostraron que StreamSoccer era significamente mejor describiendo el juego. En las pruebas que medían qué tan bien el texto generado coincidía con las descripciones humanas, el nuevo sistema obtuvo las puntuaciones más altas al describir eventos actuales y al recordar momentos históricos. También funcionó muy bien al resumir secuencias recientes de juego. Crucialmente, el sistema se mantuvo rápido y eficiente durante todo el partido. Mientras que otros sistemas se ralentizaban o se quedaban sin memoria a medida que el juego progresaba, StreamSoccer mantuvo una velocidad constante, procesando el video en menos de una cuarta parte del tiempo que tomaba verlo, incluso después de noventa minutos de juego.

Los investigadores descubrieron que la clave de este éxito fue tratar el juego como una serie de eventos en lugar de un flujo continuo de imágenes. Al cerrar y guardar cada evento una vez finalizado, el sistema evitó el problema de intentar recordarlo todo a la vez. Esto le permitió recuperar detalles específicos del pasado cuando era necesario sin verse agobiado por el enorme volumen del video. El estudio también mostró que el simple hecho de tener acceso a estos resúmenes de eventos guardados mejoró la calidad de la narración en los tres tipos de tareas. El sistema no solo memorizó el video; aprendió a organizar la historia del juego en un formato utilizable que podía accederse instantáneamente.

Este trabajo demuestra que, para que una computadora actúe como un hábil comentarista deportivo, necesita más que una visión potente; necesita una forma de estructurar su memoria alrededor de la lógica del deporte mismo. Al centrarse en el ciclo de vida de los eventos —activándolos, actualizándolos a medida que se desarrollan y cerrándolos una vez que terminan—, el sistema puede manejar la complejidad de una transmisión en vivo sin perder el hilo. Los hallazgos sugieren que este enfoque basado en eventos es un camino viable para la comprensión de video en tiempo real, ofreciendo una forma de mantener los flujos largos de información organizados, accesibles y útiles para generar descripciones en lenguaje natural. El sistema demostró que es posible ver un partido completo, recordar las partes importantes y contar la historia del juego mientras sucede, todo ello mientras se ejecuta de manera eficiente en hardware estándar.

Resumen Técnico: StreamSoccer

Declaración del Problema

La comprensión de video en streaming requiere que los modelos actualicen causalmente su estado interno a medida que llega el video, organizando un historial creciente en unidades semánticas que puedan evolucionar, persistir y ser recuperadas bajo una computación y memoria limitadas. Este desafío es particularmente agudo en la narración de fútbol en vivo. A diferencia de la descripción de video fuera de línea (offline) o de los métodos que dependen de clips predefinidos, un sistema de streaming debe comprender continuamente un proceso de partido evolutivo y generar comentarios en los momentos apropiados sin acceso a información futura.

Los enfoques existentes enfrentan dos limitaciones primarias en este dominio:

Modelos de Lenguaje-Video de Streaming Generalistas: Sistemas como StreamingVLM o TimeChat-Online suelen organizar el historial en torno a fotogramas, tokens visuales o cachés de clave-valor. Aunque son eficientes, a menudo tratan el proceso semántico evolutivo como una secuencia de tokens agnósticos en lugar de mantener una unidad de estado continua que deba cerrarse al completarse y reutilizarse más tarde.
Métodos Específicos de Fútbol: Los modelos de narración de fútbol existentes (por ejemplo, SoccerNet-Caption, MatchTime) generalmente dependen de clips de video predefinidos, marcas de tiempo de salida dadas o entradas de video completo fuera de línea. No admiten inherentemente el ciclo de vida impulsado por eventos y causal requerido para el streaming en tiempo real, donde el sistema debe decidir cuándo hablar (o permanecer en silencio) basándose únicamente en la información disponible hasta ese momento.

El problema central es identificar una representación intermedia que pueda absorber nuevas observaciones a medida que se desarrolla un evento, comprimir un proceso de duración variable en un presupuesto de estado fijo, formar una memoria estable y reutilizable tras su finalización, y soportar tanto la retención reciente como la recuperación histórica.

Metodología: StreamSoccer

Los autores proponen StreamSoccer, un sistema impulsado por eventos que utiliza la memoria de eventos como su representación intermedia. El sistema transforma un historial de video creciente en estados de presupuesto fijo con roles semánticos explícitos a través de un ciclo de vida de activación–actualización–cierre–consolidación–recuperación.

1. Arquitectura del Sistema

Codificador de Memoria de Eventos de Streaming:
- Procesamiento de Entrada: Los clips de video entrantes se codifican en tokens visuales mediante un codificador Qwen3-VL congelado y se comprimen en un número fijo de tokens de evento a nivel de clip ( $E_t$ ) mediante un Adaptador de Evento de Clip aprendible.
- Actualización de Estado: Un módulo de Actualización de Eventos en Línea compara los tokens entrantes con la memoria activa previa ( $M_{t-1}$ ). Utilizando un mecanismo de integración con compuerta (gated), actualiza el estado en curso para absorber la información incremental. El estado mantiene un presupuesto de tokens fijo ( $K_m$ ) independientemente del número de clips abarcados.
- Cierre de Evento: El sistema determina cuándo termina un evento mediante dos mecanismos: un indicador de transición operativa ( $b_t$ ) aprendido por una cabeza de transición, y una salvaguarda de duración determinista ( $\rho_t$ ) que cierra un evento si este excede una duración máxima ( $D_{max} = 24s$ ).
- Consolidación de Memoria: Cuando un evento se cierra, el estado activo se convierte en una memoria de evento completado inmutable ( $M^c_j$ ). Esta memoria entra inmediatamente en un Búfer de Eventos Recientes ( $B_t$ ) para contexto de corto plazo. Simultáneamente, una rama de registro convierte $M^c_j$ en un Registro de Evento Histórico textual ( $R_j$ ) mediante un proyector de memoria-a-lenguaje y un modelo de lenguaje. Estos registros se almacenan en una lista recuperable ( $L_t$ ) para contexto de largo plazo.
Generador de Comentarios de Multi-Contexto:
- Un generador unificado produce comentarios para tres pistas distintas utilizando el mismo esqueleto de modelo de lenguaje (con adaptación LoRA) pero con diferentes configuraciones de contexto:
  1. Comentario del evento actual: Describe un evento recién completado ( $M^c_j$ ).
  2. Comentario de ventana reciente: Resume múltiples eventos recientes visibles antes del corte (active event memory $M_t$ más memorias de eventos completados locales seleccionadas del búfer).
  3. Comentario de memoria histórica: Conecta el juego actual con información anterior del partido (combina el contexto latente actual/reciente con registros textuales $R_t$ recuperados de la lista histórica).
- El generador proyecta estos contextos en un prefijo suave ( $Z_t$ ) para guiar al modelo de lenguaje.
Programador Asistido por Reglas:
- Un programador determinista selecciona el modo de comentario (actual, reciente, histórico o silencio) basado en reglas fijas, tiempos de espera (cooldowns) y prioridades. No aprende decisiones de habla, sino que asegura que el sistema cumpla con las restricciones causales y la lógica operativa (por ejemplo, requerir un evento relevante para el modo de evento actual).

2. Formulación de la Tarea y Datos

Los autores definen la narración de fútbol en streaming como una tarea de generación constreñida por la visibilidad temporal. Construyeron un conjunto de datos de tres pistas a partir de anotaciones de acciones de SoccerNet y comentarios de MatchTime:

Evento actual: Describe un evento recién finalizado.
Ventana reciente: Resume múltiples eventos recientes visibles antes del punto de corte.
Memoria histórica: Conecta el juego actual con información previa del partido.
El conjunto de datos garantiza la validez causal estricta con puntos de corte de observación explícitos y divisiones disjuntas de partidos para evitar la filtración de información futura (future leakage).

3. Entrenamiento

StreamSoccer emplea un proceso de entrenamiento de tres etapas:

Etapa 1: Entrena el Codificador de Memoria de Eventos de Streaming para el reconocimiento de acciones, la predicción de transición operativa y la clasificación de tipos de eventos.
Etapa 2: Entrena el proyector de memoria-a-lenguaje para generar subtítulos de registro de eventos a partir de memorias completadas.
Etapa 3: Optimiza el generador de comentarios de multi-contexto en las tres pistas, incorporando pérdidas auxiliares para la selección de contexto de memoria y el ranking de recuperación.

Resultados Clave

El sistema fue evaluado en 58 partidos (174 ejecuciones de video bruto) con un enfoque en la calidad de la narración en anclajes causales comunes y la eficiencia de la historia larga.

Calidad de la Narración: En los anclajes de salida causales compartidos, StreamSoccer alcanzó los puntajes CIDEr más altos reportados en las pistas de evento actual (38.62) e historia de memoria (17.39), quedando en segundo lugar en la pista de ventana reciente (23.96) detrás de UniSoccer. También ocupó el primer lugar en la pista de memoria histórica para BERTScore-F1.
Eficiencia y Escalamiento: StreamSoccer mantuvo un Factor de Tiempo Real (RTF) del percentil 95 de aproximadamente 0.10–0.22 durante un partido de 90 minutos. Crucialmente, esta eficiencia se mantuvo estable sin un crecimiento sostenido a medida que aumentaba el historial del partido, a diferencia de los modelos base (por ejemplo, VideoLLM-online) cuyos costos crecían con la longitud del contexto o alcanzaban límites de contexto.
Validación de la Memoria de Eventos: Los estudios de ablación confirmaron que la memoria de eventos recurrente superó tanto al agrupamiento (pooling) de eventos operativos como al agrupamiento de tiempo fijo para la generación de subtítulos descendente. Además, la adición de memoria de eventos local y registros históricos mejoró progresivamente el rendimiento en todas las tres pistas, siendo la configuración completa la que arrojó los mejores resultados.
Análisis Cualitativo: Los estudios de caso demostraron que StreamSoccer logra conectar la presión actual con eventos previos de jugadas a balón parado, mientras que los modelos base a menudo producen afirmaciones repetitivas, marcas de tiempo inconsistentes o fallan en organizar el juego.

Significación y Reivindicaciones

El artículo sostiene que la memoria de eventos sirve como una representación intermedia efectiva para la narración de fútbol en streaming. Al modelar explícitamente los ciclos de vida de los eventos —activando, actualizando, cerrando y consolidando eventos—, el sistema organiza un historial de video creciente en estados de presupuesto fijo y reutilizables.

Los autores enfatizan que StreamSoccer:

Soporta Narración de Multi-Alcance: Maneja con éxito la narración actual, reciente e histórica dentro de un único marco unificado, abordando la naturaleza multitemporal de la narración deportiva.
Controla la Computación de Historial Largo: A diferencia de los métodos que comprimen fotogramas o tokens indiscriminadamente, el enfoque impulsado por eventos de StreamSoccer evita la degradación computacional a medida que avanza el partido, permitiendo el procesamiento en tiempo real de partidos completos.
Provee un Marco Causal: El sistema se adhiere estrictamente a las restricciones causales, asegurando que toda la narración se genere basándose únicamente en la información disponible antes del tiempo de emisión, un requisito que a menudo se pasa por alto en los enfoques de tipo offline o basados en clips predefinidos.

El artículo concluye que, si bien el sistema depende de una programación asistida por reglas y límites de eventos deterministas, la arquitectura de memoria de eventos propuesta ofrece una solución robusta para los desafíos específicos de la narración deportiva en streaming en vivo.