Resumo Técnico: StreamSoccer

Declaração do Problema

A compreensão de vídeo em streaming exige que os modelos atualizem causalmente seu estado interno à medida que o vídeo chega, organizando um histórico crescente em unidades semânticas que podem evoluir, persistir e ser recuperadas sob computação e memória limitadas. Este desafio é particularmente agudo na narração de futebol ao vivo. Diferente da legendagem de vídeo offline ou de métodos que dependem de clipes predefinidos, um sistema de streaming deve compreender continuamente um processo de jogo em evolução e gerar narrações em momentos apropriados sem acesso a informações futuras.

As abordagens existentes enfrentam duas limitações primárias neste domínio:

1. Modelos de Vídeo-Linguagem de Streaming Generalistas: Sistemas como StreamingVLM ou TimeChat-Online normalmente organizam o histórico em torno de frames, tokens visuais ou caches de chave-valor. Embora eficientes, eles frequentemente tratam o processo semântico em evolução como uma sequência de tokens agnósticos, em vez de manter uma unidade de estado contínua que deve ser fechada ao completar-se e reutilizada posteriormente.
2. Métodos Específicos para Futebol: Modelos de narração de futebol existentes (ex: SoccerNet-Caption, MatchTime) geralmente dependem de clipes de vídeo predefinidos, timestamps de saída fornecidos ou entradas de vídeo completo offline. Eles não suportam inerentemente o ciclo de vida orientado a eventos e causal exigido para o streaming em tempo real, onde o sistema deve decidir quando falar (ou permanecer em silêncio) baseando-se apenas na informação disponível até aquele momento.

O problema central é identificar uma representação intermediária que possa absorver novas observações conforme um evento se desenvolve, comprimir um processo de duração variável em um orçamento de estado fixo, formar uma memória estável e reutilizável após a conclusão e suportar tanto a retenção recente quanto a recuperação histórica.

Metodologia: StreamSoccer

Os autores propõem o StreamSoccer, um sistema orientado a eventos que utiliza a memória de evento como sua representação intermediária. O sistema transforma um histórico de vídeo crescente em estados de orçamento fixo com papéis semânticos explícitos através de um ciclo de vida de ativar–atualizar–fechar–consolidar–recuperar.

1. Arquitetura do Sistema

• Codificador de Memória de Evento de Streaming:

  • Processamento de Entrada: Clipes de vídeo de entrada são codificados em tokens visuais por um codificador Qwen3-VL congelado e comprimidos em um número fixo de tokens de evento de clipe ($E_t$) via um Adaptador de Evento de Clipe treinável.
  • Atualização de Estado: Um módulo de Atualização de Evento Online compara os tokens recebidos com a memória ativa anterior ($M_{t-1}$). Usando um mecanismo de integração de portão (gated), ele atualiza o estado em curso para absorver informações incrementais. O estado mantém um orçamento de tokens fixo ($K_m$), independentemente do número de clipes abrangidos.
  • Fechamento de Evento: O sistema determina quando um evento termina via dois mecanismos: um indicador de transição operacional previsto ($b_t$) aprendido por um cabeçalho de transição, e uma salvaguarda de duração determinística ($\rho_t$) que fecha um evento se este exceder uma duração máxima ($D_{max} = 24s$).
  • Consolidação de Memória: Quando um evento fecha, o estado ativo torna-se uma memória de evento completado ($M^c_j$) imutável. Esta memória entra imediatamente em um Buffer de Eventos Recentes ($B_t$) para contexto de curto prazo. Simultaneamente, um ramo de registro converte $M^c_j$ em um Registro de Evento Histórico textual ($R_j$) via um projetor memória-para-linguagem e um modelo de linguagem. Estes registros são armazenados em uma lista recuperável ($L_t$) para contexto de longo prazo.

• Gerador de Narração de Múltiplos Contextos:

  • Um gerador unificado produz narrações para três trilhas distintas usando o mesmo backbone de modelo de linguagem (com adaptação LoRA), mas com diferentes configurações de contexto:
    1. Narração do evento atual: Utiliza a memória de evento recém-fechada ($M^c_j$).
    2. Narração de janela recente: Concatena a memória de evento ativa ($M_t$) com memórias de eventos completados locais selecionados do buffer.
    3. Narração de memória histórica: Combina o contexto latente atual/recente com registros textuais recuperados ($R_t$) da lista histórica.
  • O gerador projeta estes contextos em um prefixo suave ($Z_t$) para guiar o modelo de linguagem.

• Agendador Assistido por Regras:

  • Um agendador determinístico seleciona o modo de narração (evento atual, recente, histórico ou silêncio) com base em regras fixas, cooldowns e prioridades. Ele não aprende decisões de fala, mas garante que o sistema adira às restrições causais e lógica operacional (ex: exigir um evento saliente para o modo de evento atual).

2. Formulação da Tarefa e Dados

Os autores definem a narração de futebol em streaming como uma tarefa de geração restrita pela visibilidade temporal. Eles construíram um dataset de três trilhas a partir de anotações de ação do SoccerNet e comentários do MatchTime:

• Evento atual: Descreve um evento recém-concluído.
• Janela recente: Resume múltiplos eventos recentes visíveis antes do corte.
• Memória histórica: Conecta o jogo atual com informações anteriores da partida.
  O dataset garante validade causal estrita com cortes de observação explícitos e divisões disjuntas de partidas para evitar vazamento de dados futuros (future leakage).

3. Treinamento

O StreamSoccer emprega um processo de treinamento de três estáções:

1. Estágio 1: Treina o Codificador de Memória de Evento de Streaming para reconhecimento de ação, previsão de transição operacional e classificação de tipo de evento.
2. Estágio 2: Treina o projetor memória-para-linguagem para gerar legendas de registro de evento a partir de memórias completadas.
3. Estágio 3: Otimiza o gerador de narração de múltiplos contextos em todas as três trilhas, incorporando perdas auxiliares para seleção de contexto de memória e ranking de recuperação.

Principais Resultados

O sistema foi avaliado em 58 partidas (174 execuções de vídeo bruto) com foco na qualidade da narração em âncoras causais comuns e eficiência de histórico longo.

• Qualidade da Narração: Em âncoras de saída causais compartilhadas, o StreamSoccer alcançou os maiores escores CIDEr reportados nas trilhas de evento atual (38.62) e memória histórica (17.39), ficando em segundo lugar na trilha de janela recente (23.96) atrás do UniSoccer. Também ficou em primeiro lugar na trilha de memória histórica para BERTScore-F1.
• Eficiência e Escala: O StreamSoccer manteve um Fator de Tempo Real (RTF) no percentil 95 de aproximadamente 0.10–0.22 durante uma partida de 90 minutos. Crucialmente, esta eficiência permaneceu estável sem crescimento sustentado conforme o histórico da partida aumentava, ao contrário dos modelos de linha de base (ex: VideoLLM-online) cujos custos cresciam com o comprimento do contexto ou atingiam limites de contexto.
• Validação da Memória de Evento: Estudos de ablação confirmaram que a memória de evento recorrente superou tanto o agrupamento de eventos operacionais quanto o agrupamento de tempo fixo para a geração de legendas subsequente. Além disso, adicionar memória de evento local e registros históricos melhorou progressivamente o desempenho em todas as três trilhas, com a configuração completa yielding os melhores resultados.
• Análise Qualitativa: Estudos de caso demonstraram que o StreamSoccer conecta com sucesso a pressão contínua com eventos de bola parada anteriores, enquanto os modelos de linha de base frequentemente produzem afirmações repetitivas, timestamps inconsistentes ou falham em organizar o jogo.

Significância e Alegações

O artigo afirma que a memória de evento serve como uma representação intermediária eficaz para a narração de futebol em streaming. Ao modelar explicitamente os ciclos de vida dos eventos — ativando, atualizando, fechando e consolidando eventos — o sistema organiza um histórico de vídeo crescente em estados de orçamento fixo e reutilizáveis.

Os autores enfatem que o StreamSoccer:

1. Suporta Narração de Múltiplos Escopos: Ele lida com sucesso com narrações atuais, recentes e históricas dentro de um único framework unificado, abordando a natureza multitemporal da narração esportiva.
2. Controla a Computação de Histórico Longo: Ao contrário de métodos que comprimem frames ou tokens indiscriminadamente, a abordagem orientada a eventos do StreamSoccer evita a degradação computacional conforme a partida progride, permitindo o processamento em tempo real de partidas completas.
3. Fornece um Framework Causal: O sistema adere estritamente às restrições causais, garantindo que toda a narração seja gerada baseando-se apenas na informação disponível antes do tempo de emissão, um requisito frequentemente negligenciado por abordagens offline ou baseadas em clipes predefinidos.

O artigo conclui que, embora o sistema dependa de agendamento assistido por regras e fronteiras de eventos determinísticas, a arquitetura de memória de evento proposta oferece uma solução robusta para os desafios específicos da narração esportiva em streaming ao vivo.