BoxComm: Benchmarking Category-Aware Commentary Generation and Narration Rhythm in Boxing

1. O Problema

A geração automática de comentários esportivos é uma tarefa multimodal complexa que exige compreensão de vídeo, raciocínio específico do domínio e geração de linguagem natural. Embora modelos de linguagem grandes multimodais (MLLMs) tenham avançado em esportes coletivos (como futebol e basquete), esportes de combate (como o boxe) permanecem inexplorados devido a desafios únicos:

• Alta Dinâmica e Subtileza Visual: Ações críticas ocorrem em milissegundos (ex: um soco dura ~300ms) e as diferenças visuais entre tipos de golpes são sutis, mas semanticamente decisivas.
• Estrutura de Comentário Distinta: Diferente dos esportes coletivos, onde o "play-by-play" (descrição de ação imediata) domina, os esportes de combate exigem uma proporção muito maior de análise tática (estratégia, leitura do oponente, controle de distância).
• Ritmo de Narração: A temporização e a distribuição dos tipos de comentários ao longo do tempo são cruciais, mas não foram abordadas em benchmarks anteriores.

2. Metodologia e Contribuições Principais

O artigo apresenta o BoxComm, o primeiro benchmark de grande escala para geração de comentários em boxe, composto por três pilares principais:

A. O Dataset BoxComm

• Escala: Coletado a partir de 445 partidas do Campeonato Mundial de Boxe de 2025.
• Anotações: Contém mais de 52.000 frases de comentários extraídos de transmissões profissionais.
• Taxonomia Estruturada: Cada frase é alinhada temporalmente ao vídeo e categorizada em três tipos:
  1. Play-by-Play (PbP): Descrição imediata de ações visíveis (ex: "Jab!", "Golpe no corpo").
  2. Tática (Tac): Análise de estratégia, intenção, momentum e ajustes (ex: "Ele está controlando a distância").
  3. Contextual (Ctx): Informações de fundo, histórico, estatísticas e transições.
• Detecção de Eventos: O dataset inclui 260.000 eventos de socos extraídos com granularidade fina (tempo, tipo, alvo, eficácia), capturando ações de 0,3 a 0,5 segundos.

B. Protocolos de Avaliação

Os autores propõem duas métricas complementares para avaliar a competência dos modelos:

1. Geração Condicionada à Categoria: O modelo recebe um segmento de vídeo, histórico de comentários e uma categoria alvo (PbP, Tática ou Contextual). O objetivo é gerar uma frase que seja semanticamente precisa e adequadamente classificada.
   • Métricas: BERTScore (similaridade semântica) e Precisão de Consistência de Conteúdo (avaliada por um LLM).
2. Avaliação do Ritmo de Narração: O modelo gera comentários continuamente em um modo de "streaming" sem restrições de categoria.
   • Métricas:
     • t-IoU (Temporal Intersection-over-Union): Mede o alinhamento temporal entre as janelas de fala geradas e as anotadas por humanos.
     • Divergência KL: Mede quão bem o modelo replica a distribuição temporal dos tipos de comentários (ritmo humano).

C. Método Proposto: EIC-Gen

Para superar as limitações dos MLLMs em perceber ações rápidas, os autores propõem o EIC-Gen (Event-Informed Commentary Generation).

• Pipeline de Extração: Utiliza Detectron2, CameraHMR e rastreamento PHALP para localizar lutadores, seguido por TCN (Redes Neurais Temporais Causais) e VideoMAEv2 para detectar e classificar socos em tempo real.
• Integração: Os eventos de soco detectados são convertidos em templates de texto estruturado (ex: [14.5s] vermelho, gancho esquerdo, impacto no torso) e concatenados com o histórico de comentários antes de serem alimentados no MLLM. Isso fornece ao modelo "pistas de ação" explícitas e estruturadas.

3. Resultados Experimentais

Os experimentos foram realizados em vários MLLMs de última geração (GPT-4o-mini, LLaVA-OV, Qwen3-VL) no conjunto de teste BoxComm-Eval.

• Desempenho Zero-Shot: Os modelos atuais mostram limitações significativas. Eles têm dificuldade em descrever ações rápidas com precisão e falham em manter o ritmo adequado de narração, frequentemente colapsando em repetições ou falhando em gerar conteúdo.
• Impacto do EIC-Gen:
  • A adição de eventos de soco estruturados (V+E) melhorou consistentemente a precisão factual (Acc) e a coerência semântica.
  • O modelo Qwen3-VL-8B, após ajuste fino (fine-tuning) no BoxComm e com a injeção de eventos, alcançou 34,0% de precisão em raciocínio tático, uma melhoria substancial em relação à entrada apenas de vídeo.
• Avaliação de Ritmo: Os modelos de streaming (LiveCC, StreamingVLM) apresentaram desempenho muito baixo em t-IoU e alta Divergência KL, indicando que não conseguem capturar o ritmo dinâmico e a alternância correta entre tipos de comentários (PbP vs. Tática) ao longo da luta.

4. Significado e Conclusão

O trabalho BoxComm preenche uma lacuna crítica na pesquisa de IA para esportes, demonstrando que:

1. A percepção de eventos rápidos é fundamental: Para esportes de combate, a visão computacional pura não é suficiente; a integração de detectores de eventos especializados (como detecção de socos) é essencial para evitar alucinações e melhorar o raciocínio tático.
2. O ritmo importa: A competência em narração esportiva não é apenas sobre o que dizer, mas quando dizer e em que proporção (distribuição de categorias).
3. Novo Padrão de Benchmark: O BoxComm estabelece o primeiro padrão para avaliação de geração de comentários em esportes de combate, oferecendo dados e métricas que forçam os modelos a lidar com a alta dinâmica e a nuance tática desses esportes.

Em suma, o artigo conclui que, embora os MLLMs tenham potencial, eles precisam de arquiteturas híbridas que integrem percepção de eventos de alta frequência e raciocínio específico de domínio para atingir o nível de narração profissional em esportes de combate.