TennisExpert: Towards Expert-Level Analytical Sports Video Understanding

Título: TennisExpert: Rumo à Compreensão de Vídeo Esportivo de Nível Especialista com Análise Analítica

1. O Problema

O tênis é um dos esportes mais seguidos globalmente, gerando uma vasta quantidade de dados visuais com potencial para análise profissional, coaching automatizado e comentários em tempo real. No entanto, a compreensão automática de vídeos de tênis permanece subexplorada devido a dois desafios fundamentais:

• Falta de Benchmarks de Alta Qualidade: Os conjuntos de dados existentes são limitados em escala, diversidade e qualidade de anotação. A maioria foca em descrições literais de ações imediatas (ex: "o jogador bateu na bola") e carece de anotações de nível especialista, como raciocínio tático, decisões dos jogadores e análise de momentum da partida.
• Dificuldade Técnica em Sistemas Multimodais: O tênis é um esporte de alta velocidade (bolas > 200 km/h) que exige percepção temporal fina e raciocínio contextual de longo prazo. Criar sistemas que sejam simultaneamente precisos (para capturar eventos rápidos) e eficientes (para implantação em tempo real) é tecnicamente desafiador. Sistemas que processam vídeos brutos diretamente tendem a ser computacionalmente caros e perdem detalhes finos.

2. Metodologia

Os autores propõem uma solução composta por dois pilares principais: um novo benchmark de dados e um novo framework de modelo.

A. TennisVL (O Dataset)

• Escala: O maior benchmark de tênis já criado, contendo 202 partidas profissionais (471,9 horas de vídeo) segmentadas em 40.523 clipes no nível de "rally" (troca de bolas).
• Anotação Analítica: Diferente de datasets anteriores focados em narração descritiva, o TennisVL enfatiza comentários analíticos de especialistas. As anotações capturam intenção tática, momentum da partida e avaliação de desempenho.
• Pipeline de Construção:
  • Segmentação automática de rallies baseada em áudio (detecção de impactos de raquete).
  • Pipeline de fusão multimodal para gerar legendas: transcrição de áudio (WhisperX) + descrições estruturadas de tiros (TennisAbstract) + síntese por LLM (Gemini 3 Pro) atuando como analista.
  • Verificação rigorosa em duas etapas (sanidade automática e revisão por especialistas humanos) para garantir precisão factual e terminologia correta.

B. TennisExpert (O Framework)
O modelo é projetado para gerar comentários analíticos em tempo real, integrando três componentes:

1. Parser Semântico de Vídeo: Extrai metadados estruturados do vídeo bruto em tempo real, incluindo:
   • Estado do placar (sets, jogos, pontos, sacador).
   • Sequência de eventos finos (tipos de golpes, direção, bounces da bola).
   • Detecção de objetos (posições dos jogadores e da bola projetadas em coordenadas reais da quadra).
2. Mecanismo de Memória Hierárquica:
   • Memória de Curto Prazo (S): Um buffer FIFO (First-In-First-Out) que armazena os últimos K rallies (padrão K=4) para capturar momentum imediato e continuidade.
   • Memória de Longo Prazo (L): Um estado estruturado persistente que consolida estatísticas cumulativas da partida (ex: aces, erros não forçados, porcentagem de primeira bola) para fornecer contexto histórico.
3. Modelo Multimodal (Backbone): Utiliza o Qwen3-VL-8B como base. O modelo recebe tokens visuais do rally atual, tokens textuais dos metadados estruturados e o contexto das memórias (curta e longa) para gerar o comentário analítico.

3. Contribuições Principais

1. TennisVL: A criação do maior e mais rico benchmark de vídeo de tênis, com anotações de nível especialista focadas em análise tática e não apenas em descrição visual.
2. TennisExpert: Um framework inovador que desacopla a extração de características visuais finas (via parser) do raciocínio de alto nível (via LLM), utilizando uma arquitetura de memória hierárquica para manter o contexto da partida sem sobrecarregar o modelo com vídeos brutos.
3. Desempenho Superior: Demonstração de que uma abordagem estruturada e eficiente supera modelos proprietários massivos e modelos de código aberto em tarefas de compreensão esportiva especializada.

4. Resultados

Os experimentos compararam o TennisExpert contra modelos de ponta (Open-Source como InternVL, Qwen3-VL e Proprietários como GPT-5, Gemini, Claude).

• Métricas Quantitativas:
  • O TennisExpert superou significativamente todos os baselines.
  • CIDEr: 43,71 (vs. 10,11 do melhor baseline zero-shot).
  • Avaliação Baseada em LLM (Total): 88,05 pontos (vs. 59,89 do Gemini-3-Pro).
  • O modelo liderou em todas as subcategorias: Precisão (Accuracy), Coerência, Emoção, Profissionalismo (uso de terminologia tática) e Ritmo (Pacing).
• Eficiência Computacional:
  • Ao contrário de modelos que processam vídeo bruto (complexidade O(T) e alto uso de VRAM), o TennisExpert usa representações estruturadas (complexidade O(1) em tokens).
  • Latência: < 2 segundos por rally.
  • Uso de VRAM: ~20 GB (viável para GPUs modernas), permitindo implantação em tempo real.
• Análise Qualitativa: O modelo demonstrou capacidade de descrever a construção de pontos, reconhecer contextos críticos de pontuação e usar terminologia profissional (ex: "inside-out forehand", "dictating geometry"), alinhando-se com anotações de especialistas humanos.

5. Significado e Impacto

Este trabalho representa um avanço significativo na compreensão de vídeos esportivos ao demonstrar que a combinação de extração de metadados estruturados com memória hierárquica é superior ao processamento direto de vídeo bruto para tarefas analíticas complexas.

• Para a Pesquisa: Estabelece um novo padrão para benchmarks de esportes, movendo o foco da descrição para a análise tática.
• Para a Indústria: Oferece um caminho viável para sistemas de coaching automatizado, análise tática em tempo real para transmissões esportivas e geração de conteúdo para fãs, operando dentro das restrições de latência e hardware de transmissões ao vivo.
• Acesso: O dataset e o código foram disponibilizados publicamente, fomentando futuras pesquisas em compreensão de vídeo esportivo de alta precisão.