Resumo Técnico: Além da Câmera Única: Raciocínio Multi-Visão Agêntico na Compreensão de Vídeos Esportivos

1. Definição do Problema

A compreensão de vídeos esportivos apresenta desafios únicos para Modelos de Linguagem de Grande Escala Multimodais (MLLMs) que não são adequadamente abordados pelos benchmarks existentes. Embora os atuais MLLMs tenham um bom desempenho em tarefas de vídeo de visão única, os cenários esportivos envolvem oclusões densas, movimentos rápidos e interações complexas entre jogadores que frequentemente tornam um único ângulo de câmera insuficiente ou enganoso. Na arbitragem do mundo real, os árbitros dependem de múltiplos ângulos de câmera assíncronos para resolver ambiguidades (por exemplo, determinar se ocorreu uma falta ou se um jogador estava fora de campo). No entanto, os benchmarks existentes (por exemplo, SoccerNet, Sports-QA) tipicamente fornecem apenas entradas de visão única, falhando em avaliar a capacidade de um MLLM de raciocinar através de múltiplas perspectivas.

O problema central abordado é a Compreensão de Vídeo Esportivo Multi-Visão: dado um conjunto de $N$ vídeos ($V = \{V_1, ..., V_N\}$) capturando o mesmo evento de diferentes pontos de vista, potencialmente dessincronizados, e uma pergunta em linguagem natural $q$, o modelo deve agregar evidências através das visões para inferir a resposta corre a $a$.

2. Metodologia

2.1. SportMV-Bench: Um Novo Benchmark

Para abordar a falta de avaliação multi-visão, os autores introduzem o SportMV-Bench, construído a partir de gravações oficiais de partidas de basquete e futebol.

• Pipeline de Construção de Dados: O conjunto de dados é construído através de um processo de quatro estágios para garantir qualidade e verificabilidade:
  1. Coleta de Dados: Vídeos e relatórios oficiais de árbitros são obtidos de plataformas públicas (arquivo de replay da NBA, SoccerNet). Clipe de multi-visão são segmentados usando detecção de cena para capturar a mesma ação de diferentes ângulos.
  2. Proposta de QA Baseada em LLM: Um LLM gera perguntas de múltipla escolha estritamente fundamentadas nos relatórios dos árbitros, garantendo que a "resposta de ouro" seja factual e que os distratores sejam semanticamente semelhantes, porém incorretos.
  3. Verificação Multimodal: Um MLLM forte (GPT-5) atua como auditor para verificar a consistência entre o par de QA, o relatório do árbitro e a evidência visual, filtrando alucinações ou perguntas baseadas apenas em senso comum.
  4. Filtragem Humana: Especialistas em anotação refinam o conjunto de dados para remover questões ambíguas ou mal formuladas.
• Estatísticas: O benchmark final contém 787 bundles de vídeo multi-visão (2–4 visões cada) e 2.592 pares de QA.
• Categorias de Tarefas: As perguntas são categorizadas em três níveis de raciocínio:
  • Reconhecimento Consciente de Percepção (PAR): Identificação de ação de baixo nível (ex: tackle, bloqueio) sob oclusão.
  • Interpretação Consciente de Eventos de Regra (REI): Raciocínio de nível médio que requer a localização de eventos baseada em regras.
  • Raciocínio de Decisão Adjudicativa (ADR): Inferência normativa de alto nível para determinar sanções (ex: pênalti vs. falta direta) através da síntese de evidências de múltiplas visões.

2.2. Análise de Baseline e Descobertas

Os autores avaliaram MLLMs de última geração (incluindo GPT-4.1, Qwen3-VL, entre outros) usando um baseline padrão onde todas as visões são concatenadas em uma única entrada.

• Principais Descobertas:
  • Quantidade de Visão $\neq$ Qualidade: Fornecer todas as visões conjuntamente rendeu apenas ganhos marginais sobre uma visão única aleatória e teve um desempenho significativamente inferior ao fornecer a "melhor" visão única. Visões redundantes ou ocluídas introduzem ruído.
  • A Percepção é o Gargalo: Fornecer rótulos de percepção detalhados de verdade fundamental (ação/contato) melhorou a precisão em ~16,5%, enquanto o raciocínio de Cadeia de Pensamento (CoT) e conhecimento de domínio adicional forneceram ganhos negligenciáveis ou negativos.
  • Conclusão: O principal modo de falha dos atuais MLLMs não é o raciocínio lógico ou a falta de conhecimento de domínio, mas a incapacidade de selecionar autonomamente visões informativas e realizar uma percepção visual detalhada.

2.3. SportMV-Agent: Um Framework Agêntico

Motivados pela análise, os autores propõem o SportMV-Agent, um framework agêntico que substitui o processamento passivo por um loop de raciocínio iterativo e ativo.

• Arquitetura: O sistema consiste em um Orquestrador (um MLLM forte) e um conjunto de Ferramentas de Percepção.
• Loop Iterativo:
  1. Manutenção de Estado: O orquestrador mantém um estado contendo a pergunta, as visões atualmente ativas e a evidência acumulada.
  2. Tomada de Decisão: Em cada etapa, o orquestrador gera um pensamento e uma operação.
  3. Seleção Ativa de Visão: Se a visão atual estiver ocluída ou carecer de detalhes, o agente aciona uma operação VIEWSELECT para alternar para um ângulo mais informativo.
  4. Execução de Ferramenta: O agente pode acionar TOOLEXEC para invocar ferramentas de percepção especializadas (Reconhecimento de Ação, Detecção de Contato, Detecção de Parte de Contato) em visões específicas para extrair evidências detalhadas.
  5. Terminação: O loop continua até que o orquestrador atinja confiança suficiente para emitir uma resposta final.

3. Resultados Principais

• Desempenho: O SportMV-Agent alcançou uma precisão geral de 68,31% no SportMV-Bench, representando uma melhoria relativa de 14,46% sobre o baseline mais forte (GPT-4.1 com 59,68%).
• Estudos de Ablação:
  • Força do Orquestrador: Usar um orquestrador mais fraco (GPT-4o) reduziu o desempenho em ~8,6%, destacando a necessidade de capacidades de raciocínio fortes.
  • Seleção Ativa de Visão: Desativar o módulo de troca de visão reduziu o desempenho em ~7,3%, confirmando que a seleção dinâmica de visão é crítica.
  • Robustez da Ferramenta: O framework é robusto ao modelo de percepção específico utilizado; substituir a ferramenta por um modelo mais forte rendeu apenas ganhos marginais, sugerindo que a estratégia de orçamentação é o principal motor do sucesso.
  • Tratamento de Ruído: Fornecer o top-3 previsões da ferramenta em vez do top-1 melhorou a robustez, indicando que o orquestrador pode filtrar o ruído de recuperação.

4. Significância e Alegações

O artigo afirma que o SportMV-Bench é o primeiro benchmark a avaliar MLLMs na compreensão de vídeo esportivo multi-visão, preenchendo uma lacuna crítica entre tarefas sintéticas de visão única e cenários de arbitragem do mundo real.

Os autores afirmam que seu trabalho demonstra:

1. Limitações dos MLLMs Atuais: Modelos padrão falham em explorar efetivamente as evidências de multi-visão porque carecem de mecanismos para seleção ativa de visão e são sensíveis a erros de percepção.
2. O Papel da Percepção: A percepção visual detalhada é o gargalo decisivo no raciocínio esportivo, mais do que o raciocínio lógico ou o conhecimento de domínio.
3. Solução Agêntica: Um framework agêntico que orquestra a seleção ativa de visão e a coleta de evidências baseada em ferramentas supera significativamente as abordagens passivas de passagem única.

O artigo conclui que os avanços futuros na compreensão de vídeo esportivo exigem ir além de entradas estáticas de visão única em direção a sistemas de raciocínio dinâmicos e fundamentados em evidências, capazes de lidar com a complexidade dos dados esportivos de múltiplas câmeras do mundo real.