RefereeBench: Are Video MLLMs Ready to be Multi-Sport Referees

1. O Problema

O artigo aborda a lacuna entre a compreensão geral de vídeo por Modelos de Linguagem Multimodal (MLLMs) e a capacidade de tomar decisões especializadas baseadas em regras em cenários do mundo real. Embora os MLLMs atuais sejam proficientes em tarefas genéricas de visão computacional, sua aplicação como árbitros automáticos de esportes permanece inexplorada e desafiadora.

• Desafio Específico: A arbitragem esportiva exige mais do que apenas reconhecimento de ações; exige a determinação de violações, identificação de entidades envolvidas, localização temporal precisa do evento decisivo, distinção entre eventos visualmente similares mas legalmente distintos e a aplicação de regras específicas de cada esporte.
• Limitação Atual: Benchmarks existentes focam principalmente em detecção de ações, comentários ou entendimento geral de esportes, mas não avaliam sistematicamente a capacidade de um modelo de atuar como um árbitro confiável em múltiplos esportes com diferentes sistemas de regras e lógicas de sanção.

2. Metodologia: RefereeBench

Os autores introduzem o RefereeBench, o primeiro benchmark em larga escala dedicado à avaliação de MLLMs como árbitros automáticos em múltiplos esportes.

• Construção de Dados:

  • Escala: O conjunto de dados cobre 11 esportes distintos (futebol, basquete, vôlei, tênis, hóquei no gelo, etc.).
  • Conteúdo: Contém 925 vídeos curados de partidas reais e 6.475 pares de perguntas e respostas (QA) de múltipla escolha.
  • Anotação: Todo o conjunto é anotado manualmente por cerca de 30 árbitros nacionais certificados, garantindo alta qualidade e alinhamento com a lógica real de arbitragem.
  • Multimodalidade: Os dados incluem pistas visuais, áudio (comentários e sons do jogo) e múltiplas perspectivas (replays), refletindo cenários reais de arbitragem.

• Dimensões de Avaliação: O benchmark avalia cinco capacidades centrais através de sete tipos de perguntas:

  1. Existência de Falta: Identificar se houve ou não uma violação.
  2. Classificação: Reconhecer o tipo de falta e o tipo de penalidade.
  3. Raciocínio: Explicar a lógica por trás da decisão (falta e penalidade).
  4. Percepção de Entidades: Identificar os jogadores envolvidos.
  5. Ancoragem Temporal (Temporal Grounding): Localizar com precisão o momento exato da infração.

• Controle de Qualidade: Inclui verificação cruzada entre especialistas, revisão de pares para as perguntas e testes para garantir que as respostas não possam ser deduzidas apenas pelo texto (exigindo evidência visual).

3. Principais Contribuições

1. RefereeBench: A criação do primeiro benchmark de larga escala para arbitragem esportiva automática multi-esporte, permitindo uma avaliação sistemática além de esportes únicos (como o futebol).
2. Conjunto de Dados de Alta Qualidade: Um dataset multimodal anotado por especialistas, cobrindo 11 esportes e capturando evidências realistas como áudio, replays e anotações temporais.
3. Avaliação Abrangente e Análise: Uma avaliação extensiva de modelos proprietários e open-source, revelando limitações críticas em raciocínio, ancoragem temporal e robustez, e destacando o fosso entre percepção e decisão confiável.

4. Resultados Experimentais

Os autores avaliaram diversos MLLMs de ponta (incluindo GPT-5, Gemini-3, Claude, Doubao-Seed e modelos open-source como Qwen3-VL e VideoLLaMA3).

• Desempenho Geral: Mesmo os modelos mais fortes falham em se tornar árbitros confiáveis.
  • Os melhores modelos proprietários (Doubao-Seed-1.8 e Gemini-3) atingem apenas cerca de 60-61% de precisão geral.
  • O melhor modelo open-source (Qwen3-VL) alcança apenas 47%.
• Análise por Capacidade:
  • Pontos Fortes: Os modelos têm desempenho razoável na detecção de existência de faltas e percepção de entidades (identificar quem está jogando).
  • Pontos Fracos Críticos: Há um desempenho significativamente baixo em Raciocínio (aplicar regras) e Ancoragem Temporal (localizar o momento exato). Os modelos frequentemente falham em distinguir ações legais de faltas reais.
• Vulnerabilidades:
  • Viés de Sugestão: Os modelos tendem a "super-interpretar" (over-call) faltas, especialmente quando as perguntas são formuladas de maneira sugestiva.
  • Dependência de Áudio: A adição de áudio melhora drasticamente o desempenho (ex: +16% no Gemini-3-Flash), indicando que pistas acústicas são cruciais para a tomada de decisão.
  • Conhecimento de Regras: Em testes de texto puro (sem vídeo), os modelos mostram conhecimento incompleto de regras, sugerindo que a limitação não é apenas multimodal, mas também de domínio.
• Aumento de Regras (RAG): Tentativas de usar RAG (Retrieval-Augmented Generation) para buscar regras externas não melhoraram consistentemente o desempenho, indicando que o problema principal é a integração correta da evidência visual com a regra, e não apenas a falta de acesso à regra.

5. Significado e Conclusão

O artigo conclui que os MLLMs atuais não estão prontos para atuar como árbitros esportivos multi-esporte confiáveis. Embora possuam competências perceptivas básicas, eles lutam para aplicar regras específicas de esportes a cenários de jogo concretos e são altamente vulneráveis a vieses sugestivos.

• Impacto Futuro: O RefereeBench serve como um teste rigoroso para a comunidade de IA, destacando a necessidade de desenvolver modelos que integrem melhor conhecimento de domínio e compreensão multimodal para criar assistentes de IA confiáveis e baseados em regras em ambientes de alto risco.
• Direções Futuras: Os autores sugerem que avanços futuros devem focar em treinamento baseado em raciocínio (Chain-of-Thought visual), calibração de decisão para evitar falsos positivos e pipelines de agentes que decomponham a tarefa em etapas (detecção, geração de candidatos, verificação de regras).

Em suma, o trabalho estabelece um novo padrão para avaliar a inteligência artificial em tarefas de decisão crítica e especializada, demonstrando que a distância entre "ver" o vídeo e "entender" a regra para julgar corretamente ainda é grande.