AI Driven Soccer Analysis Using Computer Vision

Este artigo propõe um sistema de análise de futebol baseado em visão computacional que combina detecção de objetos, segmentação com SAM2 e transformações de homografia para converter dados visuais em coordenadas reais do campo, permitindo a geração de métricas táticas detalhadas como velocidade, distância percorrida e mapas de calor para otimizar o desempenho das equipes.

O essencial

Imagine que você é um treinador de futebol. Antigamente, para entender como sua equipe jogava, você tinha que sentar horas na frente de uma TV, assistindo ao jogo repetidamente, anotando manualmente onde cada jogador estava e quantos metros eles correram. Era como tentar adivinhar o clima olhando apenas para uma nuvem: possível, mas cheio de erros e muito trabalhoso.

Os autores deste artigo, um grupo de estudantes de engenharia, criaram uma "máquina mágica" de inteligência artificial que faz esse trabalho pesado por você, transformando um vídeo comum de um jogo em um mapa tático digital, tudo automaticamente.

Aqui está como eles fizeram isso, explicado de forma simples:

1. O Problema: A Câmera não é um Olho Humano

O vídeo que a câmera grava é distorcido. Se a câmera está no alto e de lado, o campo parece um trapézio, não um retângulo. Além disso, a câmera se move, dá zoom e a luz do sol pode criar sombras. Para saber a velocidade real de um jogador ou quantos metros ele correu, o computador precisa "desentortar" o vídeo e transformá-lo em uma visão de "pássaro" (vista de cima), como se fosse um mapa 2D.

2. A Solução: Uma Equipe de Especialistas Digitais

O sistema deles funciona como uma equipe de três especialistas trabalhando juntos:

• O "Detetive" (Detecção de Jogadores):
  Primeiro, o sistema precisa saber onde estão os jogadores. Eles testaram vários "detetives" de IA (chamados YOLO e Faster R-CNN). O vencedor foi o YOLOv5, que é como um detetive muito rápido que consegue apontar onde cada jogador está no primeiro quadro do vídeo.

  • A mágica: Uma vez que o detetive aponta o jogador, o sistema usa uma ferramenta chamada SAM2 (que é como um "lápis mágico" de recorte). O SAM2 não apenas aponta, ele "recorta" o jogador do fundo e o segue frame a frame, mesmo que ele seja coberto por outro jogador ou saia da câmera. É como se o sistema tivesse uma memória visual que não esquece quem é quem.

• O "Cartógrafo" (Pontos de Referência):
  Para transformar o vídeo distorcido em um mapa real, o sistema precisa de pontos de referência, como o centro do campo ou as grandes áreas. Eles treinaram uma pequena IA (uma Rede Neural) para encontrar essas linhas e cruzamentos no vídeo, mesmo que esteja chovendo ou com muita luz.

  • A analogia: Imagine que você tem um mapa de papel e uma foto distorcida de um lugar. Se você marcar 4 pontos iguais na foto e no mapa (como os cantos do campo), você pode "esticar" a foto até que ela se encaixe perfeitamente no mapa. O sistema faz isso matematicamente usando algo chamado Homografia.

• O "Juiz de Cores" (Identificação de Times):
  Como saber quem é de qual time sem ter os uniformes perfeitamente visíveis? O sistema olha para a cor da camisa de cada jogador dentro da caixa de detecção e agrupa as cores. Se a maioria das camisas é azul, eles são o time azul; se é vermelha, são o time vermelho. É como separar uma pilha de roupas sujas por cor automaticamente.

3. O Resultado: Do Vídeo ao Mapa de Calor

Quando tudo isso se junta, o sistema pega o vídeo bruto e gera:

• Um mapa 2D em tempo real mostrando onde cada jogador está.
• Estatísticas reais: "O jogador X correu 10km", "O time Y ficou 80% do tempo no lado direito do campo".
• Mapas de calor: Mostrando onde a equipe mais se moveu.

Por que isso é importante?

Antes, apenas times profissionais com milhões de dólares podiam ter sensores nos jogadores para obter esses dados. Este sistema é gratuito e acessível. Ele pega apenas um vídeo de uma câmera comum (como a de um estádio universitário) e extrai dados que antes eram impossíveis de obter.

É como dar a um time de bairro a mesma tecnologia de análise que o Real Madrid ou o Flamengo usam, permitindo que qualquer treinador entenda melhor o jogo, ajuste estratégias e melhore o desempenho dos atletas, tudo baseado em dados reais e não apenas em "achismos".

Em resumo: Eles ensinaram um computador a "ver" o jogo como um treinador experiente vê no seu quadro tático, transformando pixels em inteligência jogável.

Resumo técnico

Título: Análise de Futebol Impulsionada por IA Usando Visão Computacional

Autores: Adrian Manchado, Tanner Cellio, Jonathan Keane, Yiyang Wang (Milwaukee School of Engineering - MSOE)

---

1. Problema e Motivação

A análise esportiva é fundamental para otimizar o desempenho de equipes e estratégias de treinamento. Enquanto times profissionais investem em sensores caros e tecnologias de rastreamento, equipes com recursos limitados dependem apenas de vídeos de câmeras. O desafio principal é extrair estatísticas precisas (como velocidade, distância percorrida e posicionamento tático) a partir de dados de vídeo brutos e não rotulados.

O problema específico abordado neste trabalho é a conversão de coordenadas de uma perspectiva de câmera (2D/3D distorcida) para coordenadas reais no campo (2D top-down), permitindo cálculos métricos precisos sem a necessidade de hardware de rastreamento adicional.

2. Metodologia

O sistema proposto é um pipeline de visão computacional que integra detecção de objetos, segmentação, classificação de times e registro de campo (homografia). O fluxo de trabalho divide-se em quatro componentes principais:

A. Detecção e Rastreamento de Jogadores

• Abordagem Híbrida: O sistema combina um modelo de detecção de objetos (YOLO ou Faster R-CNN) com o SAM2 (Segment Anything Model 2).
• Funcionamento:
  1. Um modelo de detecção (ex: YOLO) identifica jogadores no primeiro quadro e gera caixas delimitadoras (bounding boxes).
  2. Os pontos centrais dessas caixas servem como "prompts" para o SAM2.
  3. O SAM2 segmenta os jogadores e utiliza sua arquitetura de memória (streaming memory) para rastrear os jogadores ao longo do vídeo, mantendo IDs únicos mesmo em casos de oclusão, saída de quadro ou mudanças de iluminação.
• Vantagem: Diferente de métodos tradicionais como DeepSORT, que exigem detecção contínua, esta abordagem reduz o custo computacional ao usar a detecção apenas para inicialização, confiando na memória do SAM2 para o rastreamento subsequente.

B. Detecção de Pontos Chave do Campo (Keypoint Detection)

• Objetivo: Identificar marcas estruturais do campo (ex: círculo central, área de penalidade) para alinhar a perspectiva da câmera com um modelo 2D do campo.
• Modelo: Uma Rede Neural Convolucional (CNN) personalizada foi treinada em um pequeno conjunto de dados rotulados manualmente (146 quadros).
• Pré-processamento: As imagens passam por filtragem de limiarização para isolar as linhas brancas do campo e aumento de dados (flip horizontal).
• Saída: O modelo prevê a visibilidade (0 ou 1) e as coordenadas normalizadas de 12 pontos pré-definidos. Uma função de perda personalizada ignora pontos não visíveis (ocultos) durante o cálculo do erro.

C. Homografia e Mapeamento para o Mundo Real

• Transformação: Utiliza-se a matriz de homografia para mapear as coordenadas dos pontos detectados na imagem para as coordenadas reais do campo (baseadas em regras da NCAA e medidas do Google Maps).
• Algoritmo: O método Direct Linear Transformation (DLT) foi escolhido para calcular a matriz de homografia, transformando a visão da câmera em uma visão de cima (top-down).
• Aplicação: As máscaras segmentadas dos jogadores (do SAM2) são transformadas através dessa homografia, permitindo o cálculo de distâncias reais e velocidades.

D. Classificação de Times (Agrupamento)

• Método: Uma abordagem não supervisionada baseada em K-Means (k=2).
• Processo: Para cada jogador detectado, a cor média de um pequeno patch (5x5 pixels) no centro da caixa delimitadora é extraída. Os vetores de cor no espaço RGB são agrupados para distinguir os dois times, eliminando a necessidade de um classificador supervisionado complexo.

3. Resultados

Desempenho de Detecção de Jogadores

Quatro modelos foram avaliados para gerar os prompts iniciais para o SAM2: Faster R-CNN, YOLOv5x, YOLOv8x e YOLOv11x.

• Melhor Modelo: YOLOv5x foi selecionado como o ideal, alcançando o melhor equilíbrio entre precisão e recall.
  • F1-Score: 0.8451
  • Recall: 0.7995 (crítico para não perder jogadores)
  • Precisão: 0.8963
• O YOLOv5x superou o Faster R-CNN em todas as métricas principais. O sistema conseguiu identificar e rastrear 17 de 22 jogadores sem ajuste fino (fine-tuning).

Desempenho do Modelo de Pontos Chave

• Acurácia de Visibilidade: 97.18% no conjunto de teste.
• Erro Médio Absoluto (MAE) de Localização: 0.0138 em coordenadas normalizadas (aprox. 7.65 pixels), indicando alta precisão na localização dos pontos do campo.

Análise do Sistema Completo

• Erro de Projeção: Ao comparar a homografia gerada com dados reais, o erro médio de projeção foi de 0.499 metros.
• Limitações Identificadas: O sistema ainda apresenta falsos positivos (ex: confundir árbitros ou torcedores com jogadores) e falhas no agrupamento de times quando há reflexos (glare) ou sombras fortes que alteram a cor percebida dos uniformes.

4. Contribuições Chave

1. Pipeline End-to-End em Dados Não Rotulados: Demonstra a viabilidade de criar um sistema de análise tática completo utilizando apenas vídeos brutos, sem pré-processamento pesado ou grandes conjuntos de dados rotulados.
2. Integração SAM2 + Detecção Clássica: Propõe uma arquitetura eficiente que utiliza modelos de fundação (Foundation Models) como o SAM2 para rastreamento robusto, superando limitações de métodos de rastreamento tradicionais em cenários complexos.
3. Solução de Baixo Custo: Oferece uma alternativa escalável e acessível para equipes com poucos recursos, permitindo a geração de estatísticas avançadas (mapas de calor, distância percorrida, velocidade) a partir de uma única câmera.

5. Significado e Trabalhos Futuros

O trabalho abre caminho para soluções de análise esportiva mais flexíveis e democratizadas. A capacidade de derivar insights táticos de vídeos brutos permite que times universitários e amadores tenham acesso a dados que antes eram exclusivos de ligas profissionais.

Trabalhos Futuros Propostos:

• Re-identificação (Re-ID): Melhorar o rastreamento de jogadores que saem e reentram no quadro, mantendo suas atributos (time, localização de saída) para evitar perda de identidade.
• Generalização do Modelo: Coletar dados de diferentes campos e ângulos de câmera para evitar overfitting ao campo da MSOE e melhorar a robustez em jogos fora de casa.
• Detecção de Bola: Implementar rastreamento da bola para analisar o fluxo do jogo e estatísticas de posse de bola.

Em suma, este artigo valida que a combinação de modelos de detecção modernos, segmentação baseada em memória e técnicas clássicas de visão computacional (homografia) pode gerar uma ferramenta poderosa e acessível para a análise de desempenho no futebol.