Velocity and stroke rate reconstruction of canoe sprint team boats based on panned and zoomed video recordings

Este artigo apresenta um framework automatizado que utiliza detecção de objetos, calibração de homografia e rastreamento óptico em vídeos com panorâmica e zoom para reconstruir com alta precisão a velocidade e a taxa de remada de canoas de sprint, oferecendo uma alternativa viável ao GPS para análise de desempenho.

O essencial

Imagine que você está assistindo a uma corrida de canoagem na TV. Você vê os atletas remando com força, a água espirrando e as barcas deslizando rapidamente. Mas, por trás dessa imagem, os treinadores e cientistas do esporte precisam de algo muito mais preciso: eles querem saber exatamente a cada segundo a que velocidade o barco está indo e quantas remadas por minuto o atleta está fazendo.

Antigamente, para conseguir esses dados, era necessário colocar sensores caros e pesados dentro do barco (como um "GPS de barco"). Isso é chato, caro e, em algumas competições, até proibido.

Este artigo apresenta uma solução mágica: transformar um simples vídeo de TV em dados de alta precisão, sem precisar de nenhum sensor no barco.

Aqui está como eles fizeram isso, explicado de forma simples:

1. O Problema: A Ilusão da Perspectiva

Quando você filma uma corrida de canoagem da margem, a câmera faz "panorâmica" (se move para acompanhar os barcos) e dá zoom. Isso cria um efeito de distorção.

• A analogia: Imagine tentar medir a velocidade de um carro olhando para ele através de uma lente de vidro curvada e distorcida. Se você apenas olhar, não saberá a velocidade real. O vídeo é "mentiroso" sobre a posição real das coisas.

2. A Solução: O "Mapa Mágico" (Homografia)

Os pesquisadores criaram um sistema que entende a geometria da pista.

• Como funciona: Eles usam a inteligência artificial (YOLOv8) para encontrar as boias amarelas na água. Como sabemos exatamente onde essas boias estão no mundo real, o computador cria um "mapa de correção" (chamado de homografia).
• A analogia: É como se o computador tivesse um óculos de realidade aumentada que, ao olhar para o vídeo distorcido, desenha uma grade perfeita sobre a água, transformando a imagem torta em um mapa de rua reto e preciso. Assim, ele sabe exatamente onde o barco está a cada frame.

3. O Desafio dos Barcos com Vários Remadores (K2, K4, C2)

No trabalho anterior, funcionava bem para barcos de uma pessoa. Mas em barcos com 2 ou 4 pessoas, as coisas ficam complicadas:

• O problema: Às vezes, um remador fica escondido atrás do outro (ocultação), ou a câmera perde o foco. Se o computador não sabe quem é quem, ele não sabe onde está a "ponta" do barco (que é o ponto de referência para medir a velocidade).
• A solução (O "Detetive de Nariz"): Eles treinaram uma IA especial (um modelo chamado U-Net) para agir como um detetive. Em vez de adivinhar onde está a ponta do barco, a IA olha para um pedaço pequeno da imagem e aponta exatamente a ponta do barco, mesmo que os remadores estejam se mexendo ou escondidos.
• O "Cronômetro de Fluxo" (Optical Flow): Se a IA perde um remador por um segundo, ela usa o "fluxo óptico" (que é como rastrear o movimento de partículas de água) para adivinhar onde aquele remador deveria estar, mantendo a ordem correta dos atletas. É como se o computador dissesse: "Ei, o remador do meio sumiu, mas ele estava indo para a direita, então ele deve estar ali agora".

4. Contando as Remadas (Taxa de Remada)

Além da velocidade, eles querem saber a cadência (quantas remadas por minuto).

• Método 1 (O "Esqueleto"): Usam uma IA (ViTPose) que vê o corpo do atleta como um boneco de palito, identificando ombros e pulsos. Eles medem a distância entre o ombro e o pulso. Quando o braço vai para trás e para frente, essa distância muda, criando um sinal de "batimento".
• Método 2 (O "Brilho"): Uma versão mais simples que olha apenas para a caixa ao redor do atleta e mede a mudança de brilho.
• O Veredito: O método do "Esqueleto" (ViTPose) é muito mais preciso, como comparar um relógio de quartzo com um relógio de areia. O método do brilho é mais rápido, mas erra mais quando há ondas ou sombras.

5. O Resultado: Precisão de Ouro

Eles testaram tudo contra dados reais de GPS e sensores de giroscópio (o padrão-ouro).

• Velocidade: A diferença entre o vídeo e o GPS foi minúscula (menos de 2% de erro). É como medir a velocidade de um carro e errar apenas alguns centímetros por hora.
• Remadas: A contagem de remadas também foi extremamente precisa, quase igual à dos sensores no barco.

Por que isso é importante?

Imagine que você é um treinador. Antes, você precisava esperar o barco voltar à praia, baixar os dados do GPS e esperar horas para analisar a estratégia.
Com essa nova tecnologia:

1. É gratuito: Você só precisa do vídeo que já está sendo gravado.
2. É imediato: O computador processa o vídeo e diz: "O barco 3 acelerou muito no último 100 metros, mas o remador do meio está cansado".
3. É universal: Funciona para barcos de 1, 2 ou 4 pessoas, em qualquer distância.

Em resumo: Os autores criaram um "olho de águia" digital que consegue ler a velocidade e o ritmo de uma corrida de canoagem apenas assistindo ao vídeo, sem precisar tocar no barco ou colocar nenhum equipamento nele. É como transformar uma filmagem comum em um laboratório de ciência de dados flutuante.

Resumo técnico

Título: Reconstrução de Velocidade e Taxa de Remada de Barcos de Canoagem Sprint Baseada em Gravações de Vídeo com Panorâmica e Zoom

1. Problema e Motivação

A estratégia de ritmo (pacing) em competições de canoagem sprint é definida pelos perfis de velocidade e taxa de remada (frequência de golpes). Embora o GPS seja o padrão-ouro para análise, sua disponibilidade é limitada em competições de alto nível devido a restrições logísticas e regulatórias sobre sensores a bordo.
A análise manual de vídeos (gravações de bancada com movimento de câmera/panorâmica e zoom) é inviável devido à perspectiva distorcida, que torna a reconstrução de posições absolutas extremamente difícil e trabalhosa.
O trabalho anterior dos autores (Matthes et al.) automatizou essa análise apenas para barcos de um único atleta (K1/C1) usando uma câmera fixa. Este artigo visa estender essa metodologia para barcos de equipe (K2, C2, K4) e para gravações com movimento de câmera, além de incluir a estimativa da taxa de remada, eliminando a necessidade de hardware a bordo.

2. Metodologia

O framework proposto é uma extensão do trabalho anterior, utilizando visão computacional e aprendizado de máquina para transformar vídeos 2D em dados cinemáticos métricos.

• Geometria da Cena e Homografia:

  • Utiliza-se um modelo YOLOv8 para detectar bóias e atletas.
  • A geometria conhecida da pista (grade de bóias) é usada para estimar a homografia (mapeamento imagem-mundo) em cada quadro, propagada via fluxo óptico (Lucas-Kanade) para manter a consistência entre quadros, mesmo com detecções intermitentes.

• Calibração Automática do Bico do Barco (Boat Tip Calibration):

  • Desafio: Em barcos de equipe, a posição do barco é definida pela ponta (bico), mas múltiplos atletas são visíveis. Um offset empírico fixo (usado anteriormente para K1) não funciona, pois a posição relativa do bico depende de qual atleta é usado como referência.
  • Solução: Treina-se um modelo U-Net para detectar a ponta exata do barco em patches de imagem (150x100px).
  • Processo: Para cada quadro, calcula-se uma posição inicial baseada na média dos atletas, projeta-se essa região na imagem, o U-Net prevê a ponta exata e, em seguida, calcula-se um offset específico para cada atleta ($o_{j,k}$) transformando a ponta detectada de volta para coordenadas do mundo. Esses offsets são calibrados automaticamente por vídeo e por faixa.

• Rastreamento Robusto Multi-atleta:

  • Para lidar com falhas de detecção ou oclusões em barcos com múltiplos atletas, o sistema utiliza fluxo óptico para:
    1. Manter a ordem dos atletas (quem é o primeiro, segundo, etc.) entre quadros.
    2. Interpolar posições faltantes (interpolando causalmente ou não-causalmente com base no fluxo do quadro anterior/sucessor).
  • A posição final do barco é a média das posições dos atletas corrigidas pelos offsets calibrados.

• Estimativa de Taxa de Remada (Stroke Rate):

  • Duas abordagens são propostas para extrair um sinal de movimento 1D:
    1. ViTPose: Usa um modelo de estimativa de pose para calcular a distância euclidiana entre os ombros e pulsos dos atletas.
    2. Bounding Box (BBox): Usa a média de brilho em uma sub-região do retângulo delimitador do atleta.
  • O sinal é filtrado, os picos locais são detectados e convertidos em frequência (batimentos por minuto - bpm).

3. Contribuições Chave

1. Generalização para Barcos de Equipe: Extensão do framework para K2, C2 e K4, resolvendo a complexidade da associação espacial de múltiplos atletas.
2. Calibração de Offset Aprendida: Substituição de offsets empíricos fixos por um modelo U-Net que aprende a localização precisa da ponta do barco, permitindo offsets específicos por atleta e por vídeo.
3. Rastreamento Robusto com Fluxo Óptico: Implementação de lógica de rastreamento que preserva a ordem dos atletas e interpola posições perdidas, essencial para dados de vídeo com oclusões.
4. Estimativa de Taxa de Remada Automática: Introdução de métodos para extrair a frequência de remada apenas a partir do vídeo, comparando pose vs. brilho de imagem.
5. Validação Abrangente: Avaliação contra dados de GPS e giroscópios de elite em diversas distâncias (200m, 500m) e tipos de barco.

4. Resultados

A avaliação foi realizada contra dados de GPS (velocidade) e giroscópios (taxa de remada) de competições reais.

• Velocidade:

  • O método alcançou um RRMSE (Erro Quadrático Médio Relativo) de 0,020 ± 0,011 e uma correlação de Spearman ($\rho$) de 0,956 em relação ao GPS.
  • O desempenho foi consistente entre todas as classes de barcos (K1, C1, K2, C2, K4), com erros relativos baixos (0,017 a 0,023).
  • A interpolação baseada em fluxo óptico (não-causal) mostrou-se superior à interpolação linear simples, reduzindo o RMSE de 0,471 m/s para 0,097 m/s.

• Taxa de Remada:

  • O método baseado em ViTPose superou significativamente o método baseado em BBox.
  • ViTPose: RRMSE de 0,022 ± 0,024 e $\rho$ de 0,932.
  • BBox: RRMSE de 0,069 e $\rho$ de 0,686.
  • O método ViTPose tem um custo computacional maior (1179s vs 411s por vídeo), mas oferece precisão muito superior.

• Calibração: A validação dos offsets calibrados em barcos idênticos em corridas diferentes mostrou uma diferença relativa mediana de apenas 2,65%, indicando alta estabilidade.

5. Significado e Conclusão

Este trabalho apresenta um sistema automatizado, não invasivo e de baixo custo que permite a coaches e cientistas do esporte obterem dados táticos de alta precisão (perfis de velocidade e taxa de remada) a partir de vídeos de transmissão ou gravados na margem.

• Impacto Prático: Elimina a necessidade de sensores a bordo, democratizando o acesso a dados de elite para análise tática.
• Robustez: O sistema lida eficazmente com as complexidades de barcos de equipe e perspectivas de câmera variáveis (panorâmica/zoom).
• Limitações Futuras: A inicialização da homografia ainda requer anotação manual de bóias, e o fluxo óptico pode falhar sob oclusões severas ou borrão de movimento. Trabalhos futuros visam suavização temporal e estimativa em tempo real.

Em suma, o framework proposto oferece uma alternativa viável e altamente precisa ao GPS para a análise de desempenho em canoagem sprint, cobrindo todas as disciplinas olímpicas atuais.