Resumo Técnico: SMART (SMPLest-X Mesh Adaptation and RAFT Tracking) para Estimativa de Pose de Futebol

Definição do Problema

O artigo aborda o Desafio de Rastreamento Esquelético da FIFA 2026, que exige a estimativa das poses 3D no espaço de mundo de jogadores de futebol a partir de vídeos de transmissão. A entrada consiste em clipes de vídeo (50 fps, 1920×1080) com caixas delimitadoras (bounding boxes) fornecidas por quadro, intrínsecos da câmera ($K_t$), coeficientes de distorção radial ($k_t$) e uma pose inicial da câmera ($R_0, t_0$).

O objetivo é prever as posições de juntas 3D para $N$ jogadores rastreados ao longo de $T$ quadros em um sistema de coordenadas de mundo compartilhado. Cada jogador é representado por um esqueleto FIFA-15 (15 juntas, incluindo Nariz, ombros, cotovelos, pulsos, quadris, joelhos, tornozelos e dedões do pé). O desempenho é avaliado usando duas métricas em metros:

1. MPJPE Global: Erro médio por junta nas coordenadas absolutas do mundo.
2. MPJPE Local: Erro médio por junta após subtrair a raiz (meio do quadril).

A pontuação final da competição é definida como $L = \text{Global MPJPE} + 5 \times \text{Local MPJPE}$, enfatizando o peso 5× maior da qualidade da pose local.

Metodologia

O pipeline proposto SMART consiste em quatro estágios sequenciais:

1. Recuperação de Malha Corporal 3D (SMPLest-X)

O sistema utiliza o SMPLest-X, um modelo de regressão com um backbone ViT-H (687 milhões de parâmetros) construído sobre a representação SMPL-X.

• Processamento de Entrada: As caixas delimitadoras dos jogadores são expandidas em 1,2× e redimensionadas para 512×384 pixels.
• Inferência: O modelo regride os parâmetros SMPL-X (forma $\beta$, pose $\theta$, orientação global) para produzir uma malha corporal completa (10.475 vértices). As 15 juntas FIFA-15 são extraídas via uma busca de vértices fixa na malha.
• Ajuste Fino Adaptativo ao Domínio (Domain-Adaptive Fine-Tuning): Para reduzir o gap de domínio entre modelos pré-treinados e o futebol de transmissão (caracterizado por tamanhos pequenos de jogadores e ângulos amplos), os autores utilizam:
  • Divisão Estratificada de Clipes: 89 clipes do dataset WorldPose foram divididos em 70 de treinamento e 19 de validação, com zero sobreposição de quadros e distribuições de câmera correspondentes.
  • Perda Multitarefa (Multi-Task Loss): $L_{train} = \lambda_1 L_{3D} + \lambda_2 L_{2D} + \lambda_3 L_{depth}$. $L_{3D}$ é o MPJPE ponderado (extremidades com peso 3×), $L_{2D}$ é a perda L2 nos keypoints projetados, e $L_{depth}$ é a perda L1 na profundidade da pelve no espaço da câmera.
  • Aumentação de Transmissão: Recorte redimensionado aleatório, inversão horizontal com permutação simétrica de juntas e jitter de cor.

2. Estimativa de Pose da Câmera (RAFT)

Em vez do rastreador esparso Lucas-Kanade da linha de base, o método utiliza o RAFT-small para fluxo óptico denso para propagar a rotação ($R_t$) e translação ($t_t$) da câmera a partir da pose inicial.

• Computação de Fluxo: O fluxo denso é computado entre quadros dentro do invólucro convexo de 714 marcos (landmarks) do campo projetados.
• Rejeição de Outliers: Vetores de fluxo contaminados pelo movimento dos jogadores são removidos usando rejeição de outliers MAD (limiar de 3$\sigma$).
• Decomposição de Pose: Uma homografia é ajustada via RANSAC e decomposta em ($R_t, t_t$). Atualizações com mudanças de rotação $|\Delta R| > 60^\circ$ são rejeitadas para evitar falhas de rastreamento.
• Refinamento: Se interseções de linhas de campo forem detectadas, um solve EPnP corrige a posição absoluta da câmera no primeiro quadro.

3. Posicionamento de Esqueleto no Espaço de Mundo

O esqueleto no espaço da câmera é elevado para o sistema de coordenadas do mundo através de três etapas:

1. Rotação e Posicionamento Inicial: O esqueleto relativo à raiz é rotacionado para o frame do mundo ($\hat{S}_t = R_t S^{(cam)}_t$), e a translação da pelve é projetada para o espaço do mundo ($p_t = R_t p^{(cam)}_t + t_t$).
2. Ancoragem no Plano do Pé (Foot-Plane Anchoring): O pixel do pé mais baixo na caixa delimitadora é retroprojetado para um raio da câmera e intersectado com a equação conhecida do plano do campo para encontrar o ponto de contato com o solo ($f_t$). Todas as juntas são transladadas para que o tornozelo inferior se alinhe com $f_t$.
3. Refinamento por Reprojeção: Uma otimização L-BFGS de dois estágios alinha o centroide do esqueleto com o centro da caixa delimitadora e, em seguida, alinha os joints projetados com os keypoints 2D.

4. Suavização Temporal

Uma estratégia de suavização de duas passagens remove o jitter de detecção:

• Passagem 1 (Global): As trajetórias da raiz global são limpas usando detecção de outliers MAD (identificando saltos de "teletransporte"), interpolação linear e um filtro Gaussiano ($\sigma=3$ quadros).
• Passagem 2 (Local): Os offsets das juntas relativos à raiz são suavizados independentemente com um Gaussiano mais estreito ($\sigma=1,5$ quadros) para remover jitter de quadro único enquanto preserva movimentos rápidos de membros (ex: chutes).

Principais Contribuições e Resultados de Ablação

O artigo apresenta um estudo de ablação sistemático demonstrando a necessidade de cada componente:

• Estratégia de Ajuste Fino (Fine-Tuning):

  • Baseline (SAM-3D): Pontuação 1,053.
  • SMPLest-X Pré-treinado: Pontuação 0,846 (mostra o gap de domínio).
  • Ajuste Fino Naive: Pontuação 0,820 (melhora o global, mas piora o MPJPE local devido ao overfitting de viewpoint).
  • Ancoragem no Plano do Pé: Reduz a pontuação para 0,714 ao ancorar os esqueletos ao plano do campo.
  • Estratégia Completa (SMART): Alcança 0,647 na validação. Os autores identificam a supervisão de profundidade ($L_{depth}$) como o fator dominante; sem ela, o MPJPE local estagna em 0,067 m, independentemente de outras aumentações.

• Rastreador de Câmera:

  • Homografia ECC: Desempenho ruim (erro de 0,107°) devido à incapacidade de ignorar jogadores em movimento.
  • Lucas-Kanade (Baseline): Erro de 0,043°.
  • RAFT-small + MAD: Alcança 0,041° de erro. Os autores observam que o fluxo denso sobre as silhuetas dos jogadores introduz ruído, que é efetivamente mitigado pelo filtro MAD. O RAFT-large não ofereceu ganhos adicionais com o dobro do custo computacional.

• Refinador Temporal:

  • Uma rede temporal de janela deslizante aprendida reduziu o MPJMP local no split de treinamento, mas degradou o desempenho na competição (0,680 vs 0,647) por suavizar excessivamente ações rápidas não bem representadas na distribuição de treinamento. Consequentemente, a submissão final baseia-se apenas em suavização Gaussiana.

Resultados

O SMART demonstra melhorias significativas sobre a linha de base da FIFA:

• Conjunto de Validação: Pontuação reduzida de 1,053 (Baseline) para 0,647 (SMART), uma melhoria de 38,6%.
  • MPJPE Global: 0,602 $\to$ 0,370 m.
  • MPJPE Local: 0,090 $\to$ 0,055 m.
• Conjunto de Teste (Held-out): O SMART alcança uma pontuação de 0,593.
  • MPJMP Global: 0,324 m.
  • MPJMP Local: 0,054 m.

Significância e Limitações

O artigo afirma que o principal gargalo para o erro global é o rastreamento da câmera, particularmente em sequências com zoom agressivo que causam deformação aparente do plano do campo. Por outro outro lado, o erro local é amplamente independente da câmera uma vez que o lifter ajustado e a ancoragem no plano do pé estão implementados.

Os autores reconhecem modestamente limitações específicas:

1. Poses de Mergulho (Diving Poses): Sub-representadas nos dados de treinamento (WorldPose), levando a dificuldades com configurações extremas e falhas na ancoragem do plano do pé quando os jogadores estão no ar.
2. Oclusão: A natureza por quadro do SMPLest-X o torna frágil sob oclusão; um lifter temporalmente consciente é sugerido como uma melhoria futura.
3. Custo Computacional: O backbone ViT-H de 687M domina o custo de inferência, com os autores observando que um backbone ViT-S poderia proporcionar uma aceleração de 4× com perda modesta de precisão.

O trabalho estabelece que combinar ajuste fino adaptativo ao domínio com rastreamento de fluxo óptico denso robusto e ancoragem geométrica (plano do pé) supera significativamente as linhas de base padrão na estimativa de pose de futebol em transmissões.