Resumen Técnico: SMART (SMPLest-X Mesh Adaptation and RAFT Tracking) para la Estimación de la Pose en el Fútbol

Definición del Problema

El artículo aborda el Desafío de Seguimiento Esquelético de la FIFA 2026, que requiere estimar las poses 3D en el espacio de mundo de los jugadores de fútbol a partir de videos de transmisión. La entrada consiste en clips de video (50 fps, 1920×1080) con cajas delimitadoras (bounding boxes) por cuadro proporcionadas, la intrínseca de la cámara ($K_t$), coeficientes de distorsión radial ($k_t$) y una pose de cámara inicial ($R_0, t_0$).

El objetivo es predecir las posiciones de las articulaciones 3D para $N$ jugadores rastreados a lo largo de $T$ cuadros en un sistema de coordenadas de mundo compartido. Cada jugador está representado por un esqueleto FIFA-15 (15 articulaciones, incluyendo Nariz, hombros, codos, muñecas, caderas, rodillas, tobillos y dedos gordos de los pies). El rendimiento se evalúa mediante dos métricas en metros:

1. MPJPE Global: Error medio por articulación en coordenadas absolutas del mundo.
2. MPJPE Local: Error medio por articulación tras restar la raíz (medio de la cadera).

La puntuación final de la competición se define como $L = \text{Global MPJPE} + 5 \times \text{Local MPJPE}$, enfatizando la importancia 5 veces mayor de la calidad de la pose local.

Metodología

El pipeline propuesto SMART consta de cuatro etapas secuenciales:

1. Recuperación de la Malla Corporal 3D (SMPLest-X)

El sistema utiliza SMPLest-X, un modelo basado en regresión con un backbone ViT-H (687 millones de parámetros) construido sobre la representación SMPL-X.

• Procesamiento de Entrada: Las cajas delimitadoras de los jugadores se expanden 1.2× y se redimensionan a 512×384 píxeles.
• Inferencia: El modelo regresa los parámetros de SMPL-X (forma $\beta$, pose $\theta$, orientación global) para producir una malla corporal completa (10,475 vértices). Las 15 articulaciones FIFA-15 se extraen mediante una búsqueda de vértices fija en la malla.
• Ajuste Fino Adaptativo al Dominio: Para cerrar la brecha de dominio entre los modelos preentrenados y el fútbol de transmisión (caracterizado por tamaños de jugador pequeños y ángulos amplios), los autores emplean:
  • División Estratificada de Clips: 89 clips del conjunto de datos WorldPose se dividieron en 70 clips de entrenamiento y 19 de validación con cero solapamiento de fotogramas y distribuciones de cámara coincidentes.
  • Pérdida Multitarea: $L_{train} = \lambda_1 L_{3D} + \lambda_2 L_{2D} + \lambda_3 L_{depth}$. $L_{3D}$ es el MPJPE ponderado (extremidades ponderadas 3×), $L_{2D}$ es la pérdida L2 en keypoints proyectados, y $L_{depth}$ es la pérdida L1 en la profundidad de la pelvis en el espacio de la cámara.
  • Aumentación de Transmisión: Recorte de redimensionamiento aleatorio, volteo horizontal con permutación de articulaciones simétrica y jitter de color.

2. Estimación de la Pose de la Cámara (RAFT)

En lugar del seguidor disperso de Lucas-Kanade de la línea base, el método utiliza RAFT-small para el flujo óptico denso para propagar la rotación de la cámara ($R_t$) y la traslación ($t_t$) desde la pose inicial.

• Computación de Flujo: El flujo denso se computa entre fotogramas dentro del casco convexo de 714 puntos de referencia del campo proyectados.
• Rechazo de Outliers: Los vectores de flujo contaminados por el movimiento de los jugadores se eliminan mediante el rechazo de outliers MAD (umbral de 3$\sigma$).
• Descomposición de Pose: Se ajusta una homografía mediante RANSAC y se descompone en ($R_t, t_t$). Las actualizaciones con cambios de rotación $|\Delta R| > 60^\circ$ se rechazan para evitar fallos de seguimiento.
• Refinamiento: Si se detectan intersecciones de líneas de campo, una solución EPnP corrige la posición absoluta de la cámara en el primer fotograma.

3. Colocación del Esqueleto en el Espacio de Mundo

El esqueleto en el espacio de la cámara se eleva al sistema de coordenadas del mundo a través de tres pasos:

1. Rotación y Colocación Inicial: El esqueleto relativo a la raíz se rota al marco de mundo ($\hat{S}_t = R_t S^{(cam)}_t$), y la traslación de la pelvis se proyecta al espacio de mundo ($p_t = R_t p^{(cam)}_t + t_t$).
2. Anclaje al Plano del Pie: El píxel del pie más bajo en la caja delimitadora se proyecta hacia atrás a un rayo de la cámara e intersecta con la ecuación conocida del plano del campo para encontrar el punto de contacto con el suelo ($f_t$). Todas las articulaciones se trasladan para que el tobillo inferior se alinee con $f_t$.
3. Refinamiento por Reproyección: Una optimización L-BFGS de dos etapas alinea el centroide del esqueleto con el centro de la caja delimitadora y luego alinea los keypoints proyectados con los keypoints 2D.

4. Suavizado Temporal

Una estrategia de suavizado de dos pasadas elimina el jitter de detección:

• Paso 1 (Global): Las trayectorias de la raíz global se limpian usando detección de outliers MAD (marcando saltos de "teletransporte"), interpolación lineal y un filtro Gaussiano ($\sigma=3$ fotogramas).
• Paso 2 (Local): Los desplazos de las articulaciones relativos a la raíz se suavizan de forma independiente con un Gaussiano más estrecho ($\sigma=1.5$ fotogramas) para eliminar el jitter de un solo fotograma mientras se preservan los movimientos rápidos de las extremidades (ej. patadas).

Contribuciones Clave y Resultados de Ablación

El artículo presenta un estudio de ablación sistemático que demuestra la necesidad de cada componente:

• Estrategia de Ajuste Fino (Fine-Tuning):

  • Línea Base (SAM-3D): Puntuación 1.053.
  • SMPLest-X Preentrenado: Puntuación 0.846 (muestra la brecha de dominio).
  • Ajuste Fino Naíf: Puntuación 0.820 (mejora lo global pero empeora el MPJPE local debido al sobreajuste de la perspectiva).
  • Anclaje al Plano del Pie: Reduce la puntuación a 0.714 al asentar los esqueletos al plano del campo.
  • Estrategia Completa (SMART): Logra 0.647 en validación. Los autores identifican la supervisión de profundidad ($L_{depth}$) como el factor dominante; sin ella, el MPJPE local se estanca en 0.067 m independientemente de otras aumentaciones.

• Rastreador de Cámara:

  • Homografía ECC: Funciona mal (error de 0.107°) debido a la incapacidad de ignorar a los jugadores en movimiento.
  • Lucas-Kanade (Línea Base): Error de 0.043°.
  • RAFT-small + MAD: Logra 0.041° de error. Los autores señalan que el flujo denso sobre las siluetas de los jugadores introduce ruido, el cual es mitigado eficazmente por el filtrado MAD. RAFT-large no ofreció mejoras adicionales con el doble de costo computacional.

• Refinador Temporal:

  • Una red temporal de ventana deslizante aprendida redujo el MPJPE local en el conjunto de entrenamiento pero degradó el rendimiento de la competición (0.680 vs 0.647) al suavizar excesivamente acciones rápidas no bien representadas en la distribución de entrenamiento. En consecuencia, la entrega final depende únicamente del suavizado Gaussiano.

Resultados

SMART demuestra mejoras significativas sobre la línea base de la FIFA:

• Conjunto de Validación: Puntuación reducida de 1.053 (Línea Base) a 0.647 (SMART), una mejora del 38.6%.
  • Global MPJPE: 0.602 $\to$ 0.370 m.
  • Local MPJPE: 0.090 $\to$ 0.055 m.
• Conjunto de Prueba (Held-out): SMART logra una puntuación de 0.593.
  • Global MPJPE: 0.324 m.
  • Local MPJPE: 0.054 m.

Significancia y Limitaciones

El artículo afirma que el principal cuello de botella para el error global es el seguimiento de la cámara, particularmente en secuencias con zoom agresivo que causan una deformación aparente del plano del campo. Por el contrario, el error local es en gran medida independiente de la cámara una vez que el elevador (lifter) ajustado y el anclaje al plano del pie están implementados.

Los autores reconocen modestamente limitaciones específicas:

1. Poses de Buceo (Diving): Subrepresentadas en los datos de entrenamiento (WorldPose), lo que provoca dificultades con configuraciones extremas y fallos en el anclaje al plano del pie cuando los jugadores están en el aire.
2. Oclusión: La naturaleza por fotograma de SMPLest-X lo hace frágil bajo oclusión; se sugiere un elevador con conciencia temporal como mejora futura.
3. Costo Computacional: El backbone ViT-H de 687M domina el costo de inferencia; los autores señalan que un backbone ViT-S podría ofrecer una aceleración de 4× con una pérdida de precisión modesta.

El trabajo establece que combinar el ajuste fino adaptativo al dominio con un seguimiento de flujo óptico denso robusto y un anclaje geométrico (al plano del pie) supera significativamente a los estándares en la estimación de la pose en el fútbol de transmisión.