Probing Identity-Specific Motion Signatures: A Controlled Diagnostic Study

Resumen Técnico: Sondeo de Firmas de Movimiento Específicas de la Identidad

Planteamiento del Problema
El reconocimiento de identidad (por ejemplo, la reidentificación de personas) se ha basado tradicionalmente en pistas de apariencia estática como los rasgos faciales, la vestimenta y la textura. Aunque el movimiento es teóricamente una firma robusta y específica de cada individuo que persiste a través de los cambios de apariencia, no está claro si los modelos de video modernos realmente utilizan estas pistas dinámicas para el reconocimiento. Una alta precisión en entornos no restringidos puede ser el resultado de que los modelos explotan atajos estáticos o correlaciones específicas del conjunto de datos (por ejemplo, vincular la identidad con puntos de vista de cámara específicos, tipos de acción o niveles de habilidad) en lugar de aprender patrones cinemáticos genuinos. La pregunta diagnóstica central es: Cuando las pistas de movimiento específicas de la identidad están claramente presentes, ¿en qué medida los modelos de video modernos las utilizan para el reconocimiento?

Metodología
Para abordar esto, los autores introducen BALLER120, un benchmark diagnóstico controlado diseñado para aislar el movimiento de la apariencia estática.

• Construcción del Conjunto de Datos: BALLER120 comprende 4,583 secuencias de tiros libres de 120 jugadores profesionales de la NBA. Al centrarse en una acción única, estandarizada y de múltiples fases (preparación, ascenso, lanzamiento, seguimiento) realizada por expertos, el conjunto de datos minimiza las variaciones gruesas en el tipo de acción y el nivel de habilidad.
• Regímenes de Entrada: Para desacoplar el movimiento de la apariencia, los autores generan tres regímenes de entrada distintos para cada clip:
  1. Apariencia: Video RGB completo con el fondo eliminado.
  2. Silueta: Máscaras binarias que preservan la forma corporal y la dinámica del movimiento mientras suprimen rostros, camisetas y texturas.
  3. Esqueleto: Puntos clave corporales dispersos derivados de la estimación de la pose, lo que abstrae aún más la forma del cuerpo.
• Protocolo Experimental: El estudio reutiliza arquitecturas de reconocimiento de acciones preentrenadas (MViTv2, VideoMAEV2, UniFormerV2) para el reconocimiento de identidad. Los modelos se ajustan (fine-tuning) bajo tres condiciones:
  • División Estándar (Standard Split): Los datos de entrenamiento y prueba comparten distribuciones de apariencia superpuestas.
  • División de Apariencia Disjunta (Appearance-Disjoint Split): Los datos de entrenamiento y prueba tienen apariencias de camisetas disjuntas para probar la robustez frente a cambios de apariencia.
  • Evaluación de Conjunto Abierto (Open-Set Evaluation): Pruebas en identidades no vistas para verificar la transferibilidad de las firmas de movimiento.
• Análisis: Los autores emplean un análisis de saliencia basado en CAM para visualizar a qué regiones prestan atención los modelos, y realizan controles de coherencia (por ejemplo, desenfocar los contornos de la silueta) para distinguir entre pistas de forma fija y pistas de movimiento dependientes de la ejecución.

Contribuciones Clave

1. Benchmark BALLER12K: Un conjunto de datos controlado diseñado específicamente para el sondeo diagnóstico de las firmas de movimiento en acciones expertas, complementando los benchmarks existentes de Re-ID y marcha al reducir los sesgos de adquisición correlacionados con la identidad.
2. Protocolo Diagnóstico: Un marco que suprime sistemáticamente las pistas de apariencia estática para obligar a los modelos a depender de la evidencia cinemática, permitiendo una comparación directa de cómo cambian las estrategias de reconocimiento según la modalidad de entrada.
3. Hallazgos Empíricos sobre el Comportamiento de los Modelos: El estudio demuestra que, si bien los modelos de video modernos pueden lograr una alta precisión utilizando la apariencia estática, a menudo ignoran las pistas de movimiento disponibles. Cuando la apariencia se suprime, los modelos cambian con éxito hacia el aprendizaje de micropatrones de movimiento (por ejemplo, colocación de los pies, flexión del codo) que sirven como firmas de identidad específicas.

Resultados

• Rendimiento en la División Estándar: Los modelos de apariencia completa logran una precisión casi perfecta (Top-1 > 97%). Los modelos de silueta y esqueleto también logran una precisión competitiva (por ejemplo, MViTv2 Silueta Top-1: 98.39%), lo que indica que el movimiento específico de la identidad es aprendible incluso sin pistas estáticas.
• Robustez de la Apariencia Disjunta: Cuando las apariencias de las camisetas difieren entre el entrenamiento y la prueba, los modelos de apariencia completa se degradan significativamente (por ejemplo, MViTv2 Top-1 cae del 98.60% al 5.31%). En contraste, los modelos de silueta y esqueleto se mantienen robustos (MViTv2 Silueta Top-1: 89.07%), superando a los modelos de apariencia por un margen amplio. Esto confirma que los modelos de apariencia dependen de atajos estáticos que fallan al transferirse, mientras que los modelos con la apariencia suprimida dependen de firmas de movimiento estables.
• Análisis de Saliencia:
  • Modelos de Apariencia: Se centran en regiones estáticas (rostros, camisetas) independientemente de la fase de la acción.
  • Modelos de Silueta: Exhiben una atención dinámica que cambia temporalmente con las fases de la acción (por ejemplo, enfocándose en las piernas durante el ascenso, en los brazos durante el lanzamiento), confirmando que rastrean la ejecución en lugar de la identidad estática.
  • Estabilidad: Estas firmas de movimiento se mantienen consistentes a través de diferentes puntos de vista de cámara y son distintas para diferentes jugadores que realizan la misma acción.
• Controles de Coherencia: El desenfoque de los contornos de la silueta (degradación de la fidelidad de la forma) tiene un impacto mínimo en el rendimiento, lo que sugiere que el reconocimiento depende de la dinámica del movimiento más que de los contornos precisos del cuerpo.
• Estático vs. Dinámico: Aunque los fotogramas estáticos contienen cierta información de identidad, los modelos de video que utilizan relaciones temporales logran mayor confianza y precisión, lo que indica que el movimiento continuo es una pista más fuerte que las poses aisladas.

Significado
El artículo afirma que las firmas de movimiento específicas de la identidad están presentes, son informativas y aprendibles, pero frecuentemente son ignoradas por los modelos de video modernos en favor de atajos estáticos más fáciles. El estudio destaca un "sesgo de apariencia inducido por la tarea": los modelos optimizan la señal predictiva más fácil disponible. Para el reconocimiento de identidad, esto es la apariencia estática; para el reconocimiento de acciones, es el movimiento. Los hallazgos sugieren que para capturar de manera confiable la dinámica individual fina, los modelos de video pueden requerir restricciones explícitas o supervisión que suprima las pistas de apariencia estática. BALLER120 sirve como una herramienta diagnóstica para verificar si los modelos han aprendido realmente patrones de movimiento interpretables por humanos en lugar de correlaciones específicas del conjunto de datos.