BarbieGait: An Identity-Consistent Synthetic Human Dataset with Versatile Cloth-Changing for Gait Recognition

Resumen Técnico: BarbieGait y GaitCLIF

1. El Problema

El reconocimiento de la marcha (gait recognition) es una tecnología biométrica fiable que identifica a las personas basándose en sus patrones de caminar. Sin embargo, su aplicación en el mundo real enfrenta un cuello de botella crítico: la variabilidad de la ropa.

• Limitaciones de los datos reales: Los conjuntos de datos existentes (como CASIA-B, OU-MVLP, GREW) carecen de suficientes secuencias de cambio de ropa para la misma identidad. Recopilar datos reales con múltiples cambios de ropa para cada sujeto es extremadamente costoso, logísticamente difícil y plantea problemas de privacidad.
• Limitaciones de los datos sintéticos actuales: Los datasets sintéticos anteriores (como SURREAL, SynBody) a menudo fallan en mantener la consistencia de la identidad. Suelen reutilizar secuencias de movimiento idénticas para diferentes sujetos o animar al mismo sujeto con patrones de marcha muy variados, lo que destruye la información biométrica única de la marcha necesaria para el reconocimiento.
• Desafío de aprendizaje: La diversidad de la ropa aumenta drásticamente la varianza intra-clase, dificultando que los modelos aprendan características invariantes a la ropa (cloth-invariant features).

2. Metodología

El trabajo propone dos componentes principales: un nuevo dataset sintético (BarbieGait) y un modelo de base robusto (GaitCLIF).

A. BarbieGait: Generación de Datos Sintéticos
BarbieGait es un dataset sintético diseñado para preservar la identidad de la marcha mientras introduce cambios de ropa masivos.

• Mapeo de Identidad Única: Se recopilan datos reales de 521 sujetos (con 3 secuencias de marcha cada uno) utilizando una cámara sincronizada. Se estiman poses 3D y mallas (meshes) de alta precisión.
• Alineación y Transferencia de Movimiento:
  • Coincidencia de Esqueleto y Forma: Se alinean las longitudes del esqueleto y la forma del cuerpo del sujeto real con un personaje virtual generado en MakeHuman.
  • Coincidencia Cinemática (Kinematic Motion Matching): Esta es la innovación clave. En lugar de simplemente mover un modelo genérico, se transfieren las rotaciones locales de los huesos (en cuaterniones) del sujeto real al personaje virtual. Esto asegura que el patrón de marcha único del sujeto real se mantenga intacto a través de 100 combinaciones de ropa diferentes.
• Diversidad de Ropa: Cada sujeto tiene 100 combinaciones de ropa totalmente aleatorias (estilos de cabello, prendas superiores e inferiores, zapatos y accesorios), generando más de 1.2 millones de secuencias.
• Entornos y Modalidades: Se simulan diversos entornos (interior/exterior), iluminación (día/noche) y oclusiones. El dataset incluye datos RGB, siluetas segmentadas y poses 2D.

B. GaitCLIF: Modelo de Reconocimiento
Para abordar la alta varianza intra-clase causada por la ropa, se propone GaitCLIF (Gait-oriented CLoth-Invariant Feature).

• Eliminación de Estadísticas Específicas de la Ropa: Se introduce una nueva capa de normalización llamada GON (Gait-Oriented Normalization). A diferencia de la normalización por instancias (IN) o por lotes (BN) estándar, GON elimina las estadísticas específicas de la ropa en los canales de características de cada cuadro, inspirada en la normalización por capas (LN) pero adaptada a la naturaleza de los datos de marcha.
• Preservación de Detalles de Movimiento Fino:
  • Modelado a Nivel de Cuadro: GON se aplica a regiones segmentadas horizontalmente de la silueta para manejar variaciones no uniformes (ej. la parte inferior del cuerpo es más variable que la cabeza).
  • Modelado a Nivel de Secuencia: Se utiliza una estructura GON-FC (Fully Connected con GON) después del agrupamiento temporal para mejorar la capacidad de expresión no lineal y reducir la varianza de la ropa a nivel de secuencia.
• Arquitectura: El modelo utiliza etapas visuales con bloques GON-P3D o GON-3D para capturar dinámicas temporales, seguidos de un cabezal (head) mejorado con GON-FC.

3. Contribuciones Clave

1. BarbieGait: El primer dataset sintético de marcha que garantiza la consistencia de identidad a través de cambios de ropa extensos (100 variaciones por sujeto). Supera a los datasets existentes en diversidad de ropa y número de secuencias.
2. Método de Alineación Cinemática: Una técnica novedosa para transferir movimientos de sujetos reales a avatares virtuales preservando la identidad biométrica, resolviendo el problema de inconsistencia de identidad en datos sintéticos anteriores.
3. GaitCLIF: Un modelo de referencia robusto que logra características invariantes a la ropa mediante la normalización orientada a la marcha (GON) y el modelado de detalles finos, superando a los métodos basados en apariencia y pose existentes.
4. Validación Cruzada: Demostración de que BarbieGait sirve como una fuente de pre-entrenamiento efectiva para mejorar el rendimiento en datasets reales (como CCPG, GREW) y también mejora tareas aguas arriba como la estimación de poses humanas.

4. Resultados

• En BarbieGait:
  • GaitCLIF alcanza un 75.6% de precisión Rank-1 (R1) y 63.2% mAP en el escenario de prueba más difícil (THK1-THK9), superando significativamente a modelos anteriores como DeepGaitV2 y SkeletonGait.
  • Los métodos basados en pose (SkeletonGait) con GaitCLIF alcanzan un 73.3% mAP, demostrando que las poses son más robustas a los cambios de ropa que las siluetas puras.
• En Datasets Reales (Generalización):
  • CCPG: Mejora el R1 en un 1.9% y el mAP en un 2.3% respecto al estado del arte.
  • Gait3D y GREW: Logra resultados de vanguardia (SOTA) en datasets "in-the-wild", alcanzando un 76.5% R1 en Gait3D y 80.2% R1 en GREW.
  • Pre-entrenamiento: El uso de BarbieGait para pre-entrenar modelos antes de ajustarlos a datos reales mejora el rendimiento en CCPG (95.8% R1 vs 94.8% sin pre-entrenamiento).
• Estimación de Poses (Upstream):
  • Entrenar un estimador de poses (ViTPose) en BarbieGait mejora la generalización en datasets reales, logrando un 83.0% R1 en CCPG, superando a los métodos basados en COCO en un 19.5%.

5. Significado e Impacto

Este trabajo es fundamental para el avance del reconocimiento de la marcha en escenarios del mundo real:

• Solución al Escasez de Datos: Proporciona una solución viable y escalable al problema de la falta de datos de cambio de ropa, permitiendo entrenar modelos robustos sin violar la privacidad o incurrir en costos prohibitivos.
• Nueva Línea Base: Establece un nuevo estándar para la investigación en reconocimiento de marcha bajo cambios de ropa, demostrando que es posible aprender características biométricas puras si se eliminan las estadísticas de la ropa mediante técnicas como GON.
• Versatilidad: Demuestra que los datos sintéticos de alta fidelidad, cuando se generan con consistencia de identidad, no solo sirven para el reconocimiento de marcha, sino que también mejoran tareas relacionadas como la estimación de poses humanas, cerrando el ciclo entre datos sintéticos y aplicaciones reales.

En resumen, BarbieGait y GaitCLIF representan un salto cualitativo hacia la viabilidad práctica del reconocimiento de la marcha en entornos dinámicos donde la ropa de los sujetos varía constantemente.