Explicit Time-Frequency Dynamics for Skeleton-Based Gait Recognition

Resumen Técnico: Dinámicas Explícitas Tiempo-Frecuencia para Reconocimiento de Marcha

1. Planteamiento del Problema

El reconocimiento de marcha (identificación de personas por su forma de caminar) se divide principalmente en métodos basados en apariencia (siluetas o intensidades de píxeles) y métodos basados en esqueleto (coordenadas de articulaciones).

• Limitación de los métodos basados en apariencia: Aunque alcanzan el estado del arte (SOTA) en condiciones normales, su precisión degrada significativamente ante cambios de covariables como ropa (CL) o llevar bolsas (BG), ya que dependen de la textura visual.
• Limitación de los métodos basados en esqueleto: Son inherentemente robustos a cambios de apariencia, pero suelen modelar la dinámica del movimiento de forma implícita. A menudo subutilizan la información explícita sobre cómo evolucionan las articulaciones en el tiempo, especialmente bajo cambios de apariencia que ocultan el cuerpo.

El problema central es la falta de un tratamiento explícito de las dinámicas de movimiento en múltiples bandas de frecuencia dentro de los modelos de esqueleto, lo cual es crucial para distinguir individuos cuando la apariencia visual cambia.

2. Metodología Propuesta

Los autores proponen un módulo de "Stream de Características de Ondícula" (Wavelet Feature Stream) que actúa como un complemento "plug-and-play" (conectar y usar) para cualquier red neuronal base (backbone) de reconocimiento de marcha basada en esqueleto.

Componentes Clave del Método:

1. Cálculo de Velocidades por Articulación:

   • A partir de la secuencia de esqueleto $S$, se calculan las velocidades 1D para cada articulación en los ejes $x$ e $y$ mediante diferencias finitas: $v(t) = S(t) - S(t-1)$.

2. Transformada Wavelet Continua (CWT):

   • Se aplica la CWT a las señales de velocidad de cada articulación. Esto transforma las señales temporales en escalogramas (mapas tiempo-frecuencia).
   • Ventaja: La CWT es ideal para señales no estacionarias (como la marcha), permitiendo separar ritmos periódicos estables de artefactos abruptos (como el balanceo de una bolsa o el temblor de la pose). Se generan mapas multi-escala ($F$ escalas).

3. Red Neuronal Convolucional (CNN) Ligera Multi-escala:

   • Un CNN ligero procesa los escalogramas para extraer características dinámicas discriminativas.
   • Arquitectura:
     • Tallos: Dos convoluciones secuenciales (5x5 y 3x3) para refinar patrones locales.
     • Bloque Paralelo Multi-escala: Dos ramas concurrentes: una con kernel 3x3 (para cambios sutiles y finos) y otra con kernel 7x7 (para ritmos gruesos y periodicidad).
     • Agrupación: Pooling global promedio para obtener un vector de características por articulación y eje.

4. Fusión y Clasificación:

   • El descriptor resultante del stream de ondículas ($F_{wavelet}$) se concatena a nivel de canales con la representación del backbone original ($F_{backbone}$).
   • Se pasa por una capa totalmente conectada (FC) y normalización $\ell_2$ para obtener el embedding final.
   • Entrenamiento: Se utiliza pérdida de tripleta (Triplet Loss) con minería dura, sin requerir cambios en la arquitectura del backbone ni supervisión adicional.

3. Contribuciones Clave

• Módulo Plug-and-Play: Introducen un stream que inyecta dinámicas explícitas tiempo-frecuencia de las velocidades de las articulaciones mediante CWT en modelos de esqueleto existentes sin modificar su arquitectura base.
• Nuevo Estado del Arte (SOTA) en Esqueleto: Al acoplar este stream a GaitMixer, establecen un nuevo récord SOTA basado en esqueleto en el dataset CASIA-B.
• Superioridad en Condiciones Difíciles: Logran superar a los modelos basados en apariencia más avanzados (como 3DLocal) específicamente bajo la condición de abrigo (CL), demostrando la eficiencia de la información de esqueleto cuando se enriquece con dinámica explícita.
• Robustez General: Mejoras consistentes en múltiples backbones (GaitGraph, GaitFormer, GaitMixer) y bajo diferentes covariables (BG y CL).

4. Resultados Experimentales

Los experimentos se realizaron en el dataset CASIA-B (124 sujetos, 11 vistas, condiciones NM, BG, CL).

• Rendimiento General (Rank-1):

  • La combinación GaitMixer + Ours alcanzó un 89.7% de precisión media, superando a GaitMixer base (88.3%) y a todos los otros métodos basados en esqueleto.
  • Bajo la condición de Abrigo (CL), el modelo propuesto alcanzó 86.7%, superando al método basado en apariencia líder (3DLocal con 84.5%). Esto es histórico, ya que los modelos de esqueleto rara vez superan a los de apariencia en esta condición.
  • Bajo la condición de Bolsa (BG), se logró un 87.2%, una mejora significativa sobre la línea base.

• Análisis de Ablación (Función Wavelet):

  • Se probaron diferentes funciones madre (Mexican Hat, Gaussian, Shannon, Morlet).
  • La función Morlet obtuvo el mejor rendimiento (89.7% media), atribuido a su capacidad para capturar tanto la amplitud como la fase de las oscilaciones cuasi-periódicas de la marcha, gracias a su naturaleza compleja y analítica.

• Consistencia: Las mejoras fueron consistentes en todos los ángulos de cámara y backbones probados, confirmando que las dinámicas tiempo-frecuencia complementan eficazmente los codificadores espaciotemporales estándar.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la modelación espacial y la dinámica temporal explícita en la biometría de marcha.

• Robustez ante Cambios de Apariencia: Demuestra que la información cinemática pura, cuando se analiza en el dominio tiempo-frecuencia, es más robusta que la información visual ante cambios drásticos de ropa o accesorios.
• Eficiencia: Al ser un módulo "plug-and-play", permite mejorar modelos existentes sin necesidad de reentrenar desde cero o cambiar arquitecturas complejas.
• Futuro: Abre la puerta a la integración de parámetros de ondículas aprendidos de extremo a extremo y su aplicación en escenarios multi-sensor (ej. IMU).

En conclusión, la propuesta valida que la dinámica explícita es un componente discriminativo crítico que, al combinarse con modelos de esqueleto modernos, permite alcanzar y superar el rendimiento de los métodos basados en apariencia en los escenarios más desafiantes.