Expanding mmWave Datasets for Human Pose Estimation with Unlabeled Data and LiDAR Datasets

1. Problema Identificado

La estimación de la pose humana (HPE) basada en ondas milimétricas (mmWave) ha ganado atención por sus ventajas sobre las cámaras RGB (privacidad, robustez ante la iluminación, naturaleza 3D). Sin embargo, el campo enfrenta dos limitaciones críticas que obstaculizan la generalización de los modelos:

• Escasez de datos etiquetados: Los conjuntos de datos actuales de mmWave son pequeños y limitados.
• Falta de diversidad: Los datos existentes carecen de diversidad en dos aspectos clave:
  1. Atributos de la nube de puntos (PC): Debido a la falta de heterogeneidad de dispositivos y variedad ambiental, los datos no capturan bien el ruido de detección, la densidad de puntos o la sensibilidad al movimiento.
  2. Posturas humanas: Los sujetos suelen realizar movimientos simples frente al radar, lo que limita la variedad de poses.

Esto provoca que los modelos entrenados tengan un rendimiento deficiente en escenarios del mundo real o no vistos (fuera del dominio). Aunque existen datos no etiquetados de mmWave y conjuntos de datos abundantes de LiDAR (con mayor diversidad de poses), no se pueden utilizar directamente debido a la falta de anotaciones y a las diferencias fundamentales en los atributos físicos de las nubes de puntos entre ambos sensores.

2. Metodología Propuesta: EMDUL

Los autores proponen EMDUL, un nuevo enfoque que expande un conjunto de datos de mmWave existente utilizando dos fuentes de datos disponibles: datos no etiquetados de mmWave y conjuntos de datos de LiDAR anotados. EMDUL consta de dos módulos independientes que funcionan en un pipeline integrado:

A. Estimador de Pseudo-etiquetas (Pseudo-label Estimator)

Este módulo convierte los datos no etiquetados de mmWave en datos de entrenamiento utilizables.

• Estrategia: Entrena un estimador utilizando una pérdida supervisada en datos etiquetados y, simultáneamente, una Pérdida de Consistencia Temporal No Supervisada (UTCL) en los datos no etiquetados.
• UTCL (Unsupervised Temporal Consistency Loss): Se basa en el principio físico de que las articulaciones cercanas a puntos detectados en la nube de puntos (PC) suelen estar en movimiento, mientras que las lejanas son estáticas. La UTCL penaliza las predicciones que violan esta lógica mediante dos componentes:
  • Lógica Dinámica (DCL): Penaliza si las articulaciones cercanas a puntos tienen flujo (movimiento) cercano a cero.
  • Lógica Estática (SCL): Penaliza si las articulaciones lejanas a puntos tienen flujo distinto de cero.
• Resultado: Genera un conjunto de datos pseudo-etiquetado ($D_{pl}$) que aumenta la diversidad de poses.

B. Conversor de Nubes de Puntos (Closed-Form PC Converter)

Este módulo traduce los datos de LiDAR (que tienen alta diversidad de poses) a un formato que simula los atributos de mmWave, permitiendo su uso en el entrenamiento.

• Proceso de Conversión: Aplica una secuencia de aumentos para simular las características físicas de mmWave:
  1. Adición de puntos ruidosos (NPA): Simula objetos ambientales detectados.
  2. Filtrado de puntos basado en flujo (FPF): Algoritmo clave que simula el mecanismo de detección de movimiento de mmWave. Filtra puntos con bajo flujo (partes estáticas) con mayor probabilidad, ya que los radares mmWave detectan mejor las partes en movimiento (efecto Doppler).
  3. Muestreo aleatorio (RS): Reduce la densidad de puntos para imitar la menor densidad de mmWave.
  4. Inyección de ruido (NI): Simula una menor resolución espacial.
• Resultado: Genera un conjunto de datos convertido ($D_{conv}$) que mantiene la diversidad de poses del LiDAR pero con atributos realistas de mmWave.

Pipeline de Entrenamiento

1. Se convierte el LiDAR a mmWave ($D_{conv}$) y se une a los datos etiquetados originales ($D_{mm}$) para formar $D_{lab}$.
2. Se entrena el estimador de pseudo-etiquetas usando $D_{lab}$ y los datos no etiquetados ($D_{unlab}$) con la pérdida UTCL.
3. Se generan nuevas pseudo-etiquetas para $D_{unlab}$.
4. El conjunto final expandido ($D_{exp} = D_{lab} \cup D_{pl}$) se utiliza para entrenar el modelo final de inferencia HPE.

3. Contribuciones Clave

1. Estimador de Pseudo-etiquetas: Un método efectivo que utiliza una pérdida de consistencia temporal no supervisada (UTCL) para aprovechar datos no etiquetados de mmWave, mejorando la robustez de las estimaciones.
2. Conversor de PC de Forma Cerrada: Un enfoque independiente del estimador que traduce datos de LiDAR a mmWave mediante un algoritmo de filtrado basado en flujo (FPF), simulando fielmente el mecanismo de detección de movimiento de los radares mmWave.
3. Pipeline EMDUL: Una solución integral que combina ambos módulos para expandir significativamente el volumen y la diversidad de los datos de entrenamiento, superando la escasez de datos etiquetados y la falta de heterogeneidad.

4. Resultados Experimentales

Los autores evaluaron EMDUL en conjuntos de datos de mmWave (MM-Fi, mmBody) y LiDAR (LiDARHuman26M, HmPEAR).

• Rendimiento General: EMDUL mejoró significativamente el rendimiento de los modelos HPE (como P4T y SPiKE) en comparación con el entrenamiento solo con datos etiquetados originales.
• Reducción de Error:
  • Estudio In-Domain (MM-Fi a MM-Fi): Reducción del 15.1% en el error MPJPE (Mean Per Joint Position Error).
  • Estudio Out-of-Domain (mmBody a MM-Fi): Reducción del 18.9% en el error MPJPE.
• Comparación con el Estado del Arte: EMDUL superó consistentemente a otros métodos de expansión de datos, incluyendo estrategias de aprendizaje semi-supervisado como Mean Teacher (MT), especialmente en escenarios fuera del dominio.
• Análisis de Ablación:
  • La combinación de DCL y SCL en la UTCL fue crucial para equilibrar la predicción de movimiento/estaticidad.
  • El algoritmo FPF fue el componente más impactante en la conversión de LiDAR, demostrando que simular la detección de movimiento es vital para la realismo de los datos.
  • EMDUL mostró mejoras notables incluso con ratios muy bajos de datos etiquetados (hasta un 1%).

5. Significado e Impacto

El trabajo de EMDUL es significativo porque aborda el cuello de botella principal en la investigación de HPE con mmWave: la falta de datos diversos y etiquetados.

• Democratización del Entrenamiento: Permite entrenar modelos robustos utilizando datos no etiquetados fáciles de recolectar y conjuntos de datos de LiDAR públicos, sin necesidad de costosas recolecciones de datos multimodales (mmWave-LiDAR pareados).
• Generalización: Al enriquecer la diversidad de atributos de la nube de puntos y de las poses humanas, los modelos entrenados con EMDUL son mucho más capaces de generalizar a nuevos entornos, dispositivos y posturas no vistas durante el entrenamiento.
• Innovación Técnica: La introducción de la UTCL basada en principios físicos del radar y el conversor FPF establece nuevas direcciones para la transferencia de dominio entre sensores de diferentes principios físicos.

En resumen, EMDUL proporciona un marco robusto y escalable para superar las limitaciones de datos en la estimación de pose humana con mmWave, logrando una mayor precisión y generalización en aplicaciones del mundo real.