A Hybrid Autoencoder for Robust Heightmap Generation from Fused Lidar and Depth Data for Humanoid Robot Locomotion

Resumen Técnico: Un Autoencoder Híbrido para la Generación Robusta de Mapas de Altura

Declaración del Problema
La locomoción fiable para robots humanoides en entornos no estructurados y centrados en humanos se ve obstaculizada por la inestabilidad inherente de la morfología bípeda y las limitaciones de los sistemas de percepción actuales. Los enfoques tradicionales suelen depender de canales de un solo sensor (ya sea cámaras de profundidad o LiDAR) o de técnicas de mapeo diseñadas manualmente que son computacionalmente costosas, como SLAM o la voxelización. Estos métodos sufren frecuentemente de sensibilidad a la iluminación, las propiedades de las superficies, una latencia significativa y deriva (drift). Además, los canales existentes de percepción-a-control carecen de una representación intermedia robusta que equilibre el detalle del terreno con la eficiencia computacional requerida para el control en tiempo real.

Metodología
El artículo propone un marco modular basado en el aprendizaje que desacopla la percepción del control, utilizando un mapa de altura centrado en el robot como la representación intermedia. El núcleo del sistema es una Estructura de Codificador-Decodificador Híbrida (EDS) diseñada para reconstruir el terreno a partir de datos sensoriales brutos de alta dimensión.

• Fusión de Sensores: El sistema fusiona datos de tres fuentes: una cámara de profundidad Intel RealSense, un LiDAR LIVOX MID-360 y una IMU integrada.
  • Procesamiento de LiDAR: Para permitir un procesamiento eficiente de CNN, la nube de puntos 3D no estructurada del LiDAR se transforma mediante proyección esférica en una imagen de rango 2D estructurada (resolución de 276 × 40). Esto incluye pasos de preprocesamiento como el llenado de huecos, interpolación de vecino más cercano y filtrado de mediana para mitigar los artefactos de proyección.
  • Procesamiento de Profundidad: Las imágenes de profundidad se procesan a una resolución de 160 × 120.
• Arquitectura:
  • Encoders (Codificadores): Ramas de Redes Neuronales Convolucionales (CNN) separadas procesan las imágenes de rango de profundidad y LiDAR. Cada rama utiliza cuatro capas convolucionales con paso (strided) para submuestrear la resolución espacial y extraer características, mapeándolas a un vector latente de 256 dimensiones.
  • Fusión y Núcleo Temporal: Los vectores latentes se concatenan con un vector de estado del robot de 15 dimensiones (datos de la IMU) y la predicción del mapa de altura del paso de tiempo anterior. Esta representación unificada es procesada por un núcleo recurrente que consiste en dos capas de Unidad Recurrente de Puerta (GRU) apiladas (256 unidades ocultas) para asegurar la consistencia temporal y manejar las oclusiones.
  • Decoder (Decodificador): Una cabeza de decodificador totalmente conectada genera el mapa de altura predicho final de 165 dimensiones.
• Estrategia de Entrenamiento: Se emplea un proceso de entrenamiento en dos etapas. Primero, autoencoders convolucionales simétricos se pre-entrenan de manera no supervisada en datos simulados con ruido para estabilizar la extracción de características. Segundo, estos encoders se integran en el EDS completo con el núcleo GRU y se entrenan en un entorno supervisado utilizando mapas de altura de verdad fundamental (ground-truth).
• Optimización del Mapa de Altura: El mapa de altura centrado en el robot se optimiza para el comportamiento de la política de locomoción. El estudio identifica una resolución de cuadrícula óptima de 7 cm dentro de una cuadrícula de 0.98 m × 0.7 m, con el centro desplazado 0.2 m hacia adelante para priorizar la trayectoria inmediata del robot.
• Política de Control: Una política de Aprendizaje por Refuerzo Profundo (DRL), entrenada mediante Optimización de Política Próxima (PPO) en Isaac Lab, utiliza el mapa de altura generado, señales propioceptivas y comandos de velocidad para controlar 23 grados de libertad actuados. La función de recompensa está diseñada para fomentar el comportamiento anticipatorio, como levantar los pies ante cambios de elevación próximos.

Contribuciones Clave

1. Arquitectura EDS Híbrida: Introducción de una arquitectura de fusión multimodal que combina CNN para la extracción de características espaciales y GRUs para el modelado temporal, diseñada específicamente para la percepción de terreno en humanoides.
2. Representación Optimizada del Mapa de Altura: Evaluación sistemática del espaciado y la resolución de la cuadrícula, estableciendo que una resolución de 7 cm con un campo de visión desplazado hacia adelante proporciona el equilibrio óptimo entre la precisión del apoyo y la estabilidad del entrenamiento.
3. Proyección de LiDAR Eficiente: Implementación de un método de proyección esférica para los datos de LiDAR que convierte nubes de puntos 3D en imágenes de rango 2D aptas para CNN, reduciendo la complejidad computacional en comparación con los métodos basados en vóxeles.
4. Entrenamiento en Dos Etapas: Una metodología que separa el pre-entrenamiento no supervisado de los encoders de la fusión temporal supervisada para mejorar la convergencia y la robustez.

Resultados

• Precisión de Percepción: El enfoque de fusión multimodal logró un Error Absoluto Medio (MAE) de 2.19 cm. Esto representa una mejora del 7.2% sobre las configuraciones de solo profundidad (2.36 cm) y una mejora del 9.9% sobre las configuraciones de solo LiDAR (2.43 cm).
• Contexto Temporal: El uso de un horizonte temporal de 3.2 segundos (32 pasos de tiempo) redujo los errores de reconstrucción aproximadamente un 30% en comparación con horizontes más cortos, observándose rendimientos decrecientes a los 6.4 segundos.
• Estabilidad de Locomoción: La integración del mapa de altura optimizado y el diseño de la recompensa resultó en una reducción del 70.1% en las terminaciones causadas por caídas en comparación con una línea base ciega. Además, el error de velocidad lineal disminuyó un 25.0% y el error de velocidad angular un 17.2%.
• Robustez: La política mantuvo una locomoción estable incluso cuando las entradas del mapa de altura fueron corrompidas con ruido gaussiano de hasta una desviación estándar de 2 cm.

Significancia y Limitaciones
El artículo afirma establecer una base validada para la locomoción de humanoides en tiempo real y consciente del terreno, mediante el desacoplamiento de la percepción del control y la optimización de la representación intermedia. El marco demuestra que la fusión de sensores híbrida y el espaciado de cuadrícula personalizado permiten patrones de marcha anticipatorios, permitiendo que los robots naveguen terrenos complejos de forma más segura.

Sin embargo, los autores reconocen limitaciones específicas:

• Suavizado de Discontinuidades: La función de pérdida de Error Cuadrático Medio (MSE) píxel a píxel tiende a suavizar las discontinuidades verticales abruptas (ej. bordes de escalones) convirtiéndolas en pendientes graduales, lo que puede reducir la precisión del apoyo en superficies discontinuas.
• Sensibilidad al Ruido: La fiabilidad del control se degrada significativamente cuando el ruido del mapa de altura supera una desviación estándar de 2 cm.
• Límites de Representación: El mapa de altura 2.5-D no puede capturar estructuras colgantes.
• Brecha Sim-to-Real: Aunque el sistema funciona bien en simulación, persiste una brecha para el despliegue en el mundo real, particularmente respecto al pre-entrenamiento en conjuntos de datos reales desordenados.

Los autores sugieren que el trabajo futuro debería centrarse en funciones de pérdida que preserven los bordes, arquitecturas híbridas CNN-Transformer y una randomización de dominio exhaustiva para abordar estas limitaciones.