Resumen Técnico: Ahora Ves Eso: Aprendizaje de Locomoción End-to-End para Humanoides a partir de Píxeles Crudos

1. Enunciado del Problema

Lograr una locomoción robusta basada en visión para robots humanoides sigue siendo un desafío significativo en la inteligencia encarnada. A diferencia de los robots cuadrúpedos, que poseen una estabilidad estática inherente que tolera errores de control moderados, los humanoides operan en regímenes inherentemente inestables que requieren una coordinación precisa entre la percepción y la acción. El artículo identifica dos barreras fundamentales para desplegar dichos sistemas en el mundo real:

1. La Brecha Simulación-Realidad en la Percepción: Las tuberías de simulación estándar fallan al capturar las imperfecciones estructuradas de los sensores de profundidad del mundo real (por ejemplo, artefactos de emparejamiento estéreo, incertidumbres de calibración y ruido dependiente de la profundidad). Este ruido perceptivo degrada severamente el rendimiento en tareas de grano fino que requieren precisión a nivel de centímetros, como recorrer largas escaleras o navegar por espacios estrechos.
2. Objetivos de Aprendizaje en Conflicto en el Control Unificado: Entrenar una única política para manejar terrenos diversos (por ejemplo, escaleras, huecos, terrenos irregulares, plataformas) se ve obstaculizado por paisajes de recompensa en conflicto. El aprendizaje por refuerzo estándar con una única función de valor lucha por capturar estas dinámicas heterogéneas, a menudo requiriendo el entrenamiento de políticas especialistas separadas, lo que incurre en una sobrecarga sustancial.

2. Metodología

Los autores proponen un marco end-to-end que aborda tanto la transferencia de percepción como el control unificado de terrenos mediante una tubería de entrenamiento en dos etapas.

A. Simulación Realista de Sensores de Profundidad

Para cerrar la brecha simulación-realidad, los autores introducen una tubería de aumento integral que aplica secuencialmente ocho operadores a imágenes de profundidad crudas. A diferencia de la aleatorización de dominio estándar, esta tubería modela explícitamente artefactos de sensores estructurados:

• Fusión de Profundidad Estéreo: Simula patrones de agujeros en regiones ocluidas y sin textura mediante la imposición de comprobaciones de consistencia de disparidad entre los puntos de vista izquierdo y derecho.
• Ruido Dependiente de la Profundidad: Modela el crecimiento no lineal del ruido con la distancia utilizando escalado cuadrático.
• Patrones de Ruido Estructurado: Utiliza ruido de Perlin de múltiples octavas para simular interferencias ambientales correlacionadas espacialmente.
• Distorsiones Ópticas: Aplica convolución aleatorizada para modelar aberraciones de lentes.
• Incertidumbres de Calibración: Aleatoriza la escala de profundidad, los intrínsecos de la cámara y los extrínsecos para simular variaciones de fabricación y deriva.
• Preprocesamiento: Incluye simulación de fallos de píxeles (píxeles muertos/saturados), recorte de profundidad y recorte espacial para coincidir con las características reales del sensor.

B. Aprendizaje por Refuerzo Privilegiado (Profesor)

La primera etapa implica entrenar una política "privilegiada" utilizando observaciones limpias de escaneo de altura (mapas de elevación por rayos) en lugar de imágenes de profundidad crudas. Para manejar terrenos diversos, los autores emplean:

• Moldeado de Recompensa Específico del Terreno: Los terrenos se dividen en tres categorías (escaleras/plataformas, cruce de huecos y terreno irregular), cada una con componentes de recompensa especializados.
• Arquitectura Multi-Crítico y Multi-Discriminador: En lugar de una única función de valor, el sistema utiliza $K=3$ redes críticas dedicadas y $K=3$ redes discriminadoras. Cada par está especializado en una categoría de terreno específica, compartiendo una columna vertebral común pero manteniendo cabezas de salida separadas. Esto permite que la política aprenda priores de movimiento distintos y paisajes de valor para diferentes regímenes dinámicos mientras opera dentro de una arquitectura unificada.
• Priors de Movimiento Adversarios (AMP): Los discriminadores proporcionan recompensas de estilo adaptadas a las características de movimiento requeridas para cada tipo de terreno, guiando una locomoción natural.

C. Destilación de Comportamiento Consciente de la Visión (Estudiante)

La segunda etapa destila la política privilegiada en una política de despliegue que opera directamente sobre imágenes de profundidad ruidosas y aumentadas. Este proceso combina:

• Clonación de Comportamiento: Minimizar la discrepancia de acción entre el estudiante (entrada de profundidad) y el profesor (entrada de escaneo de altura).
• Objetivo de Eliminación de Ruido: Imponer consistencia entre las representaciones latentes de la profundidad limpia y la profundidad ruidosa aumentada para garantizar una extracción de características robusta.
• Regularización de Características: Aplicar regularización de divergencia KL para prevenir el colapso de representaciones al igualar la distribución de características del codificador con una priori normal estándar.

3. Contribuciones Clave

El artículo describe cuatro contribuciones principales:

1. Simulación Realista de Sensores de Profundidad: Una tubería de aumento integral que reproduce artefactos de emparejamiento estéreo, ruido dependiente de la profundidad, distorsiones ópticas e incertidumbres de calibración, facilitando una transferencia simulación-realidad fluida.
2. Destilación de Comportamiento Consciente de la Visión: Un marco que combina el moldeado del espacio latente con tareas auxiliares invariantes al ruido (eliminación de ruido y regularización KL) para transferir conocimiento de locomoción desde observaciones privilegiadas a entradas de profundidad ruidosas.
3. Aprendizaje de Terrenos Multi-Crítico y Multi-Discriminador: Una arquitectura de política unificada que utiliza moldeado de recompensa específico del terreno y redes dedicadas para capturar dinámicas y priores de movimiento distintos en terrenos diversos sin requerir políticas especialistas separadas.
4. Validación Multi-Plataforma: Experimentos extensos en el mundo real en dos robots humanoides con diferentes cámaras de profundidad estéreo, demostrando un recorrido exitoso de terrenos extremos y de grano fino sin ajuste fino.

4. Resultados Experimentales

El enfoque se validó en un robot humanoide personalizado equipado con una cámara de profundidad Orbbec Gemini 336L y se evaluó en el Benchmarque de Transferencia de Profundidad del Mundo Real (RDT-Bench), que utiliza imágenes de profundidad aumentadas con CycleGAN para simular condiciones de percepción realistas.

• Métricas de Rendimiento: El método propuesto logró una tasa de éxito promedio del 98.9% en cuatro configuraciones de terreno (escaleras, huecos, plataformas y mixto), con un consumo de energía promedio de $27.7 \times 10^1$ W y una Tasa de Degradación de Energía (PDR) de solo 5.8%.
• Comparaciones:
  • En comparación con "Sin Aumento" (43.0% de éxito, 70.9% PDR), la tubería completa demostró la importancia crítica del modelado realista de sensores.
  • En comparación con "Aprendizaje de Parkour Humanoide" (71.0% de éxito, 30.9% PDR), el método propuesto mejoró las tasas de éxito en un 27.9% y redujo la degradación de energía en un 25.1%.
  • Los estudios de ablación confirmaron que eliminar la arquitectura multi-crítico o los objetivos de eliminación de ruido degradó significativamente el rendimiento, validando la necesidad tanto del aprendizaje específico del terreno como de la extracción de características invariante al ruido.
• Despliegue en el Mundo Real: En hardware físico, la política logró una tasa de éxito general del 97.8% (88/90 ensayos) en escaleras al aire libre, plataformas, escaleras extendidas (30+ escalones) y huecos anchos. Cabe destacar que la política se ejecutó completamente a bordo a 50 Hz sin ningún ajuste fino en el mundo real.
• Generalización Multi-Plataforma: Resultados preliminares en un robot Unitree G1 con un sensor diferente (Intel RealSense D435i) mostraron una tasa de éxito del 100% en el ascenso de escaleras, lo que sugiere que las representaciones aprendidas se generalizan más allá del hardware de entrenamiento específico.

5. Significado y Afirmaciones

El artículo afirma que su marco permite una locomoción humanaide basada en visión robusta y end-to-end en un amplio espectro de entornos desafiantes, desde obstáculos extremos estilo parkour hasta tareas de grano fino como el recorrido bidireccional a largo plazo de escaleras.

Los autores enfatizan que su enfoque unifica con éxito el control de terrenos heterogéneos dentro de una sola política, superando las limitaciones de trabajos anteriores que dependían o bien de políticas especialistas separadas o bien no lograban manejar el ruido de percepción inherente a los sensores de profundidad del mundo real. Al combinar la simulación realista de sensores con el aprendizaje multi-crítico específico del terreno y la destilación consciente de la visión, el método logra altas tasas de éxito y eficiencia energética sin requerir ajuste fino en el mundo real.

Sin embargo, los autores notan modestamente una limitación: el descenso de escaleras sigue siendo menos robusto (86.7% de éxito) que el ascenso (100% de éxito). Atribuyen esto a la amplificación gravitacional de errores menores durante el descenso y a la oclusión de apoyos de pie objetivo por los bordes de los escalones, lo que exacerba los artefactos de emparejamiento estéreo. Esta observación motiva trabajos futuros sobre sensores de profundidad de campo cercano de mayor resolución y estrategias predictivas de colocación de pies.