Resumen Técnico: Embebidos de Mapeo Contractivo para la Locomoción Humanoide Robusta en Terrenos No Estructurados (CMR)

Declaración del Problema

La reversión robusta de perturbaciones sigue siendo un desafío crítico en la locomoción humanoide, particularmente en entornos no estructurados caracterizados por irregularidades del terreno, perturbaciones de actuación y sensores poco fiables. Aunque los datos de percepción (por ejemplo, mapas de altura) mejoran el conocimiento del terreno, el ruido de los sensores y las brechas entre simulación y realidad (sim-to-real) pueden desestabilizar las políticas de control. Los enfoques existentes enfrentan limitaciones significativas:

• Los controladores basados en modelos (por ejemplo, ZMP, LIP) dependen de supuestos restrictivos (altura fija del CoM, dinámica simplificada) y luchan contra la incertidumbre de las mediciones.
• Los métodos basados en aprendizaje a menudo fallan al intentar mantener la robustez cuando los sensores exteroceptivos introducen ruido, especialmente en terrenos complejos como escaleras o vigas de equilibrio.
• Las técnicas de robustez actuales, como los filtros de paso bajo o las recompensas de suavidad, requieren una sintonización extensiva, reducen la capacidad de exploración y a menudo no logran generalizarse a través de diversos sistemas robóticos.
• Los métodos de control de sensibilidad existentes (por ejemplo, restricciones de Lipschitz mediante penalizaciones de gradiente) suelen estar limitados a comportamientos básicos de marcha en terrenos de baja complejidad.

El problema central abordado es la falta de un método sistemático para garantizar la robustez frente al ruido de observación en tareas de locomoción humanoide de altos grados de libertad (DOF) sin sacrificar el rendimiento de la tarea o requerir un esfuerzo de ingeniería prohibitivo.

Metodología

Los autores proponen el Mapeo Contractivo para la Robustez (CMR), un marco que mapea observaciones de alta dimensión y propensas a perturbaciones en un espacio latente donde las perturbaciones locales se atenúan con el tiempo.

Fundamento Teórico

El enfoque se basa en el Teorema del Mapeo Contractivo. Los autores derivan límites teóricos sobre la "brecha de retorno" (degradación del rendimiento) bajo ruido de observación:

1. Sistemas Estándar: En sistemas con constantes de Lipschitz $L_f \geq 1$, el ruido de observación puede conducir a un crecimiento exponencial del error a lo largo del horizonte temporal $H$, causando una severa degradación del rendimiento.
2. Sistemas Contractivos: Al mapear los estados en un espacio latente con un factor de contracción $0 < \kappa < 1$, el marco asegura que las diferencias entre trayectorias se reduzcan con el tiempo. El análisis teórico (Teorema 2) establece que la brecha de retorno está acotada por $O(\frac{\eta}{1-\kappa})$, donde $\eta$ acota la discrepancia de acción esperada. Crucialmente, este límite es independiente de la longitud del horizonte $H$, ofreciendo una robustez de largo horizonte superior en comparación con los enfoques no contractivos.

Arquitectura del Marco

El marco CMR integra tres componentes clave en un flujo de trabajo estándar de Aprendizaje por Refuerzo Profundo (RL) (específicamente, Optimización de Política Próxima, PPO):

1. Aprendizaje de Representación Contrastiva: Utiliza una pérdida InfoNCE para preservar la discriminación semántica, asegurando que el espacio latente retenga la geometría relevante para la tarea y evite una pérdida excesiva de información.
2. Regularización de Lipschitz: Introduce un término de pérdida específico ($L_{Lipschitz}$) para restringir explícitamente la evolución de las diferencias en el espacio de embebido, imponiendo la propiedad de contracción ($\kappa < 1$).
3. Optimización Conjunta: El objetivo de entrenamiento total combina la pérdida PPO, la pérdida contrastiva y la regularización de Lipschitz:
   $$L_{CMR} = L_{InfoNCE} + \lambda \cdot L_{Lipschitz} + L_{PPO}$$
   donde $\lambda$ equilibra la discriminación semántica y la contracción dinámica.

Detalles de Implementación

• Observaciones: El sistema procesa datos propioceptivos ruidosos (posiciones/velocidades de las articulaciones, pose de la base) y datos exteroceptivos (mapas de elevación egocéntricos).
• Inyección de Ruido: Durante el entrenamiento, se inyecta ruido en las observaciones de percepción para simular la degradación del mundo real.
• Compatibilidad: La formulación actúa como un término de pérdida auxiliar, lo que requiere modificaciones mínimas a los flujos de trabajo de RL profundo existentes.

Contribuciones Clave

1. Marco Novedoso: Introducción de CMR, un marco de embebido contractivo que atenúa sistemáticamente las perturbaciones de observación mientras preserva la estructura relevante para la tarea.
2. Avance Teórico: La primera aplicación del teorema del mapeo contractivo a la locomoción humanoide basada en aprendizaje, proporcionando límites rigurosos sobre las brechas de retorno inducidas por el ruido.
3. Integración Práctica: Desarrollo de un sistema de entrenamiento simple y efectivo que se integra perfectamente con los flujos de trabajo modernos de RL profundo, permitiendo un control robusto con un esfuerzo técnico mínimo.

Resultados Experimentales

Se realizaron experimentos extensos en el robot humanoide Unitree G1 en simulación (Isaac Gym y MuJoCo) a través de diversos terrenos (suelo irregular, piedras de paso, vigas de equilibrio) y niveles de ruido.

• Reversión de Ruido: Bajo condiciones de alto ruido (Casos de Ruido I y III-V), CMR superó significativamente a los modelos de referencia (HIM, LCP, PPO Naive). Mantuvo una locomoción estable, logró distancias de viaje más largas y exhibió un menor consumo de potencia de las articulaciones y acciones de control más suaves.
• Generalización (Sim-to-Sim): En escenarios de transferencia cero-disparo (zero-shot) de Isaac Gym a MuJoCo bajo perturbaciones ruidosas, CMR demostró un seguimiento de comandos y una eficiencia energética superiores en comparación con la línea de base HIM.
• Estudios de Ablación: El análisis de los hiperparámetros ($\tau$, $\lambda$, $\kappa$) confirmó un compromiso entre la precisión de la trayectoria y el consumo de energía, validando la configuración por defecto elegida como un compromiso equilibrado.
• Visualización del Espacio Latente: Las visualizaciones de t-SNE revelaron que las trayectorias del espacio latente de CMR exhiben una desviación significativamente menor bajo ruido en comparación con las líneas de base, confirmando las propiedades de autoestabilización del espacio contractivo.

Significado y Reivindicaciones

El artículo afirma que CMR representa un paso significativo hacia el control humanoide robusto al:

• Abordar sistemáticamente la robustez al ruido en tareas de locomoción complejas, un área previamente identificada como un problema de investigación abierto.
• Proporcionar garantías teóricas que limitan la degradación del rendimiento debido al ruido de observación, yendo más allá del ajuste heurístico.
• Permitir el potencial de transferencia sim-to-real mediante el aprendizaje de embebidos de estado contractivos que limitan de forma demostrable la propagación del ruido.

Los autores señalan que, si bien el presente trabajo se centra en la simulación, están verificando el rendimiento de transferencia a través de experimentos con robots reales para fortalecer su credibilidad práctica. El trabajo futuro apunta a incorporar percepción multimodal (por ejemplo, cámaras de profundidad) para manejar terrenos incluso más precisos y complejos.