Constraint-Enhanced Reinforcement Learning Based on Dynamic Decoupled Spherical Radial Squashing

Este artículo introduce el Aplastamiento Radial Esférico Desacoplado Dinámico (DD-SRad), un método de aprendizaje por refuerzo mejorado con restricciones que resuelve la discrepancia geométrica entre los límites de velocidad de actuadores heterogéneos y las restricciones isotrópicas mediante el cálculo de radios adaptativos por posición y por articulación, logrando así cero violaciones de restricciones, retropropagación exacta del gradiente y un rendimiento superior en tareas tanto en simulación como en despliegues de robots humanoides de alta fidelidad.

Lo esencial

Imagina que estás enseñando a un robot a caminar, bailar o correr usando un mando de videojuego. En el mundo real, las articulaciones del robot (como rodillas, caderas y tobillos) tienen límites físicos sobre la velocidad a la que pueden moverse. Si le indicas a la rodilla de un robot que pase de una posición a otra demasiado rápido, el motor podría quemarse o el robot podría tropezar y caer.

El problema es que cada articulación tiene un límite de velocidad diferente. Las caderas de tu robot podrían ser fuertes y rápidas, capaces de moverse con celeridad, mientras que sus tobillos son delicados y lentos. Esto es como un coche cuyo motor puede girar a altas revoluciones, pero cuyas ruedas están atascadas en el barro y solo pueden girar lentamente.

El Problema: El Error del "Talla Única"

Los métodos anteriores para enseñar a los robots intentaron manejar estos límites de velocidad imponiendo un "límite de velocidad global" a todo el robot. Imagina que tienes un grupo de corredores: un velocista, un maratoniano y un niño pequeño. Si les dices a todos: "Solo pueden correr tan rápido como el niño pequeño", el velocista se ve frenado innecesariamente. Si les dices: "Corran tan rápido como puedan", el niño pequeño se queda atrás (o, en el caso del robot, se rompe).

En términos matemáticos, el artículo indica que los métodos antiguos intentaban ajustar un círculo perfecto (una esfera) dentro de un cajón rectangular de movimientos permitidos.

• El Cajón: Representa el mundo real donde la cadera puede moverse mucho, pero el tobillo solo puede moverse un poco.
• El Círculo: Representa el antiguo método de IA. Intenta ajustar un círculo dentro de ese cajón.
• El Resultado: El círculo deja enormes esquinas vacías en el cajón. Se le dice al robot que no puede mover su cadera tan rápido como físicamente podría, solo para mantener el "círculo" seguro. Esto desperdicia el potencial del robot.

La Solución: DD-SRad (Aplanamiento Radial Esférico Desacoplado Dinámico)

Los autores crearon un nuevo método llamado DD-SRad. Imagínalo como darle al robot un guante inteligente y ajustable para cada dedo (articulación) individualmente.

En lugar de una regla grande para toda la mano, DD-SRad calcula un "límite de velocidad" específico para cada dedo basándose en:

1. La velocidad a la que se permite moverse ese dedo específico.
2. La ubicación actual de ese dedo.

Si la cadera del robot está en una posición donde puede moverse rápido de forma segura, el "guante" le permite ir a toda velocidad. Si el tobillo está cerca de su límite, el "guante" se ajusta solo para ese tobillo.

La Analogía:
Imagina que conduces un coche con un pedal de acelerador muy sensible y un freno pesado.

• Método Antiguo: Colocas un bloque de madera bajo el pedal de acelerador para que no puedas pisarlo más de 1 pulgada. Esto te mantiene seguro, pero no puedes acelerar incluso cuando el camino está despejado.
• DD-SRad: Tienes un pedal inteligente que sabe exactamente con qué fuerza puedes pisarlo basándose en tu velocidad actual y las condiciones de la carretera. Te permite pisarlo a fondo cuando es seguro, pero lo suelta suavemente cuando estás cerca de un muro.

Por Qué Esto Importa (Los Resultados)

El artículo probó esto en robots digitales (en un simulador llamado MuJoCo) y en simulaciones de alta fidelidad de humanoides reales (Unitree H1 y G1).

1. Cero Articulaciones Rotas: El método garantiza que el robot nunca le pida a una articulación moverse más rápido de su límite. Es una garantía de seguridad del 100%.
2. Máximo Rendimiento: Al dejar de frenar las articulaciones rápidas, los robots aprendieron a moverse mejor y más rápido que los métodos anteriores. En las pruebas, lograron las puntuaciones más altas posibles sin infringir nunca una regla.
3. Mejor Cobertura: El artículo afirma que este método cubre un 30% a un 50% más de los movimientos posibles que los antiguos métodos de "círculo". Rellena las "esquinas" del cajón que anteriormente estaban vacías.
4. Sin Ralentizaciones: A diferencia de otros métodos que requieren cálculos matemáticos complejos (resolver ecuaciones) en cada paso para verificar la seguridad, DD-SRad lo hace instantáneamente con una fórmula simple. Es lo suficientemente rápido para el control en tiempo real.

La Conclusión

El artículo argumenta que para hacer que los robots sean seguros y ágiles en el mundo real, debemos dejar de tratar a todas las articulaciones por igual. Al darle a cada articulación su propio "límite de velocidad" personalizado que cambia dinámicamente a medida que el robot se mueve, podemos desbloquear el potencial completo del robot sin arriesgar daños. Los autores demostraron esto exitosamente en humanoides simulados, mostrando un camino claro desde el manual técnico (ficha técnica) de un robot hasta una máquina desplegada de forma segura y de alto rendimiento.

Resumen técnico

Resumen Técnico: Aplastamiento Radial Esférico Desacoplado Dinámico (DD-SRad)

1. Enunciado del Problema

Desplegar políticas de aprendizaje por refuerzo (RL) en robots físicos requiere satisfacer restricciones de tasa de actuadores: límites rígidos sobre la velocidad con la que puede cambiar la orden de posición de cada articulación por paso de control ($|a^i_t - a^i_{t-1}| \le \delta^i$). Estos límites son estructuralmente heterogéneos; debido a diferencias en la inercia del motor y la rigidez de la transmisión, el límite de tasa $\delta^i$ varía significativamente entre las articulaciones (por ejemplo, las articulaciones de la cadera a menudo permiten tasas mucho más altas que las articulaciones del tobillo).

Los métodos existentes no logran manejar esta heterogeneidad geométricamente:

• Enfoques MPC/QP incurren en sobrecarga del solucionador en tiempo de ejecución y sufren inconsistencia entre entrenamiento y despliegue, impidiendo la optimización de extremo a extremo.
• Métodos de MDP con restricciones (CMDP) (por ejemplo, CPO, FOCOPS) ofrecen solo garantías en forma esperada, permitiendo violaciones transitorias por paso que pueden dañar el hardware.
• Métodos de parametrización de acciones típicamente imponen restricciones isotrópicas de bola $\ell_2$ (por ejemplo, Aplastamiento Radial Esférico, SRad). Bajo restricciones heterogéneas, una bola $\ell_2$ con radio $R = \min_i \delta^i$ cubre severamente por debajo el conjunto factible real (un hiperrectángulo $\ell_\infty$). La relación de volumen de la bola $\ell_2$ respecto al conjunto factible real se degrada exponencialmente con la dimensión y la heterogeneidad, comprimiendo efectivamente el espacio de exploración para las articulaciones de alto presupuesto.
• Métodos de recorte $\ell_\infty$ (por ejemplo, BoxPre+) cubren la geometría correcta pero recortan los gradientes en el límite, perdiendo información direccional durante las actualizaciones de la política.

El desafío central es lograr satisfacción estricta de restricciones por paso, cobertura exacta $\ell_\infty$ del conjunto factible y retropropagación de gradientes de extremo a extremo sin sobrecarga de solucionador en tiempo de ejecución.

2. Metodología: DD-SRad

El artículo propone Aplastamiento Radial Esférico Desacoplado Dinámico (DD-SRad), una parametrización suave y analítica de la acción que resuelve la discrepancia geométrica entre la salida de la política y las restricciones de tasa heterogéneas.

Mecanismo Central

A diferencia de SRad, que utiliza un radio global único $R$, DD-SRad calcula un radio efectivo adaptativo a la posición $R^i_{\text{eff}}$ independientemente para cada dimensión de acción $i$:
$$R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) = \begin{cases} \min(\delta^i, a^i_{\max} - a^i_{\text{prev}}) & \text{si } u^i > 0 \\ \min(\delta^i, a^i_{\text{prev}} - a^i_{\min}) & \text{si } u^i < 0 \\ \delta^i & \text{si } u^i = 0 \end{cases}$$

El mapeo transforma una acción latente $u \in \mathbb{R}^d$ a la acción física $a$ mediante un aplastamiento esférico independiente por dimensión:
$$a^i = a^i_{\text{prev}} + R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) \cdot \frac{u^i}{\sqrt{1 + (u^i)^2}}$$

Propiedades Clave

1. Alineación Geométrica: El conjunto alcanzable de DD-SRad es exactamente el hiperrectángulo $\ell_\infty$ definido por los límites de tasa y los límites de posición, recuperando el volumen perdido por las líneas base isotrópicas $\ell_2$.
2. Satisfacción Estricta de Restricciones: El mapeo garantiza $|a^i - a^i_{\text{prev}}| \le \delta^i$ y $a^i \in [a^i_{\min}, a^i_{\max}]$ con probabilidad 1 para cualquier acción latente $u$.
3. Preservación de Gradientes: El mapeo es suave y analítico (excepto en $u=0$, un evento de medida cero). La Jacobiana es una matriz diagonalmente definida positiva, asegurando que la información direccional completa del gradiente del crítico se propague a la política sin recorte.
4. Cero Sobrecarga: Como una capa plug-and-play, no requiere solucionadores en tiempo de ejecución (QP/MPC) e integra directamente en arquitecturas fuera de política como SAC y TD3.

3. Contribuciones Clave

• Alineación Geométrica: DD-SRad logra una cobertura exacta $\ell_\infty$ del conjunto factible mediante radios adaptativos por dimensión, recuperando sistemáticamente el volumen perdido por las líneas base $\ell_2$ bajo restricciones heterogéneas.
• Garantías Teóricas: El artículo demuestra la satisfacción estricta de restricciones por paso con probabilidad 1 y establece límites sobre el número de condición de la Jacobiana, asegurando gradientes bien condicionados.
• Compatibilidad de Extremo a Extremo: La forma analítica suave soporta la retropropagación exacta del gradiente de la política con cero sobrecarga de solucionador en tiempo de ejecución, compatible con algoritmos estándar fuera de política.
• Validación Empírica: Experimentos extensos demuestran que DD-SRad logra el mayor retorno de tarea con cero violaciones de restricciones, superando a las líneas base tanto en los puntos de referencia MuJoCo como en simulaciones de alta fidelidad IsaacLab.

4. Resultados Experimentales

Los autores evaluaron DD-SRad en MuJoCo (Ant, Humanoid, HalfCheetah, Hopper) y IsaacLab (robots humanoides Unitree H1 y G1).

Puntos de Referencia MuJoCo

• Rendimiento: Bajo restricciones heterogéneas ajustadas, DD-SRad logró el mayor retorno en las 8 configuraciones de entorno-arquitectura (SAC y TD3), a menudo igualando o superando el límite superior sin restricciones.
• Utilización de Restricciones: DD-SRad demostró una mejora del 30%–50% en la cobertura del espacio de restricciones en comparación con las líneas base esféricas. A diferencia de SRad-Strict, que sufrió colapso estructural (por ejemplo, 68.8% de violación de restricciones en Ant-SAC), DD-SRad mantuvo cero violaciones.
• Comparación: DD-SRad superó al recorte $\ell_\infty$ (BoxPre+) en un 5%–14% en retorno, confirmando que la propagación suave de gradientes es superior al recorte de gradientes en los límites.

Simulación de Alta Fidelidad (IsaacLab)

• Robustez: Utilizando especificaciones oficiales de articulaciones para Unitree H1 (terreno irregular) y G1 (terreno plano), DD-SRad logró una locomoción óptima.
  • H1 (Irregular): DD-SRad logró un retorno de 37.14 con una tasa de caídas del 48.7%, superando significativamente a BoxPre+ (retorno de 23.11, 70.2% de caídas) y SRad-Strict (retorno de 0.83, 100% de caídas).
  • G1 (Plano): DD-SRad logró un retorno de 5473 con una tasa de caídas del 0.3% y el error de seguimiento de velocidad más bajo (0.138 m/s).
• Asignación Adaptativa: Los gráficos de radar y los diagramas de dispersión confirmaron que DD-SRad permite una asignación adaptativa a la tarea de los presupuestos de tasa (por ejemplo, utilizar las articulaciones de la cadera para la propulsión mientras se minimiza el movimiento del tobillo en terreno plano), una capacidad bloqueada por la activación uniforme de los métodos de recorte o la compresión geométrica de los métodos esféricos.

5. Significado y Afirmaciones

El artículo afirma proporcionar una ruta sistemática desde las hojas de datos de hardware hasta el despliegue seguro. Al parametrizar el espacio de acciones directamente a partir de las especificaciones oficiales de tasa de articulaciones, DD-SRad permite que los agentes de RL aprendan políticas óptimas que respeten los límites físicos sin ingeniería de recompensas ni filtros de seguridad posteriores.

Los autores enfatizan que DD-SRad resuelve la discrepancia geométrica fundamental entre la naturaleza $\ell_\infty$ de las restricciones de tasa y la naturaleza $\ell_2$ de las parametrizaciones esféricas estándar. Esto permite:

1. Despliegue Seguro: Garantías rígidas sobre los límites de los actuadores previenen el descarte silencioso de órdenes o daños al hardware.
2. Aprendizaje Eficiente: Al preservar la geometría completa del conjunto factible, el agente puede explorar el rango completo de acciones físicamente posibles, lo que lleva a una convergencia más rápida y un mayor rendimiento.
3. Escalabilidad: El método escala a robots humanoides de alta dimensión (17+ articulaciones) sin la carga computacional de los solucionadores QP.

El trabajo concluye que, mientras que los métodos existentes sacrifican ya sea la seguridad, la cobertura geométrica o la eficiencia de entrenamiento, DD-SRad logra simultáneamente los tres, validando su utilidad para el control robótico en el mundo real.