Rapid co-design of Buoyancy-assisted robots for Challenging Locomotion using Gaussian Evolutionary Specialists

Resumen Técnico: Co-diseño Rápido de Robots Asistidos por Flotabilidad mediante Especialistas Evolutivos Gaussianos

Planteamiento del Problema

El artículo aborda el desafío del co-diseño de robots, que implica la optimización conjunta de la morfología del robot (estructura física) y las políticas de control para lograr un rendimiento de la tarea inalcanzable por cualquiera de los componentes de forma aislada. Específicamente, los autores se centran en el Buoyancy-Assisted Light Legged Unit (BALLU), un robot bípede que utiliza globos de helio para compensar el peso.

La dificultad central reside en el coste computacional del proceso de co-diseño. Se trata de un problema de optimización de dos niveles:

1. Bucle Exterior: Busca en el espacio de diseño morfológico.
2. Bucle Interior: Para cada candidato de morfología, se debe entrenar un controlador robusto (típicamente mediante Aprendizaje por Refuerzo, RL).

Los enfoques existentes enfrentan cuellos de botella significativos:

• Entrenamiento de RL Repetitivo: Entrenar una nueva política desde cero para cada candidato de morfología es computacionalmente prohibitivo.
• Políticas Universales: El pre-entrenamiento de una única política "universal" condicionada a los parámetros de la morfología para permitir la evaluación zero-shot falla debido al colapso de la diversidad conductual. La política converge hacia una estrategia de locomoción única y subóptima porque los gradientes conflictivos de diversas morfologías se promedian durante el entrenamiento.
• Mezcla de Expertos (MoE) de Extremo a Extremo: Aunque las arquitecturas MoE teóricamente permiten expertos especializados, sufren de colapso de representación en este contexto. El enrutador no logra diferenciar entre expertos al principio del entrenamiento, lo que causa que todos los expertos converjan a comportamientos similares, invalidando la eficacia de la mezcla.

Metodología: Especialistas Evolutivos Gaussianos (GES)

Los autores proponen los Especialistas Evolutivos Gaussianos (GES), un marco que desacopla la partición del espacio de diseño del aprendizaje de las políticas de control para capturar explícitamente comportamientos diversos sin los modos de fallo de las políticas universales o de las políticas MoE de extremo a extremo.

Mecanismo Central:
GES mantiene un conjunto de $K$ políticas especialistas, cada una asociada a un territorio Gaussiano (definido por una media $\mu_k$ y una covarianza diagonal $\Sigma_k$) sobre el espacio de parámetros de diseño. El marco opera en un bucle iterativo que consta de tres fases hasta que el espacio de diseño esté suficientemente cubierto (95% de cobertura de Monte Carlo):

1. Inicialización:

   • Se inicializan $K$ centros Gaussianos en el espacio de diseño normalizado utilizando Muestreo de Punto Más Lejano (FPS) seguido de Relajación de Lloyd para asegurar una cobertura dispersa y de llenado de espacio.
   • Cada especialista se inicializa como un MLP aleatorio.

2. Evolución Iterativa del Territorio:

   • Entrenar (Train): Cada especialista $\pi_k$ muestrea diseños de su actual territorio Gaussiano y entrena mediante Optimización de Política Próxima (PPO), reanudando desde puntos de control previos para retener los comportamientos aprendidos.
   • Sondear (Probe): Se muestrean diseños candidatos cerca de los límites ($2\sigma$) de todos los territorios Gaussianos. Estos candidatos son evaluados por todos los $K$ especialistas. Cada candidato es asignado competitivamente al especialista que logre la puntuación de rendimiento de la tarea ($J$) más alta.
   • Reajustar (Refit): Los parámetros Gaussianos ($\mu_k, \Sigma_k$) para cada especialista se actualizan para reflejar la media y la covarianza de los diseños que "ganó" en la fase de sondeo. Esto permite que los territorios se expandan y se adapten basándose en el rendimiento empírico.

3. Integración de Co-diseño:

   • Una vez completado el entrenamiento, los especialistas sirven como evaluadores zero-shot para el bucle de optimización de diseño exterior (por ejemplo, Optimización Bayesiana).
   • Para un nuevo diseño candidato, un enrutador geométrico selecciona el especialista más cercano basado en la verosimilitud Gaussiana, y se evalúa directamente el rendimiento del especialista, eliminando la necesidad de re-entrenamiento.

Contribuciones Clave

1. Identificación de Modos de Fallo: El artículo identifica el colapso de la diversidad conductual como un modo de fallo previamente no reconocido de las políticas universales en el co-diseño de robots, donde las políticas convergen a una única estrategia independientemente de la morfología. También destaca cómo el colapso de representación socava el entrenamiento de MoE de extremo a extremo.
2. Marco GES: La propuesta de un marco de dos etapas que utiliza la evolución iterativa del territorio Gaussiano para resolver ambos problemas de colapso. Al desacoplar la partición de la especialización, GES asegura que cada especialista entrene en una región estable y bien definida del espacio de diseño.
3. Validación de Hardware: Despliegue exitoso de un diseño optimizado por GES en hardware físico, demostiendo una mejora significativa en la capacidad de atravesar obstáculos.

Resultos

El método fue validado en la plataforma BALLU en simulación (Isaac Lab) y en hardware.

• Rendimiento en Simulación:

  • Travesía de Obstáculos (Espacio 2D): GES logró una mejora de rendimiento medio del 25.5% sobre una política universal monolítica (MLP e2e) y un 8.62% sobre un MoE de extremo a extremo. Los diseños de GES superaron obstáculos de hasta 54 cm, frente a los 38 cm de la política universal.
  • Travesía de Obstáculos (Espacio 3D): GES mostró una ganancia máxima del 31.7% sobre la política universal, con una mejora media del 18.8%.
  • Escalada de Rampas: GES mejoró el rendimiento medio aproximadamente un 13% respecto a las líneas base en el espacio 2D.
  • Eficiencia: GES redujo el tiempo total de ejecución (wall-clock time) del co-diseño en un 37% (de ~100 horas a ~63 horas) al reemplazar el costoso re-entrenamiento de RL por la evaluación directa.

• Resultados de Hardware:

  • Un BALLU co-diseñado (optimizado para $GCR=0.86, SPCF=0.008$) superó con éxito un obstáculo de 24 cm.
  • Esto representa una mejora de 3x sobre el diseño base de BALLU, que solo podía superar un obstáculo de 8 cm.
  • Los resultados confirman que las mejoras de morfología descubiertas en simulación se transfieren eficazmente a la plataforma física, a pesar de las brechas sim-to-real.

• Análisis de Comportamiento:

  • A diferencia de las líneas base, los especialistas de GES mantuvieron la diversidad conductual. Las visualizaciones mostraron que diferentes especialistas controlando el mismo diseño de robot producían trayectorias de pies y estrategias cualitativamente distintas para superar obstáculos.
  • La línea base de MoE de extremo a extremo sufrió de colapso de representación, distribuyendo los diseños equitativamente entre los expertos, mientras que GES estableció particiones estrictas donde cada especialista dominaba su subespacio específico.

Significancia y Reivindicaciones

El artículo afirma que GES proporciona una solución escalable y eficiente para el co-diseño de robots al superar las limitaciones fundamentales de las políticas universales y las arquitecturas MoE estándar. Al capturar explícitamente comportos diversos mediante la evolución iterativa del territorio, GES permite el descubrimiento de morfologías de robots de alto rendimiento que de otro modo serían ignoradas por evaluadores colapsados. El marco se presenta como agnóstico a la plataforma, aunque su validación actual es específica para robots terrestres asistidos por flotabilidad. Los autores señalan que el método asume un número fijo de especialistas y un espacio de diseño continuo y acotado, identificando estos como áreas para futuras adaptaciones.