Resumen Técnico: Síntesis de Control con Aprendizaje por Refuerzo: Una Perspectiva de Modelado

Planteamiento del Problema

El artículo aborda la "brecha sim-to-real" (de simulación a realidad) en el aprendizaje por refuerzo (RL) para sistemas de control. Si bien el RL ofrece una vía prometedora para el diseño de controladores, las políticas entrenadas en entornos virtuales suelen fallar al desplegarse en hardware físico debido al desajuste del modelo. Los autores investigan si el diseño de controladores utilizando modelos simplificados e inexactos (específicamente modelos Lineales e Invariantes en el Tiempo o LTI) frente a modelos de alta fidelidad basados en principios físicos (modelos de laboratorio) afecta la robustez y la capacidad de despliegue de los controladores de redes neuronales resultantes. La hipótesis central es que los controladores entrenados en modelos inexactos pueden funcionar bien en simulación, pero pueden fallar en experimentos físicos debido a su sensibilidad ante perturbaciones y desajustes de parámetros.

Metodología

El estudio utiliza el clásico sistema de péndulo invertido sobre un carro como punto de referencia. La metodología involucra tres componentes principales:

1. Modelado del Sistema:

   • Modelo de Laboratorio: Un sistema dinámico de alta fidelidad derivado de la mecánica lagrangiana, que incorpora parámetros detallados como el amortiguamiento viscoso ($B_c, B_p$), la inercia del motor, las relaciones de engranajes y las constantes electromagnéticas.
   • Modelo Lineal: Un modelo LTI simplificado obtenido mediante la linealización del sistema alrededor del equilibrio vertical, omitiendo el amortiguamiento viscoso y la energía cinética rotacional.

2. Marco de Aprendizaje por Refuerzo:

   • Los autores emplean el algoritmo REINFORCE (un método de gradiente de política) para entrenar un controlador continuo.
   • El controlador está parametrizado por una red neuronal totalmente conectada de dos capas con funciones de activación ReLU.
   • La red genera la media ($\mu$) y la desviación estándar ($\sigma$) de una distribución Gaussiana de la cual se muestrea la acción del voltaje del motor.
   • La función de recompensa es binaria: +1 si la posición del carro y el ángulo del péndulo permanecen dentro de $\pm 0.2$ unidades del centro/posición vertical, y 0 en caso contrario.
   • El entrenamiento se lleva a cabo por separado en entornos que simulan el Modelo de Laboratorio y el Modelo Lineal.

3. Técnicas de Análisis:

   • Validación Experimental: Los controladores entrenados se despliegan en una configuración física de péndulo invertido para observar la estabilidad y la robustez frente a perturbaciones (por ejemplo, golpes manuales).
   • Análisis de Sensibilidad Local: Se realiza un análisis de sensibilidad basado en derivadas utilizando el método de paso complejo para evaluar cómo las variables de estado responden a perturbaciones en los parámetros del modelo. Esto se compara con la diferenciación automática de modo inverso (JAX).
   • Estimación de la Región de Atracción (ROA): Se utiliza una simulación de Monte Carlo para estimar empíricamente el volumen de la región de atracción para tres escenarios: (a) controlador LTI en modelo LTI, (b) controlador LTI en modelo de Laboratorio, y (c) controlador de Laboratorio en modelo de Laboratorio.

Resultados Clave

Desempeño en Simulación vs. Físico

• Simulación: Ambos controladores (entrenados en modelos LTI y de Laboratorio) estabilizaron el sistema con éxito en sus respectivas simulaciones de entrenamiento. El controlador entrenado en LTI pareció estabilizar el modelo de Laboratorio en la simulación con solo una oscilación ligeramente mayor.
• Despliegue Físico:
  • Controlador Entrenado en LTI: Falló en 3 de 5 experimentos físicos. En los 2 restantes, el sistema exhibió oscilaciones rápidas e inestables y no logró mantener el equilibrio durante periodos prolongados. El controlador fue altamente sensible al ruido y fue incapaz de manejar el amortiguamiento inherente y las no linealidades del sistema físico.
  • Controlador Entrenado en Laboratorio: Estabilizó con éxito el péndulo físico en todos los ensayos. Demostró robustez contra perturbaciones externas (por ejemplo, un golpe de 14 grados), restaurando rápidamente el péndulo a la posición vertical.

Análisis de Sensibilidad

• Sensibilidad de Parámetros: El análisis de sensibilidad reveló que el controlador entrenado en LTI es altamente sensible a los parámetros omitidos durante la reducción del modelo, específicamente el coeficiente de amortiguamiento del carro ($B_c$) y la constante de FEM del motor ($K_m$).
• Discrepancias en el Ranking: En el sistema entrenado en LTI, $B_c$ se clasificó como el 5º parámetro más sensible, mientras que en el sistema entrenado en Laboratorio, descendió al 9º lugar. Esto sugiere que el controlador LTI depende de una falta idealizada de amortiguamiento que no existe en la realidad, lo que lo hace frágil al ser desplegado.
• Nota Metodológica: Los autores señalaron que, aunque el método de paso complejo es eficiente para funciones suaves, la falta de suavidad introducida por las funciones de activación ReLU en la red neuronal provoca mayores errores de aproximación en comparación con la diferenciación basada en JAX, aunque el método de paso complejo siguió siendo computacionalmente más rápido.

Región de Atracción (ROA)

• La estimación empírica de la ROA mostró una diferencia significativa en la robustez:
  • Controlador LTI en Modelo de Laboratorio: Solo ~20% de las condiciones iniciales muestreadas resultaron en un control estable.
  • Controlador de Laboratorio en Modelo de Laboratorio: ~57% de las condiciones iniciales muestreadas resultaron en un control estable.
• El controlador entrenado en Laboratorio posee una región de atracción significativamente mayor, lo que indica una probabilidad mucho más alta de estabilización exitosa desde un rango más amplio de estados iniciales.

Significado y Reivindicaciones

El artículo sostiene que la fidelidad del entorno de entrenamiento es un determinante crítico del éxito del despliegue de control basado en RL. Los autores demuestran que:

1. El Entrenamiento de Alta Fidelidad es Esencial: Diseñar controladores en entornos virtuales con modelos inexactos (como modelos LTI simplificados) no es adecuado para el despliegue físico, incluso si los resultados de la simulación parecen exitosos.
2. Robustez mediante el Modelado: Los controladores entrenados en modelos de alta fidelidad derivados de principios físicos son robustos frente a perturbaciones y desajustes de modelos, sin requerir ajustes finos tras su despliegue.
3. La Sensibilidad como Herramienta de Diagnóstico: El análisis de sensibilidad local sirve como un método eficaz para justificar las discrepancias entre la simulación y la realidad, identificando parámetros específicos omitidos (como el amortiguamiento) que causan el fallo en los modelos simplificados.
4. Validación Empírica: El estudio proporciona evidencia empírica, a través de experimentos físicos y la estimación de la ROA, de que la brecha "sim-to-real" puede mitigarse alineando el modelo de entrenamiento con la dinámica del hardware físico, en lugar de depender únicamente de la aleatorización de dominios o aproximaciones simplificadas.

Los autores concluyen que, si bien el RL es una herramienta poderosa, su fiabilidad en aplicaciones del mundo real depende fuertamente de la alineación entre el modelo de simulación y el sistema físico, advirtiendo contra el despliegue ingenuo de controladores entrenados sobre aproximaciones deficientes.