💻 computer science

Zero-shot Transfer of Reinforcement Learning Control Policies for the Swing-Up and Stabilization of a Cart-Pole System

Este artículo demuestra la transferencia exitosa de aprendizaje por refuerzo de tipo zero-shot para el balanceo y la estabilización de un péndulo invertido (cart-pole) de simulación a hardware mediante la combinación de filtrado consciente del ancho de banda, aleatorización de dominio guiada por sensibilidad y un esquema de aprendizaje de currículo lineal para asegurar una inyección de energía y un rechazo de perturbaciones robustos.

Autores originales: Nikki Xu, Hien Tran

Publicado 2026-06-23

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nikki Xu, Hien Tran

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a equilibrar una escoba sobre su mano. Este es el problema del "Cart-Pole" (carro y péndulo): un carro se mueve de un lado a otro en una vía, y un poste está articulado a él. El robot tiene dos tareas:

Swing-Up (Levantamiento): Hacer que el poste pase de colgar recto hacia abajo a estar de pie recto hacia arriba.
Stabilization (Estabilización): Mantenerlo de pie sin que se caiga.

El robot tiene dos trabajos:

Swing-Up (Levantamiento): Hacer que el poste pase de colgar recto hacia abajo a estar de pie recto hacia arriba.
Stabilization (Estabilización): Mantenerlo de pie sin que se caiga.

Los investigadores de la Universidad Estatal de Carolina del Norte (NC State University) querían enseñarle a un robot a hacer esto usando Aprendizaje por Refuerzo (RL). Piensa en el RL como entrenar a un perro: dejas que el perro intente cosas, y si hace algo bueno, le das un premio (recompensa). Si se equivoca, no recibe ningún premio. Eventualmente, el perro aprende los mejores trucos.

Sin embargo, hay un gran problema: La brecha "Sim-to-Real" (de la simulación a la realidad).
Puedes entrenar a un robot perfectamente en una simulación por computadora (un mundo de videojuegos), pero cuando pones ese mismo "cerebro" en un robot real, a menudo falla. ¿Por qué? Porque el mundo real tiene fricción, sensores inestables y motores imperfectos que la simulación por computadora no tuvo en cuenta. Es como entrenar a un nadador en una piscina tranquila y perfecta y luego lanzarlo a un océano agitado; podría ahogarse porque las condiciones son diferentes.

El Problema: El Robot se Rompió a Sí Mismo

Al principio, los investigadores intentaron entrenar a un robot para levantar el poste usando una simulación informática estándar.

El Resultado: La computadora pensaba que el robot lo estaba haciendo genial. Pero cuando intentaron probarlo en la máquina real, el robot se volvió loco.
La Analogía: Imagina a un conductor que aprendió a conducir en un videojuego. En el juego, puede pisar el acelerador de 0 a 100 instantáneamente. En la vida real, si haces eso, tus neumáticos patinan, pierdes el control y podrías romper el coche.
Qué pasó: El "cerebro" que la computadora aprendió le decía al motor real que cambiara de velocidad máxima hacia adelante a velocidad máxima hacia atrás en una fracción de segundo. Este temblor violento rompió las ruedas de plástico del carro. El robot era demasiado "nervioso".

La Solución: Una Receta de Tres Pasos

Para solucionar esto, los investigadores desarrollaron una receta específica para que el cerebro entrenado por computadora funcione en la máquina real sin ajustes adicionales (esto se llama "Zero-Shot Transfer", lo que significa que funciona inmediatamente, como un dispositivo plug-and-play).

1. El Filtro "Smoothie" (Suavizado de Acción)

El Probleo: El cerebro de la computadora estaba dando órdenes demasiado bruscas y rápidas, como un solo de batería tocado a 1,000 pulsaciones por minuto.
La Solución: Añadieron un "filtro de paso bajo". Piensa en esto como un licuadora de smoothies para los comandos del robot. Si el cerebro quiere gritar "¡VE A LA IZQUIERDA!" y luego inmediatamente "¡VE A LA DERECHA!", la licuadora suaviza eso en un gentil "Ve a la izquierda, y luego gira lentamente a la derecha".
Por qué importa: Esto protegió las ruedas físicas de romperse y evitó que el robot se destrozara a sí mismo con temblores.

2. Las "Ruedas de Entrenamiento" (Aprendizaje por Currículo)

El Problema: Si lanzas a un estudiante a un examen difícil de inmediato, podría entrar en pánico y fallar.
La Solución: Utilizaron un "Currículo". En lugar de entrenar al robot en un mundo perfecto y fácil, comenzaron con un mundo ligeramente desordenado y lo hicieron cada vez más desordenado.
La Analogía: Es como aprender a montar en bicicleta. Comienzas en terreno plano con ruedas de entrenamiento. Una vez que te vuelves bueno, quitas las ruedas. Luego practicas en una ligera pendiente. Finalmente, practicas en un camino con baches. Para cuando el robot se "gradúa", ha visto tantos tipos diferentes de "baches" en la simulación que el mundo real le parece fácil.

3. La "Aleatorización Dirigida" (Randomización de Sensibilidad Guiada)

El Problema: Si intentas aleatorizar todo (el peso del carro, el viento, la fricción, el color del cielo), el robot se confunde y no aprende nada.
La Solución: Los investigadores realizaron un "análisis de sensibilidad". Esto es como un médico que revisa qué partes del cuerpo son más sensibles a una enfermedad. Descubrieron que solo tres partes específicas del motor de su robot (el peso de la parte giratoria y dos constantes eléctricas) realmente importaban.
La Estrategia: Solo aleatorizaron esas tres partes específicas durante el entrenamiento. No alteraron todo lo demás. Esto mantuvo el entrenamiento enfocado pero lo suficientemente robusto como para manejar el mundo real.

El Acto Final: El Traspaso

El robot tiene dos "cerebros" (políticas) diferentes: uno para levantar el poste y otro para mantener el equilibrio.

El Desafío: No puedes cambiar del "Cerebro de Levantamiento" al "Cerebro de Equilibrio" instantáneamente. Si cambias en el momento equivocado, el poste se caerá.
La Solución: Crearon una "Lógica de Cambio". Imagina un semáforo. El "Cerebro de Levantamiento" conduce el coche hasta que el poste está casi vertical y el carro está en el lugar correcto. Entonces, el semáforo se pone en verde y el "Cerebro de Equilibrio" toma el control. Se aseguraron de que este cambio fuera suave (sin "baches") para que el robot no se sobresaltara.

El Resultado

Lo que funcionó: La combinación del Filtro Smoothie (para evitar roturas), la Aleatorización Dirigida (para aprender las cosas correctas) y el Aprendizaje por Currículo (para aprender gradualmente) permitió al robot pasar de una posición colgante a una posición de pie y mantenerse allí.
Lo que no funcionó: Si aleatorizaban demasiadas cosas, o no usaban el filtro, el robot fallaba en el laboratorio real, incluso si se veía perfecto en la computadora.
Conclusión clave: No puedes simplemente entrenar a un robot en un videojuego perfecto y esperar que funcione en el mundo real desordenado. Tienes que enseñarle a manejar el "ruido" y la "brusquedad" mientras está aprendiendo, usando un enfoque suave y paso a paso.

En resumen, construyeron un robot que aprendió a equilibrar un poste entrenándolo en un aula simulada desordenada, suavizando sus comandos para que no se rompiera sus propias piernas, y permitiéndole cambiar al "modo de equilibrio" solo cuando estaba listo. Y funcionó inmediatamente cuando lo encendieron en el laboratorio.

Resumen Técnico: Transferencia de Cero Disparos (Zero-shot) de Políticas de Control de Aprendizaje por Refuerzo para el Balanceo y Estabilización de un Sistema de Péndulo sobre Carrito

Planteamiento del Problema
El artículo aborda el desafío de desplegar políticas de control de Aprendizaje por Refuerzo (RL) desde la simulación hacia el hardware físico sin necesidad de un ajuste fino (transferencia de cero disparos o zero-shot). Específicamente, se dirige al sistema de péndulo sobre carrito, un referente canónico de control no lineal que requiere dos fases distintas: una fase de "balanceo" (swing-up) para inyectar energía y mover el péndulo desde un equilibrio inferior hacia una región vertical, y una fase de "estabilización" para mantener el equilibrio frente a perturbaciones. Aunque el RL ha mostrado éxito en simulación, la transferencia directa al hardware suele fallar debido a la brecha simulación-realidad (sim-to-real gap), causada por desajustes en el modelo, ruido de los sensores y dinámicas no modeladas. Los intentos previos en este trabajo utilizando modelos de alta fidelidad sin técnicas de transferencia específicas resultaron en daños al hardware debido a señales de control de alta frecuencia, de tipo "bang-bang".

Metodología
Los autores proponen un marco de control híbrido que involucra dos políticas entrenadas de forma independiente (balanceo y estabilización) gestionadas por una lógica de conmutación en Simulink. La metodología central se enfoca en tres técnicas específicas para cerrar la brecha simulación-realidad sin necesidad de un ajuste fino tras la transferencia:

Suavizado de Acción (Filtrado de Paso Bajo): Para evitar daños al hardware causados por la actuación oscilatoria de alta frecuencia inherente a la optimización de tiempo discreto del RL, se aplica un filtro de paso bajo de primer orden a la señal de salida de la red neuronal. Esto actúa como un filtro consciente del ancho de banda para suavizar las entradas de control.
Aleatorización de Dominio Guiada por Sensibilidad (DR): En lugar de aleatorizar todos los parámetros del modelo de manera indiscriminada, los autores realizan un análisis de sensibilidad utilizando un método de paso complejo para identificar los parámetros que influyen significativamente en la dinámica del sistema. La aleatorización se aplica entonces solo a un subconjunto de parámetros (específicamente el momento de inercia del motor, la constante de torque y la constante de la fuerza contraelectromotriz o back-EMF) para reducir el sobreajuste al modelo nominal preservando la dinámica del sistema.
Aprendizaje por Currículo (CL): Se implementa un programa de currículo lineal donde los márgenes de incertidumbre para los parámetros aleatorizados aumentan gradualmente desde cero hasta un valor máximo durante un número fijo de episodios de entrenamiento. El objetivo es estabilizar el entrenamiento inicial y mejorar el rendimiento final.
Conmutación de Políticas: Se diseña una lógica de conmutación para la transición entre las políticas de balanceo y estabilización. Los autores implementan un comportamiento de tipo histéresis y límites de estado relajados para asegurar transiciones suaves y evitar el chattering (vibración), permitiendo que la política de balanceo se reactive si el péndulo cae.

Resultos Clave
El estudio compara varias configuraciones de entrenamiento a través de experimentos de simulación y de hardware físico:

Fallo Inicial: Un controlador entrenado sin técnicas de transferencia (sin DR, sin CL, sin filtrado) tuvo éxito en la simulación, pero falló catastróficamente en el hardware en cuestión de segundos, rompiendo las ruedas de plástico del carrito debido a una conmutación de voltaje violenta.
Caso 0 (Aleatorización Indiscriminada): Aleatorizar todos los parámetros físicos con un margen del 10%, incluso con aprendizaje por currículo, resultó en beneficios de rendimiento difusos y no superó consistentemente a las líneas base sin aleatorizar en la simulación.
Caso 1 (Aleatorización Dirigida): La configuración más exitosa involucró la aleatorización de solo tres parámetros de baja a moderada sensibilidad ( $J_m$ , $K_t$ , $K_m$ ) con un margen del 5% sobre 100 episodios, combinada con aprendizaje por currículo y filtrado de acción. Esta política logró una tasa de éxito del 100% en simulaciones bajo niveles severos de perturbación.
Despliegue en Hardware: Solo la política del Caso 1 se transfirió con éxito al sistema físico de péndulo sobre carrito. Inyectó de manera confiable la energía suficiente para realizar la entrega a la estabilización, mantuvo el equilibrio frente a golpes manuales y se recuperó de perturbaciones mayores.
Hallazgo Contraintuitivo: Las políticas que lograron recompensas acumuladas más altas en simulación (a menudo aquellas con una aleatorización más amplia o sin currículo) fallaron frecuentemente al transferirse al hardware. Esto sugiere que las métricas de recompensa simulada por sí solas son insuficientes indicadores de la viabilidad en el mundo real.

Significancia y Reivindicaciones
El artículo afirma proporcionar una vía práctica para el despliegue de controladores basados en RL en hardware físico sin la necesidad de un ajuste fino. Sus principales contribuciones son:

Evidencia Empírica de Transferencia de Cero Disparos: Demostrar que una combinación de filtrado de acción, aleatorización de dominio guiada por sensibilidad y aprendizaje por currículo puede generar un controlador robusto que funcione directamente en hardware.
Filtrado Crítico para la Seguridad: Resaltar que el suavizado de la acción no es meramente un potenciador del rendimiento, sino un componente crítico para la seguridad necesario para prevenir daños físicos causados por las entradas de alta frecuencia inducidas por el RL.
Estrategia de Selección de Parámetros: Mostrar que la aleatorización dirigida basada en el análisis de sensibilidad es más efectiva que la aleatorización amplia e indiscriminada para este sistema específico, que opera en un entorno relativamente estable.
Protocolo de Evaluación: Proponer una métrica de evaluación integral que incluye el tiempo de balanceo, las tasas de éxito y la desviación estándar de las recompensas, argumentando que la recompensa media por episodio es un mal predictor del rendimiento en el mundo real.

Los autores mantienen un tono modesto, reconociendo que sus hallazgos son mayoritariamente empíricos y que las implicaciones teóricas de estas técnicas para los controladores de RL requieren una investigación más rigurosa. Concluyen que, si bien su combinación específica de técnicas funcionó para el péndulo sobre carrito, los resultados deben verse como evidencia empírica de una campaña limitada y no como una regla universal definitiva.