🤖 machine learning

Foundations of Reinforcement Learning and Control:Connections and New Perspectives

Este tutorial cierra la brecha entre el aprendizaje por refuerzo y la teoría de control mediante la introducción del control adaptativo y los algoritmos actor-crítico, demostrando su aplicación combinada en un problema de control de locomoción para fomentar el entendimiento mutuo y la toma de decisiones basada en datos entre ambas comunidades.

Autores originales: Claire Vernade, Onno Eberhard, Martha White, Florian Dörfler, Csaba Szepesvári, Miroslav Krstic, Michael Muehlebach

Publicado 2026-08-04

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Claire Vernade, Onno Eberhard, Martha White, Florian Dörfler, Csaba Szepesvári, Miroslav Krstic, Michael Muehlebach

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un perro robot a correr a través de un campo. Tienes dos maestros muy diferentes para este trabajo. El primer maestro es un Teórico del Control. Es como un ingeniero meticuloso que sabe exactamente cómo están construidas las patas del perro. Construye un arnés de seguridad y un conjunto de reglas para asegurar que el perro no tropiece, incluso si el suelo se vuelve lodoso o una pata se pone un poco rígida. Su objetivo principal es la seguridad y la estabilidad; quiere que el perro se quede quieto o camine en línea recta sin caerse, pase lo que pase. El segundo maestro es un Experto en Aprendizaje por Refuerzo (RL). Es como un entrenador juguetón al que no le importa la anatomía del perro. En su lugar, lanza al perro al campo y le dice: "¡Corre! Si corres rápido, recibes un premio. Si te caes, no recibes nada". A través de millones de intentos, el perro aprende a correr increíblemente rápido al descubrir qué funciona mediante el ensayo y error.

Durante décadas, estos dos maestros trabajaron en escuelas separadas. Los ingenieros se preocupaban de que el "entrenador juguetón" fuera demasiado peligroso y pudiera romper al robot. El "entrenador juguetón" pensaba que los ingenieros eran demasiado rígidos y no podían enseñarle al robot a hacer nada sofisticado. Pero ahora, ambos campos se están dando cuenta de que se necesitan mutuamente. Los robots del futuro necesitan ser rápidos e inteligentes, pero también necesitan ser seguros y no desmoronarse cuando el mundo cambie. Este documento es una guía amistosa que explica cómo presentar a estos dos maestros, mostrando cómo sus diferentes estilos pueden trabajar juntos para crear un robot que sea tanto un corredor campeón como un viajero seguro.

La Gran Idea del Documento: Mezclando el Arnés de Seguridad con el Entrenador Juguetón

Este documento, escrito por un equipo de expertos de universidades e institutos de investigación de Alemania, Canadá y los EE. UU., actúa como un puente entre los mundos de la Teoría del Control y el Aprendizaje por Refuerzo. Los autores argumentan que, aunque estos campos tienen historias y lenguajes diferentes, en realidad intentan resolver el mismo problema: cómo hacer que una máquina se mueva y actúe de forma inteligente cuando no sabemos todo sobre cómo funciona.

Para explicar esto, los autores utilizan un ejemplo de ejecución: un robot simulado llamado Half-Cheetah. Imagina un guepardo robótico con seis articulaciones (como rodillas y caderas) que necesita correr lo más lejos y lo más rápido posible.

Los Dos Enfoques
El documento primero desglosa cómo cada campo aborda normalmente al Half-Cheetah:

La Manera de la Teoría del Control (Control Adaptativo por Modelo de Referencia o MRAC):
Piensa en esto como darle al robot una "marcha objetivo". El ingeniero dice: "Tu pierna izquierda debe moverse así, y tu pierna derecha así". Construyen un "modelo de referencia": una versión perfecta e imaginaria de cómo debería moverse el robot. Si el robot real empieza a tambalearse porque sus articulaciones se vuelven resbaladizas o pesadas, el sistema MRAC actúa como un piloto automático inteligente. Comprueba constantemente la diferencia entre el robot real y el modelo perfecto, y luego ajusta los motores en tiempo real para corregirlo. Es excelente para mantener al robot estable y seguir una trayectoria específica, incluso si el peso del robot cambia o el suelo se vuelve resbaladizo. Sin embargo, está diseñado para la adaptación de bajo nivel, lo que significa que sobresale en el ajuste de fuerzas para alcanzar un objetivo, pero no inventa estrategias de alto nivel o estilos de carrera complejos por sí solo.
La Manera del Aprendizaje por Refuerzo (Algoritmos Actor-Crítico):
Este es el enfoque del "entrenador juguetón". Aquí, el robot (el "actor") intenta correr, y un "crítico" observa y dice: "¡Buen trabajo!" o "Eso fue lento". El robot aprende desde cero, sin reglas preescritas sobre cómo mover sus patas. Descubre estilos de carrera complejos y de alta velocidad que un ingeniero humano quizás nunca habría imaginado. En las simulaciones del documento, un algoritmo famoso llamado Soft Actor-Critic (SAC) aprendió a hacer que el Half-Cheetah corriera muy rápido. Pero hay un inconveniente: si el entorno del robot cambia repentinamente (por ejemplo, si la fricción en sus articulaciones cae a la mitad), el robot SAC se confunde y empieza a tropezar porque aprendió una forma de correr que solo funcionaba en el suelo antiguo y "pegajoso".

La Nueva Solución Híbrida
La principal contribución del documento es una nueva forma de combinar a estos dos maestros. Los autores sugieren utilizar el Aprendizaje por Refuerzo para el pensamiento de "Alto Nivel" y el Control Adaptativo para el control muscular de "Bajo Nivel".

Así es como funciona en su experimento:

El Cerebro de Alto Nivel (RL): El algoritmo SAC aprende una estrategia. En lugar de decirle al robot exactamente cuánto torque (fuerza) aplicar a los motores, aprende a elegir un conjunto de ángulos deseados para las articulaciones. Es como si el entrenador dijera: "Quiero que tu rodilla esté doblada a 45 grados", en lugar de "Empuja el motor con 5 Newtons de fuerza".
Los Músculos de Bajo Nivel (MRAC): Una vez que el cerebro decide el ángulo deseado, el sistema MRAC toma el control. Actúa como la memoria muscular. Determina exactamente cuánta fuerza se necesita para llevar la articulación a ese ángulo en este momento, incluso si la articulación es resbaladiza o pesada. Si la fricción cambia, el sistema MRAC ajusta instantáneamente la fuerza para asegurar que la articulación siga alcanzando el ángulo objetivo.

Lo Que Encontraron
En sus simulaciones, los autores probaron este sistema híbrido en el Half-Cheetah.

Primero, entrenaron al robot SAC para correr en una superficie normal. Aprendió un gran estilo de carrera.
Luego, desplegaron la política aprendida en el entorno. Después de que el robot hubiera estado corriendo durante 1.2 millones de pasos, cambiaron repentinamente la física: hicieron que las articulaciones fueran el doble de resbaladizas (reduciendo el coeficiente de amortiguación por un factor de 2).
El Resultado: El robot de RL puro (solo SAC) colapsó y falló estrepitosamente porque no sabía cómo manejar las articulaciones resbaladizas. El controlador adaptativo puro (solo MRAC) podía seguir una trayectoria simple, pero no podía correr rápido o de forma compleja.
El Ganador Híbrido: El sistema combinado (SAC + MRAC) siguió corriendo sin problemas. El "cerebro" siguió eligiendo los mismos buenos ángulos de carrera, y los "músculos" (MRAC) ajustaron automáticamente las fuerzas para manejar las nuevas condiciones resbaladizas. El robot no se estrelló; simplemente siguió corriendo.

Por Qué Esto Importa
El documento sugiere que no tenemos que elegir entre "ingeniería segura y rígida" y "aprendizaje inteligente y flexible". Al superponerlos, podemos obtener lo mejor de ambos mundos. La parte de RL puede aprender estrategias compleas de alto nivel (como cómo correr rápido o subir una colina), mientras que la parte de control adaptativo se encarga de la realidad desordenada y cambiante del mundo físico (como el viento, los suelos resbaladizos o las piezas rotas).

Los autores advierten cuidadosamente que esto es una simulación en un modelo de computadora de un robot, no un robot físico corriendo en un laboratorio real todavía. También señalan que, aunque este enfoque híbrido funcionó bien en su prueba específica, no es una solución mágica para todos los problemas. Por ejemplo, la parte de RL todavía necesita aprender la estrategia primero, y la parte adaptativa necesita un modelo de referencia para seguir.

En última instancia, el documento es un llamado a la acción para que los científicos de ambos campos dejen de trabajar en silos. Demuestra que, al comprender las herramientas de cada uno —como cómo las "funciones de Lyapunov" (una forma matemática de demostrar la estabilidad) se relacionan con las "funciones de valor" (una forma matemática de medir el éxito)— podemos construir robots que no solo sean inteligentes y rápidos, sino también lo suficientemente robustos como para manejar el mundo real impredecible. El futuro de la robótica, argumentan, reside en esta colaboración.

Resumen Técnico: Fundamentos del Aprendizaje por Refuerzo y el Control

Definición del Problema

El artículo aborda la brecha persistente entre dos campos científicos adyacentes: el Aprendizaje por Refuerzo (RL) y la Teoría de Control. Ambos campos buscan optimizar controladores para sistemas dinámicos desconocidos mediante retroalimentación, compartiendo una raíz común en la programación dinámica. Sin embargo, han evolucionado con metodologías, objetivos y culturas distintas.

La Teoría de Control prioriza históricamente la estabilidad, la seguridad y la robustez en sistemas físicos ("in-vivo"), apoyándose frecuentemente en certificados matemáticos formales (p. ej., funciones de Lyapunov) y modelos de caja gris con incertidumbre paramétrica.
El Aprendizaje por Refuerzo se ha desarrollado principalmente dentro de la informática ("in-silico", simuladores), priorizando la escalabilidad algorítmica, la optimización basada en datos y el rendimiento en benchmarks de alta dimensión, utilizando a menudo enfoques de caja negra y sin modelo (model-free).

El problema central es cerrar estas perspectivas para crear marcos de toma de decisiones unificados que aprovechen las fortalezas complementarias de ambos campos: las garantías de estabilidad del control y la escalabilidad del RL.

Metodología

El tutorial emplea un enfoque comparativo estructurado, utilizando una tarea de locomoción de Half-Cheetah (simulada en MuJoCo) como un ejemplo continuo para ilustrar los conceptos.

1. Fundamentos Unificados

Los autores establecen una notación unificada para sistemas dinámicos, definiendo:

Espacio de Estados ( $S$ ) y Espacio de Acciones ( $A$ ).
Dinámica: Contrastando la visión del RL (cadenas de Markov estocásticas, $s_{t+1} \sim p(\cdot|s_t, a_t)$ ) con la visión del Control (dinámicas deterministas con ruido aditivo, $s_{t+1} = f(s_t, a_t) + \eta_t$ ).
Estabilidad vs. Optimalidad: El artículo destaca que mientras el RL busca maximizar las recompensas acumuladas (optimalidad), el control busca asegurar que las trayectorias converjan a un objetivo (estabilidad). Señala que, en entornos de Regulador Cuadrático Lineal (LQR), la función de costo óptimo coincide con una función de Lyapunov, vinculando ambos conceptos.

2. Algoritmos Representativos

El artículo detalla dos metodologías primarias:

Control Adaptativo de Modelo de Referencia (MRAC): Un enfoque de la teoría de control donde un controlador ajusta sus parámetros en línea para que un sistema físico siga un "modelo de referencia" estable. Se basa en un "supuesto de coincidencia" (que existen ganancias ideales dentro de la parametrización) y utiliza leyes de actualización basadas en Lyapunov para asegurar un error de seguimiento acotado.
Actor-Crítico de RL (específicamente Soft Actor-Critic - SAC): Un enfoque de RL sin modelo donde un "actor" (política) selecciona acciones y un "crítico" (función de valor) las evalúa. El algoritmo utiliza teoremas de gradiente de política y actualizaciones de diferencia temporal (TD) para aprender el comportamiento óptimo directamente de los datos de interacción sin un modelo explícito del sistema.

3. Enfoque Híbrido: RL + MRAC

Una contribución metodológica clave es la propuesta de una arquitectura híbrida de bajo nivel/alto nivel:

Alto Nivel (RL): Una política SAC aprende una estrategia de locomoción compleja (p. ej., ángulos de articulación deseados) en un entorno estático.
Bajo Nivel (MRAC): Un controlador adaptativo toma la salida de alto nivel como una señal de referencia y ajusta las ganancias de control de bajo nivel (torques) para seguir estos ángulos, compensando cambios en tiempo real en la dinámica del sistema (p. ej., cambios en la fricción).
Implementación: Los autores demuestran que el componente MRAC puede inicializarse utilizando datos del entorno estático para definir un modelo de referencia, y luego adaptarse en línea cuando la dinámica cambia, restaurando efectivamente la dinámica nominal para la política fija de SAC.

Principales Contribuciones

Unificación Conceptual: El artículo proporciona una introducción técnica concisa que alinea la terminología y las formulaciones de problemas del RL y el control, aclarando que sus diferencias suelen derivar de los supuestos del entorno (simulador vs. planta física) más que de las definiciones fundamentales del problema.
Puente Metodológico: Conecta explícitamente las funciones de Lyapunov (control) con las funciones de valor (RL), mostrando cómo los certificados de estabilidad pueden verse a través de la lente de la programación dinámica.
Demostración de Arquitectura Híbrida: Los autores presentan una combinación novedosa de algoritmos actor-crítico y MRAC. Este enfoque separa la planificación de alto nivel (aprendizaje de la estructura de la tarea) de la adaptación de bajo nivel (manejo de la incertidumbre paramétrica), demostrando que ambos paradigmas son complementarios en lugar de opuestos.
Análisis Crítico de Limitaciones: El artículo evalúa honestamente las limitaciones de ambos campos:
- Control: A menudo lucha con dinámicas altamente no lineales y no modeladas, y requiere la construcción manual compleja de funciones de Lyapunov.
- RL: A menudo carece de garantías formales de estabilidad, tiene dificultades con el rendimiento transitorio durante el aprendizaje y depende de heurísticas que pueden divergir bajo la aproximación de funciones no lineales.

Resultados

Utilizando el benchmark de Half-Cheetah, los autores demuestran:

SAC Puro: Aprende con éxito una marcha de carrera en un entorno estático, pero falla catastróficamente cuando la fricción de las articulaciones se reduce repentinamente (cambio en la dinámica), ya que la política fija no tiene en cuenta la nueva física.
SAC con Controlador de Bajo Nivel Fijo: Muestra una mejora marginal sobre el SAC puro tras el cambio de dinámica, pero sigue teniendo dificultades para mantener el rendimiento.
SAC + MRAC (Híbrido Propuesto): El controlador adaptativo de bajo nivel logra ajustar sus parámetros para compensar el cambio de fricción. Esto restaura la dinámica nominal de bajo nivel, permitiendo que la política fija de alto nivel (SAC) mantenga un alto rendimiento a pesar del cambio ambiental. Los resultados ilustran que el enfoque híbrico logra tanto un alto rendimiento (vía RL) como una adaptación continua (vía MRAC).

Significado y Reivindicaciones

El artículo afirma proporcionar una base para comprender las diferencias centrales entre el RL y el control, ofreciendo perspectivas para ayudar a los expertos de cada campo a utilizar las herramientas del otro.

Convergencia: Los autores argumentan que el momento es propicio para la convergencia, impulsada por los avances en la disponibilidad de datos e infraestructura computacional. El control moderno es cada vez más centrado en los datos, mientras que el RL se mueve hacia sistemas físicos que requieren garantías de seguridad.
Complementariedad: La principal significación radica en demostrar que el RL y el control adaptativo no son mutuamente excluyentes. El enfoque híbrico muestra que el RL puede manejar la toma de decisiones de alto nivel y la tarea de aprendizaje, mientras que el control adaptativo puede proporcionar la robustez y estabilidad necesarias para la ejecución de bajo nivel en entornos inciertos.
Direcciones Futuras: El artículo identifica problemas abiertos donde se necesitan sinergias, incluyendo la planificación de largo horizonte, arquitecturas jerárquicas, observabilidad parcial y RL robusto que garantice la seguridad bajo cambios de distribución. Enfatiza que, para el despliegue en el mundo real, la seguridad (satisfacción de restricciones duras) es innegociable, lo que requiere una interacción cuidadosa entre los mecanismos de alimentación hacia adelante (feedforward - planificación) y retroalimentación (feedback - adaptación).

El artículo concluye modestamente, afirmando que, si bien el ejemplo híbrido es ilustrativo, el tema general es el potencial de un marco unificado para la toma de decisiones basada en datos que equilibre el rendimiento con la fiabilidad.