⚡ electrical engineering

Learning-Based Stochastic Optimal Control with Infinite-Horizon Probabilistic Constraints

Este artículo propone un algoritmo de ascenso dual basado en aprendizaje que reformula problemas de control óptimo estocástico de horizonte infinito con restricciones de probabilidad conjunta como procesos de decisión de Markov sin restricciones mediante la aumentación de estado, permitiendo la computación eficiente de políticas deterministas óptimas y factibles para espacios continuos de estado y entrada.

Autores originales: Francesco Cordiano, Kanghui He, Bart De Schutter

Publicado 2026-08-04

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Francesco Cordiano, Kanghui He, Bart De Schutter

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el capitán de una nave espacial navegando a través de un denso campo de asteroides. Tu misión es llegar a una estrella distante utilizando la menor cantidad de combustible posible. Pero hay un truco: no puedes simplemente evitar los asteroides que ves en este momento; tienes que garantizar que todo tu viaje, desde el lanzamiento hasta el aterrizaje, sea seguro con una probabilidad muy alta. Este es el corazón de un campo llamado control óptimo estocástico. Es la ciencia de tomar las mejores decisiones cuando el futuro es difuso y está lleno de sorpresas.

Para entender el desafío, piensa en dos formas de manejar el peligro. La primera es como revisar el espejo retrovisor cada segundo y decir: "Bien, estoy a salvo ahora mismo". Esto se llama una verificación "por etapas" (stagewise). La segunda, más difícil, es como mirar toda la trayectoria de vuelo en un mapa y decir: "Prometo que cada uno de los puntos de esta línea estará libre de asteroides". Esto es una restricción de probabilidad conjunta (joint chance constraint). Es una promesa de "toda la misión". El problema es que hacer esta promesa es increíblemente difícil para las computadoras porque el camino futuro depende de cada bache y giro que ocurrió antes, lo que hace que las matemáticas exploten en complejidad. Usualmente, para hacer las matemáticas manejables, los ingenieros tienen que ser excesivamente cautelosos, tomando desvíos amplios y lentos que desperdician combustible, o tienen que asumir que el universo deja de ser peligroso después de cierto tiempo.

Este artículo, escrito por Francesco Cordiano, Kanghui He y Bart De Schutter, aborda el problema de cómo navegar ese camino infinito y peligroso sin ser excesivamente cauteloso o asumir que el peligro desaparece. Proponen una nueva y astuta forma de enseñar a una computadora a tomar estas decisiones perfectas, seguras y eficientes en combustible para sistemas que funcionan para siempre, como una red eléctrica o un coche autónomo en una autopista.

El trucción de magia: convertir un problema de memoria en un problema de estado

El mayor dolor de cabeza con la promesa de seguridad de "toda la misión" es que es no markoviana. En lenguaje sencillo, esto significa que la computadora necesita recordar todo lo que ha sucedido desde el principio de los tiempos para saber si todavía es segura. Si nunca has golpeado un asteroide, estás a salvo. Si golpeaste uno ayer, ya has "fallado". Un cerebro de computadora estándar (una política de Markov) usualmente solo mira dónde estás justo ahora para decidir qué hacer a continuación. No tiene una memoria a largo plazo.

El primer gran avance de los autores es un "truco de magia" llamado aumento de estado (state augmentation). Ellos inventan un nuevo conjunto de "sensores virtuales" para acoplar a la nave espacial.

La luz de "Todo despejado" (Estado $\xi$ ): Este es un interruptor binario que permanece "ENCENDIDO" (1) mientras la nave no haya golpeado ningún asteroide. En el momento en que golpea uno, el interruptor cambia a "APAGADO" (0) y permanece así para siempre.
La alarma de "Primer impacto" (Estado $\psi$ ): Esta es una alarma especial que suena solo en el momento exacto en que la nave golpea su primer asteroide. Si suena, el sistema sabe: "Ah, este es el momento en que fallamos".
El "Dial de tiempo" (Estado $\phi$ ): Dado que la nave intenta minimizar el uso de combustible durante un futuro infinito, la importancia del uso de combustible futuro cambia con el tiempo. Este dial rastrea esa importancia cambiante.

Al añadir estos tres sensores virtuales a la posición real de la nave, la computadora ya no necesita recordar todo el historial. Solo necesita mirar el estado actual de estos sensores. Si la luz de "Todo despejado" está ENCENDIDA, sabe que está a salvo hasta ahora. Si está APAGADA, sabe que ya ha fallado. Esto convierte un problema complejo y pesado en memoria en un problema estándar y manejable que la computadora puede resolver paso a paso.

El acto de equilibrio: El precio de la seguridad

Ahora que el problema es manejable, el siguiente desafío es la parte del "horizonte infinito". La nave debe mantenerse segura para siempre, no solo durante los próximos 10 minutos. Los autores utilizan un concepto matemático llamado dualidad de Lagrange para resolver esto.

Imagina que estás contratando a un robot para que conduzca tu coche. Le dices: "Conduce lo más rápido posible, pero no choques". El robot no sabe cómo equilibrar velocidad y seguridad. Entonces, introduces un "Precio de la Seguridad". Dices: "Cada vez que estés cerca de chocar, tendrás que pagar una multa".

Si la multa es demasiado baja, el robot conduce de forma temeraria y choca.
Si la multa es demasiado alta, el robot conduce tan lento que nunca llega a ninguna parte.

El artículo propone un algoritmo que actúa como un negociador inteligente. Comienza con una multa baja y deja que el robot conduzca. Si el robot choca con demasiada frecuencia, el algoritmo aumenta la multa. Si el robot está conduciendo de forma demasiado lenta y segura, el algoritmo baja la multa. El objetivo es encontrar la multa "Goldilocks" (el punto justo, llamada variable dual, $\lambda$ ) donde el robot utiliza su estrategia de "mejor velocidad" que es también la estrategia "más segura".

Los autores demuestran que esta negociación funciona perfectamente. Demuestran que existe un precio específico donde la estrategia de "mejor velocidad" del robot es también la estrategia "más segura". Esto les permite convertir el difícil problema de la "restricción de seguridad" en un problema más simple de "minimizar costo más multa".

Enseñando al robot con redes neuronales

La pieza final del rompecabezas es que los sistemas del mundo real (como robots o redes eléctricas) tienen infinitas posibilidades de dónde pueden estar y qué pueden hacer. No puedes escribir una regla para cada posibilidad individual. Para manejar esto, los autores utilizan el aprendizaje automático (machine learning).

Entrenan una Red Neuronal (un tipo de cerebro computacional inspirado en el cerebro humano) para aprender el "valor" de estar en cualquier situación.

Primero, le enseñan a la red qué sucede si la regla de seguridad ya se ha roto. En este caso, el robot simplemente intenta llegar a la meta lo más rápido posible, ignorando la seguridad.
Luego, le enseñan la situación de "Todo despejado". Aquí, la red aprende a equilibrar la velocidad y la multa del "Precio de la Seguridad".

El entrenamiento ocurre fuera de línea (offline), lo que significa que la computadora realiza todo el pensamiento difícil antes de que el robot comience a moverse. Una vez entrenada, el robot puede tomar decisiones en una fracción de segundo (0.01 segundos en sus pruebas) simplemente mirando su estado actual y el consejo de la red neuronal.

Los resultados: Más rápidos, más seguros y más inteligentes

Los autores probaron su método en una simulación de un robot "uniciclo" (un robot que se equilibra sobre una sola rueda) intentando navegar por un laberinto con un obstáculo peligroso en el medio. Compararon su método contra una técnica popular llamada Control Predictivo de Modelo (MPC), que es como un robot que planea sus siguientes pasos, comprueba si son seguros y luego vuelve a planificar.

Los resultados fueron impresionosos:

Seguridad: El nuevo método mantuvo al robot seguro con una tasa de violación de aproximadamente el 4.5%, que está muy por debajo del límite permitido del 10%. El método MPC tradicional, incluso con ajustes pesados, tuvo una tasa de violación del 17%, fallando la prueba de seguridad.
Rendimiento: El nuevo método utilizó significativamente menos "combustible" (costo) para llegar a la meta. El nuevo método tuvo un costo de 528.3, mientras que el método MPC tuvo un costo de 672.0. El nuevo método fue más inteligente al tomar riesgos: si llegaba a golpear el obstáculo (en los raros casos en que sucedía), cambiaba inmediatamente a la ruta más rápida hacia la meta, mientras que el método MPC se quedaba atrapado en un bucle conservador.
Velocidad: Esta es la mayor victoria. El método MPC tradicional tardó un promedio de 2.94 segundos en decidir qué hacer en cada paso, y a veces alcanzó un límite de 10 segundos, causando retrasos. El nuevo método tardó solo 0.01 segundos. Fue casi 300 veces más rápido.

Por qué esto es importante

Este artículo no solo dice "lo logramos"; proporciona una prueba matemática rigurosa de que su método funciona y converge a la mejor solución posible. Demuestra que no tienes que elegir entre ser seguro y ser eficiente. Al utilizar un aumento de estado ingenioso y un algoritmo de aprendizaje inteligente, puedes construir sistemas que sean increíblemente rápidos y rigurosamente seguros para siempre.

Los autores admiten que su método depende de simulaciones y que el proceso de aprendizaje necesita suficientes datos para ser preciso, especialmente cerca de las zonas de peligro. Sin embargo, demuestran que para sistemas continuos complejos, este enfoque es un salto gigante hacia adelante. Convierte un problema que antes era demasiado difícil de resolver en uno que una computadora puede resolver en un abrir y cerrar de ojos, abriendo la puerta a sistemas autónos más seguros y eficientes en el mundo real.

Resumen Técnico: Control Óptimo Estocástico Basado en Aprendizaje con Restricciones Probabilísticas de Horizonte Infinito

Formulación del Problema
El artículo aborda el desafío de resolver problemas de control óptimo estocástico de horizonte infinito sujetos a restricciones de probabilidad conjunta (joint chance constraints). A diferencia de las restricciones de probabilidad individuales (por etapa), que requieren seguridad en cada paso de forma independiente, las restricciones de probabilidad conjunta exigen que el estado del sistema permanezca dentro de un conjunto seguro $X$ durante toda la trayectoria con una probabilidad de al menos $1-\varepsilon$ . Esta formulación es crítica para sistemas de seguridad crítica, pero presenta dos dificultades mayores:

Naturaleza No Markoviana: La restricción depende de todo el historial de la trayectoria, lo que hace que las formulaciones estándar de Procesos de Decisión de Markov (MDP) sean inaplicables.
Intratabilidad Computacional: Los métodos tradicionales suelen depender de aproximaciones conservadoras (por ejemplo, la desigualdad de Boole) o supuestos de horizonte finito, los cuales degradan el rendimiento o no logran abordar el escenario de horizonte infinito sin supuestos restrictivos sobre el soporte de la perturbación.

Metodología
Los autores proponen un marco que transforma el problema original, no Markoviano y restringido, en un problema Markoviano no restringido equivalente, resoluble mediante programación dinámica basada en aprendizaje. La metodología procede en tres etapas principales:

Aumento del Espacio de Estados y Reformulación:
Los autores introducen un espacio de estados aumentado $S = \mathbb{R}^n \times \{0, 1\}^2 \times [0, 1]$ . El estado original $x_t$ se aumenta con tres variables auxiliares:
- $\xi_t$ : Un indicador binario que es 1 si la trayectoria ha cumplido las restricciones hasta el tiempo $t$ , y 0 en caso contrario.
- $\psi_t$ : Un indicador binario que es 1 si el estado actual $x_t$ es el primer estado en violar la restricción, y 0 en caso contrario.
- $\phi_t$ : Una variable escalar inicializada en 1 y actualizada como $\phi_{t+1} = \gamma \phi_t$ para contabilizar el factor de descuento en la función de costo, eliminando el desajuste temporal entre el costo descontado y la restricción no descontada.
Este aumento permite que la restricción de probabilidad conjunta se reformule como una restricción aditiva sobre la esperanza de la suma de $\psi_t$ sobre el horizonte infinito: $\mathbb{E}[\sum \psi_t] \leq \varepsilon$ .
Marco de Dual de Lagrange y Dualidad Fuerte:
El problema restringido se plantea en un marco dual de Lagrange. Los autores demuestran que la dualidad fuerte se cumple para esta formulación bajo la condición de Slater. Esto permite que el problema restringido se reformule como un problema no restringido equivalente donde la restricción de probabilidad se trata como un término de penalización en la función objetivo. El objetivo resultante es:
$\inf_{\pi} \mathbb{E} \left[ \sum_{t=0}^{\infty} (\phi_t \ell(x_t, u_t) + \lambda \psi_t) \right] - \lambda \varepsilon$
donde $\lambda \geq 0$ es la variable dual.
Algoritmo de Ascenso Dual y Aprendizaje:
Para resolver el problema no restringido en espacios continuos de estado-acción, los autores proponen un algoritmo de ascenso dual:
- Paso Primal: Para un $\lambda$ fijo, la minimización interna es un problema de control óptimo no restringido resuelto mediante programación dinámica (DP).
- Paso Dual: La variable dual $\lambda$ se actualiza mediante ascenso de gradiente proyectado basado en la violación de la restrición de riesgo.
Para manejar espacios continuos, los autores desarrollan un marco basado en el aprendizaje utilizando redes neuronales (NN) para aproximar la función de valor. Explotan las propiedades estructurales del estado aumentado:
- Si ha ocurrido una violación ( $\xi=0$ ), el problema se reduce a una optimización no restringida del costo, aproximada por una red $\hat{W}$ .
- Si no ha ocurrido una violación ( $\xi=1$ ), la función de valor $\hat{J}$ se aprende, incorporando la probabilidad de transicionar al estado de violación.
  El análisis teórico confirma que la función de valor es continua, justificando el uso de aproximadores universales como las redes neuronales.

Contribuciones Clave

Formulación Markoviana Equivalente: El artículo extiende las técnicas de aumento de estado de horizonte finito a horizonte infinito, planteando el problema como un MDP restringido sin recurrir a aproximaciones conservadoras como la desigualdad de Boole.
Dualidad Fuerte y Política Determinista: Los autores demuestran la dualidad fuerte para el caso de horizonte infinito. Crucialmente, demuestran que el algoritmo de ascenso dual propuesto converge a una política de Markov determinista que es tanto óptima como factible. Esto contrasta con trabajos previos que a menudo dependen de políticas mixtas o factibilidad promedio sobre las iteraciones de aprendizaje.
Condiciones de Factibilidad Relajadas: El artículo muestra que el supuesto de soporte de incertidumbre acotado (común en la literatura de horizonte infinito) no es estrictamente necesario; la factibilidad puede garantizarse si la probabilidad de la primera violación de la restricción decae lo suficientemente rápido (por ejemplo, mediante estabilidad de media cuadrática).
Solución Basada en Aprendizaje: Se propone un esquema de entrenamiento offline dedicado para aproximar la función de valor y la función dual, reduciendo significativamente la complejidad computacional de la fase de control online en comparación con el Control Predictivo basado en Modelo (MPC).

Resultados
El enfoque fue validado mediante un ejemplo numérico que involucra un uniciclo navegando en un campo de obstáculos con una restricción de probabilidad conjunta ( $\varepsilon = 0.1$ ).

Desempeño: El enfoque basado en aprendizaje logró un costo de lazo cerrado inferior ( $L_{cl} = 528.3$ ) comparado con un esquema de MPC aleatorio ( $L_{cl} = 672.0$ ).
Seguridad: La tasa de violación de la restricción empírica para el método propuesto fue de $0.045$, cumpliendo con el requisito de $\varepsilon = 0.1$ . En contraste, el esquema de MPC con 25 muestras arrojó una tasa de violación de $0.17$, fallando en cumplir la especificación de seguridad.
Eficiencia: El tiempo de computación online para el método propuesto fue de aproximadamente 0.01 segundos por paso (resolviendo un problema de un solo paso), mientras que el enfoque de MPC requirió un promedio de 2.94 segundos (con un límite de 10 segundos), luchando a menudo por encontrar soluciones factibles cerca del obstáculo.
Comportamiento: La política aprendida identificó correctamente que, una vez que ocurre una violación de la restricción para una trayectoria específica, la estrategia óptima es ignorar la restricción de seguridad y minimizar el costo, un comportamiento que el esquema de MPC no pudo replicar eficientemente.

Significancia
El artículo afirma proporcionar una solución computacionalmente eficiente y teóricamente rigurosa para una clase de problemas que han sido desafíos abiertos: el control estocástico de horizonte infinito con restricciones de probabilidad conjunta. Al evitar aproximaciones conservadoras y aprovechar la dualidad fuerte, el método logra un mejor desempeño y garantías de seguridad que los enfoques de MPC de vanguardia, manteniendo una baja complejidad computacional online. El trabajo cierra la brecha entre la teoría de MDP restringidos y el control práctico basado en aprendizaje para sistemas continuos.

El trucción de magia: convertir un problema de memoria en un problema de estado

El acto de equilibrio: El precio de la seguridad

Enseñando al robot con redes neuronales

Los resultados: Más rápidos, más seguros y más inteligentes

Por qué esto es importante

Más como este