Bounded Linear Programs for Data-Driven Optimal Control via Moment-Matching

Imagina intentar pilotar un barco a través de una tormenta sin un mapa, una brújula o incluso una visión clara del horizonte. Solo puedes ver las olas mientras rompen contra el casco y sentir el viento cambiando en tu rostro. Esta es la realidad para muchos ingenieros y científicos que deben controlar máquinas complejas, desde vehículos autónomos hasta redes eléctricas, cuando no disponen de un modelo matemático completo de cómo se comportan esos sistemas. En lugar de confiar en un plano perfecto, deben aprender haciendo: observando cómo reacciona el sistema a diferentes entradas, registrando los costes de los errores y uniendo gradualmente una estrategia que funcione. Durante décadas, una poderosa herramienta matemática llamada programación lineal ha ofrecido una forma de encontrar la mejor estrategia posible en tales situaciones. Sin embargo, esta herramienta tiene un defecto notorio: a medida que aumenta el número de variables que describen el sistema, los cálculos suelen descontrolarse, produciendo respuestas infinitamente grandes y, por lo tanto, inútiles. Es como intentar equilibrar una balanza con pesos que se vuelven cada vez más pesados hasta que la viga se rompe.

Un equipo de investigadores de la ETH Zurich ha encontrado una forma de mantener esa balanza equilibrada, incluso cuando el sistema es complejo y los datos son escasos. Desarrollaron un nuevo método para guiar la búsqueda matemática de una política de control óptima, asegurando que la solución permanezca finita y práctica. Al utilizar una técnica llamada ajuste de momentos (moment-matching), que esencialmente alinea la "forma" matemática de la solución deseada con los patrones encontrados en los datos observados, pueden garantizar que la computadora encuentre una respuesta estable. Su trabajo sugiere que es posible diseñar controladores para sistemas no lineales de alta dimensión —máquinas con muchas piezas móviles y comportamientos complejos— utilizando solo una cantidad limitada de datos, sin necesidad de conocer la física subyacente del sistema de antemano. Este enfoque transforma una posibilidad teórica en una herramienta de ingeniería fiable, abriendo la puerta a sistemas de control más inteligentes y adaptables para el mundo real.

El desafío central que los investigadores abordaron es la dificultad de evitar que estos cálculos matemáticos se disparen. En el mundo del control óptimo, el objetivo es encontrar un conjunto de reglas que le diga a una máquina qué hacer en cada momento para minimizar un coste, como el uso de energía o el tiempo de viaje. Cuando el sistema es simple, los métodos estándar funcionan bien. Pero cuando el sistema es complejo, con muchas dimensiones como la posición, la velocidad y la aceleración interactuando todas a la vez, el número de escenarios posibles explota. Los investigadores señalaron que los intentos previos de resolver esto mediante métodos basados en datos a menudo fallaban porque el problema matemático se volvía ilimitado. Esto significa que la computadora intentaba encontrar una solución que crecía infinitamente, lo que efectivamente bloqueaba el cálculo. Aunque algunos métodos anteriores intentaron solucionar esto añadiendo restricciones artificiales o regularizadores, estos a menudo distorsionaban el resultado final, haciendo que el controlador fuera menos efectivo. Otros dependían de tener cantidades masivas de datos, lo cual es a menudo imposible de reunir en escenarios del mundo real donde los experimentos son costosos o peligrosos.

Para resolver esto, los autores introdujeron un método que utiliza los propios datos para definir los límites de la búsqueda. En lugar de adivinar dónde debería situarse la solución, observaron los patrones específicos en los datos recolectados de los movimientos del sistema. Trataron los datos como una colección de puntos en un espacio de alta dimensión y se plantearon una pregunta sencilla: ¿podemos encontrar una dirección para nuestra búsqueda que esté respaldada por estos puntos? Si la dirección de la búsqueda se alinea con el "cono" de posibilidades creado por los datos, se garantiza que el cálculo se mantenga finito. Demostraron que, seleccionando cuidadosamente un vector de coste —un peso matemático que le indica a la computadora qué priorizar— basado en los datos observados, podían asegurar que la solución permaneciera acotada. Esto es similar a establecer un destino para un viaje que se garantiza alcanzable dado el terreno que ya se ha mapeado, en lugar de apuntar a un punto que podría estar fuera del borde del mundo.

Los investigadores probaron esta idea en dos tipos de sistemas muy diferentes. Primero, analizaron sistemas lineales invariantes en el tiempo, que son máquinas que se comportan de una manera predecible y rectilínea. Simularon estos sistemas con una complejidad creciente, desde configuraciones pequeñas hasta unas con treinta variables de estado diferentes. En estas pruebas, compararon su nuevo método con un enfoque estándar que utiliza un vector de coste fijo e invariable. Los resultados fueron sorprendentes: mientras que el método estándar falló al encontrar una solución para sistemas con más de dos variables de estado, su enfoque de ajuste de momentos encontró con éxito soluciones finitas para sistemas con hasta treinta variables, incluso utilizando solo quinientos puntos de datos. Los controladores que aprendieron fueron casi perfectos, desempeñándose dentro del uno por ciento del mejor resultado teórico posible.

A continuación, llevaron el método a un territorio mucho más difícil: sistemas mecánicos no lineales. Estos son máquinas donde las fuerzas que actúan sobre ellas no siguen líneas simples; por ejemplo, un sistema con acoplamientos elásticos, gravedad no lineal y una resistencia que aumenta con el cubo de la velocidad. Estos sistemas son notoriamente difíciles de controlar porque pequeños cambios pueden conducir a comportamientos radicalmente distintos. Los investigadores simularon estos sistemas con hasta diez dimensiones y descubrieron que su método aún podía encontrar soluciones estables donde el enfoque estándar fallaba. En una simulación específica, controlaron un sistema de cuatro dimensiones que era naturalmente inestable, lo que significa que se desmoronaría sin intervención. El controlador que aprendieron dirigió con éxito el sistema hacia un equilibrio estable, manteniéndolo equilibrado, mientras que una versión no controlada del mismo sistema se descontrolaba. La clave de este éxito no fue tener más datos, sino un uso más inteligente de los mismos. Al igualar los momentos de los datos —esencialmente los valores promedio y la dispersión de los comportamientos observados— pudieron construir una función de coste que mantuviera el problema matemático resoluble.

La belleza de este enfoque reside en su eficiencia y en su dependencia de los datos disponibles. Los investigadores demostraron que el método funciona incluso cuando el número de puntos de datos es pequeño en relación con la complejidad del sistema. Descubrieron que, al aumentar el tamaño de un grupo auxiliar de puntos de muestra, podían mejorar las posibilidades de encontrar una solución para sistemas aún más grandes. Esto sugiere que el cuello de botella no es la cantidad de datos, sino cómo se interpretan. El método no requiere que el sistema sea lineal ni que la dinámica sea conocida; solo requiere que los datos recolectados proporcionen información suficiente para definir la forma del problema. El coste computacional de configurar este método es bajo, implicando solo un conjunto de ecuaciones lineales que pueden resolverse rápidamente en una computadora estándar.

En última instancia, este trabajo proporciona un camino práctico hacia el control basado en datos en espacios de alta dimensión. Aleja al campo de la idea de que necesitamos conjuntos de datos masivos o modelos perfectos para controlar máquinas complejas. En su lugar, demuestra que con el marco matemático adecuado, una cantidad relativamente pequeña de datos puede ser suficiente para derivar un controlador que sea tanto estable como efectivo. Los investigadores señalan cuidadosamente que, aunque sus simulaciones son prometedoras, el método está probado actualmente para sistemas deterministas con características polinómicas. Ven un futuro donde esta técnica se extienda a sistemas estocásticos, donde la aleatoriedad juega un papel mayor, y a tipos de funciones aún más complejos. Por ahora, sin embargo, han demostrado que la maldición de la dimensionalidad, que durante mucho tiempo ha plagado este tipo de cálculos, puede ser domada. Al asegurar que la búsqueda de la mejor política de control se mantenga anclada en la realidad de los datos observados, han convertido un concepto teórico en una herramienta que puede utilizarse para construir máquinas mejores, más seguras e inteligentes.