Temporally smoothed incremental model-based heuristic dynamic programming for command-filtered cascaded online learning flight control

Imagina que le estás enseñando a un robot a volar un avión. No quieres darle un manual rígido y preescrito porque el viento cambia, el peso del combustible se desplaza y el aire se vuelve más tenue a mayores altitudes. En su lugar, quieres que el robot aprenda sobre la marcha, descifrando los movimientos perfectos a medida que avanza. Este es el mundo de la "Programación Dinámica Aproximada" (ADP por sus siglas en inglés). Piensa en la ADP como un estudiante superinteligente que aprende probando cosas, cometiendo errores y luego ajustando su cerebro (una red neuronal) para hacerlo mejor la próxima vez. Es como un personaje de un videojuego que mejora esquivando obstáculos cuanto más juega, pero para maquinaria real y pesada como los aviones.

Sin embargo, hay un inconveniente. Cuando estos robots aprendices se emocionan o se confunden, pueden empezar a tener espasmos. Pueden dar sacudidas bruscas de un lado a otro de la palanca de control, intentando corregir un error minúsculo. En el mundo real, esto es peligrooso. Hace que el avión tiemble, desperdicia combustible y puede romper las partes mecánicas que mueven las alas. La gran pregunta para los científicos es: ¿Cómo enseñamos a un robot a aprender rápidamente sin enseñarle a ser inquieto? Necesitamos una forma de decirle al robot: "Oye, sé suave. No te rompas el cuello intentando mirar a ese pájaro".

Este artículo aborda exactamente ese problema para el control de vuelo. Los autores, Yifei Li y el Dr. Erik-Jan van Kampen, proponen una nueva forma de entrenar a estos robots voladores para que aprendan a ser tranquilos y estables. Introducen un método llamado "Programación Heurística Basada en Modelos Incremental con Suavizado Temporal" (TS-IHDP por sus siglas en inglés). En lenguaje sencillo, esto es una receta sofisticada para enseñar a un avión a seguir un ángulo de ataque específico (qué tan empinadamente apunta) sin desarmarse por las vibraciones.

Los investigadores descubrieron que simplemente decirle al robot "sé suave" no es suficiente; tienes que ser inteligente sobre cómo lo castigas por ser errático. Desarrollaron un sistema que actúa como un entrenador estricto pero justo. Si los comandos de control del robot empiezan a saltar demasiado, el entrenador endurece automáticamente las reglas. Si el robot está siendo demasiado rígido y no alcanza su objetivo, el entrenador relaja las reglas. También añadieron un "filtro de paso bajo", que es como un amortiguador para el cerebro del robot. Suaviza las señales nerviosas de alta frecuencia antes de que lleguen a las alas.

Crucialmente, no construyeron un solo cerebro gigante para hacerlo todo. En su lugar, diseñaron una estructura de control "en cascada", que es como tener un equipo de dos personas. La primera persona, el agente del bucle externo, actúa como el comandante de la misión. Su único trabajo es determinar la velocidad y dirección perfectas hacia donde debe apuntar el morro del avión (la tasa de cabeceo). No toca las alas directamente. La segunda persona, el agente del bucle interno, actúa como el piloto. Escucha las órdenes del comandante y realmente mueve las superficies de control (alas y cola) para que el morro se mueva de esa manera. Este trabajo en equipo es vital porque evita que el robot se confunda. Si un solo cerebro gigante intentara hacer ambos trabajos a la vez, se vería abrumado y empezaría a tener espasmos. Al dividir la tarea, el "comandante" puede concentrarse en el panorama general y el "piloto" puede concentrarse en la ejecución suave, haciendo que todo el sistema sea mucho más estable.

A través de simulaciones por computadora, demostraron que su nuevo método funciona. Los robots aprendieron a volar mucho más suavemente que antes, evitando las sacudidas salvajes que suelen ocurrir en estos sistemas durante el aprendizaje. Siguen sus objetivos con mayor precisión y no rompen sus propias superficies de control. El artículo sugiere que, al combinar este "entrenador de suavidad" con un filtro de amortiguación y un enfoque de equipo de dos personas, podemos hacer que el control de vuelo basado en datos sea más seguro y fiable, incluso cuando la física del avión es un poco incierta.

La historia del piloto inquieto

Sumerjámonos en la historia de cómo funciona esto. Imagina que estás intentando enseñar a un loro a imitar una canción específica. Si solo dices "Copia esto", el loro podría emocionarse y emitir las notas demasiado rápido, demasiado fuerte o con pausas extrañas. En el mundo del control de vuelo, el "loro" es el cerebro informático (la red neuronal) y la "canción" es la trayectoria de vuelo.

El problema es que cuando el loro comete un error, a menudo sobrecorrige. Emite un graznido demasiado fuerte, luego corrige demasiado fuerte en la dirección opuesta, creando un caos de sacudidas. En el artículo, los autores llaman a esto "acciones de control oscilatorias". Es como conducir un coche donde mueves el volante bruscamente a la izquierda, luego a la derecha, luego a la izquierda otra vez, intentando mantenerte en el carril. Se ve gracioso, pero es aterrador y desgasta el coche.

Para solucionar esto, los autores construyeron un nuevo sistema de entrenamiento. Primero, utilizaron algo llamado "modelo incremental". Piensa en esto como un mapa local. En lugar de intentar memorizar todo el globo (toda la física del avión), el robot solo mira el pequeño parche de suelo que tiene justo delante. Pregunta: "¿Si empujo la palanca un poquito ahora mismo, qué pasará después?". Esto hace que el aprendizaje sea mucho más rápido y fácil, como aprender a montar en bicicleta centrándose en la siguiente pulgada de pavimento en lugar de en todo el viaje.

Pero incluso con un mapa local, el robot aún podría ser inquieto. Por eso, los autores añadieron una "penalización de suavidad temporal". Imagina que eres el entrenador del loro. Tienes una regla: "Si cambias tu volumen demasiado rápido entre notas, pierdes puntos". En la computadora, esto es una penalización matemática. Cada vez que la señal de control del robot salta demasiado rápido de un momento a otro, el sistema le añade una "multa" a su puntuación. El robot aprende que ser suave es la única forma de obtener una buena calificación.

Sin embargo, había una parte complicada: ¿Qué tanto debería ser la multa? Si la multa es demasiado pequeña, el loro sigue graznando. Si la multa es demasiado grande, el loro se asusta y deja de cantar por completo, perdiendo el objetivo. Los autores resolvieron esto con un enfoque "primal-dual". Esto es como tener un entrenador inteligente que observa al loro y ajusta la multa en tiempo real. Si el loro sigue siendo demasiado inquieto, el entrenador aumenta la multa. Si el loro es demasiado lento y pierde las notas, el entrenador baja la multa. El sistema encuentra automáticamente el equilibrio perfecto sin que un humano tenga que adivinar.

Finalmente, añadieron un "filtro de paso bajo". Piensa en esto como unos auriculares con cancelación de ruido para el cerebro del robot. Incluso si el cerebro del robot envía una señal ligeramente errática, el filtro la suaviza antes de que llegue a las alas. Es como poner un amortiguador en un camino con baches; el coche sigue moviéndose, pero el viaje es mucho más suave.

Lo que encontraron

Los autores pasaron estas ideas por una simulación por computadora de un vehículo volador. Probaron su nuevo robot "suave" contra métodos anteriores.

Los resultados fueron claros. Los métodos antiguos, que no tenían este entrenamiento especial de suavidad, terminaron con robots que eran demasiado inquietos o que se quedaban atrapados en un ciclo de sobrecorrección. Sacudían las superficies de control tan fuerte que la simulación mostraba al robot alcanzando sus límites físicos, como un motor de coche acelerando hasta romperse.

En contraste, el nuevo método TS-IHDP produjo un robot que aprendió a volar de forma suave. La "tasa de cabeceo" (qué tan rápido se mueve el morro del avión hacia arriba y hacia abajo) y las "deflexiones de la superficie de control" (cuánto se inclinan las alas) fueron mucho más calmadas. El robot no solo dejó de temblar; de hecho, voló mejor. Siguió el ángulo de ataque objetivo con mayor precisión y no desperdició energía en vibraciones inútiles.

Un descubrimiento interesante fue sobre el "entrenador inteligente" (el método primal-dual). Los autores descubrieron que si establecían las reglas con demasiada rigidez, el robot se volvía demasiado cauteloso. Dejaba de moverse lo suficientemente rápido para alcanzar el objetivo, lo que resultaba en un seguimiento deficiente. Pero si dejaban que el entrenador ajustara las reglas automáticamente, el robot encontraba un punto ideal donde era suave pero seguía siendo capaz de responder.

También probaron qué sucede cuando el "viento" cambia, simulando la incertidumbre en la física del avión. El robot entrenado con su nuevo método, especialmente aquel con el filtro de amortiguación, manejó estas sorpresas mucho mejor que los otros. Se mantuvo en curso incluso cuando las reglas del juego cambiaban ligeramente.

La conclusión

Este artículo no pretende haber resuelto todos los problemas de control de vuelo para siempre. Después de todo, es una simulación, no un avión real en el cielo. Pero sugiere un camino muy prometedor. Al enseñar a los robots aprendices a valorar la suavidad tanto como la precisión, y al darles una forma de ajustar automáticamente su propio comportamiento, podemos hacer que el control de vuelo basado en datos sea más seguro y fiable.

Los autores demuestran que no es necesario elegir entre un robot que aprende rápido y un robot que vuela suave. Con la combinación adecuada de mapas locales, ajuste automático de reglas y amortiguadores, se pueden tener ambas cosas. Es un paso hacia hacer que el futuro del vuelo autónomo sea menos como un personaje de videojuego inquieto y más como un pájaro elegante y constante.