Hybrid Reinforcement Learning and Search for Flight Trajectory Planning

Volar un avión de una ciudad a otra rara vez es cuestión de trazar una línea recta en un mapa. Aunque la Tierra es redonda, la atmósfera no es uniforme; es un océano tridimensional y cambiante de viento, temperatura y presión que cambia constantemente. Para encontrar la ruta más eficiente a través de este entorno, los pilotos y los sistemas automatizados deben calcular una trayectoria que minimice el consumo de combustible mientras navegan por estas corrientes invisibles. Este es un desafío matemático complejo porque el propio avión es una máquina de inmensa complejidad, donde cada cambio de velocidad o altitud interactúa con el clima de formas que requieren potentes simulaciones por computadora para ser predichas. Cuando un vuelo se planifica con días de antelación, las computadoras tienen tiempo de sobra para realizar estos cálculos pesados. Sin embargo, en una emergencia, como cuando un pasajero cae críticamente enfermo y el avión debe desviarse al hospital más cercano, los mismos cálculos deben realizarse en segundos. Un sistema que es preciso pero lento es inútil en una crisis, pero un sistema que es rápido pero inexacto podría provocar la escasez peligrosa de combustible o destinos perdidos.

Investigadores de la Universidad de Bolonia, trabajando con modelos de rendimiento de Airbus, han desarrollado una nueva forma de resolver este problema combinando dos tipos diferentes de inteligencia artificial. El primer tipo, conocido como aprendizaje por refuerzo, actúa como un piloto experimentado que ha volado miles de rutas y puede reconocer instantáneamente un buen camino basándose en la forma general del trayecto y el clima. El segundo tipo es un algoritmo de búsqueda tradicional, que actúa como un ingeniero meticuloso, comprobando cada variación posible para asegurar que se encuentre la ruta absolutamente mejor. Los investigadores descubrieron que al dejar que la IA de "piloto" trazara primero una ruta aproximada y rápida, podían luego decirle a la IA del "ingeniero" que buscara solo en los caminos cercanos a ese boceto. Este enfoque, que probaron en una computadora de escritorio estándar, permitió al sistema encontrar una solución hasta un 50 por ciento más rápido que usando la búsqueda meticulosa por sí sola, utilizando casi exactamente la misma cantidad de combustible.

El núcleo de este nuevo método reside en cómo estos dos sistemas de inteligencia artificial se comunican entre sí. El primer sistema, el agente de aprendizaje por refuerzo, es entrenado en miles de escenarios de vuelo aleatorios por toda Europa. Su trabajo no es encontrar el camino perfecto, sino encontrar uno muy bueno de forma muy rápida. Observa el punto de partida, el destino y el clima, y luego dibuja una línea simple conectándolos con solo algunos giros. Ignora los detalles finos de los cambios de altitud para mantener sus cálculos rápidos, centrándose en cambio en la dirección general y el viento. Este proceso le toma al agente solo alrededor de un segundo y medio completar, independientemente de la duración del vuelo. Una vez trazado este camino aproximado, el segundo sistema toma el control. Este es el planificador tradicional, que usualmente pasa mucho tiempo comprobando cada ruta posible en una vasta cuadrícula de opciones. En esta nueva configuración híbrida, el planificador recibe una instrucción estricta: solo se le permite buscar la ruta final y perfecta dentro de un estrecho corredor que rodea el camino aproximado dibujado por el primer agente.

Al restringir el área de búsqueda, los investigadores convirtieron efectivamente un problema masivo y lento en uno mucho más pequeño y manejable. Imagine una búsqueda que normalmente tendría que comprobar un millón de posibilidades diferentes; al usar el boceto aproximado para guiar la búsqueda, el sistema podría solo necesitar comprobar unos pocos miles. Los resultados de sus pruebas, que involucraron la simulación de vuelos entre puntos aleatorios de la Tierra, mostraron que este atajo no tuvo un alto costo. En casi todos los casos, el consumo de combustible del sistema híbrido fue idéntico al del sistema exhaustivo y lento. Cuando hubo diferencias, fueron mínimas, usualmente menos del uno por ciento. Esto significa que el avión no quemó significativamente más combustible al tomar el atajo, pero la computadora ahorró una cantidad tremenda de tiempo.

Los investigadores también probaron cómo este método resistía bajo diferentes condiciones, tales como cambiar la densidad de la cuadrícula de búsqueda o la longitud del vuelo. Descubrieron que el método era más efectivo cuando la cuadrícula de búsqueda era grande y compleja, que es exactamente cuando más se necesita una solución rápida. En estos escenarios difíciles, el sistema híbrido redujo el tiempo de computación casi a la mitad. Sin embargo, también descubrieron un límite para cuánto podía reducirse el área de búsqueda. Si el corredor alrededor del camino aproximado se hacía demasiado estrecho, el sistema a veces perdía la mejor ruta, lo que conducía a un uso de combustible ligeramente mayor. Esto les enseñó que el equilibrio entre velocidad y precisión depende del tamaño específico de la cuadrícula de búsqueda, pero con los ajustes correctos, el sistema podía entregar consistentemente resultados rápidos y de alta calidad.

Las implicaciones de este trabajo se extienden más allá de solo ahorrar tiempo en una pantalla de computadora. En el mundo real, la capacidad de recalcular una trayectoria de vuelo en segundos podría ser una cuestión de vida o muerte durante una emergencia médica o un evento climático repentino. Los investigadores señalaron que, aunque sus pruebas actuales trataron el clima como un factor fijo y conocido, la estructura de su sistema está diseñada para manejar la incertidencia en el futuro. Debido a que el agente de aprendizaje por refuerzo está entrenado para reconocer patrones, podría potencialmente adaptarse para lidiar con cambios climáticos impredecibles, como tormentas repentinas, aprendiendo a evitarlas incluso antes de que sucedan. Por ahora, el estudio demuestra que combinar un intento intuitivo y rápido con una verificación cuidadosa y detallada es una forma poderosa de resolver problemas de planificación complejos. Prueba que en el mundo de alto riesgo de la aviación, no siempre es necesario revisar cada una de las posibilidades para encontrar el mejor camino; a veces, saber dónde mirar es suficiente.