Hybrid Reinforcement Learning and Search for Flight Trajectory Planning

Voar um avião de uma cidade para outra raramente é uma questão de desenhar uma linha reta em um mapa. Embora a Terra seja redonda, a atmosfera não é uniforme; é um oceano tridimensional e mutável de vento, temperatura e pressão que muda constantemente. Para encontrar o caminho mais eficiente através deste ambiente, pilotos e sistemas automatizados devem calcular uma rota que minimize o consumo de combustível enquanto navegam por estas correntes invisíveis. Este é um desafio matemático complexo porque o próprio avião é uma máquina de imensa complexidade, onde cada mudança de velocidade ou altitude interage com o clima de formas que exigem simulações computacionais poderosas para prever. Quando um voo é planejado com dias de antecedência, os computadores têm bastante tempo para realizar esses cálculos pesados. No entanto, em uma emergência, como quando um passageiro adoece criticamente e o avião precisa desviar para o hospital mais próximo, os mesmos cálculos devem ser realizados em segundos. Um sistema que é preciso, mas lento, é inútil em uma crise, mas um sistema que é rápido, mas impreciso, poderia levar a faltas perigosas de combustível ou destinos perdidos.

Pesquisadores da Universidade de Bolonha, trabalhando com modelos de desempenho da Airbus, desenvolveram uma nova maneira de resolver este problema combinando dois tipos diferentes de inteligência artificial. O primeiro tipo, conhecido como aprendizado por reforço, atua como um piloto experiente que já voou milhares de rotas e consegue reconhecer instantaneamente um bom caminho com base no formato geral da jornada e do clima. O segundo tipo é um algoritmo de busca tradicional, que atua como um engenheiro meticuloso, verificando cada variação possível para garantir que a rota absolutamente melhor seja encontrada. Os pesquisadores descobriram que, ao deixar a IA "piloto" esboçar uma rota rápida e aproximada primeiro, eles poderiam então dizer à IA "engenheiro" para olhar apenas para os caminhos próximos a esse esboço. Esta abordagem, que testaram em um computador desktop padrão, permitiu que o sistema encontrasse uma solução até 50 por cento mais rápida do que usando apenas a busca meticulosa, enquanto utilizava quase exatamente a mesma quantidade de combustível.

O cerne deste novo método reside em como os dois sistemas de inteligência artificial conversam entre si. O primeiro sistema, o agente de aprendizado por reforço, é treinado em milhares de cenários de voo aleatórios pela Europa. Seu trabalho não é encontrar o caminho perfeito, mas encontrar um caminho muito bom muito rapidamente. Ele observa o ponto de partida, o destino e o clima, e então desenha uma linha simples conectando-os com apenas algumas curvas. Ele ignora os detalhes finos das mudanças de altitude para manter seus cálculos rápidos, focando, em vez disso, na direção geral e no vento. Este processo leva o agente apenas cerca de um segundo e meio para completar, independentemente de quão longo seja o voo. Uma vez que este caminho aproximado é desenhado, o segundo sistema assume o controle. Este é o planejador tradicional, que geralmente gasta muito tempo verificando cada rota possível em uma vasta grade de opções. Nesta nova configuração híbrida, o planejador recebe uma instrução estrita: ele só tem permissão para buscar a rota final e perfeita dentro de um corredor estreito que circunda o caminho aproximado desenhado pelo primeiro agente.

Ao restringir a área de busca, os pesquisadores efetivamente transformaram um problema massivo e demorado em um muito menor e gerenciável. Imagine uma busca que normalmente teria que verificar um milhão de possibilidades diferentes; ao usar o esboço aproximado para guiar a busca, o sistema pode precisar verificar apenas alguns milhares. Os resultados de seus testes, que envolveram a simulação de voos entre pontos aleatórios da Terra, mostraram que este atalho não teve um custo alto. Em quase todos os casos, o consumo de combustível do sistema híbrido foi idêntico ao do sistema exaustivo e lento. Quando houve diferenças, foram minúsculas, geralmente menos de um por cento. Isso significa que o avião não queimou significativamente mais combustível ao pegar o atalho, mas o computador economizou um tempo tremendo.

Os pesquisadores também testaram como este método se comportava sob diferentes condições, como a mudança na densidade da grade de busca ou a duração do voo. Eles descobriram que o método era mais eficaz quando a grade de busca era grande e complexa, que é exatamente quando uma solução rápida é mais necessária. Nestes cenários difíceis, o sistema híbrido reduziu o tempo de computação em quase metade. No entanto, eles também descobriram um limite para o quanto a área de busca poderia ser reduzida. Se o corredor ao redor do caminho aproximado fosse feito muito estreito, o sistema às vezes perdia a melhor rota, levando a um uso ligeiramente maior de combustível. Isso os ensinou que o equilíbrio entre velocidade e precisão depende do tamanho específico da grade de busca, mas com as configurações corretas, o sistema podia entregar consistentemente resultados rápidos e de alta qualidade.

As implicações deste trabalho estendem-se para além de apenas economizar tempo em uma tela de computador. No mundo real, a capacidade de recalcular uma trajetória de voo em segundos pode ser uma questão de vida ou morte durante uma emergência médica ou um evento climático súbito. Os pesquisadores observaram que, embora seus testes atuais tenham tratado o clima como um fator fixo e conhecido, a estrutura de seu sistema é projetada para lidar com a incerteza no futuro. Como o agente de aprendizado por reforço é treinado para reconhecer padrões, ele poderia potencialmente ser adaptado para lidar com mudanças climáticas imprevisíveis, como tempestades repentinas, aprendendo a evitá-las antes mesmo que aconteçam. Por enquanto, o estudo demonstra que combinar um palpite intuitivo e rápido com uma verificação cuidadosa e detalhada é uma maneira poderosa de resolver problemas de planejamento complexos. Prova que, no mundo de alto risco da aviação, você nem sempre precisa verificar cada possibilidade individual para encontrar o melhor caminho; às vezes, saber onde olhar é o suficiente.