Hybrid Reinforcement Learning and Search for Flight Trajectory Planning

Voler d'une ville à une autre est rarement une question de tracer une ligne droite sur une carte. Bien que la Terre soit ronde, l'atmosphère n'est pas uniforme ; c'est un océan tridimensionnel et mouvant de vent, de température et de pression qui change constamment. Pour trouver le chemin le plus efficace à travers cet environnement, les pilotes et les systèmes automatisés doivent calculer un itinéraire qui minimise la consommation de carburant tout en naviguant à travers ces courants invisibles. C'est un défi mathématique complexe car l'avion lui-même est une machine d'une complexité immense, où chaque changement de vitesse ou d'altitude interagit avec la météo d'une manière qui nécessite de puissantes simulations informatiques pour être prédit. Lorsqu'un vol est planifié plusieurs jours à l'avance, les ordinateurs ont amplement de temps pour effectuer ces calculs lourds. Cependant, en cas d'urgence, comme lorsqu'un passager tombe gravement malade et que l'avion doit se dérouter vers l'hôpital le plus proche, ces mêmes calculs doivent être effectués en quelques secondes. Un système qui est précis mais lent est inutile dans une crise, tandis qu'un système qui est rapide mais imprécis pourrait conduire à des pénuries de carburant dangereuses ou à des destinations manquées.

Des chercheurs de l'Université de Bologne, travaillant avec des modèles de performance d'Airbus, ont développé une nouvelle façon de résoudre ce problème en combinant deux types différents d'intelligence artificielle. Le premier type, connu sous le nom d'apprentissage par renforcement, agit comme un pilote chevronné qui a volé sur des milliers d'itinéraires et peut instantanément reconnaître un bon chemin basé sur la forme générale du voyage et la météo. Le second type est un algorithme de recherche traditionnel, qui agit comme un ingénieur méticuleux, vérifiant chaque variation possible pour s'assurer que le meilleur itinéraire absolu est trouvé. Les chercheurs ont découvert qu'en laissant l'IA « pilote » esquisser d'abord un itinéraire grossier et rapide, ils pouvaient ensuite dire à l'IA « ingénieur » de ne regarder que les chemins proches de cette esquisse. Cette approche, qu'ils ont testée sur un ordinateur de bureau standard, a permis au système de trouver une solution jusqu'à 50 % plus rapidement qu'en utilisant la recherche méticuleuse seule, tout en utilisant presque exactement la même quantité de carburant.

Le cœur de cette nouvelle méthode réside dans la façon dont les deux systèmes d'intelligence artificielle communiquent entre eux. Le premier système, l'agent d'apprentissage par renforcement, est entraîné sur des milliers de scénarios de vol aléatoires à travers l'Europe. Son rôle n'est pas de trouver le chemin parfait, mais de trouver un très bon chemin très rapidement. Il regarde le point de départ, la destination et la météo, puis trace une ligne simple les reliant avec seulement quelques virages. Il ignore les détails fins des changements d'altitude pour garder ses calculs rapides, se concentrant plutôt sur la direction générale et le vent. Ce processus ne prend à l'agent qu'environ une seconde et demie à compléter, quelle que soit la durée du vol. Une fois ce chemin grossier tracé, le second système prend le relais. Il s'agit du planificateur traditionnel, qui passe habituellement beaucoup de temps à vérifier chaque route possible dans une vaste grille d'options. Dans cette nouvelle configuration hybride, le planificateur reçoit une instruction stricte : il n'est autorisé à chercher la route finale et parfaite qu'au sein d'un couloir étroit entourant le chemin grossier dessiné par le premier agent.

En restreignant la zone de recherche, les chercheurs ont effectivement transformé un problème massif et chronophage en un problème beaucoup plus petit et gérable. Imaginez une recherche qui devrait normalement vérifier un million de possibilités différentes ; en utilisant l'esquisse grossière pour guider la recherche, le système pourrait n'avoir besoin d'en vérifier que quelques milliers. Les résultats de leurs tests, qui impliquaient des simulations de vols entre des points aléatoires sur Terre, ont montré que ce raccourci n'avait pas un coût élevé. Dans presque tous les cas, la consommation de carburant du système hybride était identique à celle du système exhaustif et lent. Lorsqu'il y avait des différences, elles étaient infimes, généralement inférieures à un pour cent. Cela signifie que l'avion n'a pas brûlé de carburant significativement plus que par le raccourci, mais l'ordinateur a gagné un temps considérable.

Les chercheurs ont également testé la résistance de cette méthode sous différentes conditions, telles que le changement de densité de la grille de recherche ou la longueur du vol. Ils ont découvert que la méthode était la plus efficace lorsque la grille de recherche était grande et complexe, ce qui est précisément le moment où une solution rapide est le plus nécessaire. Dans ces scénarios difficiles, le système hybride a réduit le temps de calcul de près de moitié. Cependant, ils ont aussi découvert une limite à la réduction de la zone de recherche. Si le couloir autour du chemin grossier était rendu trop étroit, le système manquait parfois la meilleure route, entraînant une consommation de carburant légèrement plus élevée. Cela leur a appris que l'équilibre entre vitesse et précision dépend de la taille spécifique de la grille de recherche, mais qu'avec les bons réglages, le système pouvait fournir de manière constante des résultats rapides et de haute qualité.

Les implications de ce travail s'étendent au-delà du simple gain de temps sur un écran d'ordinateur. Dans le monde réel, la capacité de recalculer une trajectoire de vol en quelques secondes peut être une question de vie ou de mort lors d'une urgence médicale ou d'un événement météorologique soudain. Les chercheurs ont noté que, bien que leurs tests actuels traitaient la météo comme un facteur fixe et connu, la structure de leur système est conçue pour gérer l'incertitude à l'avenir. Parce que l'agent d'apprentissage par renforcement est entraîné à reconnaître des motifs, il pourrait potentiellement être adapté pour faire face aux changements météorologiques imprévisibles, tels que des tempêtes soudaines, en apprenant à les éviter avant même qu'elles ne se produisent. Pour l'instant, l'étude démontre que combiner une supposition rapide et intuitive avec une vérification minutieuse et détaillée est un moyen puissant de résoudre des problèmes de planification complexes. Elle prouve que dans le monde à enjeux élevés de l'aviation, on n'a pas toujours besoin de vérifier chaque possibilité pour trouver le meilleur chemin ; parfois, savoir où regarder suffit.