🤖 AI

End-to-End LLM Flight Planning with RAG-based Memory and Multi-modal Coach Agent

Le document présente FRAMe, un système de planification de vol de bout en bout basé sur les LLM pour les aéronefs eVTOL qui intègre un agent coach multimodal et une mémoire basée sur la RAG pour traduire des instructions en langage naturel en itinéraires sûrs et efficaces qui s'alignent sur les préférences des opérateurs humains, atteignant jusqu'à 93,8 % de validité à travers divers scénarios.

Auteurs originaux : Amin Tabrizian, Arsyi Aziz, Aarifah Ullah, Mahyar Ghazanfari, Pouria Razzaghi, Peng Wei

Publié 2026-07-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amin Tabrizian, Arsyi Aziz, Aarifah Ullah, Mahyar Ghazanfari, Pouria Razzaghi, Peng Wei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le capitaine d'une voiture volante électrique futuriste (appelée eVTOL). Vous devez voler d'un point A à un point B, mais le ciel n'est pas vide. Il existe des zones de « non-vol » invisibles — comme des nuages d'orage, des espaces aériens restreints ou des poches de vent dangereuses — que vous devez éviter.

Traditionnellement, les ordinateurs planifient ces itinéraires en utilisant des règles mathématiques strictes. Ils sont excellents pour trouver le chemin le plus court, mais ils comprennent très mal la nuance humaine. Si vous dites : « Je veux voler haut et loin des tempêtes », un ordinateur classique pourrait simplement ignorer votre préférence et prendre la route mathématiquement la plus courte, même si elle frôle dangereusement le danger.

Ce document présente FRAMe, un nouveau système conçu pour combler le fossé entre l'intention humaine et la planification informatique. Considérez FRAMe comme une équipe de planification de vol super intelligente composée de trois personnages distincts travaillant ensemble :

1. Le Planificateur (Le « Rêveur »)

Il s'agit d'un Grand Modèle de Langage (LLM) — essentiellement une IA très avancée qui lit et écrit comme un humain.

Ce qu'il fait : Vous lui dites : « Vole de d'ici à là, mais reste le plus loin possible des dangers liés au vent ». Le Planificateur traduit vos mots en une liste de coordonnées GPS (points de passage ou waypoints) pour créer un itinéraire de vol.
Le Problème : Parfois, le Planificateur se montre créatif mais commet des erreurs. Il peut tracer une ligne qui traverse accidentellement une zone de « non-vol » ou oublier de partir du bon aéroport.

2. Le Coach (Le « Arbitre Strict »)

C'est un agent IA multimodal (il peut « voir » des images et lire du texte) qui agit comme un inspecteur de contrôle qualité.

Ce qu'il fait : Avant qu'un plan de vol ne soit approuvé, le Coach examine la carte dessinée par le Planificateur.
- Étape 1 (Vérification géométrique) : Il utilise une règle et un rapporteur pour s'assurer que le trajet ne percute aucune zone de « non-vol » et reste dans l'espace aérien autorisé.
- Étape 2 (Vérification visuelle) : Il regarde une image du chemin de vol pour voir s'il suit réellement vos instructions (par exemple : « Est-ce qu'il est vraiment resté loin des tempêtes ? »).
- Étape 3 (Feedback) : Si le plan est mauvais, le Coach le rejette. S'il est bon, il donne un pouce levé.
L'analogie : Pensez au Planificateur comme à un élève écrivant une dissertation, et au Coach comme à l'enseignant qui corrige la copie. L'élève peut écrire une excellente histoire, mais s'il manque le sujet ou enfreint les règles, l'enseignant lui renvoie sa copie pour corrections.

3. La Mémoire (Le « Bibliothécaire »)

C'est un système appelé RAG (Génération augmentée par récupération).

Ce qu'il fait : Chaque fois que l'équipe planifie avec succès un vol, les détails sont sauvegardés dans une bibliothèque numérique. Lorsque vous demandez un nouveau plan de vol, le Bibliothécaire trouve rapidement des vols passés similaires (même point de départ, même type de météo, mêmes préférences) et les présente au Planificateur.
L'analogie : Imaginez que vous essayez de résoudre un puzzle. Au lieu de partir de zéro, un ami vous dit : « Hé, j'ai résolu un puzzle similaire hier. Voici comment j'ai fait ». Le Bibliothécaire fournit cet indice utile, afin que le Planificateur n'ait pas à deviner.

Comment ils travaillent ensemble

Le système fonctionne en boucle :

Le Bibliothécaire trouve un exemple passé pour aider le Planificateur.
Le Planificateur dessine un nouvel itinéraire basé sur vos mots et l'exemple.
Le Coach vérifie l'itinéraire.
- Si l'itinéraire est sûr et respecte vos règles, le Coach l'approuve.
- S'il est dangereux, le Coach le rejette, et le Planificateur essaie à nouveau.
Une fois approuvé, le nouveau plan est ajouté à la Bibliothèque pour la prochaine fois.

Ce qu'ils ont découvert

Les chercheurs ont testé ce système avec quatre « Planificateurs » d'IA différents et trois niveaux de difficulté (ciels Faciles, Moyens et Difficiles).

L'équipe « All-Star » gagne : Le système a fonctionné de manière optimale lorsque les trois parties (Planificateur + Bibliothécaire + Coach) étaient utilisées ensemble. Il a produit des plans de vol valides et sûrs dans 93,8 % des cas.
Le Coach est crucial : Pour certains modèles d'IA, le simple fait d'avoir le « Bibliothécaire » (exemples passés) ne suffisait pas ; cela les rendait même légèrement moins performants car ils étaient confus par les mauvais exemples. Cependant, l'ajout du « Coach » a corrigé cela. Le Coach a agi comme un filet de sécurité, capturant les erreurs que le Bibliothécaire avait manquées.
Écouter les humains : Contrairement aux anciens systèmes basés sur les mathématiques qui ne se soucient que de la distance la plus courte, FRAMe écoute réellement les préférences humaines.
- Si vous demandez de minimiser les points de passage (garder le trajet simple), l'IA rend le trajet plus simple.
- Si vous demandez de maximiser la marge de sécurité (rester loin du danger), l'IA vole plus loin des dangers.
- Note : Le système n'a pas pu s'améliorer sur la « distance » pour tout le monde car les modèles d'IA volaient déjà très près du chemin mathématiquement le plus court pour commencer.

L'essentiel

FRAMe montre que nous pouvons utiliser l'IA avancée pour créer des plans de vol qui ne sont pas seulement mathématiquement corrects, mais aussi sûrs, flexibles et alignés sur ce qu'un pilote humain souhaite réellement. Cela transforme un algorithme informatique rigide en une équipe collaborative qui apprend de ses erreurs passées et écoute les instructions humaines.

Note : L'article précise explicitement que tous les tests ont été effectués à l'aide de simulations informatiques et de cartes. Ils n'ont pas encore fait voler de vrais avions, bien qu'ils aient construit une interface web pour tester la logique sur de petits drones en guise d'étape intermédiaire.

Résumé Technique : FRAMe – Planification de Vol de bout en bout pour LLM avec Mémoire basée sur le RAG et un Agent Coach Multimodal

Énoncé du Problème

Le déploiement d'aéronefs à décollage et atterrissage verticaux électriques (eVTOL) et de systèmes aériens non habités (UAS) pour la mobilité aérienne avancée (AAM) nécessite des systèmes de planification de vol capables de naviguer dans des espaces aériens denses et complexes. Les algorithmes de planification de trajectoire traditionnels (par exemple, A*, RRT) reposent sur des objectifs mathématiques explicitement définis et peinent à intégrer les préférences subjectives et flexibles des pilotes humains, telles que l'arbitrage entre la durée du vol et la complexité des points de passage, ou la maximisation de la distance de sécurité par rapport aux dangers. Bien que les grands modèles de langage (LLM) aient montré des promesses en robotique et en navigation pour interpréter l'intention en langage naturel, leur application à la planification de vol réelle reste sous-explorée. Les approches existantes manquent souvent de mécanismes pour garantir la validité des plans, s'aligner sur les préférences des opérateurs ou apprendre des expériences passées sans nécessenter un réentraînement complet.

Méthodologie

Les auteurs présentent FRAMe, un cadre de planification de vol de bout en bout qui intègre un LLM planificateur avec un module de mémoire basé sur la génération augmentée par récupération (RAG) et un Agent Coach multimodal. Le système fonctionne via les composants suivants :

Agent Planificateur : Un LLM sert de cœur de planification de route. Il reçoit une instruction en langage naturel décrivant la préférence de l'opérateur (par exemple, « maximiser la distance de sécurité par rapport aux polygones dangereux ») et des données de scénario encodées en KML (origine, destination, espace aérien praticable et zones d'exclusion). Le planificateur génère une séquence de points de passage géographiques formant une trajectoire de vol.
Module de Mémoire basé sur le RAG : Pour ancrer le raisonnement du LLM, le système récupère un contexte pertinent à partir d'une base de données vectorielle de plans de vol passés. Le processus de récupération implique :
- L'encodage (embedding) de la préférence en langage naturel de l'opérateur.
- Le filtrage de la base de données pour les enregistrements ayant une géométrie de scénario identique (même origine, destination et zones d'exclusion).
- Le classement de ces enregistrements par similitude cosinus des plongements (embeddings) de préférence afin de sélectionner les $K$ solutions passées les plus alignées.
- L'augmentation de l'invite (prompt) du planificateur avec ces exemples récupérés et leurs évaluations.
Agent Coach Multimodal : Une couche de vérification implémentée à l'aide d'un LLM multimodal (spécifiquement o4-mini) combinée à des contrôles géométriques basés sur des règles. Le coach effectue une revue en trois étapes :
- Validité Géométrique : Des outils basés sur des règles vérifient que tous les points de passage restent dans l'espace aérien praticable, relient l'origine et la destination, et n'intersectent pas les zones d'exclusion.
- Alignement des Préférences : Le coach analyse une image rendue du plan de vol proposé pour évaluer si la route s'aligne visuellement sur la préférence énoncée par l'opérateur.
- Boucle de Rétroaction : L'opérateur peut fournir un feedback optionnel. L'enregistrement final (scénario, préférence, validité, alignement et feedback) est stocké dans la base de données pour améliorer les futures récupérations RAG.

Le système a été évalué via un prototype Web ciblant les opérations d'UAV à échelle réduite (intégré à Mission Planner) comme un proxy rentable pour les tests d'eVTOL.

Principales Contributions

Architecture du Système FRAMe : Un cadre novateur combinant un LLM planificateur, une mémoire RAG et un coach multimodal pour permettre une génération de routes pilotée par le langage naturel, respectant les contraintes de sécurité et les préférences des opérateurs.
Évaluation des Préférences sans Annotateur : Un cadre d'évaluation quantitative utilisant trois objectifs géométriques mesurables : minimiser la distance de vol, minimiser le nombre de points de passage et maximiser la distance de sécurité par rapport aux polygones. Cela permet une évaluation objective de l'alignement des préférences sans recours à des annotateurs humains.
Étude d'Ablation Multi-Modèles : Une évaluation systématique à travers quatre LLM de pointe (OpenAI o3-mini, o4-mini, GPT-5.4 et DeepSeek-R1) et trois niveaux de difficulté de scénario (Facile, Moyen, Difficile), comparés à une base de référence A*. L'étude isole les contributions du RAG et de l'Agent Coach.

Résultats Expérimentaux

L'évaluation a couvert 150 cycles de chauffe pour alimenter la base de données, suivis d'une phase d'ablation à travers quatre conditions : base de référence A*, LLM de base, LLM + RAG, et LLM + RAG + Coach.

Validité du Plan : Le système complet FRAMe (+RAG+Coach) a atteint les taux de validité les plus élevés pour tous les planificateurs, atteignant jusqu'à 93,8 % de validité globale (99 % sur les scénarios Faciles pour le planificateur le plus performant). Notamment, pour le modèle o3-mini, le RAG seul a légèrement diminué la validité par rapport à la base de référence, mais l'ajout de l'Agent Coach a permis de récupérer et d'étendre les gains, indiquant que le Coach fournit une vérification de validité non redondante et essentielle.
Alignement des Préférences :
- Points de Passage : Le modèle o3-mini a montré l'amélioration la plus significative, réduisant la moyenne du nombre de points de passage de 12 % avec le système complet par rapport à la base de référence.
- Distance de Sécurité (Clearance) : Le modèle o4-mini a démontré le gain le plus clair dans la maximisation de la distance de sécurité (+9 %).
- Distance : La plupart des modèles opèrent près de leur plancher de planification pour la distance par rapport à la base de référence, limitant toute amélioration supplémentaire, bien que GPT-5.4 ait montré une amélioration monotone lorsque la préférence de distance était explicitement active.
Comparaison avec A :* Bien que le planificateur classique A* atteigne 100 % de validité, il est « aveugle aux préférences », produisant des routes avec un nombre de points de passage nettement plus élevé (18,2 contre ~3,5–5,0 pour les LLM) et une distance de sécurité moindre (1,91 km contre 3,5–5,0 km pour les LLM). FRAMe surpasse A* en termes de distance de sécurité et d'efficacité des points de passage, tout en acceptant un léger surcoût de distance.

Signification et Revendications

L'article affirme que FRAMe démontre comment les LLM avancés peuvent être déployés efficacement pour une planification de mission centrée sur l'humain, traduisant avec succès des instructions en langage naturel en routes de vol sûres, efficaces et flexibles. Les auteurs soulignent que l'intégration d'un coach multimodal est critique ; il agit comme un gardien nécessaire pour la validité et l'alignement des préférences, particulièrement pour les modèles où la récupération seule est insuffisante ou potentiellement trompeuse.

Le cadre est présenté comme une étape modulaire vers le comblement du fossé entre l'intention du pilote humain et les opérations de vol autonomes. Les auteurs maintiennent une position modeste, notant que l'évaluation actuelle repose sur des zones d'exclusion polygonales synthétiques et des données de simulation uniquement, identifiant les tests de vol en conditions réelles et la modélisation des contraintes dynamiques (ex: trafic, limites de batterie) comme des travaux futurs nécessaires. Le système est conçu pour être aligné sur les préférences là où les algorithmes classiques ne le sont pas, offrant un compromis d'un léger surcoût de distance pour une amélioration significative des marges de sécurité et de la simplicité des routes.