🤖 AI

End-to-End LLM Flight Planning with RAG-based Memory and Multi-modal Coach Agent

Het artikel introduceert FRAMe, een end-to-end op LLM gebaseerd vluchtplanningsysteem voor eVTOL-vliegtuigen dat een multimodale coach-agent en RAG-gebaseerd geheugen integreert om natuurlijke taalinstructies te vertalen naar veilige, efficiënte routes die in lijn zijn met de voorkeuren van menselijke operators, waarbij tot 93,8% validiteit wordt bereikt over diverse scenario's.

Oorspronkelijke auteurs: Amin Tabrizian, Arsyi Aziz, Aarifah Ullah, Mahyar Ghazanfari, Pouria Razzaghi, Peng Wei

Gepubliceerd 2026-07-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Amin Tabrizian, Arsyi Aziz, Aarifah Ullah, Mahyar Ghazanfari, Pouria Razzaghi, Peng Wei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de kapitein bent van een futuristische, elektrische vliegende auto (een eVTOL). Je moet van Punt A naar Punt B vliegen, maar de lucht is niet leeg. Er zijn onzichtbare "no-fly" zones—zoals stormwolken, beperkt luchtruim of gevaarlijke windzakken—die je moet vermijden.

Traditioneel plannen computers deze routes met strikte wiskundige regels. Ze zijn geweldig in het vinden van het kortste pad, maar ze zijn slecht in het begrijpen van menselijke nuances. Als je zegt: "Ik wil hoog vliegen en ver weg van de stormen," kan een klassieke computer die voorkeur simpelweg negeren en de wiskundig kortste route nemen, zelfs als die gevaarlijk dicht bij het gevaar langs schampt.

Dit artikel introduceert FRAMe, een nieuw systeem dat ontworpen is om de kloof tussen menselijke intentie en computerplanning te overbruggen. Denk aan FRAMe als een superintelligent vliegplan-team bestaande uit drie verschillende personages die samenwerken:

1. De Planner (De "Dromer")

Dit is een Large Language Model (LLM)—in feite een zeer geavanceerde AI die leest en schrijft als een mens.

Wat het doet: Je vertelt het: "Vlieg van hier naar daar, maar blijf zo ver mogelijk van de windgevaren af." De Planner vertaalt jouw woorden naar een lijst met GPS-coördinaten (waypoints) om een vliegroute te creëren.
Het probleem: Soms wordt de Planner creatief maar maakt hij fouten. Hij kan een lijn tekenen die per ongeluk door een "no-fly" zone snijdt of vergeet te starten bij de juiste luchthaven.

2. De Coach (De "Strenge Scheidsrechter")

Dit is een multi-modale AI-agent (hij kan afbeeldingen "zien" en tekst lezen) die fungeert als kwaliteitscontroleur.

Wat het doet: Voordat een vliegplan wordt goedgekeurd, bekijkt de Coach de kaart die de Planner heeft getekend.
- Stap 1 (Geometrische controle): Het gebruikt een liniaal en een passer om te controleren of het pad geen "no-fly" zones raakt en binnen het toegestane luchtruim blijft.
- Stap 2 (Visuele controle): Het kijkt naar een afbeelding van het vliegpad om te zien of het daadwerkelijk jouw instructies volgt (bijv. "Is het echt ver genoeg weggebleven van de stormen?").
- Stap 3 (Feedback): Als het plan slecht is, wijst de Coach het af. Als het goed is, geeft hij een duim omhoog.
De analogie: Denk aan de Planner als een student die een essay schrijft, en de Coach als de docent die het nakijkt. De student kan een geweldig verhaal schrijven, maar als hij de opdracht mist of de regels breekt, stuurt de docent het terug voor correcties.

3. Het Geheugen (De "Bibliothecaris")

Dit is een systeem genaamd RAG (Retrieval-Augmented Generation).

Wat het doet: Elke keer dat het team een succesvol vliegplan maakt, worden de details opgeslagen in een digitale bibliotheek. Wanneer je een nieuw vliegplan vraagt, vindt de Bibliothecaris snel eerdere vluchten die vergelijkbaar waren (dezelfde startlocatie, hetzelfde type weer, dezelfde voorkeuren) en laat deze aan de Planner zien.
De analogie: Stel je voor dat je probeert een puzzel op te lossen. In plaats van vanaf nul te beginnen, heb je een vriend die zegt: "Hé, ik heb gisteren een soortgelijke puzzel opgelost. Hier is hoe ik dat deed." De Bibliothecaris biedt die behulpzame hint, zodat de Planner niet hoeft te gokken.

Hoe ze samenwerken

Het systeem draait in een lus:

De Bibliothecaris vindt een eerder voorbeeld om de Planner te helpen.
De Planner tekent een nieuwe route op basis van jouw woorden en het voorbeeld.
De Coach controleert de route.
- Als het veilig is en jouw regels volgt, keurt de Coach het goed.
- Als het onveilig is, wijst de Coach het af, en probeert de Planner het opnieuw.
Eenmaal goedgekeurd, wordt het nieuwe plan toegevoegd aan de Bibliotheek voor de volgende keer.

Wat ze hebben gevonden

De onderzoekers hebben dit systeem getest met vier verschillende AI-"Planners" en drie moeilijkheidsgraden (Makkelijke, Gemiddelde en Moeilijke luchten).

Het "All-Star" Team wint: Het systeem werkte het best wanneer alle drie de onderdelen (Planner + Bibliothecaris + Coach) samen werden gebruikt. Het produceerde geldige, veilige vliegplannen in wel 93,8% van de gevallen.
De Coach is cruciaal: Voor sommige AI-modellen was alleen de "Bibliothecaris" (vorige voorbeelden) niet genoeg; het maakte hen zelfs iets slechter omdat ze in de war raakten door slechte voorbeelden. Echter, het toevoegen van de "Coach" loste dit op. De Coach fungeerde als een vangnet dat de fouten opving die de Bibliothecaris miste.
Luisteren naar mensen: In tegen tegenstelling tot oude wiskunde-gebaseerde systemen die alleen om de kortste afstand geven, luistert FRAMe daadwerkelijk naar menselijke voorkeuren.
- Als je vroeg om waypoints te minimaliseren (het pad simpel houden), maakte de AI het pad simpeler.
- Als je vroeg om vrijheid te maximaliseren (zo ver mogelijk van gevaar af blijven), vloog de AI verder weg van de gevaren.
- Opmerking: Het systeem kon de "afstand" niet voor iedereen verbeteren omdat de AI-modellen al zo dicht bij het wiskundig kortste pad vlogen.

De kern van het verhaal

FRAMe laat zien dat we geavanceerde AI kunnen gebruiken om vliegplannen te maken die niet alleen wiskundig correct zijn, maar ook veilig, flexibel en afgestemd op wat een menselijke piloot daadwerkelijk wil. Het verandert een rigide computeralgoritme in een samenwerkend team dat leert van zijn fouten uit het verleden en luistert naar menselijke instructies.

Opmerking: Het artikel vermeldt expliciet dat alle tests zijn uitgevoerd met computer-simulaties en kaarten. Ze hebben nog geen echte vliegtuigen gevlogen, hoewel ze wel een webinterface hebben gebouwd om de logica op kleine drones te testen als een tussenstap.

Technische Samenvatting: FRAMe – End-to-End LLM Vluchtplanning met RAG-gebaseerd Geheugen en Multi-modale Coach-agent

Probleemstelling

De inzet van elektrische verticaal opstijgende en landende (eVTOL) luchtvaartuigen en onbemande luchtvaartuigen (UAS) voor Advanced Air Mobility (AAM) vereist vluchtplanningssystemen die in staat zijn te navigeren door dichtbevolkte, complexe luchtruimen. Traditionele padplanningsalgoritmen (bijv. A*, RRT) vertrouwen op expliciet gedefinieerde wiskundige doelstellingen en hebben moeite met het integreren van flexibele, subjectieve voorkeuren van menselijke piloten, zoals het afwegen van vluchtduur tegen de complexiteit van waypoints of het maximaliseren van de afstand tot gevaren. Hoewel Large Language Models (LLMs) veelbelovend zijn in robotica en navigatie voor het interpreteren van natuurlijke taalintenties, blijft hun toepassing op realistische vluchtplanning onderbelicht. Bestaande benaderingen missen vaak mechanismen om de geldigheid van plannen te waarborgen, aan te sluiten bij de voorkeuren van de operator, of te leren van eerdere ervaringen zonder vanaf nul opnieuw te trainen.

Methodologie

De auteurs presenteren FRAMe, een end-to-end vluchtplanningsframework dat een planner LLM integreert met een Retrieval-Augmented Generation (RAG) geheugenmodule en een multi-modale Coach Agent. Het systeem werkt via de volgende componenten:

Planner Agent: Een LLM fungeert als de kern van de routeplanner. Het ontvangt een prompt in natuurlijke taal die de voorkeur van de operator beschrijft (bijv. "maximaliseer de afstand tot gevaarlijke polygonen") en scenario-data gecodeerd in KML (origine, bestemming, vliegbaar luchtruim en no-fly zones). De planner genereert een reeks geografische waypoints die een vliegpad vormen.
RAG-gebaseerde Geheugenmodule: Om de redenering van de LLM te funderen, haalt het systeem relevante context op uit een vectordatabase van eerdere vluchtplannen. Het ophaalproces omvat:
- Het embedden van de natuurlijke taalvoorkeur van de operator.
- Het filteren van de database op records met identieke scenario-geometrie (dezelfde origine, bestemming en no-fly zones).
- Het rangschikken van deze records op basis van de cosinus-gelijkenis van de preference-embeddings om de $K$ meest afgestemde eerdere oplossingen te selecteren.
- Het aanvullen van de prompt van de planner met deze opgehaalde voorbeelden en hun evaluaties.
Multi-modale Coach Agent: Een verificatielaag geïmplementeerd met behulp van een multi-modale LLM (specifiek o4-mini) gecombineerd met regelgebaseerde geometrische controles. De coach voert een driestapsreview uit:
- Geometrische Geldigheid: Regelgebaseerde tools verifiëren of alle waypoints binnen het vliegbare luchtruim blijven, de origine en bestemming verbinden en niet snijden met no-fly zones.
- Afstemming op Voorkeur: De coach analyseert een gerenderde afbeelding van het voorgestelde vluchtplan om te beoordelen of de route visueel overeenkomt met de opgegeven voorkeur van de operator.
- Feedbackloop: De operator kan optionele feedback geven. Het definitieve record (scenario, voorkeur, geldigheid, afstemming en feedback) wordt in de database opgeslagen om toekomstige RAG-retrievals te verbeteren.
  Het systeem werd geëvalueerd met een webprototype gericht op subscale UAV-operaties (geïntegreerd met Mission Planner) als een kosteneffectieve proxy voor eVTOL-testen.

Belangrijkste Bijdragen

FRAMe Systeemarchitectuur: Een nieuw framework dat een planner LLM, RAG-geheugen en een multi-modale coach combineert om natuurlijke taal-gestuurde routegeneratie mogelijk te maken die veiligheidsrestricties en operatorvoorkeuren respecteert.
Annotator-vrije Voorkeureffevaluatie: Een kwantitatief evaluatieframework gebruikmakend van drie meetbare geometrische doelstellingen: het minimaliseren van de vluchtafstand, het minimaliseren van het aantal waypoints en het maximaliseren van de afstand tot polygonen. Dit maakt een objectieve beoordeling van de afstemming op voorkeuren mogelijk zonder menselijke annotatoren.
Multi-Model Ablatieonderzoek: Een systematische evaluatie over vier state-of-the-art LLM's (OpenAI o3-mini, o4-mini, GPT-5.4 en DeepSeek-R1) en drie scenario-moeilijkheidsgraden (Easy, Medium, Hard), afgezet tegen een klassieke A*-baseline. De studie isoleert de bijdragen van RAG en de Coach Agent.

Experimentele Resultaten

De evaluatie omvatte 150 warmup-runs om de database te voeden, gevolgd door een ablatiefase over vier condities: A*-baseline, LLM Baseline, LLM + RAG, en LLM + RAG + Coach.

Plan Geldigheid: Het volledige FRAMe-systeem (+RAG+Coach) behaalde de hoogste validiteitspercentages voor alle planners, met een totale validiteit van maximaal 93,8% (99% op Easy scenario's voor de sterkste planner). Opvallend genoeg, voor het o3-mini model, verlaagde RAG alleen de validiteit licht vergeleken met de baseline, maar de toevoeging van de Coach Agent herstelde en breidde de winst uit, wat aangeeft dat de Coach een niet-redundante, cruciale validatiecontrole biedt.
Afstemming op Voorkeur:
- Waypoints: Het o3-mini model vertoonde de meest significante verbetering, waarbij het gemiddelde aantal waypoints met 12% werd verminderd onder het volledige systeem vergeleken met de baseline.
- Afstand tot Gevaar (Clearance): Het o4-mini model demonstreerde de duidelijkste winst in het maximaliseren van de afstand (+9%).
- Afstand: De meeste modellen opereerden nabij hun planning-vloer voor afstand bij de baseline, wat verdere verbetering beperkte, hoewel GPT-5.4 een monotone verbetering liet zien wanneer de afstandsvoorkeur expliciet actief was.
Vergelijking met A:* Hoewel de klassieke A*-planner 100% validiteit bereikte, was deze "voorkeur-blind", wat resulteerde in routes met aanzienlijk hogere waypoint-aantallen (18,2 vs. ~3,5–5,0 voor LLM's) en lagere afstand tot gevaar (1,91 km vs. 3,5–5,0 km voor LLM's). FRAMe presteerde beter dan A* wat betreat afstand tot gevaar en waypoint-efficiëntie, terwijl het een kleine overhead in afstand accepteerde.

Betekenis en Claims

Het artikel claimt dat FRAMe aantoont hoe geavanceerde LLM's effectief kunnen worden ingezet voor mensgerichte missieplanning, door natuurlijke taalinstructies succesvol te vertalen naar veilige, efficiënte en flexibele vluchtroutes. De auteurs benadrukken dat de integratie van een multi-modale coach cruciaal is; het fungeert als een noodzakelijke poortwachter voor geldigheid en afstemming op voorkeuren, vooral voor modellen waarbij retrieval alleen onvoldoende of potentieel misleidend is.

Het framework wordt gepresenteerd als een modulaire stap naar het overbruggen van de kloof tussen menselijke pilootintentie en autonome vluchtoperaties. De auteurs houden een bescheiden standpunt en merken op dat de huidige evaluatie steunt op synthetische polygonale no-fly zones en enkel simulatiegegevens, waarbij real-world vluchttests en dynamische constraint-modellering (bijv. verkeer, batterijlimieten) worden geïdentificeerd als noodzakelijk toekomstig werk. Het systeem is ontworpen om op voorkeuren afgestemd te zijn waar klassieke algoritmen dat niet zijn, waarbij een afruil wordt geboden van een lichte afstandsoverhead voor aanzienlijk verbeterde veiligheidsmarges en route-eenvoud.