LLM4Delay: Flight Delay Prediction via Cross-Modality Adaptation of Large Language Models and Aircraft Trajectory Representation

Probleemstelling

Vluchtrvertragingen zijn een kritieke inefficiëntie in het luchtverkeersmanagement (ATM). Hoewel bestaande modellen vaak gebruikmaken van tabulaire data (zoals vluchtschema's en weerberichten) of tijdreeksen voor één enkele vlucht, hebben deze methoden beperkingen:

1. Rigiditeit: Veel modellen vereisen vaste inputmaten en handmatige parsers voor tekstuele data (zoals METAR, TAF en NOTAMs), waardoor ze niet flexibel zijn voor variabele lengtes of semantische nuances.
2. Contextgebrek: Bestaande trajectory-based modellen kijken vaak slechts naar één vlucht (de "focusing trajectory") en missen de bredere context van luchtruimcongestie, weersomstandigheden en operationele beperkingen die door meerdere vluchten en tekstuele meldingen worden bepaald.
3. Modale kloof: Het integreren van tekstuele data (natuurlijke taal) en tijdreeksdata (vliegtuigtrajecten) in één model is uitdagend, omdat Large Language Models (LLMs) niet oorspronkelijk zijn getraind op continue tijdreeksen.

Het artikel richt zich specifiek op het voorspellen van vertragingen in de post-terminal fase (vanaf het moment dat een vliegtuig de Terminal Maneuvering Area (TMA) binnenkomt tot aankomst), een kritieke periode voor luchtverkeersleiders (ATC's) om gronddiensten te coördineren.

Methodologie: LLM4Delay

Het voorgestelde framework, LLM4Delay, is een multimodaal regressiemodel dat een voorgeprogrammeerde Large Language Model (LLM) combineert met een voorgeprogrammeerde traject-encoder. De kern van de methode ligt in het behandelen van alle input als een sequentie van tokens.

1. Data en Input Representatie:
Het model integreert diverse databronnen in een scenario $s_{i,t}$:

• Tekstuele prompts: Vluchtinformatie, METAR (huidig weer), TAF (weersvoorspelling) en NOTAMs (operationele meldingen).
• Trajectdata: In plaats van één traject, worden drie groepen trajecten gebruikt om de luchtruimcondities te modelleren:
  • Focusing trajectory: Het traject van de doelvlucht.
  • Active trajectories: Trajecten van andere vliegtuigen in de TMA op dat moment (congestie-indicator).
  • Prior trajectories: Voltooid trajecten van eerdere vluchten (historische patronen).
    Deze trajecten worden omgezet naar 9-dimensionale kenmerken (positie, snelheid, richting, etc.).

2. Cross-Modality Adaptatie (Instance-Level Projection):
Dit is de belangrijkste innovatie. In tegenstelling tot eerdere methoden die tijdreeksen tokeniseren in cijfers of feature-wise segmenten coderen, gebruikt LLM4Delay Instance-Level Projection:

• Een voorgeprogrammeerde traject-encoder (bijv. TS2Vec) comprimeert elke trajectgroep naar een "instance-level embedding" (een samenvatting van het volledige traject).
• Een lichtgewicht MLP-adaptatielaag projecteert deze embeddings naar de embedding-ruimte van de LLM.
• Deze projectie zorgt ervoor dat de LLM direct toegang heeft tot de semantische betekenis van het hele traject, zonder dat het model zelf de complexe temporele relaties tussen losse datapunten hoeft af te leiden.

3. Architectuur:

• Backbone: Een gefrozen open-source LLM (bijv. Pythia-1B of LLaMA3.2-1B). De taalmodelleringskop wordt vervangen door een regressiehoofd.
• Training: Alleen de adaptatielaag (projectie) en het regressiehoofd worden getraind; de LLM en de traject-encoder blijven gefrozen. Dit verhoogt de efficiëntie en behoudt de voorkennis van de modellen.
• Doel: Het voorspellen van $\Delta t_{post,i}$ (de resterende tijd in de TMA en taxi-in), wat leidt tot een totale vertragingsschatting.

Kernbijdragen

1. LLM4Delay Framework: Een nieuw multimodaal systeem dat tekstuele aeronautische data en meerdere vliegtuigtrajecten integreert binnen een LLM-architectuur voor vertragingsschatting.
2. Instance-Level Projection: Een effectieve cross-modale adaptatiestrategie die meerdere trajectrepresentaties afstemt op de taalmodality, waardoor de LLM direct kan redeneren over complexe luchtruimpatronen.
3. Dataset en Validatie: Constructie van een openbaar beschikbare multimodale dataset voor Incheon International Airport (2022) en het aantonen dat de combinatie van tekst en trajectdata complementair is en de nauwkeurigheid verbetert.

Resultaten

De prestaties van LLM4Delay werden geëvalueerd op 12 maandelijkse datasets en vergeleken met bestaande baselines:

• Vergelijking met Baselines: LLM4Delay overtrof zowel tabulaire modellen (zoals XGBoost, Random Forest) als traditionele tijdreeksmodellen (LSTM, Transformer, TCN) die slechts één traject gebruikten.
  • Gemiddelde MAE (Mean Absolute Error): LLM4Delay behaalde 1.1261 minuten, vergeleken met ~1.46 voor de beste Transformer-baseline en ~2.80 voor tabulaire modellen.
  • R²-score: LLM4Delay behaalde een 0.8634, wat aanzienlijk hoger is dan andere methoden.
• Effectiviteit van Adaptatie: De "Instance-Level Projection" presteerde significant beter dan alternatieve aanpassingstechnieken zoals tokenisatie van cijfers (LLMTIME-stijl) of patch-reprogramming (Time-LLM-stijl). Dit bevestigt dat het afleiden van semantiek op trajectniveau essentieel is.
• Ablatie Studies:
  • Het verwijderen van tekstuele data (weersvoorspellingen, NOTAMs) leidde tot een lichte daling in prestatie, maar het verwijderen van trajectdata veroorzaakte een enorme daling (MAE steeg naar 3.32), wat aantoont dat bewegingsdata de belangrijkste factor is.
  • Het gebruik van meerdere trajectgroepen (actief en historisch) verbeterde de nauwkeurigheid ten opzichte van het gebruik van alleen het doeltraject.
  • De keuze van de LLM-backbone (Pythia-1B) bleek cruciaal; modellen getraind op Engelstalige data presteerden beter dan multilinguale modellen in deze context.

Betekenis en Toekomst

LLM4Delay demonstreert dat Large Language Models effectief kunnen worden ingezet voor complexe operationele taken in de luchtvaart, mits ze correct worden aangepast voor niet-tekstuele data.

• Operationele Relevantie: Het model kan continu worden bijgewerkt naarmate nieuwe informatie beschikbaar komt (bijv. nieuwe weersrapporten of veranderende trajecten), wat direct bruikbaar is voor luchtverkeersleiders om gronddiensten te plannen.
• Schalbaarheid: Omdat alleen de adapter en het regressiehoofd worden getraind, kan het framework eenvoudig worden geschaald naar krachtigere LLM-backbones zonder de volledige training opnieuw uit te voeren.
• Toekomstige Richtingen: De auteurs suggereren uitbreiding naar andere fasen van de vlucht, integratie van andere modaliteiten (zoals beelden of audio), en toepassing op bredere ATM-taken.

Kortom, dit artikel biedt een doorbraak in hoe multimodale data in de luchtvaart kan worden geïntegreerd, waarbij de semantische kracht van LLMs wordt gecombineerd met de fysieke realiteit van vliegtuigbewegingen voor nauwkeurigere en operationeel bruikbare vertragingsschattingen.