💬 NLP

LLM4Delay: Flight Delay Prediction via Cross-Modality Adaptation of Large Language Models and Aircraft Trajectory Representation

L'article présente LLM4Delay, un cadre innovant qui améliore la prédiction des retards aériens en intégrant des informations textuelles et des trajectoires d'avions au sein d'un modèle de langage large grâce à une stratégie d'adaptation intermodale.

Auteurs originaux : Thaweerath Phisannupawong, Joshua Julian Damanik, Han-Lim Choi

Publié 2026-04-13

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Thaweerath Phisannupawong, Joshua Julian Damanik, Han-Lim Choi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🛫 Le Problème : Pourquoi les avions prennent-ils du retard ?

Imaginez que vous êtes un contrôleur aérien. Vous êtes comme un chef d'orchestre dans un ciel très bruyant. Votre travail est de gérer des dizaines d'avions qui arrivent en même temps.

Le problème, c'est que prédire l'heure d'arrivée exacte est un casse-tête. Les retards ne viennent pas seulement d'un avion qui est en panne. Ils dépendent de :

La météo (un orage soudain).
La circulation dans le ciel (trop d'avions qui se bousculent).
Des annonces techniques (une porte de hangar fermée, un feu rouge sur la piste).
Le comportement des autres avions autour.

Les méthodes actuelles sont un peu comme essayer de deviner l'heure d'arrivée en regardant seulement un seul avion, sans écouter la radio ni voir les autres. C'est souvent imprécis.

🤖 La Solution : LLM4Delay, le "Super-Assistant"

Les auteurs de cet article ont créé un nouvel outil appelé LLM4Delay. Pour faire simple, c'est un cerveau artificiel très intelligent (un "Grand Modèle de Langage", comme ceux qui écrivent des textes) qui a été entraîné à comprendre le langage des avions.

Voici comment cela fonctionne, avec une analogie :

1. Le Chef de Cuisine et les Ingrédients

Imaginez que prédire un retard, c'est comme cuisiner un plat délicat.

Les anciennes méthodes utilisaient seulement un ingrédient principal : la trajectoire de l'avion (où il va). C'est comme essayer de faire une soupe avec juste de l'eau. Ça ne suffit pas.
LLM4Delay, lui, utilise tous les ingrédients :
- Le texte des rapports météo (comme des épices).
- Les avis aux navigateurs (des instructions spéciales).
- Le planning du vol.
- Et surtout, il regarde non seulement l'avion qui arrive, mais aussi tous les autres avions autour de lui dans le ciel (la "circulation").

2. La Traduction Magique (L'Adaptation)

Le défi technique, c'est que l'IA est très douée pour lire des mots (comme "orage" ou "retard"), mais elle est nulle pour lire des courbes de trajectoire (des lignes qui bougent dans le temps). C'est comme si vous deviez expliquer une symphonie à quelqu'un qui ne connaît que les mots, mais pas la musique.

Les chercheurs ont inventé une technique appelée "Projection au niveau de l'instance".

L'analogie : Imaginez que vous avez un orchestre (les trajectoires des avions). Au lieu de donner à l'IA chaque note individuelle (trop compliqué !), vous lui donnez un résumé de l'ambiance de l'orchestre.
L'IA transforme ces courbes de trajectoire en "mots" qu'elle comprend. Elle dit : "Ah, je vois que cet avion tourne en rond comme un oiseau inquiet, et que les autres avions autour sont bloqués. Ça sent le retard !".

🚀 Pourquoi c'est génial ?

Il voit plus large : Contrairement aux anciens systèmes qui regardaient un seul avion, celui-ci regarde le "brouhaha" complet du ciel. Il comprend que si trois avions sont en file indienne, le quatrième va attendre.
Il comprend le contexte : Il lit les rapports météo et les annonces techniques comme un humain, sans avoir besoin de règles rigides. S'il y a une fermeture de piste, il le comprend immédiatement.
Il s'améliore en temps réel : Imaginez que vous conduisez et que vous voyez un embouteillage se former. Vous mettez à jour votre GPS. LLM4Delay fait la même chose : dès qu'un nouvel avion entre dans la zone ou qu'une nouvelle info météo arrive, il recalcule instantanément l'heure d'arrivée.

🎯 Le Résultat

Grâce à cette méthode, le système prédit l'heure d'arrivée avec une précision incroyable (souvent à moins d'une minute près).

En résumé :
Si les anciens systèmes étaient comme un GPS basique qui ne connaît que la route, LLM4Delay est comme un pote pilote expérimenté qui regarde la route, écoute la radio, voit les autres voitures, et vous dit : "Hé, il y a un orage plus loin et la circulation est lourde, on va arriver 10 minutes plus tard que prévu, mais ne t'inquiète pas, je surveille tout."

C'est une avancée majeure pour rendre le ciel plus fluide, plus sûr et moins stressant pour les passagers et les contrôleurs.

Titre : LLM4Delay : Prédiction des retards de vol par adaptation cross-modale de grands modèles de langage et de la représentation des trajectoires d'aéronefs

1. Problématique

La gestion du trafic aérien (ATM) fait face à des défis croissants liés à la densité du trafic, entraînant des retards qui compromettent la sécurité et l'efficacité opérationnelle. Bien que la prédiction des retards soit un domaine de recherche actif, les approches existantes présentent plusieurs limitations :

Données structurées rigides : La plupart des modèles traditionnels reposent sur des tableaux de données fixes (méta-données de vol, météo agrégée), nécessitant des parsers manuels rigides qui ne peuvent pas gérer efficacement des textes non structurés comme les rapports METAR, TAF ou les NOTAM.
Limites des données de trajectoire : Les approches basées sur les trajectoires se concentrent souvent sur une seule trajectoire (celle du vol concerné), négligeant ainsi les conditions de l'espace aérien environnant (congestion, trafic des autres aéronefs).
Décalage modalité : Les grands modèles de langage (LLM) excellent dans le traitement du texte mais ne sont pas nativement conçus pour traiter les séries temporelles complexes comme les trajectoires d'avions. L'intégration de ces deux modalités (texte et trajectoire) pour une prédiction précise reste un défi.

L'objectif de ce papier est de prédire le retard post-terminal (le temps écoulé entre l'entrée de l'avion dans la zone de manœuvre terminale - TMA - et son arrivée réelle), une tâche critique pour les contrôleurs aériens (ATC) afin de coordonner les services au sol.

2. Méthodologie : LLM4Delay

Le framework proposé, LLM4Delay, est une architecture multimodale qui intègre des données textuelles aéronautiques et des séries temporelles de trajectoires au sein d'un LLM pré-entraîné.

A. Formulation du problème
Le modèle vise à estimer $\Delta t_{post}$ , la durée post-terminale, en utilisant un contexte $s_{i,t}$ composé de :

Données textuelles : Informations de vol, rapports météo (METAR), prévisions (TAF) et avis aux navigateurs aériens (NOTAM).
Données de trajectoire : Trois groupes de trajectoires pour capturer l'état de l'espace aérien :
1. Trajectoire de focalisation ( $X^f$ ) : Le vol cible.
2. Trajectoires actives ( $X^a$ ) : Autres avions dans la TMA à l'instant $t$ (indique la congestion).
3. Trajectoires antérieures ( $X^p$ ) : Trajectoires complétées récemment (indique les schémas historiques et le trafic au sol).

B. Architecture du modèle
L'architecture repose sur trois composants principaux :

Encodage du texte : Utilisation du tokenizer et des embeddings natifs du LLM pour les prompts textuels.
Adaptation Cross-Modale (Cœur de l'innovation) :
- Un encodeur de trajectoire pré-entraîné (frozen) extrait des représentations sémantiques au niveau de l'instance (instance-level) pour chaque groupe de trajectoires. Cela permet de capturer les procédures de manœuvre complètes plutôt que de simples segments de features.
- Une projection par niveau d'instance (Instance-level Projection) : Un réseau MLP léger projette ces embeddings de trajectoire (320 dimensions) dans l'espace d'embedding du LLM (dimension $d$ ). Contrairement aux méthodes existantes qui tokenisent les séries temporelles en chiffres ou en patches, cette méthode aligne la sémantique globale de la trajectoire avec le langage.
Backbone LLM et Tête de Régression :
- Un LLM open-source (ex: Pythia-1B, LLaMA) pré-entraîné et figé traite la séquence concaténée de tokens textuels et d'embeddings de trajectoires.
- Une tête de régression (MLP) prédit la valeur scalaire du retard à partir du dernier état caché du LLM.

C. Entraînement
Seuls les modules d'adaptation (projection) et la tête de régression sont entraînés, tandis que le LLM et l'encodeur de trajectoire restent figés. Cela permet une mise à jour efficace des prédictions au fur et à mesure que de nouvelles données arrivent.

3. Contributions Clés

LLM4Delay : Un nouveau framework multimodal unifiant texte et trajectoires multiples pour la prédiction des retards au-delà de la phase terminale.
Projection au niveau de l'instance : Une technique d'adaptation cross-modale innovante qui mappe les représentations sémantiques de trajectoires complètes (issues d'un encodeur pré-entraîné) vers le domaine du langage, évitant ainsi la perte d'information liée au découpage en segments.
Jeu de données multimodal : Construction et publication d'un ensemble de données complet intégrant des horaires de vol, METAR, TAF, NOTAM et des données de surveillance (ADS-B) pour l'aéroport d'Incheon (2022).
Mise à jour continue : Capacité du modèle à affiner les prédictions en temps réel à mesure que le contexte opérationnel évolue.

4. Résultats Expérimentaux

Les expériences ont été menées sur 12 jeux de données mensuels (2022) pour l'aéroport d'Incheon.

Performance vs. Baselines : LLM4Delay surpasse significativement les modèles tabulaires (Régression Linéaire, XGBoost, etc.) et les modèles basés sur les trajectoires (LSTM, Transformer, TCN).
- Métrique clé (MAE moyen) : LLM4Delay atteint 1.1261 minutes, contre 1.4569 pour le meilleur modèle basé sur les trajectoires (Inverted Transformer) et 2.8047 pour le meilleur modèle tabulaire (XGBoost).
- R² : Le modèle atteint un $R^2$ moyen de 0.8634, démontrant une excellente capacité explicative.
Comparaison des techniques d'adaptation : La méthode proposée (Instance-level Projection) est nettement supérieure aux techniques d'adaptation existantes comme la tokenisation (LLMTIME), le reprogrammation de patches (Time-LLM) ou l'embedding de segments (AutoTimes). Cela confirme que la sémantique au niveau de l'instance est cruciale.
Ablation Study (Analyse d'ablation) :
- Encodeur de trajectoire : L'utilisation de TS2Vec (apprentissage contrastif hiérarchique) comme encodeur pré-entraîné donne les meilleurs résultats.
- Backbone LLM : Pythia-1B (1 milliard de paramètres) surpasse des modèles plus grands ou multilingues (Qwen, LLaMA), suggérant que la capacité linguistique sur les données aéronautiques est plus importante que la taille brute du modèle.
- Importance du contexte : La suppression des données de trajectoire entraîne une chute massive de performance, confirmant leur rôle dominant. Cependant, les données textuelles (météo, NOTAM) apportent une amélioration significative et complémentaire.
Visualisation : Les analyses de sensibilité montrent que le modèle accorde une importance élevée aux tokens de trajectoire, tout en utilisant le contexte textuel pour affiner les prédictions dans des cas spécifiques.

5. Signification et Impact

Opérationnel : Le framework permet une surveillance dynamique des retards par les contrôleurs aériens, offrant des estimations précises (erreur < 1 minute) qui peuvent être mises à jour en temps réel. Cela facilite la coordination des services au sol (carburant, nettoyage, équipage) et améliore la planification.
Scientifique : Ce travail démontre la viabilité de l'utilisation de LLMs pour des tâches de régression temporelle complexes en aéronautique, en surmontant la barrière de la modalité des données. Il prouve que l'intégration de données non structurées (textes) et de données de mouvement multiples (trajectoires) via une adaptation sémantique intelligente est supérieure aux approches traditionnelles.
Évolutivité : L'architecture est conçue pour être facilement mise à jour avec des LLMs plus performants ou des encodeurs de trajectoires améliorés sans réentraînement complet.

En conclusion, LLM4Delay représente une avancée majeure dans l'application de l'IA générative à la gestion du trafic aérien, offrant une solution robuste, précise et adaptable pour la prédiction des retards en phase terminale.