LLM4Delay: Flight Delay Prediction via Cross-Modality Adaptation of Large Language Models and Aircraft Trajectory Representation

Titolo

LLM4Delay: Previsione dei Ritardi di Volo tramite Adattamento Cross-Modale di Modelli Linguistici di Grande Dimensione (LLM) e Rappresentazione delle Traiettorie Aeree

1. Il Problema

La previsione dei ritardi di volo è un aspetto critico della Gestione del Traffico Aereo (ATM), poiché i ritardi riflettono inefficienze nel sistema che compromettono sicurezza ed efficienza operativa.

• Limitazioni degli approcci esistenti: I metodi tradizionali si basano su dati tabellari fissi o su modelli di serie temporali che richiedono parser rigidi per convertire dati testuali (come METAR, TAF, NOTAM) in feature numeriche. Questi approcci spesso non riescono a gestire la variabilità dei testi aeronautici o a integrare contesti complessi.
• Focus specifico: La maggior parte degli studi si concentra sui ritardi di partenza o su singoli tratti. Questo paper si concentra sulla fase post-terminal (dall'ingresso nell'Area di Manovra Terminale - TMA, fino all'atterraggio), che è di diretta responsabilità dei controllori del traffico aereo (ATC).
• Sfida principale: Integrare efficacemente dati eterogenei: informazioni testuali (programmi di volo, meteo, avvisi) e dati di traiettoria (movimenti degli aerei, congestione dello spazio aereo) per stimare la durata residua del volo ($\Delta t_{post}$).

2. Metodologia: LLM4Delay

Il framework proposto, LLM4Delay, tratta la previsione del ritardo come un problema di regressione multimodale, integrando un LLM pre-addestrato con un encoder di traiettorie pre-addestrato.

A. Formulazione del Problema

L'obiettivo è stimare $\Delta t_{post,i}$ (il tempo trascorso dall'ingresso nella TMA fino all'atterraggio effettivo) basandosi sul contesto disponibile al tempo $t$. Il ritardo totale è scomposto, e la parte da prevedere è isolata dalle informazioni già note (come l'orario di ingresso nella TMA).

B. Preparazione dei Dati (Dataset Multimodale)

Il sistema elabora uno scenario $s_{i,t}$ composto da:

1. Prompt Testuali:
   • $P^F_{i,t}$: Informazioni di volo (compagnia, rotta, tipo di aeromobile).
   • $P^M_t, P^T_t$: Rapporti METAR e previsioni TAF (meteo).
   • $P^N_t$: NOTAM (avvisi agli aviatori su restrizioni operative).
2. Dati di Traiettoria (Serie Temporali):
   • Traiettoria di Focalizzazione ($X^f$): Il volo target dalla TMA fino al tempo corrente.
   • Traiettorie Attive ($X^a$): Altri aerei nella TMA al tempo $t$ (rappresentano la congestione attuale).
   • Traiettorie Precedenti ($X^p$): Voli completati in passato (rappresentano pattern storici e condizioni del suolo).
   • Nota: Le traiettorie sono rappresentate come serie temporali di coordinate 3D e feature geometriche derivate, senza smoothing eccessivo per preservare le caratteristiche reali.

C. Architettura della Rete Neurale

L'architettura si compone di tre fasi principali:

1. Embedding del Testo: I prompt testuali vengono tokenizzati e mappati nello spazio vettoriale dell'LLM utilizzando l'embedding table pre-addestrata (fissata).
2. Adattamento Cross-Modale (Novità Chiave):
   • Viene utilizzato un encoder di traiettorie pre-addestrato ($f_{enc}$) su dati di Incheon Airport (tramite apprendimento auto-supervisionato, es. TS2Vec) per generare rappresentazioni a livello di istanza ($Z^k$) per ogni gruppo di traiettorie.
   • Viene proposta una tecnica di Proiezione a Livello di Istanza (Instance-level Projection): un leggero MLP proietta queste rappresentazioni a livello di istanza nello spazio di embedding dell'LLM. Questo permette di mappare la semantica complessa di intere traiettorie direttamente nel linguaggio, evitando che l'LLM debba inferire relazioni temporali da frammenti grezzi.
3. Backbone LLM e Head di Regressione:
   • Le sequenze di testo e le proiezioni delle traiettorie vengono concatenate e passate attraverso un LLM pre-addestrato (es. Pythia-1B, LLaMA), mantenuto fissato (frozen) per preservare le capacità linguistiche.
   • Viene estratto l'ultimo stato nascosto e passato a un "Regression Head" (MLP) per prevedere il valore scalare $\Delta t_{post}$.

D. Addestramento

Solo i pesi del proiettore cross-modale e della testa di regressione vengono aggiornati. L'approccio è efficiente e sfrutta la generalizzazione dei modelli pre-addestrati.

3. Contributi Chiave

1. Framework Multimodale Unificato: Integrazione di dati testuali aeronautici non strutturati e serie temporali di traiettorie multiple in un unico modello basato su LLM.
2. Proiezione a Livello di Istanza: Una nuova strategia di adattamento che allinea le rappresentazioni semantiche di intere traiettorie (non solo segmenti o patch) allo spazio linguistico, superando i limiti dei metodi precedenti che richiedono input di dimensione fissa o parser rigidi.
3. Dataset Pubblico: Costruzione e rilascio di un dataset multimodale per la previsione dei ritardi che include schedule, meteo, NOTAM e dati di sorveglianza ADS-B.
4. Validazione Operativa: Dimostrazione della capacità del modello di aggiornare le previsioni in tempo reale man mano che nuove informazioni diventano disponibili.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dati mensili del 2022 relativi all'Aeroporto Internazionale di Incheon.

• Confronto con Baseline: LLM4Delay supera significativamente i modelli basati su tabelle (XGBoost, Random Forest) e modelli basati su serie temporali (LSTM, Transformer, TCN).
  • Metriche: Riduzione dell'errore assoluto medio (MAE) a 1.1261 minuti (rispetto a ~1.46 dei migliori modelli basati su traiettoria singola) e un $R^2$ di 0.8634.
• Adattamento Cross-Modale: La tecnica di "Proiezione a Livello di Istanza" supera le tecniche esistenti come Tokenizzazione (LLMTIME), Riprogrammazione di Patch (Time-LLM) e Segment Embedding (AutoTimes), dimostrando che la semantica di livello superiore delle traiettorie è cruciale.
• Ablazione:
  • L'uso di un encoder pre-addestrato con TS2Vec ha dato i migliori risultati.
  • Tra i backbone LLM, Pythia-1B ha performato meglio di LLaMA e Qwen, suggerendo che la capacità di generalizzare su dati aeronautici non dipende necessariamente dalle dimensioni massive del modello.
  • La rimozione delle traiettorie causa il crollo delle prestazioni, confermando che il movimento degli aerei è il fattore dominante, ma i dati testuali (meteo, NOTAM) forniscono un contributo complementare essenziale.
• Analisi di Importanza: L'analisi di perturbazione mostra che i token delle traiettorie hanno la massima importanza, ma i dati testuali sono cruciali in scenari specifici (es. maltempo improvviso).

5. Significato e Impatto

• Rilevanza Operativa: Il modello supporta i controllori del traffico aereo fornendo stime di ritardo aggiornate in tempo reale man mano che l'aereo entra nella TMA, facilitando il coordinamento dei servizi a terra (turnaround).
• Flessibilità: A differenza dei sistemi rigidi, LLM4Delay può incorporare nuovi tipi di informazioni testuali senza bisogno di riscrivere parser complessi.
• Scalabilità: L'architettura permette di sostituire facilmente il backbone LLM con modelli più potenti man mano che diventano disponibili, senza riaddestrare l'intero sistema.
• Efficienza: Mantenendo fissi i componenti pre-addestrati (LLM ed Encoder), il framework è computazionalmente efficiente e adatto al deployment su GPU consumer.

In sintesi, LLM4Delay rappresenta un passo avanti significativo nell'ATM, dimostrando che l'integrazione di LLM e rappresentazioni avanzate di traiettorie può migliorare drasticamente l'accuratezza nella previsione dei ritardi, offrendo uno strumento pratico per la gestione dello spazio aereo.